信息來源:51cto
隨著互聯(lián)網(wǎng)、傳感器,以及各種數(shù)字化終端設(shè)備的普及,一個萬物互聯(lián)的世界正在成型。同時,隨著數(shù)據(jù)呈現(xiàn)出爆炸式的指數(shù)級增長,數(shù)字化已經(jīng)成為構(gòu)建現(xiàn)代社會的基礎(chǔ)力量,并推動著我們走向一個深度變革的時代。
大數(shù)據(jù)(big data)是指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合,是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。
為了能對后面內(nèi)容的數(shù)據(jù)單位有一個大體的概念,我們可以先了解一下各數(shù)據(jù)單位。
-
1B (Byte 字節(jié))=8b (bit 位
-
1KB (Kilobyte 千字節(jié))=1024B
-
1MB (Megabyte 兆字節(jié) 簡稱“兆”)=1024KB
-
1GB (Gigabyte 吉字節(jié) 又稱“千兆”)=1024MB
-
1TB (Trillionbyte 萬億字節(jié) 太字節(jié))=1024GB
-
1PB(Petabyte 千萬億字節(jié) 拍字節(jié))=1024TB
-
1EB(Exabyte 百億億字節(jié) 艾字節(jié))=1024PB
-
1ZB (Zettabyte 十萬億億字節(jié) 澤字節(jié))=1024EB
-
1YB (Yottabyte 一億億億字節(jié) 堯字節(jié))=1024ZB
在這個大數(shù)據(jù)時代,每一天,能產(chǎn)生多少數(shù)據(jù)呢?
據(jù)IDC發(fā)布《數(shù)據(jù)時代2025》的報告顯示,全球每年產(chǎn)生的數(shù)據(jù)將從2018年的33ZB增長到175ZB,相當于每天產(chǎn)生491EB的數(shù)據(jù)。
那么175ZB的數(shù)據(jù)到底有多大呢?1ZB相當于1.1萬億GB。如果把175ZB全部存在DVD光盤中,那么DVD光盤疊加起來的高度將是地球和月球距離的23倍(月地最近距離約39.3萬公里),或者繞地球222圈(一圈約為四萬公里)。目前美國的平均網(wǎng)速為25Mb/秒,一個人要下載完這175ZB的數(shù)據(jù),需要18億年。
據(jù)IDC預測,2025年,全世界每個聯(lián)網(wǎng)的人每天平均有4909次數(shù)據(jù)互動,相當于每18秒產(chǎn)生1次數(shù)據(jù)互動。
互聯(lián)網(wǎng)大數(shù)據(jù)
互聯(lián)網(wǎng)時代,搜索引擎已經(jīng)成為人們尋找日常解決方案的重要渠道。有事沒事搜一下,已經(jīng)成為工作與生活的常態(tài)。特別是智能手機的普及,讓我們隨時隨地都在產(chǎn)生搜索數(shù)據(jù)。據(jù)Smart insight估計,目前全球每天有50億次搜索,其中35億次搜索來自Google,占全球搜索量的70%,相當于每秒處理4萬多次搜索。而回到2000年,在那個時候,Google一年的搜索量才140億次。智能手機讓人們的社交生活徹底數(shù)字化,每天在社交網(wǎng)絡(luò)上花費的時間越來越多,產(chǎn)生的數(shù)據(jù)量也相應(yīng)地不斷增長。
物聯(lián)網(wǎng)大數(shù)據(jù)
隨著物聯(lián)網(wǎng)基礎(chǔ)設(shè)施及智能手機、可穿戴設(shè)備的普及,我們每個人時刻都在產(chǎn)生大量的數(shù)據(jù)。我們也完全已經(jīng)成為數(shù)字化的個體。
無處不在的物聯(lián)網(wǎng)設(shè)備正在將世界變成一個“數(shù)字地球”。據(jù)HIS的數(shù)據(jù)預測,到2025年,全球物聯(lián)網(wǎng)連接設(shè)備的總安裝量預計將達到754.4億,而這些聯(lián)網(wǎng)設(shè)備也將會產(chǎn)生大量數(shù)據(jù)。
大數(shù)據(jù)的產(chǎn)生來源于互聯(lián)網(wǎng)和物聯(lián)網(wǎng)中,那么,二者有什么區(qū)別?
互聯(lián)網(wǎng)大數(shù)據(jù)和物聯(lián)網(wǎng)大數(shù)據(jù)的最大區(qū)別是:互聯(lián)網(wǎng)大數(shù)據(jù)來源更加廣泛,數(shù)據(jù)也更加多樣;物聯(lián)網(wǎng)大數(shù)據(jù)的數(shù)據(jù)格式會比互聯(lián)網(wǎng)大數(shù)據(jù)更加規(guī)范標準;互聯(lián)網(wǎng)大數(shù)據(jù)產(chǎn)生者主要是人,物聯(lián)網(wǎng)大數(shù)據(jù)產(chǎn)生者是物。
互聯(lián)網(wǎng)大數(shù)據(jù)具有多樣性和復雜性
中國互聯(lián)網(wǎng)絡(luò)信息中心(CNNIC)已完成第44次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展狀況統(tǒng)計報告》,報告中詳細分析了中國網(wǎng)民規(guī)模情況,截至2019年6月,中國網(wǎng)民規(guī)模達8.54億,這個數(shù)字已經(jīng)占據(jù)中國人口接近61%,同時我國網(wǎng)民還在不斷的增加。
現(xiàn)在,互聯(lián)網(wǎng)極大的方便了人們的生活,人們可以在網(wǎng)上購物、聊天、刷朋友圈、瀏覽新聞、發(fā)送微博、觀看視頻、玩游戲等,現(xiàn)在,幾乎所有生活行為都可以在互聯(lián)網(wǎng)上得到解決。我們可以通過多種方式上網(wǎng),例如手機、電腦、平板電腦、電子手表等等,人們上網(wǎng)的入口越來越豐富,同時你的上網(wǎng)行為所產(chǎn)生的數(shù)據(jù)也會越復雜。
當人們上網(wǎng)時,它還會生成大量的行為數(shù)據(jù)。諸如購物訂單、新聞、視頻、查看的商品、通知之類的數(shù)據(jù)最終將存儲在互聯(lián)網(wǎng)公司的數(shù)據(jù)庫中,且這個數(shù)據(jù)是巨大的。
我們也很難為互聯(lián)網(wǎng)大數(shù)據(jù)定義一個統(tǒng)一的格式,每個網(wǎng)民都有自己的習慣行為,他們每天所產(chǎn)生的數(shù)據(jù)可以都是不一樣的?;ヂ?lián)網(wǎng)大數(shù)據(jù)產(chǎn)生者主要是人,物聯(lián)網(wǎng)大數(shù)據(jù)產(chǎn)生者是物。
物聯(lián)網(wǎng)設(shè)備產(chǎn)生的數(shù)據(jù)格式更規(guī)范標準,便于組織存儲
物聯(lián)網(wǎng)的最大特點,就是各種物聯(lián)網(wǎng)設(shè)備相互連接以實現(xiàn)信息共享。物聯(lián)網(wǎng)會實時上報監(jiān)測到的環(huán)境指標,例如,在智慧農(nóng)業(yè)中,通過土壤溫濕度傳感器,可以監(jiān)測到土壤的水分溫度濕度,從而調(diào)整是否需要澆水。如今,隨著物聯(lián)網(wǎng)的迅速發(fā)展,其應(yīng)用領(lǐng)域也日益廣泛,IoT設(shè)備每天都會生成海量數(shù)據(jù)。
同時,由于物聯(lián)網(wǎng)大數(shù)據(jù)來自于物聯(lián)網(wǎng)設(shè)備中,因此物聯(lián)網(wǎng)采集什么樣的數(shù)據(jù)以及數(shù)據(jù)格式在物聯(lián)網(wǎng)設(shè)備的開發(fā)和部署之前都已經(jīng)指定好,采集數(shù)據(jù)的程序也已經(jīng)部署在物聯(lián)網(wǎng)設(shè)備中,它只需要實時按照程序的命令執(zhí)行。因此,物聯(lián)網(wǎng)設(shè)備產(chǎn)生的數(shù)據(jù)沒有復雜的數(shù)據(jù)格式,相較于互聯(lián)網(wǎng)數(shù)據(jù),格式也更加的標準。