信息來源:比特網(wǎng)
“一場兇殘暴力的犯罪即將爆發(fā),具備未來感知能力的警察及時出現(xiàn),在實施犯罪之前,罪犯就已經(jīng)被逮捕?!边@是科幻電影《少數(shù)派報告》中的情節(jié)。
“事實上,利用大數(shù)據(jù)可視分析技術(shù),人們已能預(yù)測未來,比如未來的發(fā)展趨勢等?!痹陂L沙舉辦的第三屆中國可視化與可視分析大會(ChinaVis 2016)上相關(guān)專家如是表示。
據(jù)了解,美國許多城市在使用軟件處理過往犯罪數(shù)據(jù),預(yù)測哪些區(qū)域犯罪率會更高,并提前派出更多警車到這一區(qū)域巡邏,導(dǎo)致區(qū)域的犯罪率大幅下降。
在國際上,大數(shù)據(jù)可視分析早已成為一大熱點??梢暦治鎏魬?zhàn)賽——VAST Challenge也已舉辦了近10年之久。這一領(lǐng)域已經(jīng)涌現(xiàn)了一批新興企業(yè),其中包括利用大數(shù)據(jù)分析找到本拉登、估值200億美元的神秘獨角獸公司Palantir。
在第三屆中國可視化與可視分析大會(ChinaVis 2016) 數(shù)據(jù)可視分析挑戰(zhàn)賽中,參賽選手通過對格式化的企業(yè)郵件進行可視分析,直觀地展示出企業(yè)的發(fā)展歷程,以及各階段業(yè)務(wù)特點,甚至直接明確公司重要人物,展示了數(shù)據(jù)可視分析的價值。
數(shù)據(jù)可視分析——賦予“看見”的能力
可視分析一詞,由美國國家可視與分析中心的Jim Thomas創(chuàng)造的,現(xiàn)在已經(jīng)成為整合數(shù)據(jù)分析、可視和交互的事實標(biāo)準(zhǔn)流程,旨在更好地理解復(fù)雜系統(tǒng)。
實際上,大數(shù)據(jù)可視分析主要是在利用計算機自動化分析能力的同時,充分挖掘人對可視信息的認知能力優(yōu)勢,將人、機的各自強項進行有機融合,輔助人們更為直觀和高效地洞悉大數(shù)據(jù)背后的信息、知識與智慧。
這是因為,統(tǒng)計無法獨立傳遞足夠的信息用于決策,而算法不能獨立編碼人類豐富的認知,可視則不能有效管理數(shù)據(jù)的細節(jié)或區(qū)分不同信息的重要性。因此 ,人腦+電腦的大數(shù)據(jù)可視分析成為了解決問題的出路。
據(jù)報道,早在10多年前,利用人腦+電腦“來分析復(fù)雜問題的可能性就初見端倪?!??11”之后,斯坦福大學(xué)的幾個教授以公開的海量信息為輸入,利用計算機建立關(guān)于人物關(guān)系的網(wǎng)絡(luò),最后鎖定了一堆疑似人物,并迅速將結(jié)果發(fā)布出去。結(jié)果CIA等部門大為震驚,因為教授們的結(jié)果與CIA花人力大量偵查和審訊的結(jié)果很近似。
盡管CIA、FBI等情報機構(gòu)掌握著成千上萬個數(shù)據(jù)庫,包括財務(wù)數(shù)據(jù)、DNA樣本、語音資料、錄像片段以及世界各地的地圖,但要在這些數(shù)據(jù)之間建立聯(lián)系,卻相當(dāng)耗費時間。如何從浩如星海的數(shù)據(jù)中快速找出有價值的線索,提前掌握恐怖份子可能發(fā)動襲擊的消息,對情報部門的技術(shù)水平有非常高的要求。
這正是Palantir等公司要解決的問題:收集并整合這些數(shù)據(jù),從而幫助當(dāng)局及時阻止?jié)撛诘目植酪u擊。
2004年,被譽為硅谷投資教父的前 PayPal 首席執(zhí)行官Peter Thiel和斯坦福大學(xué)的同學(xué)共同創(chuàng)立了Palantir。名字的靈感來自《指環(huán)王》,在劇中,這是一個可以穿越時空、看到一切的水晶球,它可以幫助劇中人物和其它水晶球建立聯(lián)系,從而可以看到附近的圖像。
最神秘的數(shù)據(jù)可視分析公司
Palantir公司曾被稱為是美國最神秘的新創(chuàng)公司,因為它的客戶中包括了美國的軍方和很多的情報機構(gòu)。有消息稱,Palantir在美國擊斃本拉登的行動中發(fā)揮了情報分析的作用。
Palantir的基本要點就是收集大量數(shù)據(jù),幫助非科技用戶發(fā)現(xiàn)關(guān)鍵聯(lián)系,并最終找到復(fù)雜問題的答案。 Palantir聯(lián)合創(chuàng)始人兼首席執(zhí)行官卡普曾說道,“Palantir實質(zhì)上是將結(jié)合數(shù)據(jù),技術(shù),分析師的專業(yè)能力,將人和計算機完美地融合在一起,并將各自的優(yōu)勢發(fā)揮到了極致。”
現(xiàn)如今Palanti公司總共擁有兩大產(chǎn)品線——Palantir Gotham和Palantir Metropolis,分別應(yīng)用于國防安全與金融領(lǐng)域。
圖:Palantir公司曾被稱為是美國最神秘的新創(chuàng)公司
它的成功案例包括:趕在阿富汗的簡易爆炸裝置引爆前成功預(yù)言了它們的位置;幫助多倫多大學(xué)Munk全球事務(wù)學(xué)院的科研人員發(fā)現(xiàn)網(wǎng)絡(luò)間諜組織,“影子網(wǎng)絡(luò)(Shadow Network)”,該組織當(dāng)時正在從印度國防部竊取機密資料。幫助J.P.Morgan對付欺詐犯;以及幫助整合美國情報界零散的數(shù)據(jù)庫,讓分析師有一體化的情報網(wǎng)可以使用。還有傳言稱,它協(xié)助捕獲了奧薩馬·本·拉登,并幫助多家銀行追回了前納斯達克主席Bernie Madoff所隱藏起來的數(shù)十億美元巨款。
現(xiàn)在,Palantir憑借其200億美金的估值躋身美國第三大創(chuàng)業(yè)公司,估值僅次于估值400億美元的Uber和估值240億美元的Airbnb。
數(shù)據(jù)可視分析;讓安全可視化告別地圖炮
說到安全數(shù)據(jù)可視化,很多人就會想到一張地圖上,激光炮、氣功彈打來打去。“這種地圖炮只能算是安全數(shù)據(jù)可視化的初級階段,真正的安全數(shù)據(jù)可視化在于幫助用戶發(fā)現(xiàn)未知威脅,進行事件溯源,甚至直接定位犯罪人員,或預(yù)測未來的安全態(tài)勢?!弊鳛镃hinaVis數(shù)據(jù)可視分析挑戰(zhàn)賽評委的360天眼實驗室張卓表示。
圖:數(shù)據(jù)可視化在安全行業(yè)被很多人理解成地圖炮
作為國內(nèi)最早涉足可視分析的安全公司,2015年,360與北京大學(xué)聯(lián)合首次聯(lián)合參加VAST Challenge即獲得了亞軍。360天眼實驗室作為ChinaVis數(shù)據(jù)可視分析挑戰(zhàn)賽的支持機構(gòu),已經(jīng)連續(xù)為挑戰(zhàn)賽提供了基礎(chǔ)數(shù)據(jù)和設(shè)定題目。
事實上,作為國內(nèi)最早將數(shù)據(jù)可視化應(yīng)用于安全分析的機構(gòu),360已有多款得到用戶認可的產(chǎn)品發(fā)布。
在2016“4·29首都網(wǎng)絡(luò)安全日”活動中,360首次對外展示了基于數(shù)據(jù)可視分析的偽基站追蹤系統(tǒng)。據(jù)產(chǎn)品負責(zé)人徐鳳超介紹,360偽基站追蹤系統(tǒng)依托海量的數(shù)據(jù)、高效的數(shù)據(jù)分析處理和數(shù)據(jù)可視化,可以為追查偽基站供精確的信息與準(zhǔn)確的判斷。
據(jù)北京網(wǎng)安的數(shù)字,自2015年12月使用360偽基站追蹤系統(tǒng)以來,北京警方已利用該系統(tǒng)破獲多起在京活動的重大偽基站犯罪團伙案,抓獲犯罪嫌疑人160余名,繳獲設(shè)備100多套,有力地遏制了利用偽基站發(fā)送詐騙短信的犯罪行為。
圖:360偽基站追蹤系統(tǒng)數(shù)據(jù)可視創(chuàng)新讓詐騙短信顯形
在幫助企業(yè)應(yīng)對高級持續(xù)威脅的過程中,360天眼也展示出了數(shù)據(jù)可視分析的強大能力。
圖:360安全研究人員利用數(shù)據(jù)可視技術(shù)進行樣本分析
根據(jù)《2015中國APT研究報告》,截至2015年11月底,360威脅情報中心利用天眼大數(shù)據(jù)分析系統(tǒng),監(jiān)測到的針對中國的境內(nèi)外黑客組織累計29個,14個為360首先發(fā)現(xiàn),其中包括2015年5月末發(fā)布的海蓮花(OceanLotus)APT組織。