行業(yè)動態(tài)

一場機(jī)器和數(shù)學(xué)主導(dǎo)的狂歡:雙11關(guān)鍵技術(shù)曝光

來源:聚銘網(wǎng)絡(luò)    發(fā)布時間:2015-11-12    瀏覽次數(shù):
 
2015-11-12 天下網(wǎng)商                                                


功能介紹 

  • 阿里技術(shù)人用世界級的技術(shù)創(chuàng)新,支撐世界級的經(jīng)濟(jì)現(xiàn)象

  • OceanBase是中國首個具有自主知識產(chǎn)權(quán)的數(shù)據(jù)庫

  • 可支持單個天貓商家日處理訂單超過400萬單

  • 一鍵建站:90分鐘再造淘寶天貓

  • ......



2015天貓雙11全球狂歡節(jié)拉開帷幕,阿里巴巴的工程師們又忙碌了起來。在力保全球“剁手黨”順暢購物的同時,他們還將在雙11驗證多項開創(chuàng)性技術(shù),對全世界展示阿里巴巴的整體技術(shù)實力。


阿里巴巴雙11技術(shù)總指揮劉振飛表示:“雙11不僅是一場全球消費者的狂歡,也是對中國互聯(lián)網(wǎng)技術(shù)體系的實力檢驗。一下子幾千萬人涌進(jìn)來買買買, 這種真實的商業(yè)場景全世界一年也只有一次。阿里技術(shù)人能夠用世界級的技術(shù)創(chuàng)新,支撐世界級的經(jīng)濟(jì)現(xiàn)象,是非常幸運的。”


異地多活:給1000公里外的飛機(jī)換引擎


去年雙11,阿里巴巴在全球首創(chuàng)交易系統(tǒng)“異地雙活”,而今年有了更大的突破:在支付寶這樣高度復(fù)雜與嚴(yán)謹(jǐn)?shù)慕鹑谙到y(tǒng)中,實現(xiàn)1000公里以上的“異地多活”能力。


“異地多活”已經(jīng)超越了兩地三中心等傳統(tǒng)災(zāi)備概念,可實現(xiàn)多地數(shù)據(jù)中心像一個數(shù)據(jù)中心一樣工作,即使某一處數(shù)據(jù)中心出現(xiàn)故障,雙11在線業(yè)務(wù)仍然能夠快速恢復(fù)正常運轉(zhuǎn)。


“數(shù)據(jù)中心的切換,要在用戶毫無感知的情況下進(jìn)行,這就像為正在飛行的波音747飛機(jī)更換引擎。不僅不能影響飛行,飛機(jī)上的乘客也不能有感覺”。目前,阿里巴巴支撐雙11的多地數(shù)據(jù)中心,最遠(yuǎn)距離已超過1000公里,這就意味著阿里巴巴具備了在全國任意節(jié)點部署系統(tǒng)的能力。


公開資料顯示,全球能夠做到異地多活技術(shù)的只有少數(shù)幾家互聯(lián)網(wǎng)巨頭,如Google、Facebook。但二者的搜索、社交場景對數(shù)據(jù)同步性的要求遠(yuǎn)不如交易、支付場景苛刻,“如果你賬戶里的錢無緣無故地多一個0或少一個0,后果都很嚴(yán)重。”


同時,阿里巴巴正在將這一過程中積累的技術(shù)逐步開放。比如,可以在較長延時的情況下解決多點數(shù)據(jù)同步的技術(shù),已經(jīng)通過阿里云數(shù)據(jù)傳輸產(chǎn)品(Data Transmission)對外開放,能夠讓云用戶輕松實現(xiàn)遠(yuǎn)距離、毫秒級異步數(shù)據(jù)傳輸。


OceanBase:雙11背后的中國自研數(shù)據(jù)庫


今年雙11的核心交易流量,將100%由金融級海量數(shù)據(jù)庫OceanBase承載。這一事件將對全球IT業(yè)的格局產(chǎn)生深遠(yuǎn)影響。


OceanBase由阿里巴巴自主研發(fā),是中國首個具有自主知識產(chǎn)權(quán)的數(shù)據(jù)庫,也是全球首個應(yīng)用在金融業(yè)務(wù)的分布式關(guān)系數(shù)據(jù)庫。


OceanBase 2010年誕生,2014年支撐了10%的雙11交易流量。今年6月,網(wǎng)商銀行開業(yè),底層數(shù)據(jù)庫全部采用OceanBase,是第一家完全擺脫商業(yè)數(shù)據(jù)庫的金融機(jī)構(gòu)。而PayPal等美國金融機(jī)構(gòu),仍然主要依靠Oracle等。


與傳統(tǒng)數(shù)據(jù)庫相比,OceanBase的系統(tǒng)維護(hù),不需要昂貴的共享存儲設(shè)備和高性能服務(wù)器,還能節(jié)省數(shù)據(jù)庫軟件的許可費,和常用的商業(yè)數(shù)據(jù)庫相比,成本不到其一半。同時,分布式的系統(tǒng),可以更好地應(yīng)對雙11這類大流量沖擊:彈性能力可保證大促之前完成一鍵擴(kuò)容、大促之后實現(xiàn)一鍵縮容。


同樣,OceanBase也計劃于明年通過阿里云的公共云計算平臺對外界開放。


一鍵建站:90分鐘再造淘寶天貓


每年雙11,為了應(yīng)對巨大的流量沖擊,阿里都需要新建淘寶和天貓的交易單元,與原有的系統(tǒng)一起“協(xié)同作戰(zhàn)”,以便分散流量,減輕系統(tǒng)負(fù)擔(dān)。


以往,重新部署一套交易單元至少需要提前1個月的時間準(zhǔn)備。今年雙11,由于采用了“一鍵建站”的技術(shù),使得這項費時費力的巨大工程,得以在90分鐘之內(nèi)自動化完成。


一鍵建站,是指在基礎(chǔ)設(shè)施具備的條件下,通過阿里自研的自動化軟件,將中間件、數(shù)據(jù)庫、商品交易系統(tǒng)、商品展示系統(tǒng)等上百個電商核心系統(tǒng),像搭積木一樣部署完成。整個過程一鍵完成,基本無需人工干預(yù),所需時間不到90分鐘。


計算能力輸出:商家可日處理400萬訂單


今年,阿里云將繼續(xù)通過聚石塔向雙11商家輸送充足的計算能力。搭建在阿里云平臺上的聚石塔,今年預(yù)計將處理99%以上的雙11訂單,可支持單個天貓商家日處理訂單超過400萬單。


2012年開始,聚石塔以阿里云為基礎(chǔ)推出一整套的解決方案,為天貓、淘寶平臺上的服務(wù)商及商家服務(wù)。聚石塔部署在阿里云的遠(yuǎn)程數(shù)據(jù)中心中,安全條件、穩(wěn)定性、性能遠(yuǎn)超過商家的辦公環(huán)境和傳統(tǒng)IDC,針對設(shè)備故障,斷網(wǎng)斷電等均有應(yīng)急預(yù)案。


在傳統(tǒng)模式下,商家做促銷時要進(jìn)行服務(wù)器擴(kuò)容,小賣家要去電腦城買幾臺機(jī)器扛回家,大賣家則需要臨時尋找IDC資源,在應(yīng)對了促銷節(jié)點之后,業(yè)務(wù)量回落,服務(wù)器又會閑置無用,造成了很大浪費。通過聚石塔,商家可隨時線上擴(kuò)充服務(wù)器資源,想用幾天就用幾天,用后再縮回去,低碳環(huán)保又省錢。


2014年,聚石塔處理了96%的雙11訂單,無一故障、無一漏單。2015年,通過云計算系統(tǒng)的優(yōu)化,中間件能力的使用,服務(wù)商應(yīng)用系統(tǒng)整體性能比之前提升62%,能支持單個商家每天400萬以上的訂單處理能力。


金融云架構(gòu):日支付處理能力達(dá)10億筆


據(jù)介紹,目前支付寶在技術(shù)上已全面升級到金融云架構(gòu),可以支持每日十億筆以上的支付處理能力,并且具備了金融級的“異地多活”容災(zāi)能力。


跟支付寶有合作的200多家銀行,一直是雙11支付保障的主力軍。今年各家銀行的系統(tǒng)容量在去年雙11的基礎(chǔ)上擴(kuò)大了一倍。從8月份開始,各家銀行就逐步對擴(kuò)容后的系統(tǒng)進(jìn)行仿實戰(zhàn)的高強(qiáng)度壓力測試。壓測覆蓋了用戶從開始購物到創(chuàng)建交易、訪問收銀臺到最終完成支付的整個鏈路,確保包含基礎(chǔ)設(shè)施、業(yè)務(wù)系統(tǒng)和銀行渠道在內(nèi)的整個系統(tǒng)可以穩(wěn)定支撐雙11的驚人支付洪峰。


ODPS:數(shù)據(jù)狂歡背后的超強(qiáng)計算引擎


“整個天貓雙11,你看到的一切,幾乎都是由算法決定的?!痹跀?shù)據(jù)科學(xué)家們看來,雙11是無數(shù)個“0和1”、成千上萬套算法的疊加。這是一場機(jī)器和數(shù)學(xué)公式主導(dǎo)的全球購物狂歡。


今年雙11,無線端的交易將占主導(dǎo)地位。如何利用阿里巴巴存儲的數(shù)百PB數(shù)據(jù),在狹小的手機(jī)屏幕為用戶創(chuàng)造更智能化的購物體驗?這一切都將通過阿里云自主研發(fā)的大數(shù)據(jù)處理平臺ODPS來計算。


今年雙11,淘寶、天貓、支付寶、菜鳥等所有大數(shù)據(jù)處理工作,都將由阿里云ODPS來完成。在剛剛結(jié)束的2015世界Sort Benchmark排序比賽中,阿里云ODPS用377秒完成了100TB的數(shù)據(jù)排序,打破了此前Apache Spark創(chuàng)造的1406秒紀(jì)錄,一舉創(chuàng)造4項世界紀(jì)錄。


此外,ODPS的實時計算系統(tǒng)StreamSQL,雙11當(dāng)天預(yù)計日消息處理量將達(dá)上萬億條。而這一能力,正在通過阿里云逐步開放出來。


通過ODPS的大數(shù)據(jù)和實時計算能力,淘寶天貓正在進(jìn)行這樣的嘗試:讓商家可以根據(jù)消費者的實時位置推薦商品。比如,當(dāng)外地游客在逛西湖時,不妨推薦一些杭州特產(chǎn)。


dataV:實時觸摸數(shù)據(jù)世界的脈搏


在阿里巴巴每天海量的交易面前,如何精準(zhǔn)把握由數(shù)據(jù)脈搏帶來的趨勢也成為極大的挑戰(zhàn)。對此,阿里巴巴研發(fā)了dataV數(shù)據(jù)可視化引擎,該引擎完全基于Web 技術(shù) ,可快速、低成本的部署。用于內(nèi)部的商品、交易、支付、數(shù)據(jù)中心等的可視化呈現(xiàn)和管理,幫助實現(xiàn)更精準(zhǔn)的調(diào)控。


自2013年起,雙11交易數(shù)據(jù)大屏成為對外直播狂歡節(jié)的重要窗口,而在2015年的全球狂歡節(jié)上,這一巨型數(shù)據(jù)大屏還將移植到水立方,以實時動態(tài)可視圖的方式向全球用戶直播雙11的數(shù)據(jù)魅力。


據(jù)悉,水立方數(shù)據(jù)大屏上,該數(shù)據(jù)可視化引擎既可以利用3D webgl技術(shù)從宏觀角度展示雙十一平臺總體交易訂單實時流向的全量展示,也可以通過便捷的交互手段,深入到城市級別進(jìn)行微觀的人群畫像分析。


目前,這一技術(shù)已計劃通過阿里云向外輸出,很快將會有標(biāo)準(zhǔn)化產(chǎn)品推出。


全站Https加密 保護(hù)全球用戶訪問安全


雙11已經(jīng)成為全球的節(jié)日,如果非洲的朋友想買個中國產(chǎn)的馬桶,他的體驗會是如何呢?


為提供更安全快速的訪問體驗,阿里云今年在全球部署CDN的國家和地區(qū)增加到30多個,覆蓋除南極洲外的六大洲,可從容應(yīng)對越來越多的海外用戶同時訪問。在國內(nèi),阿里云擁有近500個CDN節(jié)點,帶寬服務(wù)能力超10Tbps,實現(xiàn)毫秒級響應(yīng)。


不僅要快,還要安全,阿里云CDN為保障此次雙11狂歡節(jié),幫助淘寶、天貓、聚劃算等阿里電商平臺全面實現(xiàn)了HTTPS加密訪問,能有效防止資源被劫持,使用戶端與服務(wù)器之間收發(fā)的信息傳輸更加安全。據(jù)悉,這也是全球首家大型電商網(wǎng)站實現(xiàn)全站Https加密訪問。


精準(zhǔn)識別流量是用戶還是黑客攻擊


遇到雙十一類似的重大促銷節(jié)點,不少電商平臺流量激增。此時此刻,如何分辨哪些是正常流量,哪些是黑客借機(jī)惡意攻擊搗亂,過去一直是個老大難。


今年雙十一期間,阿里云安全團(tuán)隊通過數(shù)據(jù)模型實現(xiàn)了DDoS的檢測。當(dāng)流量來襲,在進(jìn)行安全防御之前,系統(tǒng)通過好人行為模型,惡意IP地址比對等技術(shù)手段,完成了對流量成分的分析,并最終實現(xiàn)了每次大促不放過一個黑客攻擊,更不讓一個用戶正常訪問受阻的愿景。


細(xì)心的淘寶用戶可能已經(jīng)發(fā)現(xiàn),今年雙十一省略了繁瑣的驗證碼輸入,買買買的體驗更順滑了。這背后就是阿里云安全團(tuán)隊反欺詐產(chǎn)品的“功勞”。


過去,設(shè)置手動輸入驗證碼主要是為了幫助系統(tǒng)識別正在交易的究竟是用戶還是機(jī)器。隨著反欺詐產(chǎn)品通過數(shù)據(jù)模型從用戶敲擊鍵盤、滑動鼠標(biāo)、點擊瀏覽頁面等行為中計算分析出電腦前的究竟是真實的用戶還是一臺機(jī)器,驗證碼終將逐漸完成使命,退出風(fēng)控防御的歷史舞臺。


目前,阿里云安全團(tuán)隊為雙十一護(hù)航的各項能力已通過安全品牌云盾對外輸出。


手機(jī)淘寶1秒打開


為了讓今年雙11消費者始終能保持飛一般的體驗,手機(jī)淘寶搭建了一個世界級無線云平臺,能夠同時服務(wù)億級用戶,并實現(xiàn)了一系列技術(shù)優(yōu)化:內(nèi)存節(jié)省50%,滑動提速20%,1秒打開手淘頁面。除此之外,雙11會場全面?zhèn)€性化,讓消費者在手機(jī)屏幕上也能輕松到自己喜歡的寶貝。


此外,手淘的攻城獅們還建立了2G網(wǎng)絡(luò)實驗室,通過不斷模擬測試,實現(xiàn)2G弱網(wǎng)環(huán)境下的手機(jī)也能實現(xiàn)1秒建立連接,讓沒有智能手機(jī)和高速網(wǎng)絡(luò)的消費者,也能擁有更流暢的購物體驗。


 
 

上一篇:iOS再曝重大BUG 黑客可監(jiān)聽iPhone電話和短信

下一篇:加拿大國防部研究提升車聯(lián)網(wǎng)安全