一場機器和數學主導的狂歡:雙11關鍵技術曝光 |
來源:聚銘網絡 發(fā)布時間:2015-11-12 瀏覽次數: |
2015-11-12 天下網商
功能介紹
2015天貓雙11全球狂歡節(jié)拉開帷幕,阿里巴巴的工程師們又忙碌了起來。在力保全球“剁手黨”順暢購物的同時,他們還將在雙11驗證多項開創(chuàng)性技術,對全世界展示阿里巴巴的整體技術實力。
阿里巴巴雙11技術總指揮劉振飛表示:“雙11不僅是一場全球消費者的狂歡,也是對中國互聯網技術體系的實力檢驗。一下子幾千萬人涌進來買買買, 這種真實的商業(yè)場景全世界一年也只有一次。阿里技術人能夠用世界級的技術創(chuàng)新,支撐世界級的經濟現象,是非常幸運的?!?/span>
去年雙11,阿里巴巴在全球首創(chuàng)交易系統(tǒng)“異地雙活”,而今年有了更大的突破:在支付寶這樣高度復雜與嚴謹的金融系統(tǒng)中,實現1000公里以上的“異地多活”能力。
“異地多活”已經超越了兩地三中心等傳統(tǒng)災備概念,可實現多地數據中心像一個數據中心一樣工作,即使某一處數據中心出現故障,雙11在線業(yè)務仍然能夠快速恢復正常運轉。
“數據中心的切換,要在用戶毫無感知的情況下進行,這就像為正在飛行的波音747飛機更換引擎。不僅不能影響飛行,飛機上的乘客也不能有感覺”。目前,阿里巴巴支撐雙11的多地數據中心,最遠距離已超過1000公里,這就意味著阿里巴巴具備了在全國任意節(jié)點部署系統(tǒng)的能力。
公開資料顯示,全球能夠做到異地多活技術的只有少數幾家互聯網巨頭,如Google、Facebook。但二者的搜索、社交場景對數據同步性的要求遠不如交易、支付場景苛刻,“如果你賬戶里的錢無緣無故地多一個0或少一個0,后果都很嚴重?!?/span>
同時,阿里巴巴正在將這一過程中積累的技術逐步開放。比如,可以在較長延時的情況下解決多點數據同步的技術,已經通過阿里云數據傳輸產品(Data Transmission)對外開放,能夠讓云用戶輕松實現遠距離、毫秒級異步數據傳輸。
今年雙11的核心交易流量,將100%由金融級海量數據庫OceanBase承載。這一事件將對全球IT業(yè)的格局產生深遠影響。
OceanBase由阿里巴巴自主研發(fā),是中國首個具有自主知識產權的數據庫,也是全球首個應用在金融業(yè)務的分布式關系數據庫。
OceanBase 2010年誕生,2014年支撐了10%的雙11交易流量。今年6月,網商銀行開業(yè),底層數據庫全部采用OceanBase,是第一家完全擺脫商業(yè)數據庫的金融機構。而PayPal等美國金融機構,仍然主要依靠Oracle等。
與傳統(tǒng)數據庫相比,OceanBase的系統(tǒng)維護,不需要昂貴的共享存儲設備和高性能服務器,還能節(jié)省數據庫軟件的許可費,和常用的商業(yè)數據庫相比,成本不到其一半。同時,分布式的系統(tǒng),可以更好地應對雙11這類大流量沖擊:彈性能力可保證大促之前完成一鍵擴容、大促之后實現一鍵縮容。
同樣,OceanBase也計劃于明年通過阿里云的公共云計算平臺對外界開放。
每年雙11,為了應對巨大的流量沖擊,阿里都需要新建淘寶和天貓的交易單元,與原有的系統(tǒng)一起“協(xié)同作戰(zhàn)”,以便分散流量,減輕系統(tǒng)負擔。
以往,重新部署一套交易單元至少需要提前1個月的時間準備。今年雙11,由于采用了“一鍵建站”的技術,使得這項費時費力的巨大工程,得以在90分鐘之內自動化完成。
一鍵建站,是指在基礎設施具備的條件下,通過阿里自研的自動化軟件,將中間件、數據庫、商品交易系統(tǒng)、商品展示系統(tǒng)等上百個電商核心系統(tǒng),像搭積木一樣部署完成。整個過程一鍵完成,基本無需人工干預,所需時間不到90分鐘。
今年,阿里云將繼續(xù)通過聚石塔向雙11商家輸送充足的計算能力。搭建在阿里云平臺上的聚石塔,今年預計將處理99%以上的雙11訂單,可支持單個天貓商家日處理訂單超過400萬單。
2012年開始,聚石塔以阿里云為基礎推出一整套的解決方案,為天貓、淘寶平臺上的服務商及商家服務。聚石塔部署在阿里云的遠程數據中心中,安全條件、穩(wěn)定性、性能遠超過商家的辦公環(huán)境和傳統(tǒng)IDC,針對設備故障,斷網斷電等均有應急預案。
在傳統(tǒng)模式下,商家做促銷時要進行服務器擴容,小賣家要去電腦城買幾臺機器扛回家,大賣家則需要臨時尋找IDC資源,在應對了促銷節(jié)點之后,業(yè)務量回落,服務器又會閑置無用,造成了很大浪費。通過聚石塔,商家可隨時線上擴充服務器資源,想用幾天就用幾天,用后再縮回去,低碳環(huán)保又省錢。
2014年,聚石塔處理了96%的雙11訂單,無一故障、無一漏單。2015年,通過云計算系統(tǒng)的優(yōu)化,中間件能力的使用,服務商應用系統(tǒng)整體性能比之前提升62%,能支持單個商家每天400萬以上的訂單處理能力。
據介紹,目前支付寶在技術上已全面升級到金融云架構,可以支持每日十億筆以上的支付處理能力,并且具備了金融級的“異地多活”容災能力。
跟支付寶有合作的200多家銀行,一直是雙11支付保障的主力軍。今年各家銀行的系統(tǒng)容量在去年雙11的基礎上擴大了一倍。從8月份開始,各家銀行就逐步對擴容后的系統(tǒng)進行仿實戰(zhàn)的高強度壓力測試。壓測覆蓋了用戶從開始購物到創(chuàng)建交易、訪問收銀臺到最終完成支付的整個鏈路,確保包含基礎設施、業(yè)務系統(tǒng)和銀行渠道在內的整個系統(tǒng)可以穩(wěn)定支撐雙11的驚人支付洪峰。
“整個天貓雙11,你看到的一切,幾乎都是由算法決定的?!痹跀祿茖W家們看來,雙11是無數個“0和1”、成千上萬套算法的疊加。這是一場機器和數學公式主導的全球購物狂歡。
今年雙11,無線端的交易將占主導地位。如何利用阿里巴巴存儲的數百PB數據,在狹小的手機屏幕為用戶創(chuàng)造更智能化的購物體驗?這一切都將通過阿里云自主研發(fā)的大數據處理平臺ODPS來計算。
今年雙11,淘寶、天貓、支付寶、菜鳥等所有大數據處理工作,都將由阿里云ODPS來完成。在剛剛結束的2015世界Sort Benchmark排序比賽中,阿里云ODPS用377秒完成了100TB的數據排序,打破了此前Apache Spark創(chuàng)造的1406秒紀錄,一舉創(chuàng)造4項世界紀錄。
此外,ODPS的實時計算系統(tǒng)StreamSQL,雙11當天預計日消息處理量將達上萬億條。而這一能力,正在通過阿里云逐步開放出來。
通過ODPS的大數據和實時計算能力,淘寶天貓正在進行這樣的嘗試:讓商家可以根據消費者的實時位置推薦商品。比如,當外地游客在逛西湖時,不妨推薦一些杭州特產。
在阿里巴巴每天海量的交易面前,如何精準把握由數據脈搏帶來的趨勢也成為極大的挑戰(zhàn)。對此,阿里巴巴研發(fā)了dataV數據可視化引擎,該引擎完全基于Web 技術 ,可快速、低成本的部署。用于內部的商品、交易、支付、數據中心等的可視化呈現和管理,幫助實現更精準的調控。
自2013年起,雙11交易數據大屏成為對外直播狂歡節(jié)的重要窗口,而在2015年的全球狂歡節(jié)上,這一巨型數據大屏還將移植到水立方,以實時動態(tài)可視圖的方式向全球用戶直播雙11的數據魅力。
據悉,水立方數據大屏上,該數據可視化引擎既可以利用3D webgl技術從宏觀角度展示雙十一平臺總體交易訂單實時流向的全量展示,也可以通過便捷的交互手段,深入到城市級別進行微觀的人群畫像分析。
目前,這一技術已計劃通過阿里云向外輸出,很快將會有標準化產品推出。
雙11已經成為全球的節(jié)日,如果非洲的朋友想買個中國產的馬桶,他的體驗會是如何呢?
為提供更安全快速的訪問體驗,阿里云今年在全球部署CDN的國家和地區(qū)增加到30多個,覆蓋除南極洲外的六大洲,可從容應對越來越多的海外用戶同時訪問。在國內,阿里云擁有近500個CDN節(jié)點,帶寬服務能力超10Tbps,實現毫秒級響應。
不僅要快,還要安全,阿里云CDN為保障此次雙11狂歡節(jié),幫助淘寶、天貓、聚劃算等阿里電商平臺全面實現了HTTPS加密訪問,能有效防止資源被劫持,使用戶端與服務器之間收發(fā)的信息傳輸更加安全。據悉,這也是全球首家大型電商網站實現全站Https加密訪問。
遇到雙十一類似的重大促銷節(jié)點,不少電商平臺流量激增。此時此刻,如何分辨哪些是正常流量,哪些是黑客借機惡意攻擊搗亂,過去一直是個老大難。
今年雙十一期間,阿里云安全團隊通過數據模型實現了DDoS的檢測。當流量來襲,在進行安全防御之前,系統(tǒng)通過好人行為模型,惡意IP地址比對等技術手段,完成了對流量成分的分析,并最終實現了每次大促不放過一個黑客攻擊,更不讓一個用戶正常訪問受阻的愿景。
細心的淘寶用戶可能已經發(fā)現,今年雙十一省略了繁瑣的驗證碼輸入,買買買的體驗更順滑了。這背后就是阿里云安全團隊反欺詐產品的“功勞”。
過去,設置手動輸入驗證碼主要是為了幫助系統(tǒng)識別正在交易的究竟是用戶還是機器。隨著反欺詐產品通過數據模型從用戶敲擊鍵盤、滑動鼠標、點擊瀏覽頁面等行為中計算分析出電腦前的究竟是真實的用戶還是一臺機器,驗證碼終將逐漸完成使命,退出風控防御的歷史舞臺。
目前,阿里云安全團隊為雙十一護航的各項能力已通過安全品牌云盾對外輸出。
為了讓今年雙11消費者始終能保持飛一般的體驗,手機淘寶搭建了一個世界級無線云平臺,能夠同時服務億級用戶,并實現了一系列技術優(yōu)化:內存節(jié)省50%,滑動提速20%,1秒打開手淘頁面。除此之外,雙11會場全面?zhèn)€性化,讓消費者在手機屏幕上也能輕松到自己喜歡的寶貝。
此外,手淘的攻城獅們還建立了2G網絡實驗室,通過不斷模擬測試,實現2G弱網環(huán)境下的手機也能實現1秒建立連接,讓沒有智能手機和高速網絡的消費者,也能擁有更流暢的購物體驗。
|
上一篇:iOS再曝重大BUG 黑客可監(jiān)聽iPhone電話和短信 下一篇:加拿大國防部研究提升車聯網安全 |