十一載風(fēng)雨歷程,亞馬遜云科技re:Invent加速底層技術(shù)創(chuàng)新

文/在前線 華仔
知格局,曉大勢,著創(chuàng)新;一場云產(chǎn)業(yè)的技術(shù)大秀已經(jīng)拉開帷幕。
作為云計算的開創(chuàng)者,每年亞馬遜云科技舉辦的re:Invent全球大會都會成為產(chǎn)業(yè)的風(fēng)向標(biāo)。能夠持續(xù)處于引領(lǐng)者地位,核心自然離不開強大的創(chuàng)新能力,面對全球數(shù)字化縱深發(fā)展新形勢,亞馬遜云科技基于客戶需求,不斷加速底層技術(shù)創(chuàng)新,并構(gòu)建全新的云原生端到端數(shù)據(jù)戰(zhàn)略,幫助用戶實現(xiàn)更快捷、安全的數(shù)據(jù)洞察。

圖為亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建
近日,亞馬遜云科技開啟了2022 re:Invent中國巡展活動,包含北京、上海、蘇州、成都、西安等多個城市,面向中國市場展示最新的產(chǎn)品、技術(shù)、前沿趨勢及最佳實踐。亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建表示,面對全球經(jīng)濟的不確定性,每個客戶都希望進一步降低成本、增強業(yè)務(wù)靈活性,更多中國企業(yè)也展現(xiàn)出了對全球市場的野望。亞馬遜云科技每年都會在re:Invent全球大會上發(fā)布許多重磅的新服務(wù)、新功能和新應(yīng)用,目的就是為全球各地區(qū)、各行業(yè)的用戶發(fā)展、創(chuàng)新和重塑提供支持。
在前線認(rèn)為,上云趨勢無可避免,快人一步的秘訣是更迅速的需求反饋及更強大的創(chuàng)新能力。在2022 re:Invent上,亞馬遜云科技發(fā)布了全新的云原生端到端數(shù)據(jù)戰(zhàn)略和三條自研芯片產(chǎn)品線的最新進展,這些創(chuàng)新來自于對客戶的傾聽,也是亞馬遜云科技在云計算領(lǐng)域不斷領(lǐng)先的新“底氣”。持續(xù)數(shù)日的中國巡展,將進一步為中國用戶剖析云技術(shù)創(chuàng)新的新形勢,全面助力企業(yè)抓住產(chǎn)業(yè)變革新機遇,重塑自身業(yè)務(wù)和產(chǎn)業(yè)格局。
全新數(shù)據(jù)戰(zhàn)略 re:Invent重塑企業(yè)上云能力
在Gartner發(fā)布的《2022年云基礎(chǔ)設(shè)施和平臺服務(wù)(CIPS)魔力象限》報告中,亞馬遜云科技(Amazon Web Services)再次霸榜Gartner云計算魔力象限,位居領(lǐng)導(dǎo)者象限圖中最高位置,這也是這是亞馬遜云科技連續(xù)第12年在Gartner該系列報告中處于領(lǐng)導(dǎo)者。
時至今日,這已經(jīng)是亞馬遜云科技第11年舉辦re:Invent,不僅有全球的5萬多客戶和合作伙伴參加了線下盛會,還有超過30萬人在線上齊聚。
盛會十一載,亞馬遜云科技見證了云計算產(chǎn)業(yè)發(fā)展的一波又一波高潮。
在陳曉建看來,re:Invent是重塑,也是亞馬遜云科技一直以來所秉持的精神內(nèi)核,而客戶的需求就是亞馬遜云科技堅持技術(shù)重塑的源泉。正是這樣,亞馬遜云科技根據(jù)用戶業(yè)務(wù)發(fā)展需求,結(jié)合行業(yè)發(fā)展趨勢,致力構(gòu)建全新的數(shù)據(jù)戰(zhàn)略。
眾所周知,數(shù)據(jù)是整個應(yīng)用程序業(yè)務(wù)邏輯的核心,也是每個組織數(shù)字化轉(zhuǎn)型的基石。我們處于數(shù)字時代發(fā)展的關(guān)鍵時刻,未來五年產(chǎn)生的數(shù)據(jù)量將會是數(shù)字世界開始以來的兩倍多。面對海量數(shù)據(jù),如何管理、挖掘其中的價值,則是每個企業(yè)直面的挑戰(zhàn)。
亞馬遜云科技堅持在數(shù)據(jù)存儲、分析、機器學(xué)習(xí)等方面創(chuàng)新,核心目的就是構(gòu)建一個云原生的數(shù)據(jù)戰(zhàn)略。亞馬遜云科技認(rèn)為,云原生的數(shù)據(jù)戰(zhàn)略由三個關(guān)鍵因素構(gòu)成,極致的性能,輕松和無處不在的連接,以及推行數(shù)據(jù)的普惠化,降低使用門檻。
其中,建立面向未來的云原生數(shù)據(jù)基礎(chǔ)設(shè)施是打造極致性能的關(guān)鍵。在亞馬遜云科技統(tǒng)計的數(shù)據(jù)中,前1000名客戶有94%使用了10項以上的數(shù)據(jù)庫和分析服務(wù),從這個趨勢來看,亞馬遜云科技致力于為業(yè)務(wù)場景構(gòu)建專門的服務(wù)。也是基于此,亞馬遜云科技提供Amazon Athena和 Apache Spark來進行復(fù)雜的數(shù)據(jù)處理。為了進一步減少用戶在基礎(chǔ)架構(gòu)配置層面的耗時,亞馬遜云科技推出適用于 Apache Spark 的 Amazon Athena以及針對 Apache Spark 的新 Amazon Redshift 集成預(yù)覽,讓用戶能夠在云端獲得更高的性能。
當(dāng)然,為了確保企業(yè)在可靠性和安全性的前提下,保持大規(guī)模情況下的高性能,并消除繁重復(fù)雜的工作,亞馬遜云科技在更新多項數(shù)據(jù)庫特性的基礎(chǔ)上,通過自動化和機器學(xué)習(xí)的內(nèi)置智能來減少客戶的手動任務(wù),并推出Amazon RDS藍/綠部署和Amazon Redshift Multi-AZ多可用區(qū)功能,提升運維效率的同時,為企業(yè)客戶的關(guān)鍵分析負載加上雙保險。
在構(gòu)建極致性能的基礎(chǔ)設(shè)施之后,便是打造高效的數(shù)據(jù)連接能力,這是實現(xiàn)跨組織數(shù)據(jù)一體化融合的必經(jīng)之路。在這方面,亞馬遜云科技推出從自動化數(shù)據(jù)路徑到數(shù)據(jù)治理工具的多項服務(wù),如將分散數(shù)據(jù)整合的ETL,這是進行機器學(xué)習(xí)建模的必要前置步驟。在本次2022 re:Invent上,亞馬遜云科技提出“Zero-ETL”(零ETL)的構(gòu)想,并推出Amazon Redshift流式注入功能、Amazon Redshift auto-copy from S3等多項全新集成功能,大幅降低用戶的服務(wù)使用工作量。
此外,亞馬遜云科技還新增22個新的 Amazon AppFlow 連接器以及可以訪問多達40多個新數(shù)據(jù)源的Amazon Sagemaker Data Wrangler,降低數(shù)據(jù)源獲取門檻。
數(shù)據(jù)治理方面,亞馬遜云科技通過Amazon Lake formation許可模型和授權(quán)機制使客戶可以搭建針對數(shù)據(jù)存儲層的精細化訪問控制,并借助Amazon DataZone和機器學(xué)習(xí)治理工具Amazon SageMaker ML Governance來實現(xiàn)快速、智能的數(shù)據(jù)管理服務(wù),提升客戶的數(shù)據(jù)洞察力。
構(gòu)建云原生端到端數(shù)據(jù)戰(zhàn)略的核心,還應(yīng)該借助教育和工具實現(xiàn)數(shù)據(jù)普惠化。在這方面,亞馬遜云科技推出Amazon DeepRacer對學(xué)生進行ML培訓(xùn)。目前,已有來自150個國家/地區(qū)的超過31萬名開發(fā)人員通過亞馬遜云科技 DeepRacer 接受了機器學(xué)習(xí)方面的培訓(xùn)。亞馬遜云科技也會持續(xù)深耕這個領(lǐng)域,幫助更多用戶實現(xiàn)新數(shù)據(jù)戰(zhàn)略的全周期部署。
錨定芯片自研之路 夯實底層技術(shù)創(chuàng)新地基
構(gòu)建云原生端到端的數(shù)據(jù)戰(zhàn)略是企業(yè)加快變革,重塑業(yè)務(wù)格局的最優(yōu)解,而為此提供支撐的便是堅持不懈的底層技術(shù)創(chuàng)新。
要想在云計算產(chǎn)業(yè)走得更遠、更深,自研芯片必不可少,這也成為了全球各大云服務(wù)商的共識。亞馬遜云科技深刻理解這一點,在創(chuàng)立云計算初期,便在自研芯片領(lǐng)域投入重兵。
在本次2022 re:Invent全球大會上,亞馬遜云科技在自研芯片的道路上更進一步,三條產(chǎn)品線各自開花,第五代虛擬化芯片Nitro5、Gravition3E以及機器學(xué)習(xí)推理芯片Inferentia2相繼亮相。亞馬遜云科技用十年時間,使得自研芯片矩陣不斷豐富、成長。
回顧亞馬遜 Nitro 系統(tǒng)的發(fā)展史,十年時間,歷經(jīng)四代,每一代Nitro都在性能和功能上帶來更驚艷的表現(xiàn)。初代Nitro只能提供 10 Gbps的網(wǎng)絡(luò)吞吐,每秒120萬的包轉(zhuǎn)發(fā)能力;到第四代Nitro 網(wǎng)絡(luò)性能已經(jīng)提高到 100 Gbps,每秒轉(zhuǎn)發(fā)1500萬個數(shù)據(jù)包。
Nitro的最大創(chuàng)新點在于,它將架構(gòu)演進與技術(shù)復(fù)雜性進行了解耦,類似于云原生架構(gòu)的思想,服務(wù)原子化,封裝功能到模塊內(nèi)部,接口標(biāo)準(zhǔn)化,從而大大降低了系統(tǒng)的復(fù)雜性,并提升了系統(tǒng)的可擴展性。數(shù)據(jù)顯示,最新發(fā)布的Nitro V5 晶體管數(shù)量大約是上一代Nitro芯片的兩倍,每秒數(shù)據(jù)包能力提高了60%,延遲減少30%,每瓦特性能提升40%。
Graviton3E是 Graviton 3 家族的最新成員,專為浮點和向量指令運算而優(yōu)化,這在高性能計算工作負載里非常重要。相比于 Graviton3實例,Graviton3E 在 HPL(線性代數(shù)的測量工具)上性能提升35%,在 GROMACS(分子運動)上性能提升 12%,在金融期權(quán)定價的工作負載上性能提升30%。
而機器學(xué)習(xí)芯片則由兩部分組成,用于訓(xùn)練的Trainium和用于推理的Inferentia。今年10月份,亞馬遜云科技發(fā)布專為云中的高性能模型訓(xùn)練而構(gòu)建訓(xùn)練芯片實例Amazon EC2 Trn1,大幅提高深度學(xué)習(xí)訓(xùn)練服務(wù)的性價比。此次,亞馬遜云科技推出Amazon EC2 Trn1n,這是一款基于Trainium的網(wǎng)絡(luò)優(yōu)化型訓(xùn)練實例,可以將網(wǎng)絡(luò)帶寬進一步增加一倍。
在推理方面,亞馬遜云科技帶來推理實例Amazon EC2 Inf2,這是基于最新款 Inferentia2 機器學(xué)習(xí)加速推理芯片,唯一一個專門為大型Transformer模型分布式推理建立的實例。
在底層技術(shù)的創(chuàng)新上,除了持續(xù)加速自研芯片的創(chuàng)新,亞馬遜云科技致力于構(gòu)建事件驅(qū)動的云原生應(yīng)用,由此實現(xiàn)軟硬件的共同進步。當(dāng)前,云原生已經(jīng)成為構(gòu)建現(xiàn)代化應(yīng)用的核心技術(shù),亞馬遜云科技也推出了大量服務(wù),如開創(chuàng)無服務(wù)器計算先河的Amazon Lambda,適用于容器的無服務(wù)器計算服務(wù)Amazon Fargate、專為云打造的高性能關(guān)系數(shù)據(jù)庫服務(wù)Amazon Aurora等。
在亞馬遜云科技看來,云原生應(yīng)用的構(gòu)建是一段旅程,包括構(gòu)建、治理和迭代3個階段9個節(jié)點。針對這些階段和節(jié)點,亞馬遜云科技推出相應(yīng)的服務(wù)與支持,并持續(xù)迭代。
以最新發(fā)布的Amazon Lambda SnapStart for Java Functions為例,Lambda是業(yè)界首個Serverless計算服務(wù),月活用戶超過百萬,每個月函數(shù)調(diào)用次數(shù)超過10萬億次。通過對用戶需求的觀察,亞馬遜云科技發(fā)現(xiàn),冷啟動一直是Lambda用戶關(guān)心的問題,特別是使用Java開發(fā)Lambda函數(shù)的客戶。
基于此,亞馬遜云科技推出 Lambda SnapStart,在函數(shù)新建和更新時,Lambda會啟動運行環(huán)境,當(dāng)用戶代碼完成初始化后,對整個微型虛擬機(MicroVM)進行快照;當(dāng)函數(shù)被調(diào)用時,Lambda會從快照實現(xiàn)亞秒級恢復(fù)運行環(huán)境,并運行用戶的handler函數(shù)。這樣不僅不會產(chǎn)生額外成本,還能大幅降低Java函數(shù)的冷啟動延遲。
對于數(shù)字時代演進而產(chǎn)生的新趨勢,如HPC,亞馬遜云科技同樣在深刻了解用戶需求后推出新服務(wù)。Hpc7g實例,應(yīng)對計算和網(wǎng)絡(luò)密集型負載,基于Graviton3E,配備200Gbps 帶寬的低延遲EFA網(wǎng)絡(luò),適合于運行計算密集型HPC應(yīng)用;Hpc6id實例,應(yīng)對數(shù)據(jù)和內(nèi)存密集型負載,可為其提供領(lǐng)先的性價比;對SRD網(wǎng)絡(luò)協(xié)議進行更新,推出高速虛擬網(wǎng)卡ENA Express,提供更低延遲和更高網(wǎng)絡(luò)吞吐量;Amazon SimSpace Weaver服務(wù),針對負載巨大且高度復(fù)雜的模擬應(yīng)用場景,主要幫助客戶構(gòu)建、操作和運行大規(guī)模的空間模擬仿真系統(tǒng)……據(jù)了解,亞馬遜云科技已連續(xù)7年獲得HPCWire評選的最佳HPC云平臺稱號,最近上演的大片《阿凡達2》也選擇了亞馬遜云科技來進行渲染工作。
可以說,亞馬遜云科技通過不斷地更新服務(wù)和功能來加速客戶的現(xiàn)代化應(yīng)用改造,多條線路齊頭并進,獲得了更多用戶的認(rèn)可,也讓亞馬遜云科技在云計算領(lǐng)域的領(lǐng)先地位更加鞏固。
“云數(shù)智”三位一體 助力用戶突破行業(yè)限制
加速底層技術(shù)創(chuàng)新,構(gòu)建云原生數(shù)據(jù)戰(zhàn)略,都是為了助力企業(yè)更好把握數(shù)字時代機遇,從日益復(fù)雜的數(shù)據(jù)中獲得洞察,迎接未知挑戰(zhàn),并擁有破局的能力。
面對充滿不確定性的全球經(jīng)濟大環(huán)境,企業(yè)的上云熱情會被最大限度激發(fā),安全、可靠、智能、計算、存儲等也會成為企業(yè)用戶直面的問題,這也驅(qū)動云計算產(chǎn)業(yè)進入新的發(fā)展階段。
陳曉建表示,云數(shù)智三位一體是云技術(shù)發(fā)展的大勢所趨,作為云計算的開創(chuàng)者,亞馬遜云科技的數(shù)智階段也早已開始。通過構(gòu)建云中統(tǒng)一的數(shù)據(jù)治理底座,為機器學(xué)習(xí)提供生產(chǎn)級別的數(shù)據(jù)處理能力,再結(jié)合客戶的實際需求,亞馬遜云科技可以賦能給業(yè)務(wù)人員更加智能的數(shù)據(jù)分析工具。
以新發(fā)布的Amazon Clean Rooms和Amazon Supply Chain為例。陳曉建告訴在前線,Amazon Clean Rooms不僅是一個獨立的、平臺級的解決方案,同時也是亞馬遜云科技整體營銷自動化解決方案的一部分,它可以幫助多方參與者共同完成數(shù)據(jù)上的協(xié)作。讓客戶放心地分享數(shù)據(jù)集而不會造成元數(shù)據(jù)的泄露。
Amazon Supply Chain則是針對供應(yīng)鏈管理的一個基于云的新應(yīng)用程序,可以幫助供應(yīng)鏈領(lǐng)導(dǎo)者減輕風(fēng)險并降低成本,以提高供應(yīng)鏈彈性。應(yīng)用場景也十分廣泛,涵蓋制造、汽車、零售、快消、化工、醫(yī)療等行業(yè)。
這些都是亞馬遜云科技基于用戶需求和反饋,提供的開箱即用的應(yīng)用程序和方案,更重要的是,亞馬遜云科技將AI/ML的能力植入到行業(yè)方案中,從而提高客戶對云的使用能力。
在前線認(rèn)為,亞馬遜云科技具備獨到的產(chǎn)業(yè)趨勢洞察和技術(shù)創(chuàng)新視野,從底層技術(shù)創(chuàng)新,到構(gòu)建全新的云原生數(shù)據(jù)戰(zhàn)略,再到推動客戶業(yè)務(wù)應(yīng)用向自動化、智能化方向發(fā)展,亞馬遜云科技用全線發(fā)展的勢頭,來奠定在云計算領(lǐng)域的持續(xù)領(lǐng)先。
同時,亞馬遜云科技堅持客戶為中心,并加大在中國市場的布局,將客戶需求轉(zhuǎn)化為源源不斷的創(chuàng)新動力,再反哺到客戶,助力更多企業(yè)在全球市場的揚帆遠航。