亞馬遜云科技Serverless data:從單一場景走向全棧融合
對于Serverless,我們可以把它理解為一種架構(gòu),一種理念,甚至是一種思想。Serverless的核心目的,就是在云計算的基礎(chǔ)上,再向前邁進(jìn)一步,徹底“包攬”所有的環(huán)境工作,直接提供計算服務(wù)。

Serverless就是這樣的典型代表:從2012年概念甫一提出時的艷冠全場,到2019年伯克利團(tuán)隊發(fā)出“Serverless將取代傳統(tǒng)云計算模式”時的波瀾不驚——這個“事先張揚”的革命性創(chuàng)新不再是輿論的焦點,但真正的改變也恰在此時發(fā)生。作為底層架構(gòu)級別的變革,Serverless意味著用戶不必在服務(wù)器配置、維護(hù)、更新、擴展和容量規(guī)劃等方面耗時費力,可以將更多的精力放到業(yè)務(wù)邏輯上。用戶關(guān)注重心的調(diào)整也促使Serverless不斷進(jìn)化,從減輕運維壓力向全方位滿足業(yè)務(wù)需求轉(zhuǎn)變。在影響用戶業(yè)務(wù)發(fā)展的諸多因素中,數(shù)據(jù)也許是最大的變量。
IDC咨詢發(fā)布的報告顯示,2021年全球數(shù)據(jù)總量約有80ZB,到2025年預(yù)計將飆升至180ZB。其中,直接或間接產(chǎn)生于云和互聯(lián)網(wǎng)數(shù)據(jù)中心的數(shù)據(jù)占比處于絕對領(lǐng)先地位。事實上,依托云平臺進(jìn)行數(shù)字化轉(zhuǎn)型的行業(yè)用戶,對數(shù)據(jù)服務(wù)易用性的要求越來越高,希望最大限度減少對底層基礎(chǔ)設(shè)施的依賴。Serverless作為一種先進(jìn)的云原生架構(gòu),其價值不再局限于計算層面,而是已成為云原生數(shù)據(jù)庫、數(shù)據(jù)分析乃至人工智能的標(biāo)配。從這個意義上講,數(shù)據(jù)服務(wù)堪稱Serverless架構(gòu)“皇冠上的明珠”,踐行端到端的數(shù)據(jù)旅程是Serverless實質(zhì)性躍遷的必由之路。在這片充滿挑戰(zhàn)的創(chuàng)新高地上,亞馬遜云科技扮演著全程領(lǐng)跑者的角色,且率先完成了Serverless的全面布局。
從單一場景走向全棧融合
需要指出的是,無服務(wù)器數(shù)據(jù)服務(wù)并非突然從天而降,而是自Serverless誕生之日起就生根發(fā)芽,逐漸從單一場景發(fā)展到全棧融合。

作為云計算的開創(chuàng)者與引領(lǐng)者,亞馬遜云科技在Serverless數(shù)據(jù)服務(wù)領(lǐng)域的探索起步很早,且創(chuàng)建出多個具有里程碑意義的標(biāo)桿:2006年,公司誕生伊始打造的Amazon S3就是帶有Serverless特征的對象存儲服務(wù);2012年,推出在功能上已具備Serverless特性的云原生數(shù)據(jù)庫Amazon DynamoDB;2013年,消息流處理Serverless服務(wù)Amazon Kinesis問世;2014年,Amazon Lambda服務(wù)普及了抽象的Serverless計算模型;2016年,發(fā)布Serverless架構(gòu)的商務(wù)智能軟件Amazon Quicksight;2018年,Amazon Aurora Serverless亮相。
如果說這些產(chǎn)品為Serverless數(shù)據(jù)服務(wù)的蛻變奠定了堅實基礎(chǔ),那么最近兩年出現(xiàn)的加速突破則讓Serverless數(shù)據(jù)服務(wù)站上了風(fēng)口浪尖:2021年,亞馬遜云科技發(fā)布三款Serverless架構(gòu)的數(shù)據(jù)分析服務(wù),分別是流式數(shù)據(jù)管道Amazon MSK Serverless、大數(shù)據(jù)分析平臺Amazon EMR Serverless、數(shù)據(jù)倉庫Amazon Redshift Serverless;2022年,Amazon OpenSearch Serverless日志分析引擎正式登場,標(biāo)志著數(shù)據(jù)分析領(lǐng)域的“全Serverless架構(gòu)”浮出水面。

當(dāng)越來越多的珍珠打磨成型,更需要一條金線貫穿其間。Serverless Data是亞馬遜云科技具備Serverless特性數(shù)據(jù)服務(wù)的統(tǒng)稱,可謂云原生數(shù)據(jù)服務(wù)的下一代技術(shù)架構(gòu)與“新常態(tài)”——無服務(wù)器數(shù)據(jù)庫、無服務(wù)器數(shù)據(jù)分析、無服務(wù)器人工智能服務(wù)即是這條“金線”上的“珍珠”,其協(xié)同發(fā)力會給用戶帶來多維度的價值。首先是免運維,用戶無需關(guān)心底層架構(gòu)細(xì)節(jié),托管數(shù)據(jù)庫服務(wù)和數(shù)據(jù)分析服務(wù)會顯著降低運維成本和運營風(fēng)險;其次是即開即用,用戶在需要時啟動服務(wù),無需預(yù)先為未來的峰值流量或訪問量準(zhǔn)備資源,或為不使用的空閑資源付費;再次是簡單易用,高度可配置和自動化的特性,大幅降低數(shù)據(jù)集成和數(shù)據(jù)處理的復(fù)雜性,使開發(fā)者可專注于業(yè)務(wù)邏輯。
此外,Serverless Data還具備自動按業(yè)務(wù)負(fù)載擴縮容的能力,保證應(yīng)用程序始終擁有所需的計算和存儲資源;其內(nèi)置的多個高可用和容錯性機制,如數(shù)據(jù)備份和恢復(fù)、多可用區(qū)部署等,提升了數(shù)據(jù)的可靠性和持久性。
千行百業(yè)場景化落地全面提速
在Serverless從計算向數(shù)據(jù)服務(wù)持續(xù)挺進(jìn)的過程中,千行百業(yè)的數(shù)字化轉(zhuǎn)型也逐步進(jìn)入深水區(qū),以單點突圍的方式部分嘗試Serverless已不能滿足需求,全面擁抱Serverless架構(gòu)的新時代正在到來。

無服務(wù)器數(shù)據(jù)分析是Serverless數(shù)據(jù)服務(wù)的重要組成部分,也是促進(jìn)行業(yè)用戶完成場景化落地的核心利器。在傳統(tǒng)的數(shù)據(jù)分析模式下,用戶需要預(yù)先購買一定數(shù)量的計算資源,并通過配置、部署和維護(hù)等多個環(huán)節(jié)構(gòu)建數(shù)據(jù)分析系統(tǒng);而無服務(wù)器數(shù)據(jù)分析則將這些步驟都交給云服務(wù)商完成,用戶只需上傳數(shù)據(jù)和代碼,即可使用由云服務(wù)商自動分配的計算資源,解決數(shù)據(jù)處理和分析問題。在無服務(wù)器數(shù)據(jù)分析這個創(chuàng)新高地上,Amazon Redshift Serverless和Amazon EMR Serverless是兩朵盛開的“雪蓮”。前者是無服務(wù)器的云數(shù)據(jù)倉庫服務(wù),可根據(jù)需求自動調(diào)整資源以適應(yīng)變化的工作負(fù)載,并提供高效的分布式查詢引擎和內(nèi)置的機器學(xué)習(xí)功能;后者是無服務(wù)器的大數(shù)據(jù)分析服務(wù),能在按需計算的集群上運行Apache Spark和Apache Hive等數(shù)據(jù)處理工具,從而提升高可擴展的數(shù)據(jù)分析和處理能力。
值得關(guān)注的是,Amazon Redshift Serverless已在諸多場景遍地開花:在APP埋點采集與點擊流分析方面,互聯(lián)網(wǎng)與游戲行業(yè)客戶從前端的數(shù)據(jù)采集、入倉入湖到數(shù)據(jù)分析、結(jié)果展示都得到Serverless解決方案的支撐;在實時數(shù)倉、實時大屏分析方面,不僅幫助電商、直播平臺等行業(yè)用戶解決促銷高峰期的實時銷售管理和風(fēng)控難題,而且輔助新能源行業(yè)龍頭企業(yè)對設(shè)備的部署、運轉(zhuǎn)、設(shè)計合理性和故障率等參數(shù)指標(biāo)進(jìn)行實時分析,打開了通往制造業(yè)數(shù)智化的大門。作為Amazon Redshift Serverless的黃金拍檔,Amazon EMR Serverless在行業(yè)場景的落地進(jìn)程也取得豐碩成果。在金融行業(yè),某券商業(yè)務(wù)遍布全球,面臨資源分散、運維成本高昂、擴縮容不靈活、業(yè)務(wù)間爭搶資源等痛點。在Amazon EMR Serverless的驅(qū)動下,各項應(yīng)用可在自己的資源池中運行,并以細(xì)顆粒度的方式使用資源,在更好隔離業(yè)務(wù)的同時提升了資源利用效率。在傳媒與廣告行業(yè),某大型廣告服務(wù)商遇到業(yè)務(wù)線分散、項目數(shù)據(jù)隔離要求高、運維管理過于復(fù)雜等難題。在充分理解客戶需求的基礎(chǔ)上,Amazon EMR Serverless方案實現(xiàn)在生產(chǎn)環(huán)境快速部署,針對低頻率的ETL工作有效降低使用成本,并達(dá)成了數(shù)據(jù)隔離、改善效率的目標(biāo)。
Serverless數(shù)據(jù)服務(wù)未來可期
距離終端場景更近,滿足用戶漸趨多元化的需求,是Serverless數(shù)據(jù)服務(wù)長期進(jìn)化的根基。以簡化運維為例:Serverless架構(gòu)的既有優(yōu)勢就是免運維或非常簡單的配置即可使用,這固然大幅縮短了業(yè)務(wù)人員從各個場景構(gòu)建數(shù)據(jù)流管道的時間,但也在一定程度上制約了用戶個性化、定制化操作的空間。未來的Serverless數(shù)據(jù)服務(wù)將從面向運維轉(zhuǎn)為更靠近終端用戶,打破上升通道中既有的“天花板”。作為當(dāng)今的行業(yè)熱點之一,亞馬遜云科技引領(lǐng)架構(gòu)迅速發(fā)展。?3月30日,亞馬遜云科技創(chuàng)新大會即將隆重啟幕。從Serverless應(yīng)用戰(zhàn)略、架構(gòu)進(jìn)化、數(shù)據(jù)與分析、開發(fā)工具等多方面為企業(yè)IT決策者、業(yè)務(wù)創(chuàng)新決策者與開發(fā)者帶來最新的Serverless行業(yè)洞察、技術(shù)資訊與最佳實踐。借助亞馬遜云科技Serverless技術(shù)與服務(wù),推動企業(yè)數(shù)字化轉(zhuǎn)型進(jìn)程,加速創(chuàng)新步伐。相約而行吧!??點擊閱讀原文,報名參加亞馬遜云科技創(chuàng)新大會!