2023 年十大戰(zhàn)略技術(shù)趨勢中哪一項(xiàng)最需要 HTAP ?


前幾天,Gartner 發(fā)布了企業(yè)機(jī)構(gòu)在2023年需要探索的十大戰(zhàn)略技術(shù)趨勢。
Gartner 杰出研究副總裁 Frances Karamouzis 表示:“為了在經(jīng)濟(jì)動蕩時(shí)期增加企業(yè)機(jī)構(gòu)的盈利,首席信息官和IT高管必須在繼續(xù)加快數(shù)字化轉(zhuǎn)型的同時(shí),將目光從節(jié)約成本轉(zhuǎn)向新的卓越運(yùn)營方式。Gartner 2023年戰(zhàn)略技術(shù)趨勢圍繞優(yōu)化、擴(kuò)展和開拓這三大主題,這些技術(shù)能夠幫助企業(yè)機(jī)構(gòu)優(yōu)化韌性、運(yùn)營或可信度、擴(kuò)展垂直解決方案和產(chǎn)品交付并利用新的互動形式、更加快速地響應(yīng)或機(jī)會進(jìn)行開拓?!?/p>
Gartner 提出的 2023 年十大戰(zhàn)略技術(shù)趨勢按照順序分別是:
可持續(xù)性(Sustainability)
元宇宙(Metaverse)
超級應(yīng)用(Superapps)
自適應(yīng)AI(Adaptive AI)
數(shù)字免疫系統(tǒng)(Digital Immune System)
應(yīng)用可觀測性(Applied Observability?)
AI信任、風(fēng)險(xiǎn)和安全管理(Trust, Risk and Security Management)
行業(yè)云平臺(Industry Cloud Platforms)
平臺工程(Platform Engineering)
無線價(jià)值實(shí)現(xiàn)(Wireless Value Realization)
那么這十大技術(shù)中哪一項(xiàng)最適合使用HTAP呢?
不賣關(guān)子了,答案就是自適應(yīng) AI(Adaptive AI)。
自適應(yīng) AI?本意是傳統(tǒng)的 AI 系統(tǒng)需要面對不斷變化的環(huán)境,具體要求為:一是模型訓(xùn)練好以后,由于外部環(huán)境不斷改變,模型是否可以繼續(xù)應(yīng)用到不斷變化的環(huán)境中;二是模型訓(xùn)練好以后,需要添加更多的訓(xùn)練數(shù)據(jù)迭代模型;三是希望模型最后在推理的時(shí)候產(chǎn)生一些個(gè)性化的結(jié)果,而非一般化的結(jié)果。這三個(gè)新的要求實(shí)際上對 AI 模型來說是希望模型訓(xùn)練和推理逐漸走向在線訓(xùn)練、在線推理。
"在線推理"比較好理解,各大短視頻或者電商 APP 會結(jié)合用戶興趣持續(xù)推薦可能感興趣的內(nèi)容;"在線訓(xùn)練”是指背后的 AI 模型需要實(shí)時(shí)更新,只有實(shí)時(shí)更新才能更好響應(yīng)進(jìn)一步輸入的工作,進(jìn)而讓訓(xùn)練和推理形成正向循環(huán),這個(gè)叫作“自適應(yīng) AI”。
簡單來說,自適應(yīng)AI系統(tǒng)通過不斷反復(fù)訓(xùn)練模型并在運(yùn)行和開發(fā)環(huán)境中使用新的數(shù)據(jù)進(jìn)行學(xué)習(xí)來迅速適應(yīng)在最初開發(fā)過程中無法預(yù)見或獲得的現(xiàn)實(shí)世界情況變化。這些系統(tǒng)根據(jù)實(shí)時(shí)反饋動態(tài)調(diào)整它們的學(xué)習(xí)和目標(biāo),因此適合外部環(huán)境快速變化的運(yùn)營或者因?yàn)槠髽I(yè)目標(biāo)不斷變化而需要優(yōu)化響應(yīng)速度的運(yùn)營。
而在自適應(yīng)AI的這個(gè)實(shí)時(shí)分析訓(xùn)練的過程中,不可避免地要用到一些數(shù)據(jù),這些數(shù)據(jù)并不是越大越好的,正如 AI?和 ML?領(lǐng)域國際上最權(quán)威的學(xué)者之一吳恩達(dá)教授在今年年初接受?IEEE Spectrum?所說的:AI 的下一個(gè)發(fā)展方向,正在從“大”數(shù)據(jù)轉(zhuǎn)向“小”數(shù)據(jù)。
深度學(xué)習(xí)等方法通過“大”數(shù)據(jù)來訓(xùn)練模型學(xué)習(xí)特征,使用的數(shù)據(jù)和算力都太大。雖然目前通過使用預(yù)訓(xùn)練模型的方式在很大程度上解決了這個(gè)問題。但是依然不夠。能否通過小數(shù)據(jù)也訓(xùn)練出很好的模型呢?解決的方法是讓小數(shù)據(jù)成為優(yōu)質(zhì)數(shù)據(jù)。許多學(xué)習(xí)方法都是監(jiān)督學(xué)習(xí)的方式,需要對訓(xùn)練數(shù)據(jù)的特征進(jìn)行標(biāo)注。如果能挑選出有效的數(shù)據(jù),并且進(jìn)行準(zhǔn)確的標(biāo)注,通過優(yōu)質(zhì)數(shù)據(jù)訓(xùn)練出來的模型也有很好的泛化能力。設(shè)計(jì)一個(gè)有效甄別優(yōu)質(zhì)數(shù)據(jù)并能一致性標(biāo)注的系統(tǒng),以數(shù)據(jù)為中心的訓(xùn)練,這也就是“以數(shù)據(jù)為中心”的 AI 的理念轉(zhuǎn)變。
可以看到,這個(gè)解讀與我們在《HTAP 的下一步,SoTP初探(上):從”大“數(shù)據(jù)到”小“而”寬“數(shù)據(jù)》這篇文章里提到的“小”數(shù)據(jù)與“寬”數(shù)據(jù)應(yīng)用場景案例完全吻合。

當(dāng)然,我們這里講的自適應(yīng)AI,是屬于自適應(yīng)自動系統(tǒng)的一部分,這個(gè)趨勢無疑與StoneDB后續(xù)要重點(diǎn)投入的方向是強(qiáng)相關(guān)的,我們后續(xù)就會加強(qiáng)StoneDB的實(shí)時(shí)分析處理能力,還要加上 Autopilot 功能(這個(gè)功能本身就可以視作是自適應(yīng)AI或者自適應(yīng)ML的一種),StoneDB Autopilot 將在許多重要且具有挑戰(zhàn)性的方面加入自動化處理能力,以實(shí)現(xiàn)大規(guī)模的高查詢性能——包括配置、數(shù)據(jù)加載、查詢執(zhí)行和故障處理。它使用先進(jìn)的技術(shù)對數(shù)據(jù)采樣,收集數(shù)據(jù)和查詢的統(tǒng)計(jì)信息,并構(gòu)建機(jī)器學(xué)習(xí)模型,對內(nèi)存使用、網(wǎng)絡(luò)負(fù)載和執(zhí)行時(shí)間進(jìn)行建模。StoneDB Autopilot 使我們?Tianmu 引擎的查詢優(yōu)化器隨著執(zhí)行更多查詢而變得越來越智能,從而隨著時(shí)間的推移不斷提高系統(tǒng)性能。
聽起來是不是很酷?當(dāng)然,自適應(yīng) AI 還有很多可以應(yīng)用的場景,這是 Gartner 在提出生成式 AI 后又力推的一個(gè)主流技術(shù)趨勢,仔細(xì)觀察最近的 AI 技術(shù)市場,MLOps 和 AIOps 的熱度都在不斷上升,而要給這些核心技術(shù)加速的話,HTAP 是必不可少的,而在 HTAP 數(shù)據(jù)庫中,特別針對“小”而“寬”數(shù)據(jù)的SoTP(Serving over TP)型數(shù)據(jù)庫將迎來更多的挑戰(zhàn)和機(jī)遇。
附:2023年重要戰(zhàn)略技術(shù)趨勢包括:
可持續(xù)性(Sustainability)
可持續(xù)性貫穿2023年的所有戰(zhàn)略技術(shù)趨勢。在 Gartner 最近的一項(xiàng)調(diào)查中,首席執(zhí)行官們表示環(huán)境和社會變化已成為投資者的三大優(yōu)先事項(xiàng)之一,僅次于利潤和收入。這意味著為了實(shí)現(xiàn)可持續(xù)性目標(biāo),高管必須加大對滿足ESG需求的創(chuàng)新解決方案的投資力度。為此,企業(yè)機(jī)構(gòu)需要新的可持續(xù)技術(shù)框架來提高IT服務(wù)的能源和材料效率,通過可追溯性、分析、可再生能源和人工智能(AI)等技術(shù)實(shí)現(xiàn)企業(yè)的可持續(xù)發(fā)展,同時(shí)還要部署幫助客戶實(shí)現(xiàn)其可持續(xù)性目標(biāo)的IT解決方案。
開 拓
元宇宙(Metaverse)
Gartner將元宇宙定義為一個(gè)由通過虛擬技術(shù)增強(qiáng)的物理和數(shù)字現(xiàn)實(shí)融合而成的集體虛擬共享空間。這個(gè)空間具有持久性,能夠提供增強(qiáng)沉浸式體驗(yàn)。Gartner預(yù)計(jì)完整的元宇宙將獨(dú)立于設(shè)備并且不屬于任何一家廠商。它將產(chǎn)生一個(gè)由數(shù)字貨幣和非同質(zhì)化通證(NFT)推動的虛擬經(jīng)濟(jì)體系。Gartner預(yù)測,到2027年,全球超過40%的大型企業(yè)機(jī)構(gòu)將在基于元宇宙的項(xiàng)目中使用Web3、增強(qiáng)現(xiàn)實(shí)(AR)云和數(shù)字孿生的組合來增加收入。
超級應(yīng)用(Superapps)
超級應(yīng)用是一個(gè)集應(yīng)用、平臺和生態(tài)系統(tǒng)功能于一身的應(yīng)用程序。它不僅有自己的一套功能,而且還為第三方提供了一個(gè)開發(fā)和發(fā)布他們自己的微應(yīng)用的平臺。Gartner預(yù)測,到2027年,全球50%以上的人口將成為多個(gè)超級應(yīng)用的日活躍用戶。
Karamouzis表示:“雖然大多數(shù)超級應(yīng)用是移動應(yīng)用,但這個(gè)概念也可以應(yīng)用于Microsoft Teams、Slack等桌面客戶端應(yīng)用,關(guān)鍵在于超級應(yīng)用必須能夠整合并取代客戶或員工使用的多個(gè)應(yīng)用。”
自適應(yīng)AI(Adaptive AI)
自適應(yīng)AI系統(tǒng)通過不斷反復(fù)訓(xùn)練模型并在運(yùn)行和開發(fā)環(huán)境中使用新的數(shù)據(jù)進(jìn)行學(xué)習(xí)來迅速適應(yīng)在最初開發(fā)過程中無法預(yù)見或獲得的現(xiàn)實(shí)世界情況變化。這些系統(tǒng)根據(jù)實(shí)時(shí)反饋動態(tài)調(diào)整它們的學(xué)習(xí)和目標(biāo),因此適合外部環(huán)境快速變化的運(yùn)營或者因?yàn)槠髽I(yè)目標(biāo)不斷變化而需要優(yōu)化響應(yīng)速度的運(yùn)營。
優(yōu) 化
數(shù)字免疫系統(tǒng)(Digital Immune System)
76%負(fù)責(zé)數(shù)字產(chǎn)品的團(tuán)隊(duì)現(xiàn)在還需要對營收負(fù)責(zé),因此首席信息官正在尋找新的實(shí)踐和方法,使其團(tuán)隊(duì)能夠在實(shí)現(xiàn)高商業(yè)價(jià)值的同時(shí),降低風(fēng)險(xiǎn)和提高客戶滿意度。數(shù)字免疫系統(tǒng)為他們提供了滿足這一要求的路線圖。
數(shù)字免疫系統(tǒng)通過結(jié)合數(shù)據(jù)驅(qū)動的運(yùn)營洞察、自動化和極限測試、自動化事件解決、IT運(yùn)營中的軟件工程以及應(yīng)用供應(yīng)鏈中的安全性來提高系統(tǒng)的彈性和穩(wěn)定性。Gartner預(yù)測,到2025年,投資建設(shè)數(shù)字免疫系統(tǒng)的企業(yè)機(jī)構(gòu)將能夠減少多達(dá)80%的系統(tǒng)宕機(jī)時(shí)間,所減少的損失將直接轉(zhuǎn)化為更高的收入。
應(yīng)用可觀測性(Applied Observability?)
在任何相關(guān)方采取任何類型的行動時(shí),都會產(chǎn)生包含了數(shù)字化特征的可觀測數(shù)據(jù),如日志、痕跡、API調(diào)用、停留時(shí)間、下載和文件傳輸?shù)?。?yīng)用可觀測性以一種高度統(tǒng)籌和整合的方式將這些可觀測的特征數(shù)據(jù)進(jìn)行反饋,創(chuàng)造出一個(gè)決策循環(huán),從而提高組織決策的有效性。
Karamouzis表示:“可觀測行應(yīng)用使企業(yè)機(jī)構(gòu)能夠利用他們的數(shù)據(jù)特征來獲得競爭優(yōu)勢。它能夠在正確的時(shí)間提高正確數(shù)據(jù)的戰(zhàn)略重要性,以便根據(jù)確認(rèn)的相關(guān)方行動而不是意圖采取快速行動,因此是一種強(qiáng)大的工具。如果能夠在戰(zhàn)略中予以規(guī)劃并成功執(zhí)行,可觀測性應(yīng)用將成為數(shù)據(jù)驅(qū)動型決策的最強(qiáng)大來源?!?/p>
AI信任、風(fēng)險(xiǎn)和安全管理(Trust, Risk and Security Management)
許多企業(yè)機(jī)構(gòu)未做好管理AI風(fēng)險(xiǎn)的充分準(zhǔn)備。Gartner在美國、英國和德國開展的一項(xiàng)調(diào)查顯示,41%的企業(yè)機(jī)構(gòu)曾經(jīng)歷過AI隱私泄露或安全事件。但該調(diào)查也發(fā)現(xiàn)積極管理AI風(fēng)險(xiǎn)、隱私和安全的企業(yè)機(jī)構(gòu)在AI項(xiàng)目中取得了更好的成果。與未積極管理這些功能的企業(yè)機(jī)構(gòu)的AI項(xiàng)目相比,在這些企業(yè)機(jī)構(gòu)中有更多的AI項(xiàng)目能夠從概念驗(yàn)證階段進(jìn)入到生產(chǎn)階段并實(shí)現(xiàn)更大的業(yè)務(wù)價(jià)值。
企業(yè)機(jī)構(gòu)必須使用新的功能來保證模型的可靠性、可信度、安全性和數(shù)據(jù)保護(hù)。AI信任、風(fēng)險(xiǎn)和安全管理(TRiSM)需要來自不同業(yè)務(wù)部門的參與者共同實(shí)施新的措施。
擴(kuò) 展
行業(yè)云平臺(Industry Cloud Platforms)
行業(yè)云平臺通過組合SaaS、平臺即服務(wù)(PaaS)和基礎(chǔ)設(shè)施即服務(wù)(IaaS)提供支持行業(yè)應(yīng)用場景的行業(yè)模塊化能力。企業(yè)可以將行業(yè)云平臺的打包功能作為基礎(chǔ)模塊,組合成獨(dú)特、差異化的數(shù)字業(yè)務(wù)項(xiàng)目,在提高敏捷性、推動創(chuàng)新和縮短產(chǎn)品上市時(shí)間的同時(shí)避免單一廠商鎖定。
Gartner預(yù)測,到2027年,超過50%的企業(yè)將使用行業(yè)云平臺來加速他們的業(yè)務(wù)項(xiàng)目。
平臺工程(Platform Engineering)
平臺工程是一套用來構(gòu)建和運(yùn)營支持軟件交付和生命周期管理的自助式內(nèi)部開發(fā)者平臺的機(jī)制和架構(gòu)。平臺工程的目標(biāo)是優(yōu)化開發(fā)者體驗(yàn)并加快產(chǎn)品團(tuán)隊(duì)為客戶創(chuàng)造價(jià)值的速度。
Gartner預(yù)測,到2026年,80%的軟件工程組織將建立平臺團(tuán)隊(duì),其中75%將包含開發(fā)者自助服務(wù)門戶。
無線價(jià)值實(shí)現(xiàn)(Wireless Value Realization)
由于沒有一項(xiàng)技術(shù)能夠占據(jù)主導(dǎo)地位,企業(yè)將使用一系列無線解決方案來滿足辦公室Wi-Fi、移動設(shè)備服務(wù)、低功耗服務(wù)以及無線電連接等所有場景的需求。Gartner預(yù)測,到2025年,60%的企業(yè)將同時(shí)使用五種以上的無線技術(shù)。
網(wǎng)絡(luò)的功能將不再僅限于純粹的連接,它們將使用內(nèi)置的分析功能提供洞察,而其低功耗系統(tǒng)將直接從網(wǎng)絡(luò)中獲取能量。這意味著網(wǎng)絡(luò)將直接產(chǎn)生商業(yè)價(jià)值。

StoneDB?2.0?云原生分布式實(shí)時(shí) HTAP 架構(gòu)詳細(xì)設(shè)計(jì)以?RFC?形式持續(xù)進(jìn)行,歡迎大家關(guān)注我們最新進(jìn)展,更歡迎給我們開源協(xié)作的模式和方法提出改進(jìn)意見,一起通過開源的方式共建 StoneDB ~