全球分布式云大會(huì)是分布式云技術(shù)和商業(yè)交流的旗艦級(jí)平臺(tái)，2023全球分布式云大會(huì)·北京站將于6月28日-29日正式召開(kāi)，本次大會(huì)以“云智筑基”為主題，探究人工智能（AI）在大模型全新的發(fā)展風(fēng)口，構(gòu)建新型泛在算力網(wǎng)絡(luò)的趨勢(shì)，如何利用分布式云、分布式數(shù)據(jù)庫(kù)、分布式存儲(chǔ)、邊緣云等構(gòu)建新型算力網(wǎng)絡(luò)，打造更強(qiáng)大的數(shù)字經(jīng)濟(jì)價(jià)值引擎。

本次大會(huì)來(lái)自騰訊云、火山引擎、阿里云、華為云、百度智能云、螞蟻集團(tuán)等云計(jì)算數(shù)字科技服務(wù)商，以及中國(guó)電信、中國(guó)移動(dòng)、中國(guó)聯(lián)通三大運(yùn)營(yíng)商等數(shù)技術(shù)專家，從分布式云行業(yè)前瞻性發(fā)展趨勢(shì)，底層云計(jì)算基礎(chǔ)設(shè)施突破性關(guān)鍵技術(shù)，分享高尖精技術(shù)和實(shí)踐案例，共同打造云計(jì)算領(lǐng)域的饕餮技術(shù)盛宴。

在06月28日下午的分布式存儲(chǔ)論壇上，騰訊云存儲(chǔ)產(chǎn)品負(fù)責(zé)人崔劍發(fā)表題為《云原生分布式存儲(chǔ)的架構(gòu)創(chuàng)新及商業(yè)價(jià)值》的精彩演講。

騰訊云原生存儲(chǔ)全矩陣

騰訊云存儲(chǔ)團(tuán)隊(duì)經(jīng)過(guò)十多年打磨與演練，基于騰訊集團(tuán)的存儲(chǔ)引擎，在底層層面構(gòu)建了較為完善的存儲(chǔ)可靠性、一致性、可用性、可擴(kuò)展性等能力，騰訊集團(tuán)的存儲(chǔ)所有內(nèi)部外業(yè)務(wù)全部基于騰訊的引擎向上構(gòu)建。

基于騰訊存儲(chǔ)底座可向上拓展更多產(chǎn)品能力與解決方案。產(chǎn)品能力分為多層，最底層是騰訊存儲(chǔ)對(duì)外的核心引擎，公有存儲(chǔ)引為騰訊云存儲(chǔ)公有云提供核心的對(duì)外產(chǎn)品化能力，騰訊數(shù)據(jù)萬(wàn)象CI提供騰訊云對(duì)外的智能存儲(chǔ)數(shù)據(jù)處理能力，是騰訊云存儲(chǔ)第二大引擎。第三大引擎是TStor，是騰訊云存儲(chǔ)對(duì)一些政府、金融、高校等私有屬性行業(yè)所提供的私有化部署交付能力核心引擎。

基于CI、COS、TStor三大引擎，騰訊云存儲(chǔ)向上拓展多種產(chǎn)品及解決方案，首先是數(shù)據(jù)湖、混合存儲(chǔ)、視圖計(jì)算、企業(yè)網(wǎng)盤(pán)、備份服務(wù)等產(chǎn)品級(jí)解決方案，這些解決方案會(huì)以PaaS或者SaaS的形態(tài)與客戶行業(yè)走得更近，能讓客戶的開(kāi)箱即用的使用存儲(chǔ)服務(wù)。

基于騰訊存儲(chǔ)產(chǎn)品能力再向上拓展，騰訊云存儲(chǔ)與騰訊云若干行業(yè)共同深入至用戶場(chǎng)景中，整合包括大數(shù)據(jù)、AI、混合云等場(chǎng)景，涉及運(yùn)營(yíng)商、金融、政府、高?；ヂ?lián)網(wǎng)等行業(yè)，為各行各業(yè)客戶貼合其特有的使用場(chǎng)景提供針對(duì)性解決方案，這就是騰訊云原生存儲(chǔ)整體布局。

公有云對(duì)象存儲(chǔ)COS——提供穩(wěn)定、海量、彈性的云原生存儲(chǔ)底座

公有云上的云原生存儲(chǔ)解決方案需要依托于公有云上的對(duì)象存儲(chǔ)作為云原生的底座，公有云的對(duì)象存儲(chǔ)經(jīng)過(guò)多年也發(fā)生較大的變化與創(chuàng)新。公有云對(duì)象存儲(chǔ)比較經(jīng)典的場(chǎng)景存儲(chǔ)分發(fā)、歸檔備份、大數(shù)據(jù)等等，站在用戶的視角基于幾個(gè)環(huán)節(jié)展開(kāi)對(duì)這個(gè)產(chǎn)品的使用。

首先是數(shù)據(jù)上傳，首先需要先產(chǎn)生數(shù)據(jù)并上傳，基于對(duì)象存儲(chǔ)的產(chǎn)生和上傳，騰訊云存儲(chǔ)包裝大量相關(guān)操作路徑與解決方案，如UGC的上傳、本地IDC離線數(shù)據(jù)存量上傳，騰訊云存儲(chǔ)分別提供類似于CDM的離線遷移設(shè)備，MSP在線跨云數(shù)據(jù)橫向遷移平臺(tái)等，讓用戶解決數(shù)據(jù)上傳的問(wèn)題。

數(shù)據(jù)上傳后則進(jìn)入數(shù)據(jù)存儲(chǔ)環(huán)節(jié)，相當(dāng)于甲方公司運(yùn)維或研發(fā)層人員管理數(shù)據(jù)。首先需要做好可用性保障、選型以及做好存儲(chǔ)產(chǎn)品性價(jià)比定義。騰訊云存儲(chǔ)在多級(jí)存儲(chǔ)部分是提供了業(yè)內(nèi)種類最多的存儲(chǔ)類別之一，基于客戶業(yè)務(wù)方對(duì)自身數(shù)據(jù)冷熱定義將數(shù)據(jù)在更好的時(shí)間點(diǎn)流轉(zhuǎn)到更合適的分組類型中，同時(shí)也會(huì)做好跨地域的融載。

第三個(gè)環(huán)節(jié)是數(shù)據(jù)的處理與挖掘。處理環(huán)節(jié)也分為多種不同的細(xì)分場(chǎng)景，如完成一個(gè)UGC全球分發(fā)平臺(tái)或基礎(chǔ)，原始的數(shù)據(jù)上傳后是無(wú)法直接使用，需經(jīng)多級(jí)多環(huán)節(jié)處理，比如要將數(shù)據(jù)進(jìn)行審核、質(zhì)量加工、裁剪、尺寸、水印等，數(shù)據(jù)萬(wàn)象產(chǎn)品就提供全面的數(shù)據(jù)處理能力。

還有便是偏離線處理，比如需要完成離線大數(shù)據(jù)分析系統(tǒng)后接BI，可能需要將其用戶的行為打點(diǎn)日志進(jìn)行MPP做分析，這就依賴于騰訊云存儲(chǔ)數(shù)據(jù)湖的解決方案，上層大數(shù)據(jù)的算力提供更好的存儲(chǔ)數(shù)據(jù)湖的支持，將騰訊云存儲(chǔ)高帶寬低延時(shí)的性能釋放。

完成數(shù)據(jù)處理后的最后環(huán)節(jié)是數(shù)據(jù)發(fā)布，要將可用的數(shù)據(jù)交予數(shù)據(jù)使用者手中，數(shù)據(jù)使用者或是遍布在全國(guó)全球的網(wǎng)民，或是企業(yè)內(nèi)部的數(shù)據(jù)開(kāi)發(fā)工程師。在這個(gè)環(huán)節(jié)，可使用數(shù)據(jù)萬(wàn)象實(shí)時(shí)處理能力搭配下游的部分外圍系統(tǒng)，如數(shù)據(jù)萬(wàn)象圖片壓縮 + CDN做全球分發(fā)，最終將數(shù)據(jù)以最小的成本發(fā)布出去，這是一個(gè)比較經(jīng)典的公有云對(duì)象存儲(chǔ)使用的模型。騰訊云存儲(chǔ)在這部分完成多年的打磨，旨在提供穩(wěn)定、海量、彈性的云原生存儲(chǔ)底座。

騰訊對(duì)象存儲(chǔ)COS目前有標(biāo)準(zhǔn)、低頻、歸檔、從熱到冷。不久后騰訊云存儲(chǔ)將新上一檔存儲(chǔ)——冷存儲(chǔ)，介于低頻和歸檔之間。冷存儲(chǔ)還是一個(gè)在線存取，用戶在GET的時(shí)候不需要進(jìn)行離線的分鐘級(jí)或者小時(shí)級(jí)的等待，立刻就能取回?cái)?shù)據(jù)，匹配多種在線系統(tǒng)實(shí)時(shí)取回的訴求，同時(shí)其成本又比標(biāo)本和低頻下降了很多百分點(diǎn)。

同時(shí)還要在此提及深度歸檔，這是騰訊存儲(chǔ)最冷的一級(jí)。深度歸檔在云上創(chuàng)新性地使用了部分非HDD的磁盤(pán)介質(zhì)的新型介質(zhì)，比如磁帶藍(lán)光等，通過(guò)新型介質(zhì)的上云實(shí)現(xiàn)云存儲(chǔ)極冷存儲(chǔ)的更低成本下降，其成本相較于基于磁盤(pán)搭建的存儲(chǔ)會(huì)下降50%以上。

基于這么多集的存儲(chǔ)會(huì)給用戶側(cè)的運(yùn)維工程師帶來(lái)難題，不同冷熱的數(shù)據(jù)應(yīng)該放在什么樣的存儲(chǔ)類型里面去，可能概念描述起來(lái)非常便于理解，熱數(shù)據(jù)放在標(biāo)準(zhǔn)，冷數(shù)據(jù)放在歸檔。但實(shí)際上定義數(shù)據(jù)的冷熱是一個(gè)難題，若非極有經(jīng)驗(yàn)的運(yùn)維工程師可能基于對(duì)業(yè)務(wù)系統(tǒng)的了解，能非常清楚的將數(shù)據(jù)合理地放在對(duì)應(yīng)存儲(chǔ)類型中，但如果數(shù)據(jù)系統(tǒng)較為復(fù)雜，或者運(yùn)維工程師相對(duì)經(jīng)驗(yàn)還沒(méi)有那么豐富，這其中就會(huì)存在運(yùn)維難題。

圍繞該痛點(diǎn)騰訊云存儲(chǔ)提供一系列解決方案，一是智能分層存儲(chǔ)，騰訊云存儲(chǔ)提供智能分層存儲(chǔ)概念，即傻瓜化的將部分底層邏輯進(jìn)行包裝，用戶只需要將手中偏熱的數(shù)據(jù)直接扔至智能分層存儲(chǔ)類型中，系統(tǒng)會(huì)基于對(duì)用戶使用模型的定義和判斷繪制出用戶畫(huà)像，推測(cè)用戶后續(xù)會(huì)基于什么樣的頻次讀寫(xiě)。如果系統(tǒng)捕捉發(fā)現(xiàn)這個(gè)數(shù)據(jù)較長(zhǎng)時(shí)間沒(méi)有被訪問(wèn)，系統(tǒng)會(huì)自動(dòng)幫助用戶把數(shù)據(jù)沉降到偏冷的低頻層去，幫助用戶節(jié)省成本。

當(dāng)數(shù)據(jù)降到低頻后，又突然在一段時(shí)間中產(chǎn)生比較多的訪問(wèn)請(qǐng)求，系統(tǒng)將自動(dòng)化為該數(shù)據(jù)熱度提升至高頻層，便于用戶拿到更好的延時(shí)和更好的性能表現(xiàn)?；谶@樣的產(chǎn)品形態(tài)，運(yùn)維工程師可大大減少工作難度。

另外一個(gè)則是智能存儲(chǔ)類型的分析能力，首先用戶篩選范圍，確認(rèn)哪個(gè)桶哪個(gè)數(shù)據(jù)需要完成分析。確定范圍后，騰訊云存儲(chǔ)將在底層構(gòu)建一個(gè)更大模型的判斷，然后基于用戶一條條訪問(wèn)日志的原始日志進(jìn)行分析，從而給出用戶更直截了當(dāng)?shù)慕Y(jié)果，推薦用戶這個(gè)數(shù)據(jù)應(yīng)該存到哪里，對(duì)于用戶來(lái)講是更好的選擇。

基于這樣的產(chǎn)品能力，騰訊云存儲(chǔ)在提供豐富存儲(chǔ)類型的同時(shí)，又提供較為完善的智能化推薦體系，以便于幫助用戶享受更低的成本和更加輕的運(yùn)維的能力。

騰訊云是智能存儲(chǔ)概念最早提出者之一。用戶會(huì)產(chǎn)生海量數(shù)據(jù)存到對(duì)象存儲(chǔ)中，隨著數(shù)據(jù)積累越多，用戶每天產(chǎn)生存儲(chǔ)的消費(fèi)也隨之越高，騰訊云致力于助力客戶業(yè)務(wù)降本增效，在降低成本的同時(shí)挖掘、提取數(shù)據(jù)價(jià)值。

數(shù)據(jù)萬(wàn)象CI——云原生智能存儲(chǔ)底座，為業(yè)務(wù)智能化賦能

騰訊云存儲(chǔ)提供一套相關(guān)的智能存儲(chǔ)解決方案，這套產(chǎn)品體系叫做數(shù)據(jù)萬(wàn)象（CI）。數(shù)據(jù)萬(wàn)象 CI 是專注于數(shù)據(jù)處理的一站式智能平臺(tái)，針對(duì)用戶普遍的需要面對(duì)多個(gè)服務(wù)的場(chǎng)景，提供圖片處理、媒體處理、 內(nèi)容審核、內(nèi)容 AI 識(shí)別、文檔服務(wù)等全品類多媒體數(shù)據(jù)的處理能力。同時(shí)與對(duì)象存儲(chǔ) COS 深度集成，提供開(kāi)箱即用的數(shù)據(jù)處理及 AI 智能化處理能力，降低用戶使用成本， 提升用戶體驗(yàn)，幫助用戶挖掘數(shù)據(jù)價(jià)值，是降本增效的利器。

數(shù)據(jù)萬(wàn)象 CI 是國(guó)內(nèi)首家提供AVIF圖片壓縮的云廠商（相比JPEG、WebP等格式縮小50%+）；同時(shí)是目前處理能力最豐富的存儲(chǔ)+處理平臺(tái)。

數(shù)據(jù)萬(wàn)象 CI 有三大特點(diǎn)，分別是1站式、0流量、快30%。

1站式：一套API，開(kāi)箱即用，降低使用門(mén)檻；

0流量：服務(wù)間調(diào)用零外網(wǎng)流量，用戶成本低；

快30%：圖片處理速度比競(jìng)品速度平均快30%。

基于這三大產(chǎn)品特點(diǎn)，騰訊云存儲(chǔ)在工程層面又提供工作流的能力，讓用戶通過(guò)拖拽式的工作流搭建，形成直接拖拽式的自然生成，系統(tǒng)會(huì)基于用戶的輸入進(jìn)行串型或者并行的處理的能力，通過(guò)工作流的方式自動(dòng)觸發(fā)，幫助用戶進(jìn)一步的減輕運(yùn)維的難度。此外，騰訊云存儲(chǔ)也同步挖掘向上解決方案。比如內(nèi)容生產(chǎn)、手機(jī)相冊(cè)聚類、智能搜索等都可以智能存儲(chǔ)數(shù)據(jù)萬(wàn)象CI為內(nèi)核、引擎快速搭建。

騰訊云視圖計(jì)算平臺(tái)——提供端到端的云原生視頻監(jiān)控存儲(chǔ)解決方案

有別于傳統(tǒng)視頻監(jiān)控建設(shè)系統(tǒng)，視圖計(jì)算平臺(tái)有如下幾個(gè)特點(diǎn)

1. 提供多樣化的上云方式，如標(biāo)準(zhǔn)協(xié)議直連、私有協(xié)議加密上云、邊緣端網(wǎng)關(guān)級(jí)連等，可以解決用戶跨地域、多廠商、多協(xié)議終端設(shè)備統(tǒng)一納管問(wèn)題，幫助用戶實(shí)現(xiàn)設(shè)備更快捷上云。

2. 支持?jǐn)?shù)據(jù)直存客戶自有COS存儲(chǔ)桶和數(shù)據(jù)分層存儲(chǔ)，解決客戶數(shù)據(jù)上云合規(guī)要求，降低客戶成本投入

3. “接入+存儲(chǔ)+分析”全鏈路服務(wù)，同時(shí)提供基礎(chǔ)視頻SaaS+AI算法應(yīng)用，讓客戶切實(shí)感受到一站式的視頻閉環(huán)體驗(yàn)

這也是騰訊云云原生的存儲(chǔ)團(tuán)隊(duì)打磨帶來(lái)的一些特殊價(jià)值，同時(shí)產(chǎn)品與對(duì)象存儲(chǔ)COS、智能存儲(chǔ)CI打通，提供高性價(jià)比的視圖智能化管理能力；正在與泛互聯(lián)網(wǎng)、零售、制造業(yè)、運(yùn)營(yíng)商等產(chǎn)業(yè)生態(tài)打通，提供更多場(chǎng)景化方案。

數(shù)據(jù)湖存儲(chǔ)GooseFS——云原生數(shù)據(jù)湖存儲(chǔ)新形態(tài)，多級(jí)加速體系助力業(yè)務(wù)釋放效能

數(shù)據(jù)湖分為計(jì)算和存儲(chǔ)，在數(shù)據(jù)湖存儲(chǔ)這個(gè)方向還缺少相對(duì)比較統(tǒng)一的標(biāo)準(zhǔn)。

GooseFS面向數(shù)據(jù)湖多種業(yè)務(wù)場(chǎng)景，根據(jù)Dataset大小、性能需求，GooseFS提供包括MEM、NVME SSD等多種緩存加速方案。GooseFS提供TB級(jí)吞吐、百萬(wàn)級(jí)IOPS；全量數(shù)據(jù)持久化在COS上，提供海量低成本存儲(chǔ)，支持?jǐn)?shù)據(jù)全生命周期管理；利用計(jì)算節(jié)點(diǎn)本地剩余內(nèi)存和磁盤(pán)碎片資源整合成高性能緩存；大數(shù)據(jù)（搜索類）、AI訓(xùn)練、模型訓(xùn)練、自動(dòng)駕駛四大生態(tài)，對(duì)存儲(chǔ)有高帶寬，低延遲，小io讀取性能要求。

騰訊云企業(yè)網(wǎng)盤(pán)——提升企業(yè)辦公效率，助力數(shù)據(jù)創(chuàng)造業(yè)務(wù)價(jià)值

云原生的企業(yè)網(wǎng)盤(pán)系統(tǒng)是SaaS化的產(chǎn)品形態(tài)，開(kāi)箱即用，用戶以客戶端訪問(wèn)或者瀏覽器登陸的方式進(jìn)行文件與人之間進(jìn)行交互，但B端網(wǎng)盤(pán)與C端網(wǎng)盤(pán)的區(qū)別較大。C端網(wǎng)盤(pán)主要解決個(gè)人的照片、視頻、電話本的一些備份或者長(zhǎng)期存儲(chǔ)的訴求，而企業(yè)網(wǎng)盤(pán)解決的是企業(yè)員工、老板、客戶之間進(jìn)行素材的存儲(chǔ)和分發(fā)的需求。

騰訊云企業(yè)網(wǎng)盤(pán)與騰訊會(huì)議、騰訊電子簽、騰訊云桌面等產(chǎn)品打通，共同形成騰訊云企業(yè)辦公場(chǎng)景的全家桶，同時(shí)結(jié)合數(shù)據(jù)萬(wàn)象中OCR、以圖搜圖、標(biāo)簽搜索及聚類等能力提供AI智能化辦公體驗(yàn)，通過(guò)文檔協(xié)同編輯、數(shù)據(jù)高效分發(fā)共享、一鍵化企業(yè)知識(shí)庫(kù)等能力構(gòu)建智能化辦公體系、提升企業(yè)辦公效率。

騰訊云企業(yè)網(wǎng)盤(pán)滿足基礎(chǔ)文件操作，包括提供各類云端文件操作能力、對(duì)齊Windows本地操作體驗(yàn)；同時(shí)提供協(xié)同辦公能力，支持多人協(xié)同編輯、數(shù)據(jù)高效多分發(fā)共享等功能、提升協(xié)同效率；此外還支持移動(dòng)辦公，支持各類移動(dòng)終端隨時(shí)隨地訪問(wèn)；還可靈活部署，支持公有云、私有云等多種部署模式。

云原生存儲(chǔ)使用場(chǎng)景——構(gòu)建在云原生存儲(chǔ)上的AIGC訓(xùn)練及推理平臺(tái)

AIGC是近期較為火爆的話題，隨著2023年年底北美的Chat GPT新起與成熟，大模型浪潮也蔓延至國(guó)內(nèi)。AIGC是典型的Data lake + AI 應(yīng)用場(chǎng)景，數(shù)據(jù)需要統(tǒng)一存儲(chǔ)，并同時(shí)對(duì)接多個(gè)處理平臺(tái)，數(shù)據(jù)自由在多個(gè)平臺(tái)之間流動(dòng)。

其中，訓(xùn)練場(chǎng)景存儲(chǔ)有數(shù)據(jù)湖統(tǒng)一存儲(chǔ)、數(shù)據(jù)在業(yè)務(wù)間自由流動(dòng)及高吞吐低時(shí)延等三大訴求；而推理場(chǎng)景中有內(nèi)容審核與內(nèi)容智理兩大核心訴求。

其中內(nèi)容審核是相當(dāng)重要的工作，騰訊云存儲(chǔ)圍繞推理環(huán)節(jié)推理產(chǎn)物的合規(guī)性方面做了很多的文章。在用戶推理環(huán)節(jié)中，用戶提出一個(gè)問(wèn)題，然后這個(gè)問(wèn)題與大腦產(chǎn)出推理產(chǎn)物后，產(chǎn)物一定要先去送到云上數(shù)據(jù)審核引擎中，經(jīng)過(guò)多個(gè)緯度執(zhí)行度的判別，認(rèn)為該產(chǎn)物是合理的，且沒(méi)有什么問(wèn)題的素材后，才能最終反饋給用戶。

騰訊云存儲(chǔ)的優(yōu)勢(shì)在于：1.便捷的接入，提供一體化的存儲(chǔ)內(nèi)容安全方案，增量數(shù)據(jù)的一鍵開(kāi)啟審核，極低的開(kāi)發(fā)成本；2.精準(zhǔn)的模型，針對(duì)AIGC場(chǎng)景審核策略的專項(xiàng)調(diào)優(yōu)與底層模型的定制開(kāi)發(fā)；3.更高的性能，根據(jù)存儲(chǔ)數(shù)據(jù)智能地調(diào)度處理集群，近存儲(chǔ)側(cè)的處理能力提供更優(yōu)的數(shù)據(jù)傳輸時(shí)延與更低的成本。

基于云原生技術(shù)搭建的自動(dòng)駕駛采集、訓(xùn)練、仿真平臺(tái)

近兩年來(lái)，國(guó)內(nèi)在自動(dòng)駕駛的領(lǐng)域發(fā)展較快，尤其在AI領(lǐng)域里，這也是中國(guó)相比國(guó)外更有一些局部?jī)?yōu)勢(shì)的細(xì)分賽道?；谶@個(gè)場(chǎng)景，騰訊云與諸多車廠或自動(dòng)駕駛解決方案的承包商有較多合作，提供全站式的房屋，這個(gè)服務(wù)存儲(chǔ)在這之中扮演很重要的角色。騰訊云提供自動(dòng)駕駛數(shù)據(jù)采集、存儲(chǔ)、標(biāo)注、計(jì)算、算法訓(xùn)練、仿真和評(píng)測(cè)及基于數(shù)據(jù)回傳的算法迭代等全流程服務(wù)。