深度學習框架與 AI 硬件廠商，相輔相成、共同發(fā)展。百度飛槳與 NVIDIA 等 40 多家硬件伙伴正在踐行這一理念。備受關注的 NVIDIA GTC 2023 大會已經結束，NVIDIA CEO 黃仁勛依然給所有人帶來了震撼，搬出了為 ChatGPT 準備的芯片，向世人展示了 GPU 持續(xù)在算力上賦能大模型乃至整個深度學習領域的巨大潛力。大會期間，黃仁勛還與 OpenAI 聯合創(chuàng)始人、首席科學家 Ilya Sutskever 進行了一場深度對話，他們一致認為深度學習的強大能力已經改變了世界，真正推動了技術的進步。

的確，近年來，深度學習技術正在推動整個 AI 行業(yè)進入到一個全新的階段。AI 領域的技術創(chuàng)新和產業(yè)發(fā)展離不開深度學習框架和平臺，它聯動了 AI 產業(yè)鏈上下游眾多企業(yè)和用戶，通過持續(xù)降低應用門檻將 AI 技術傳遞給千行百業(yè)，推動 AI 應用大規(guī)模落地。作為國內 AI 領頭雁的百度，其飛槳產業(yè)級深度學習開源開放平臺集核心框架、產業(yè)級模型庫、開發(fā)套件與工具組件于一體，其中百度生成式 AI 產品文心一言正是孕育自產業(yè)級知識增強大模型文心。截止 2022 年 11 月，飛槳已經凝聚了 535 萬開發(fā)者，服務了 20 萬家企事業(yè)單位，創(chuàng)建了 67 萬個 AI 模型。

百度依托飛槳平臺，圍繞著技術、生態(tài)和產業(yè)構建了全方位、多層次的深度學習發(fā)展格局。生態(tài)建設則是聯動各方實現技術融合和落地的關鍵步驟，而作為生態(tài)建設重要的一環(huán)，硬件生態(tài)正是聯合硬件廠商搞好 AI 芯片的適配與優(yōu)化，最終達成合作共贏。作為全球 GPU 巨頭的 NVIDIA，成為了百度飛槳天然的合作伙伴。NVIDIA 自身也非常重視中國市場尤其中國的生態(tài)伙伴，飛槳成為其在世界上支持的三大深度學習框架之一，更有專門的工程團隊來賦能飛槳生態(tài)。過去數年，飛槳與 NVIDIA 在硬件生態(tài)建設上一直保持著全面深度的合作，做了大量的開發(fā)與優(yōu)化工作，并通過技術共研開拓了眾多軟硬件協同產品與功能。尤其在 2022 年，雙方的合作邁入了新的階段。

樹立硬件生態(tài)標桿

飛槳與NVIDIA深拓合作伙伴關系我們知道，隨著深度學習的快速發(fā)展尤其是大規(guī)模機器學習模型的涌現，AI 算力需求的增長達到了新的高度。這無疑給硬件廠商帶來巨大挑戰(zhàn)，要求他們生產出非常強大的 AI 芯片。同時，AI 芯片與深度學習框架的融合優(yōu)化，才能帶來前所未有的加速，將性能發(fā)揮到極致。不過，就拿 PyTorch 等常用開源深度學習框架來說，開發(fā)團隊不接受硬件廠商的代碼進入主干。這就導致硬件廠商支持新版本框架的成本高昂，只能有選擇地支持重點版本。這樣一來，硬件廠商的 AI 芯片與深度學習框架之間存在適配問題，AI 基礎軟硬件產業(yè)鏈上下游也就無法實現高效的協同發(fā)展。飛槳則不然，從 2020 年開始致力于 AI 芯片的適配，與國內外硬件廠商展開深度合作，共同開發(fā)更加便捷的核心框架，構建統(tǒng)一的硬件接入方案。通過與廣大硬件廠商構建合作生態(tài)，真正發(fā)揮出 AI 芯片的算力。以 NVIDIA 為例，它早在 2020 年 5 月就加入了「飛槳硬件生態(tài)圈」計劃，后續(xù)更與飛槳展開了一系列深度合作。具體到硬件適配上，飛槳與 NVIDIA 主要在四個方面進行合作。在數據處理上幫助飛槳集成 DALI，在大規(guī)模訓練上支持各類數據格式以及 ASP、CUDA 等算子函數 API，在優(yōu)化推理上開發(fā) Paddle-TRT、Deep Learning Examples，在規(guī)模部署上集成了 NCCL、開發(fā)了 Triton PaddlePaddle Backend。多樣化適配使得飛槳開發(fā)者的高性能推理訓練成為可能，也為其與飛槳的進一步合作打下了基礎。2022 年，飛槳開啟與硬件生態(tài)伙伴全面共創(chuàng)的一年。在 5 月 20 日的 WAVE SUMMIT 2022 深度學習開發(fā)者峰會上，飛槳攜手 NVIDIA 在內等十余家國內外硬件廠商發(fā)布了「飛槳硬件生態(tài)共創(chuàng)計劃」，通過共享共創(chuàng)打造繁榮的 AI 生態(tài)。在此次峰會上，飛槳發(fā)布了其與 NVIDIA 的共研共創(chuàng)合作方案。

具體地，針對硬件適配依然存在的高門檻以及用戶的多層次需求，雙方在已有合作的基礎上開發(fā)了三大主要產品，包括了?NVIDIA NGC PaddlePaddle Container —— NGC 飛槳容器、NVIDIA Deep Learning Examples —— 飛槳深度學習模型示例、以及?NVIDIA DLI （Deep Learning Institute）—— 飛槳共建課程。對于使用 NVIDIA GPU 平臺的飛槳用戶，這些舉措可以使他們獲得絕佳用戶體驗與極致性能。首先針對開發(fā)者用戶的一些痛點需求，比如使用 NVIDIA 最新軟件棧開發(fā)、訓練、部署時需要大量手動配置工作，工程挑戰(zhàn)巨大。因此飛槳聯合 NVIDIA 開發(fā)了 NGC 飛槳容器，針對 NVIDIA GPU 加速進行優(yōu)化，最大程度釋放飛槳框架在 NVIDIA 最新硬件上的算力。NGC 飛槳容器還包含了用于加速 ETL (DALI、RAPIDS)、訓練（cuDNN、NCCL）以及推理（TensorRT）工作負載的軟件，實現了飛槳與 NVIDIA 軟件棧的無縫集成與性能優(yōu)化。有了 NGC 飛槳容器，用戶在快速開啟 AI 應用的同時，還能在 AI 訓練和推理任務上享受飛槳 +NVIDIA 帶來的飛速體驗。此外通過 NVIDIA NGC 完善的開發(fā)體系、質量管理、測試流程、文檔規(guī)范、安全掃描等，雙方開發(fā)了基于 NVIDIA GPU 平臺最好的飛槳開發(fā)環(huán)境。

作為 NVIDIA 優(yōu)化的工業(yè)級模型庫，NVIDIA Deep Learning Examples 涵蓋了機器人、數字孿生、金融等不同行業(yè)的模型，目標是讓使用 NVIDIA GPU 平臺的開發(fā)者復現 NLP 和 CV 等領域擁有極致性能的經典模型。2022 年 10 月，NVIDIA Deep Learning Examples 倉庫上線了基于飛槳實現的 ResNet50 模型，相關示例全面適配各類 NVIDIA GPU 以及單機單卡、單機多卡等各種硬件拓撲，實現了性能極致優(yōu)化。值得一提的是，飛槳 ResNet50 模型的訓練速度超過了 PyTorch 版 ResNet50。之后還支持了 BERT 模型，后續(xù)將陸續(xù)支持 PP-YOLOE ?等模型。

為了更好地提高推訓性能并簡化代碼，NVIDIA 深度學習培訓中心（DLI）不僅準備了系列免費課程，還聯名飛槳推出 DLI 課程證書，為開發(fā)者的能力和職業(yè)發(fā)展提供了權威證明。例如飛槳與 NVIDIA 聯合打造了《使用 PaddlePaddle 與 TensorRT 完成深度學習優(yōu)化與部署》課程，讓開發(fā)者感受基于 PaddlePaddle 與 TensorRT 的優(yōu)化部署最佳體驗。

2022 年 11 月 30 日，在 WAVE SUMMIT 2022 深度學習開發(fā)者峰會上，飛槳又攜手 NVIDIA 等 12 家硬件伙伴發(fā)布了飛槳生態(tài)發(fā)行版。對于用戶而言，當在 NVIDIA GPU 平臺上跑飛槳時，會提供專門的軟件版本，使開發(fā)者享受更好的軟硬一體化體驗。至此飛槳與 NVIDIA 的硬件生態(tài)合作又進了一步。在飛槳著力打造繁榮共贏生態(tài)、促進軟硬件協同發(fā)展的過程中，NVIDIA 是重要的參與者和見證者，并成為飛槳合作生態(tài)中最為深入和標桿性的案例。隨著雙方合作內容的不斷豐富，滿足了 AI 開發(fā)者的多層次需求。同時，飛槳與 NVIDIA 的深度合作也為國內其他硬件廠商提供了一種可參照的合作模式。

共聚、共研、共創(chuàng)

飛槳探索與硬件廠商共贏之路

從飛槳與 NVIDIA 的合作中可以看到，硬件生態(tài)建設這一環(huán)做得好不好，會深刻地影響到深度學習框架自身的通用性、硬件廠商 AI 芯片的效率以及在 AI 領域的廣泛應用。正是這種雙方的痛點需求為飛槳與硬件廠商的生態(tài)合作做好了鋪墊。作為國內市場綜合份額第一的深度學習平臺，飛槳一直以來非常注重與國內外硬件廠商的合作，通過與他們的緊密聯系持續(xù)拓展硬件生態(tài)。截至目前，與飛槳深度融合優(yōu)化的國內外硬件廠商數量已經超過了 40 家。對于飛槳來說，其與硬件生態(tài)伙伴的合作是在摸索中前進，不斷地創(chuàng)新合作模式，經歷了?2020 年的「共聚」、2021 年的「共研」、2022 年的「共創(chuàng)」三個階段。每個階段的側重點不同，合作伙伴數量逐年增多，合作內容也更加廣泛和深入。

首先回到 2020 年，飛槳率先對接了國內外領先的 CPU、GPU、ASIC、服務器等硬件廠商，并于 5 月聯合 Intel、NVIDIA、寒武紀、浪潮等 13 家國內外頂級硬件廠商發(fā)布了「飛槳硬件生態(tài)圈」計劃，為后來的廣泛硬件生態(tài)合作打好了基礎。當時，飛槳除了持續(xù)增強硬件廠商對飛槳平臺投入的信心，還通過金融、能源等行業(yè)的最終用戶來驅動硬件廠商與飛槳適配，建立起與他們的規(guī)范流程、專門團隊等。這些舉措釋放出了飛槳攜手硬件廠商共建硬件生態(tài)的決心，并啟動了與重點廠商的硬件適配和技術優(yōu)化工作。在接下來的 2021 年，飛槳開始與硬件伙伴的軟硬一體聯合優(yōu)化，進入到了「共研」階段。不過，在執(zhí)行硬件適配與技術優(yōu)化過程中，雙方也遇到了挑戰(zhàn)。一是硬件廠商軟件棧接入方式多樣（算子庫、圖接入、編譯器等），適配技術方案復雜。國內廠商的 AI 軟件棧建設起步晚，給實際適配帶來新的挑戰(zhàn)；二是如何使得硬件廠商以較低的成本接入飛槳。針對這些挑戰(zhàn)，飛槳結合對硬件廠商軟件棧的理解設計了飛槳硬件對接方案，包括自定義算子庫接入、自定義通信庫等多項基礎軟件改造，極大降低了硬件廠商適配成本。在該階段，飛槳支持的國產硬件數量實現了第一。進入到 2022 年，飛槳在 2021 年技術適配成果的基礎上進一步拓展與硬件伙伴的合作。飛槳希望更多的硬件開發(fā)者使用飛槳進行 AI 應用創(chuàng)新，硬件廠商也希望引入定制版的飛槳框架、模型庫來豐富自身 AI 軟件棧，因此雙方的合作進入到全面的「共創(chuàng)」階段。首先是上文提到的「飛槳硬件生態(tài)共創(chuàng)計劃」，旨在與飛槳硬件生態(tài)伙伴在聯合研發(fā)、資源共享、聯合授權、培訓賦能等四個維度全面合作，更好地服務開發(fā)者，加速 AI 產業(yè)落地，實現生態(tài)繁榮共贏。

在聯合研發(fā)環(huán)節(jié)，飛槳與硬件伙伴成立技術研發(fā)虛擬聯合團隊，共同打磨基礎軟件棧，推進硬件與飛槳的適配與性能優(yōu)化工作。尤其針對國產 AI 硬件與深度學習框架持續(xù)適配與升級成本較高的問題，飛槳推出算子接入、子圖接入、編譯器接入等多種方案，與廠商共建持續(xù)集成基礎設施，接收廠商適配的代碼。在全球前三大框架中，飛槳是唯一對所有硬件廠商開放合作、接受所有硬件廠商提交代碼的框架。此外，飛槳還聯合硬件伙伴共同推出飛槳生態(tài)發(fā)行版（針對特定AI硬件，定制優(yōu)化的飛槳框架和飛槳模型庫），大大提升飛槳模型在各類 AI 硬件上的訓練推理性能，為開發(fā)者提供更多更好選擇。在資源共享環(huán)節(jié)，飛槳與硬件生態(tài)共創(chuàng)計劃伙伴共享推廣宣傳資源，包括共同撰寫技術稿件，通過博客、論壇等社交媒體資源聯動推廣。飛槳還對生態(tài)伙伴聯合授權，將與硬件伙伴聯合優(yōu)化好的方案優(yōu)先推薦給生態(tài)伙伴，并基于硬件平臺聯合開發(fā)飛槳一體機，提供功能全面、便捷高效、穩(wěn)定可靠的一站式 AI 服務。在培訓賦能環(huán)節(jié)，飛槳聯合生態(tài)伙伴開發(fā)飛槳 + 硬件使用開發(fā)教程，與硬件廠商在雙方的學習與實訓社區(qū)提供系列課程及聯名認證證書，如上文與 NVIDIA 聯合開發(fā)的飛槳共建課程。飛槳還與硬件伙伴在 AI Studio 中開設廠商專區(qū)，為國內深度學習開發(fā)者提供體驗更多 AI 硬件的機會。目前飛槳 AI Studio 是國內最大的人工智能學習與實訓社區(qū)，注冊用戶超過了 300 萬。從共聚、共研到共創(chuàng)，一路走來，飛槳在硬件生態(tài)建設上持續(xù)深化與硬件伙伴的合作方式與內容，結合他們的實際需求，通過技術創(chuàng)新持續(xù)降低適配飛槳的成本，并利用產品共建、生態(tài)運營等途徑保持適配后的商業(yè)價值。對于國內硬件廠商而言，已經具備相當規(guī)模的飛槳生態(tài)是其快速拓展硬件市場的契機，因此應勇于擁抱并創(chuàng)新自身與飛槳的生態(tài)合作，實現雙贏。作為整個 AI 產業(yè)鏈的重要一環(huán)，飛槳一直以來的開放合作態(tài)度是其硬件生態(tài)持續(xù)取得成果的重要前提，接入 AI 芯片時聯合硬件伙伴優(yōu)化 AI 軟件工具鏈設計，充分滿足開發(fā)者在應用時對算力、模型和算力等各個層面的需求，降低開發(fā)、訓練和部署的負擔，帶來低門檻、簡易的使用體驗。飛槳深度學習框架和硬件廠商這兩個主體的高效協作還增強了整個 AI 行業(yè)的活力，產生真正的商業(yè)價值，在不斷健全、良性的硬件生態(tài)環(huán)境中推動 AI 應用規(guī)?；涞?。未來飛槳將持續(xù)開源開放，找準與硬件廠商利益契合點，在更廣泛和深入的軟硬協同探索中更好地服務開發(fā)者。最后，在 NVIDIA GTC 2023 大會上，百度 AI 技術生態(tài)總經理馬艷軍等四位專家?guī)砹司实膬热莘窒?。點擊文末閱讀原文，即可觀看演講精彩回顧。

參考鏈接

https://www.eet-china.com/mp/a134727.htmlhttps://www.eet-china.com/mp/a155955.htmlhttps://www.jiqizhixin.com/articles/2023-01-10https://www.jiqizhixin.com/articles/2023-02-01-5https://www.jiqizhixin.com/articles/2022-09-07-4

轉載來源文章轉載自公眾號【機器之心】原文鏈接：https://mp.weixin.qq.com/s/4_wx8P3FHRflhTRsySmm8w