2020年4月，國(guó)內(nèi)AI芯片獨(dú)角獸寒武紀(jì)對(duì)外宣布，旗下云端智能芯片及加速卡系列思元270將正式基于寒武紀(jì)虛擬MLU（vMLU）技術(shù)，首次支持SR-IOV功能。

據(jù)了解，SR-IOV功能具備更好的租戶隔離、應(yīng)用熱遷移特性，可為云服務(wù)供應(yīng)商提供安全、優(yōu)質(zhì)的AI計(jì)算資源，以充分保障用戶在AI領(lǐng)域的投資。思元270是寒武紀(jì)首款支持SR-IOV虛擬化功能的云端智能芯片產(chǎn)品。據(jù)悉，寒武紀(jì)未來(lái)的云端智能芯片，都會(huì)支持SR-IOV功能。

?

瞄準(zhǔn)用戶痛點(diǎn)：如何高效利用AI計(jì)算資源

?

思元270是寒武紀(jì)推出的面向云端的智能芯片，其支持全面的AI推斷場(chǎng)景部署，包括視覺(jué)、語(yǔ)音、自然語(yǔ)言處理等多樣化的人工智能應(yīng)用。思元270系列支撐數(shù)據(jù)中心、專業(yè)場(chǎng)景乃至桌面等多元化部署場(chǎng)景。

?

在這些部署場(chǎng)景中，面向云端部署、多樣化人工智能推斷、以及配合寒武紀(jì)邊緣側(cè)板卡進(jìn)行應(yīng)用開(kāi)發(fā)時(shí)，如何對(duì)AI計(jì)算資源的有效利用是用戶首要關(guān)心的問(wèn)題。也是寒武紀(jì)本次推出SR-IOV虛擬化功能的核心訴求：

?

面向云端部署：在云部署環(huán)境下，云服務(wù)提供商（CSP）幫助海量租戶以高性價(jià)比、高可用性的方式提供計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源的服務(wù)，在此基礎(chǔ)上還可提供高達(dá)99.99%的高可用服務(wù)級(jí)別。從Hypervisor和底層硬件上對(duì)資源進(jìn)行高效共享以及多租戶、實(shí)例進(jìn)行相互隔離，成為了AI云服務(wù)的基本訴求；

?

面向復(fù)雜的人工智能推斷：在AI應(yīng)用進(jìn)行部署時(shí)，用戶通常會(huì)遇到業(yè)務(wù)邏輯較為復(fù)雜的場(chǎng)景，需借助多個(gè)網(wǎng)絡(luò)模型來(lái)構(gòu)建 AI 輔助決策系統(tǒng)。為保證服務(wù)器節(jié)點(diǎn)內(nèi)的服務(wù)質(zhì)量，通常會(huì)采用一機(jī)多卡的部署方式。但計(jì)算成本和服務(wù)質(zhì)量需要兼顧時(shí)，用戶會(huì)希望用單張板卡并行多個(gè)模型來(lái)解決問(wèn)題；

?

面向邊緣、端側(cè)應(yīng)用開(kāi)發(fā)：寒武紀(jì)產(chǎn)品線已在云、邊、端三個(gè)維度實(shí)現(xiàn)全面覆蓋，在面向邊緣側(cè)和端側(cè)的應(yīng)用開(kāi)發(fā)過(guò)程中，用戶經(jīng)常會(huì)受部署側(cè)的CPU、產(chǎn)品形態(tài)或網(wǎng)絡(luò)條件的限制，無(wú)法直接在最終部署的設(shè)備上進(jìn)行開(kāi)發(fā)。寒武紀(jì)支持采用端云一體的開(kāi)發(fā)環(huán)境幫助用戶快速將應(yīng)用落地，而幫助云側(cè)計(jì)算資源高效、合理的分配給應(yīng)用開(kāi)發(fā)組，是思元270虛擬MLU的開(kāi)發(fā)目標(biāo)之一。

?

寒武紀(jì)首推SR-IOV功能：讓AI云、業(yè)務(wù)部署和應(yīng)用開(kāi)發(fā)更靈活、高效、安全

?

為實(shí)現(xiàn)以上訴求，思元270采用寒武紀(jì)虛擬化技術(shù)——vMLU，該虛擬化技術(shù)允許多個(gè)操作系統(tǒng)和應(yīng)用程序共存于一個(gè)物理計(jì)算平臺(tái)上，共享同一個(gè)芯片的計(jì)算資源。它為用戶提供良好的安全性和隔離性，還支持如熱遷移等高靈活特性。vMLU幫助提高云計(jì)算密度，也使數(shù)據(jù)中心的IT資產(chǎn)管理更靈活。

?

除了虛擬化基本的資源共享特性，思元270首推的SR-IOV虛擬化技術(shù)，支持運(yùn)行在云服務(wù)器上的多個(gè)實(shí)例直接共享智能芯片的硬件資源。傳統(tǒng)虛擬化系統(tǒng)中大量的資源和時(shí)間損耗在Hypervisor或VMM軟件層面，PCIe設(shè)備的性能優(yōu)勢(shì)無(wú)法徹底發(fā)揮。而SR-IOV的價(jià)值在于消除這一軟件瓶頸，助力多個(gè)虛擬機(jī)實(shí)現(xiàn)高效物理資源共享。

與傳統(tǒng)圖形加速卡的 vGPU 所采用的虛擬化技術(shù)不同，思元270采用「非基于時(shí)間片的共享」方式，因?yàn)槠錄](méi)有因時(shí)間片切換上下文帶來(lái)的性能損失，能充分保證各VF獨(dú)立的服務(wù)質(zhì)量，彼此完全獨(dú)立運(yùn)行互不影響。

硬件環(huán)境：1x MLU270-S4, Xeon Gold 6140@ 2.30GHz，測(cè)試環(huán)境：Cambricon-MLU270 1.2.5，操作系統(tǒng)：Centos7.6

SDK版本：Cambricon Neuware-mlu270-1.2.5 +neuware-mlu270-driver-4.1.0，框架：Caffe

?

另外，SR-IOV還可以避免因分時(shí)復(fù)用切換應(yīng)用帶來(lái)的性能開(kāi)銷。如上圖顯示，vMLU搭配Docker或VM運(yùn)行時(shí)，單個(gè)VF業(yè)務(wù)性能保持在硬件性能的91%以上。這使得用戶在多模型并行時(shí)，對(duì)各VF可以做出更準(zhǔn)確的服務(wù)質(zhì)量（QoS）預(yù)期，而不必考慮多模型時(shí)的擁塞或切換帶來(lái)的性能開(kāi)銷。

?

基于SR-IOV的vMLU：更好的租戶隔離性

?

虛擬化技術(shù)被數(shù)據(jù)中心廣泛采用，除了因?yàn)槠涮峁┝藢?duì)資源共享的能力（提供了更好的密度性能），也因?yàn)橄鄬?duì)于其它技術(shù)（如 docker）, 虛擬化提供了更好的隔離性和安全性。寒武紀(jì)vMLU基于SR-IOV的虛擬化技術(shù)可以幫助云用戶實(shí)現(xiàn)更好的隔離特性，具體優(yōu)勢(shì)如下：

?

首先，資源獨(dú)立，互不干擾，能確保服務(wù)質(zhì)量（QoS）；其次，多任務(wù)時(shí)，沒(méi)有無(wú)隊(duì)列阻塞的煩惱；再次，其具備獨(dú)立內(nèi)存資源，各VF之間互不可見(jiàn)；最后，它的部署相對(duì)簡(jiǎn)單，不需要對(duì)開(kāi)源軟件成分進(jìn)行修改。

?

面向Docker-container的SR-IOV flat：更高效部署方式

?

除了對(duì)VM提供虛擬化支持，寒武紀(jì)虛擬化技術(shù)還對(duì)docker-container提供基于SR-IOV的虛擬化擴(kuò)展（SR-IOV flat模式），用于多個(gè)containers共享一塊MLU卡的計(jì)算能力, 同時(shí)，提供了基于kubernetes的管理插件。該功能為那些對(duì)隔離性和安全性需求沒(méi)那么高的數(shù)據(jù)中心提供更輕量級(jí)部署方式。

?

下圖對(duì)比了在container環(huán)境中經(jīng)常被用到的GPU彈性共享池技術(shù)和SR-IOV Flat技術(shù)。

從上圖可以看出，寒武紀(jì)vMLU所采用的SR-IOV-Flat技術(shù)在隔離性，QoS上都有明顯優(yōu)勢(shì)。

?

VF熱遷移（Live Migration）：幫助AI云應(yīng)用達(dá)到99.99%的高可用服務(wù)級(jí)別

?

想要達(dá)到99.99%的高QoS，要求云業(yè)務(wù)的年意外停機(jī)時(shí)間不超過(guò)53分鐘。熱遷移（Live Migration）功能可以在虛機(jī)及其應(yīng)用程序仍在運(yùn)行時(shí)將其移動(dòng)到另一臺(tái)主機(jī)。AI計(jì)算資源是否具備熱遷移能力是評(píng)價(jià)其在數(shù)據(jù)中心的群集配置策略、平衡主機(jī)的工作負(fù)載、容災(zāi)處理風(fēng)方面能力的關(guān)鍵指標(biāo)。

?

寒武紀(jì)vMLU虛擬化技術(shù)為思元270提供了熱遷移的能力，下圖為MLU在熱遷移發(fā)生時(shí)芯片內(nèi)部的數(shù)據(jù)流圖：

在熱遷移（Live Migration）功能的作用下，AI算力實(shí)現(xiàn)不停機(jī)轉(zhuǎn)移，思元270可助力AI云實(shí)現(xiàn)99.99%的高服務(wù)可用性。

?

基于寒武紀(jì)vMLU虛擬化技術(shù)，并支持SR-IOV功能的寒武紀(jì)思元270云端智能芯片正式推出，其優(yōu)質(zhì)租戶隔離、應(yīng)用熱遷移特性，可為云服務(wù)提供商提供更加安全、優(yōu)質(zhì)的AI計(jì)算資源。據(jù)悉，搭載虛擬化vMLU技術(shù)的寒武紀(jì)思元270已經(jīng)與金山云合作并開(kāi)始內(nèi)部部署，預(yù)計(jì)未來(lái)1~2個(gè)月會(huì)正式上線，敬請(qǐng)期待。