查看引用/信息源請點擊：roadtovr

專門定制的芯片

（映維網(wǎng)Nweon?2022年05月05日）Meta一直致力于名為Codec Avatar的虛擬數(shù)字人項目，從而幫助克服人與人之間，以及人與機會之間的物理距離挑戰(zhàn)。借助突破性的3D捕獲技術(shù)和人工智能系統(tǒng)，Codec Avatar可以幫助人們在未來快速輕松地創(chuàng)建逼真的虛擬化身，令虛擬現(xiàn)實中的社交聯(lián)系變得如同現(xiàn)實世界般自然和常見。這家公司相信，逼真的虛擬表現(xiàn)將會改變一切。

延伸閱讀：Meta 50年征途：Codec Avatars，創(chuàng)造逼真虛擬角色

根據(jù)早前公布的一份論文，Meta Reality Labs的研究人員開發(fā)了一款搭載定制加速器芯片的頭顯原型（基于Quest?2），從而支持一體機頭顯實現(xiàn)照片級真實感的Codec Avatars。

Meta早就在積極探索利用一系列先進機載傳感器來實時創(chuàng)建逼真的虛擬數(shù)字人，例如眼動追蹤、面部追蹤和人工智能處理。

不過，早期的研究依賴于諸如英偉達Titan X GPU這樣的強大顯卡支持。所以，團隊一直致力于研究如何在低功耗VR一體機實現(xiàn)Codec Avatars。

在上月2022 IEEE CICC大會發(fā)表的論文中，Meta表示自己構(gòu)建了一枚基于7nm工藝的定制芯片，并專門用作Codec Avatars的加速器。

專門定制

據(jù)稱，這種芯片屬于專門定制，footprint僅為1.6mm2。團隊在設(shè)計時特別考慮了Codec Avatars處理管道的一個重要環(huán)節(jié)：分析傳入的眼動追蹤圖像，并生成Codec Avatars模型所需的數(shù)據(jù)。

這枚測試芯片采用7nm工藝制造，具有一個由1024個MAC陣列、2MB on-chip SRAM和一個32位RISC-V CPU組成的神經(jīng)網(wǎng)絡(luò)（NN）加速器。

他們同時重建了Codec Avatars人工智能模型，以利用芯片的特定架構(gòu)。

Reality Labs的研究人員寫道：“通過重新設(shè)計基于卷積神經(jīng)網(wǎng)絡(luò)的眼動追蹤提取模型，并根據(jù)硬件對其進行修改，整個模型可以安裝在芯片，從而降低訪問芯片外存儲器的系統(tǒng)級能量和延遲成本。通過有效地加速電路級的卷積運算，所提出的原型能夠在低形狀參數(shù)下以低功耗實現(xiàn)每秒30幀的性能。”

通過提速Codec Avatars工作負載的密集環(huán)節(jié)，所述芯片不僅加快了過程，而且降低了所需的功率和熱量。由于芯片的定制設(shè)計，它能夠比通用CPU更高效地實現(xiàn)這一點。

但需要注意的是，這款基于Quest 2的頭顯的通用CPU是驍龍XR2芯片。盡管定制芯片可以處理Codec Avatars編碼過程的一部分，但管理解碼過程并呈現(xiàn)虛擬數(shù)字人的實際視覺效果是驍龍XR2。

當然，即便是需要專用芯片，但能夠在VR一體機實現(xiàn)Codec Avatars依然給人留下了深刻的印象。

相關(guān)論文：System-Level Design and Integration of a Prototype AR/VR Hardware Featuring a Custom Low-Power DNN Accelerator Chip in 7nm Technology for Codec Avatars

然而，我們暫時無法確定的一個重要信息是：視覺渲染處理的效果。用戶的底層掃描非常詳細，但可能過于復雜，故無法在Quest 2完整呈現(xiàn)。所以不清楚Codec Avatars的“照片級真實感”到底保留了多少。

值得一提的是，這項研究代表了邁克爾·亞伯拉什（Michael Abrash）描述的全新計算架構(gòu)應(yīng)用。在早前的一次演講中，他表示為了實現(xiàn)科幻作品描述的真正XR設(shè)備，我們需要從高度集中的處理轉(zhuǎn)向一種分布式的處理架構(gòu)。

延伸閱讀：Meta Reality Labs首席科學家為AR眼鏡提出全新計算架構(gòu)

可以想象，一系列特定于XR的功能可以從專門設(shè)計的芯片中受益，例如空間音頻，畢竟真實的聲音模擬就計算而言非常昂貴。另外，將統(tǒng)一設(shè)計硬件和算法可以在速度和功率方面產(chǎn)生巨大的幫助。

---
原文鏈接：https://news.nweon.com/96777