查看引用/信息源請點擊：RoadtoVR

我們需要一種全新的計算架構

（映維網(wǎng)Nweon?2022年05月04日）在2021年年底舉行的IEDM會議中，Meta Reality Labs的首席科學家邁克爾·亞伯拉什（Michael Abrash）闡述了為實現(xiàn)真正AR眼鏡而對計算架構提出的要求：為了將科幻作品所描述的AR眼鏡變成現(xiàn)實，當代計算架構需要如何發(fā)展？

盡管現(xiàn)在市場已經(jīng)出現(xiàn)了所謂的“AR眼鏡”，但它們依然非常笨重，或者功能不全。目前市面最優(yōu)秀的AR設備HoloLens?2和Magic Leap?2離眼鏡形態(tài)依然遙遠，而且相當巨型，無法整天穿戴。

亞伯拉什表示，如果要實現(xiàn)真正的眼鏡形態(tài)、全天續(xù)航和社會認可，行業(yè)需要“一系列根本性的進步，在某些情況下，硬件和軟件都需要范式轉(zhuǎn)變”。

換句話說：Meta不認為當前的技術或任何一家廠商能夠?qū)崿F(xiàn)科幻作品所設想的概念式眼鏡。但是，他們清楚這個目標需要什么。

亞伯拉什在2021年舉行的IEDM 2021大會中提出了一種可以滿足真正AR眼鏡形態(tài)需求的的計算架構思考。

1. 緊盯能耗走向

重新思考計算架構的核心原因是行業(yè)需要大幅降低設備的功耗，從而滿足續(xù)航和散熱要求。

亞伯拉什問道：“我們?nèi)绾螌ⅲㄒ苿佑嬎阍O備）的能效從根本上提高100倍甚至1000倍呢？這將需要對整個堆棧進行深入的系統(tǒng)級重新思考，對硬件和軟件進行端到端的聯(lián)合設計。重新思考的起點是看看當前的能耗走向?！?/p>

他繪制了一張比較low-level計算操作的功耗。

如圖所示，最耗能的計算操作是數(shù)據(jù)傳輸。這不僅僅意味著無線數(shù)據(jù)傳輸，甚至意味著將數(shù)據(jù)從設備內(nèi)部的一個組件傳輸?shù)搅硪粋€組件。另外，將數(shù)據(jù)傳輸?shù)絉AM的功率是基本單元的12000倍（在本例中是將兩個數(shù)字相加）。

根據(jù)右邊的圓形圖，對于AR非常關鍵SLAM和手部追蹤，在RAM之間來回移動數(shù)據(jù)是能耗大戶。

亞伯拉什指出：“顯然，對于諸如如輕型AR眼鏡這樣的低功耗應用，盡可能減少數(shù)據(jù)傳輸量至關重要?！?/p>

為了實現(xiàn)這一點，他認為我們需要一種全新的計算架構，而不是在集中計算中心之間來回傳輸大量數(shù)據(jù)。我們需要更廣泛地將計算操作分布在整個系統(tǒng)中，從而最大限度地減少浪費性的數(shù)據(jù)傳輸。

2. 在最意想不到的地方執(zhí)行計算

亞伯拉什表示，分布式計算架構的起點可以從AR眼鏡感知用戶周圍世界所需的眾多攝像頭開始：在通過耗能大的數(shù)據(jù)傳輸通道僅發(fā)送最重要的數(shù)據(jù)之前，由攝像頭傳感器本身進行一定的初步計算。

為了實現(xiàn)這一點，可以采用共同設計的硬件和軟件，在進行硬件設計時可以考慮一個本質(zhì)上是硬連接到攝像頭傳感器本身，并允許在任何數(shù)據(jù)離開傳感器之前執(zhí)行一定操作的特定算法。

這位首席科學家指出：“對最低功耗、最佳功能和最小可能形狀參數(shù)的要求，令XR傳感器成為了圖像傳感器行業(yè)的新前沿。”

3. Domain-Specific傳感器

他同時透露，Reality Labs已經(jīng)開始了這方面的工作，甚至已經(jīng)創(chuàng)建了一個專門為AR眼鏡的低功耗高性能需求而設計的攝像頭傳感器原型。

所述傳感器采用一組所謂的數(shù)字像素傳感器，其能夠在三種不同的光照水平下同時捕獲每個像素的數(shù)字光值。每個像素都有自己的內(nèi)存來存儲數(shù)據(jù)，并且可以決定報告三個值中的哪一個，而不是將所有數(shù)據(jù)發(fā)送到另一個芯片來完成這項工作。

亞伯拉什指出，這不僅降低了功耗，而且大大增加了傳感器的動態(tài)范圍（它能夠在同一幅圖像中捕捉昏暗和明亮的光線）。為了展示動態(tài)范圍的提升，他分享了原型傳感器拍攝的樣本圖像，并與典型傳感器進行了對比。

在左邊的圖像中，明亮的燈泡導致攝像頭無法捕捉大部分場景。另一方面，右邊的圖像不僅可以看到燈泡燈絲的極端亮度細節(jié)，而且可以看到場景的其他部分。

這種寬動態(tài)范圍對于未來AR眼鏡的傳感器至關重要，因為AR眼鏡需要支持室內(nèi)弱光條件，又要兼容晴天環(huán)境。

亞伯拉什表示，盡管Meta的原型傳感器具有HDR的優(yōu)點，但它的能效要高得多，每秒30幀的速度僅使用5兆瓦（他聲稱低于典型傳感器的25%）。而且它的可擴展性非常優(yōu)秀：盡管需要更多的能耗，但傳感器可以每秒捕獲480幀。

但是，Meta希望更進一步并在傳感器執(zhí)行更復雜的計算：“例如，眼動追蹤和手部追蹤等XR工作負載的深層神經(jīng)網(wǎng)絡分割和分類的淺層部分可以在傳感器端實現(xiàn)?！?/p>

但他強調(diào)，在更多硬件創(chuàng)新出現(xiàn)之前（比如開發(fā)“真正的on-sensor機器學習計算”所需的超密集、低功耗內(nèi)存），這不可能實現(xiàn)。

盡管Meta正在試驗所述技術，但亞伯拉什表示整個行業(yè)都需要團結起來，從而真正實現(xiàn)這一目標。他特別指出：“芯片制造商對MRAM技術的開發(fā)是構建AR眼鏡的關鍵因素?！?/p>

他最后總結道：“在一個端到端的系統(tǒng)中，通過將我們提出的分布式架構和我所描述的相關技術結合在一起，其在功率、面積和形狀參數(shù)方面都有巨大的改進潛力。要變得足夠舒適和實用，并成為10億人日常生活的一部分，這種提升非常有必要?！?/p>

---
原文鏈接：https://news.nweon.com/96755