Facebook分享AR眼鏡研究項目Project Aria進展
查看引用/信息源請點擊:映維網(wǎng)
關(guān)于Project Aria進展的分享
(映維網(wǎng)?2021年10月29日)在2020年的Connect中,已改名為Meta的Facebook分享了AR增強現(xiàn)實的未來愿景。隨著時間的推移,公司認(rèn)為AR將幫助我們收起手持式設(shè)備,并通過一個特別的AR界面來與數(shù)字世界和現(xiàn)實世界進行自然互動。
團隊同時分享了在音頻、肌電圖輸入方面的研究成果,以及一種眼鏡形式的研究設(shè)備Project Aria。Project Aria眼鏡不是消費品,也不是原型品。它們不會在鏡片顯示任何信息,研究被試無法查看或收聽設(shè)備捕捉到的原始數(shù)據(jù)。作為一種研究設(shè)備,所述的眼鏡設(shè)備將使用傳感器從佩戴者角度捕捉視頻和音頻,以及眼球運動和位置數(shù)據(jù),從而幫助工程師和程序員理解AR在實踐中的運作。眼鏡將加密、壓縮和存儲數(shù)據(jù),并上傳到指定的后端存儲系統(tǒng)。
延伸閱讀:Facebook發(fā)布AR眼鏡研究型項目Project Aria
現(xiàn)在一年已經(jīng)過去,團隊今天分享了關(guān)于所述項目的進展。

1.? 3D映射和情境化AI的進展

在這段來自雷德蒙研究實驗室的視頻中,你可以看到未來AR眼鏡中的數(shù)字助理不僅可以感知你周圍房間中的對象,同時可以預(yù)測你對相關(guān)對象執(zhí)行的命令,比如打開電視或打開電燈。它甚至可以幫助你找到丟失的鑰匙。盡管研究人員目前是用手持式點擊設(shè)備來與人工智能系統(tǒng)進行通信,但終有一天,團隊相信穿戴與手腕的肌電輸入設(shè)備將能用于所述目的。另外,研究團隊正在探索語音接口。
這個未來尚十分遙遠(yuǎn),但Meta的研究工作使得我們越發(fā)接近。
2. 現(xiàn)實世界中的數(shù)據(jù)收集:原則優(yōu)先
為了繼續(xù)打造AR的未來,我們需要更多來自現(xiàn)實生活場景的第一人稱數(shù)據(jù),從而幫助訓(xùn)練數(shù)字助理。
為了收集所述數(shù)據(jù),Meta一直堅持負(fù)責(zé)任的創(chuàng)新原則。除了“不要嚇到別人”和“提供重要的控制”之外,團隊同時提出了“考慮每個人”的觀點。團隊貫徹了“以人為本”的原則,在成為負(fù)責(zé)任的數(shù)據(jù)管理者同時,優(yōu)先考慮對社區(qū)提供最佳的服務(wù)。
正如首次宣布Project Aria時所描述的一樣,團隊對收集數(shù)據(jù)的時間和地點進行了限制。例如,在洗手間、祈禱室、更衣室等敏感區(qū)域,或在敏感會議和其他私人場合絕不允許錄音,而且只有在征得所有家庭成員同意的情況下才允許在佩戴者的家中錄音。所有設(shè)備都會發(fā)出顯著的白光以說明設(shè)備運行。
一旦上傳,捕獲的數(shù)據(jù)將隔離三天(研究人員無法獲得)。在這一期間,對于在公共場所收集的任何數(shù)據(jù)集,系統(tǒng)會自動模糊人臉和車牌。另外,任何人都可以要求立即或在隔離期內(nèi)刪除記錄數(shù)據(jù)。
為了支持AR眼鏡能夠在不同的環(huán)境和文化背景下工作,Meta于上個月宣布,將設(shè)備覆蓋范圍從美國擴展到新加坡。另外,部分員工在英國、歐盟、瑞士、新加坡、加拿大和以色列的家中捕獲了數(shù)據(jù),并已得到所有家庭成員的同意。
根據(jù)公司對多樣性、公平性和包容性的承諾,團隊需要從不同性別、身高、體型、種族和能力的人群中獲取不同的數(shù)據(jù)集。從11月開始,Meta將在已收集數(shù)據(jù)的國家向更多的Facebook員工,以及外部付費研究參與者開放參與,從而將實驗設(shè)備總數(shù)增加至3000臺左右。
當(dāng)然,每位參與者在使用設(shè)備之前都必須遵守一整規(guī)則并參與培訓(xùn)。在公共場所收集數(shù)據(jù)時,用戶必須穿著特定服飾并系上標(biāo)簽,以確認(rèn)自己是Project Aria的研究參與者。同時,參與者無法直接查看或收聽設(shè)備捕獲的原始數(shù)據(jù)。
3. 向研究社區(qū)提供第一人稱數(shù)據(jù)
構(gòu)建情境感知的自我中心(第一人稱)人工智能是一個長達數(shù)十年的過程。人工智能的學(xué)術(shù)領(lǐng)域在過去二十年里取得了巨大的進步,但是,人工智能尚未能真正理解我們?nèi)祟愂侨绾慰创澜纭?/p>
這正是Facebook AI發(fā)布Ego4D的原因。Ego4D是一個長期項目,旨在向研究社區(qū)公開自我中心數(shù)據(jù),同時為未來的AI助手提供一系列以第一人稱視覺體驗為中心的基準(zhǔn)挑戰(zhàn)。
延伸閱讀:Facebook發(fā)布AR/VR研究項目Ego4D,訓(xùn)練AI以第一人稱理解感知世界
Facebook Reality Labs正在擴大Project Aria的試點。團隊從去年開始已經(jīng)與卡內(nèi)基梅隆大學(xué),新加坡國立大學(xué)和其他大學(xué)合作,并計劃進一步增加合作伙伴。這將有助于推進自我中心的認(rèn)知研究。Facebook Reality Labs將通過贊助合同資助相關(guān)大學(xué)的研究,但后者不需要與Meta共享他們收集的數(shù)據(jù)。
與Meta合作的每一所大學(xué)都將負(fù)責(zé)遵守機構(gòu)研究倫理委員會或?qū)彶槲瘑T會的標(biāo)準(zhǔn),以及Project Aria研究社區(qū)項目指南。
4. 寶馬
除了我們不斷增長的學(xué)術(shù)合作伙伴關(guān)系外,Meta同時宣布與寶馬的第一個行業(yè)合作伙伴關(guān)系。團隊認(rèn)為,AR眼鏡最終可以幫助駕駛員導(dǎo)航周圍環(huán)境。在實現(xiàn)這個未來之前,像寶馬這樣的合作伙伴對探索AR技術(shù)如何集成到未來汽車中非常感興趣。
這種合作關(guān)系同時能夠幫助Meta的研究人員探索AR眼鏡是如何在移動的汽車中實現(xiàn)定位,因為AR眼鏡主要是依靠視覺線索來識別其位置。
與學(xué)術(shù)合作伙伴一樣,寶馬和任何未來的行業(yè)合作伙伴都必須遵守Project Aria研究社區(qū)指南。
對參與Project Aria感興趣的學(xué)術(shù)和工業(yè)研究機構(gòu)可以點擊這個頁面進行聯(lián)系。
5. 負(fù)責(zé)任地實驗
在展望未來擴大Project Aria的實驗覆蓋范圍時,團隊需要責(zé)任負(fù)責(zé)地收集和使用數(shù)據(jù)。舉個例子,上個月在新加坡,團隊和來自新加坡國立大學(xué)、南洋理工大學(xué)和Element XR等的28位隱私專家和學(xué)者舉辦了一場研討會。
更廣泛地說,Meta將與倫理學(xué)家合作,幫助思考更多有關(guān)Project Aria的隱私影響和社會可接受性問題。
團隊表示:“所有這一切只是開始。在AR眼鏡完全實現(xiàn)之前,我們尚有很長的一段路要走。我們正在與學(xué)者、工程師、其他公司和隱私專家合作,以確保我們認(rèn)知這項技術(shù)及其對使用它的人和對使用它的人的影響。所述措施有助于確保每個人的隱私和安全得到保護?!?/p>
6.? Project Nazare
值得一提的是,在今天的Connect大會中,扎克伯格稍微提到了第一款消費者AR眼鏡:Project Nazare。扎克伯格將所述設(shè)備描述為公司“第一款完整的AR眼鏡”,但強調(diào)它尚需“多年時間”。
這位首席執(zhí)行官表示:“要正確實現(xiàn)形狀參數(shù)和體驗,我們尚需投入大量的技術(shù)工作。我們需要將全息顯示器,投影儀,電池,無線電,定制芯片,攝像頭,揚聲器,以及映射周遭世界的傳感器整合至大約5mm厚的眼鏡形態(tài)之中。所以我們離Nazare尚有一段距離,但我們目前的進展不錯?!?/p>
---
原文鏈接:https://news.nweon.com/90996