參加個開發(fā)者白嫖廣播導(dǎo)的活動,白嫖不到就自己買個mad gaze 玩玩..... 上票!

創(chuàng)意背景: 1. 現(xiàn)階段面向C端或者B端的AR眼鏡所提供的的操作系統(tǒng)往往能力很受限, 算力受限 以及 開發(fā)者受限于硬件難以提供更高性能的服務(wù)

? ? ? ? ? ? ? ?2. 缺生態(tài), 再爛的硬件 只要有生態(tài)的支持與優(yōu)化 體驗就沒有問題.? 蘋果就是最好的證明

? ? ? ? ? ? ? ?3. 始于鋼鐵俠,忠于祖國. 我們都知道大部分開源的操作系統(tǒng)都留有后門,即使是蘋果也有自己的后門. 前幾年伊核問題 導(dǎo)致電場受到蠕蟲攻擊而無從還手的境地,就是缺乏自己的生態(tài)環(huán)境. 鋼鐵俠把科技樹點滿的樣子確實很帥,但是更值得深思的問題是? 未來10-20年內(nèi) 我們的生產(chǎn)力工具AR眼鏡操作系統(tǒng)是不是后門還在別人手里?

? ? ? ? ? ? ? ?4.其實這個up不提也會有其他人提,開源做一些事情的意義不止于此 其實更重要的是拿到標(biāo)準(zhǔn)制定權(quán)? ?白嫖創(chuàng)意的想法格局太小了...只要項目好 哪個公司都會用你的代碼...就像log4j 一樣 把up的團伙當(dāng)做未來的阿帕奇基金會就可以了

研發(fā)思路:

1.內(nèi)核邏輯:這個實在太抽象,并不能很好的找一個名詞去解釋. 展開說一下

? ? ? ? ? ? ? ? ?1.1 鴻蒙系統(tǒng)的底層邏輯其實非常強,沒記錯的話是微內(nèi)核 分布式計算, 這種架構(gòu)有什么優(yōu)缺點,首先高可用 一個節(jié)點的設(shè)備掛了 還有其他節(jié)點的設(shè)備可以提供計算 其次 是萬物智聯(lián) 所有終端設(shè)備都會被一個系統(tǒng)鏈接在一起.但是缺點也顯而易見 當(dāng)高算力需求的場景下,只能通過云端計算完成服務(wù),并且隱私不能保證

? ? ? ? ? ? ? ? ?1.2 去中心化? :? 這個詞用來解決什么問題呢?首先是隱私 其次是計算. 未來AR眼鏡提供的服務(wù)必定是根據(jù)用戶個性化定制的,那么如果系統(tǒng)非常智能,那用戶必定擔(dān)心自己的隱私. 而去中心化正好能解決這個問題. 類似hdfs文件存儲系統(tǒng)或者是美劇硅谷中魔笛手的文件存儲系統(tǒng),所有文件被切塊加密存儲在云端.只有用戶自己能訪問,其他人不可能訪問到 這種秘鑰機制類似以太坊的規(guī)則. 其次是計算,即使未來硬件軟件技術(shù)都很先進,可預(yù)見的說 體驗良好的服務(wù)很難部署在本地, 那么云端首先與網(wǎng)速等場景的限制, 去中心化正好解決了這個問題 令閑置設(shè)備提供算力,而他人又沒權(quán)限獲得你的隱私. 類似蘋果哪個鑰匙扣 只要有蘋果設(shè)備經(jīng)過附近 就會發(fā)送給你.

? ? ? ? ? ? ? ?1.3分布式,除了在外消耗算力的場景, 還需要考慮用戶終端更換的良好體驗,這里分布式的優(yōu)勢就提現(xiàn)出來了.類似兩個鴻蒙手機 玩同一局游戲. 那么設(shè)備間無縫轉(zhuǎn)換也顯得尤為重要. 比如 托尼剛脫下MK8戰(zhàn)甲穿上MK52 這個時候mk58的管家還啥也不會.... 你說他難受不難受吧

2.交互邏輯? ??

2.1 觸控

真正的觸控基本不好實現(xiàn),但是通過手勢識別完成系統(tǒng)的輸入其實是人類的本能. 這種場景很多,技術(shù)實現(xiàn)也不難覺得不必多說.只需要說清一點,現(xiàn)階段手勢輸入 缺乏深度信息 需要slam技術(shù)定位手的深度坐標(biāo)才行.橫縱坐標(biāo)體驗很差拉. 當(dāng)然也有用算法解決問題的.兩個攝像頭 計算相似三角形定位手所在空間,但是這個需要設(shè)備上的統(tǒng)一,作系統(tǒng)的,要從系統(tǒng)層面解決問題? 可以但是沒必要

2.2 語音

語音這里要好好說一說. 先說一下前輩TNT 老羅的產(chǎn)品,其實設(shè)計的理念很好,面向未來的生產(chǎn)力終端,但是生不逢時.? ?人除了用手感知世界外,更多的是通過聲音交流. 那么聲音作為操作系統(tǒng)的輸入其實必不可少,眼鏡的限制 沒有鍵鼠怎么操作? 對吧. 語音操作拆開來說就是一個多輪對話系統(tǒng),但是自己其實并不喜歡這么叫,因為就算小愛同學(xué)很強,其實功能也很low了. 語音助手目前提供給用戶的大部分功能都不能個性化. 不能個性化的語音助手有啥用. 解決方案是這樣的,首先肯定需要聲學(xué)模型提取特征, 拿到輸入后的空間 留給開發(fā)者使用. 畢竟你不知道開發(fā)者使用的框架是端到端的還是流水線化的. 這樣既開放了權(quán)限 也保護了用戶隱私. 因為特征提取出來 基本算加密了一遍.? 其次 可以開發(fā)基礎(chǔ)功能,例如端到端的transformers 實時翻譯,意圖識別槽位填充的 任務(wù)型機器人.??

2.3 多模態(tài)

如果語音和視覺的輸入有了,其實真正的魅力才來到. 說一個場景,上班的時候想知道自己的寵物在干嘛, 為什么還要自己打開視頻看, 問一下語音助手,讓他告訴你你的狗在睡覺不就行了. 當(dāng)然了 多模態(tài)這個扯得有點遠. 我覺得可以升級成超前點映模式

2.4 slam

slam空間感知就要好好說說了. 這個能力其實吊炸天. 如果你的設(shè)備擁有空間感知的能力并且擁有良好的交互體驗的情況下. 你其實和超人沒差了. 就說一個場景? 如果你的車漏氣了卻沒有千斤頂.你就需要找?guī)讐K磚把車梁撐起來對吧. 那么找?guī)讐K多大多寬的磚呢? slam掃描一遍附近的物體,匹配幾個最合適的在畫面上試驗一下就知道了? 當(dāng)然還有更多的場景 比如建筑設(shè)計,醫(yī)療教育等等 不多說

3.場景描述

假設(shè)以上系統(tǒng)都完成的情況下, 我們來看一看這套操作系統(tǒng)能提供什么體驗. 場景一:

女朋友坐火車來找你玩,火車站人太多了 找不到怎么辦. 跟ai說一句找一下我女朋友在哪里.? 然后ai開始意圖識別 槽位填充 找到你女朋友的照片,把臉摳出來, 在茫茫人海中啟用yolo或者ssd算法進行目標(biāo)檢測? 最終3秒的時間你就找到了你女朋友所在的位置 然后alt+f4一件查看戰(zhàn)斗力 發(fā)現(xiàn)女朋友在掉血 馬上買個衛(wèi)生巾送給他止血

場景二: 你要去4s店買車,店里面琳瑯滿目,你不知道要買啥. 這個時候 你的ai助手來了, 使用yolo算法進行目標(biāo)檢測 或者是語義分割 提取出你視野內(nèi)所有的車輛 并在多個平臺查詢新車 二手車 中高地配置 以及駕駛體驗等等評價信息 這個時候銷售走過來已經(jīng)沒必要被她忽悠了. 這個時候你的ai聽出你對她語氣曖昧 就幫你記下了她工牌上的名字和電話 并且基于她的數(shù)據(jù)確認(rèn)了一下她沒對象....

最終目標(biāo):

上面的目標(biāo)扯得有點遠啊, 內(nèi)核開發(fā)個人也就是聽說過, 本人有hadoop大數(shù)據(jù)開發(fā)經(jīng)驗以及nlp cv的開發(fā)經(jīng)驗. java c艸 python scala 前端那些都略懂一二不算精通吧? 所以早就有想法了.? 原始版本實現(xiàn)思路: 基于安卓無障礙模式進行服務(wù)的開發(fā), 機器視覺與自然語言的計算通過手機傳輸云端計算. 這樣即實現(xiàn)了輕便簡介,也擁有了良好的操作體驗. 硬件估計:yolo 448x448 這個單目單色的設(shè)備綽綽有余了. 應(yīng)該要加兩個深度相機或者小功率激光雷達. 其實自己打算買個mad gaze 玩了,只是他們開源的apk還是有局限.? ?個人對pcb電路不是很懂,只做過8088電路板的設(shè)計印刷編程? 并不是很懂嵌入式.? 之前加的ar眼鏡群里有大佬自己的買靈犀的鏡片玩...饞的很. 但是其實很明顯的問題是pcb太大? 佩戴體驗不好, 所以個人思路大概是眼鏡這就做個簡單數(shù)據(jù)終端, 所有計算傳輸都給手機和云端? .能藍牙就別有線 越輕便越好. 嗯基本就這樣, 上票上票? ??