具身智能


1950年圖靈在論文首次







具身常識:大模型/rule-base







picking assembing serving cooking
















模型、仿真參數(shù)不對,最小化loss

物理參數(shù)可能存在問題,交互過程中矯正

通過拉開微波爐學(xué)習(xí)所有的參數(shù)




















元操作庫(后來開源了)
grasping
給定點(diǎn)云,如何產(chǎn)生grasp pose,從X到Y(jié)的變換
計(jì)算機(jī)視覺、機(jī)器人、Graphics
之前視覺標(biāo)注稀疏殘破,無法產(chǎn)生密集標(biāo)簽,機(jī)器人標(biāo)簽有限,graphics不real

物體模型掃描完成后,數(shù)字孿生到物體
力覺模型覆蓋,產(chǎn)生類似的pair

半自動data collection和labeling

快速產(chǎn)生20醫(yī)抓取點(diǎn)位,20億能支持通用

如何訓(xùn)練

how和where

把grasp問題肢解為whre和how,貝葉斯網(wǎng)絡(luò)


算出來結(jié)果

如何證明通用:沒見過物體也能抓取
敲碎瞬間,每個片都是獨(dú)一無二的

實(shí)現(xiàn)穩(wěn)定抓取


幾千個物體的穩(wěn)定抓取

小型也可以實(shí)現(xiàn)

比較快速的生成結(jié)果
抓取動態(tài)物體(沒訓(xùn)練過的動態(tài)物體)



透明物體也能做,透明物體點(diǎn)云缺失


驗(yàn)證數(shù)據(jù)展示的通用型

新的數(shù)據(jù) 算法 系統(tǒng)
平臺不用真機(jī)都能驗(yàn)證,看到真實(shí)點(diǎn)云,給抓取姿態(tài),返回準(zhǔn)確率
超過人類水平,95%

非夕做的元操作




可驗(yàn)證測量的概念上做出好的閉環(huán),機(jī)器無法理解社會和責(zé)任




所有智能體產(chǎn)生具身智能過程中是什么樣的,人體就是大的具身智能體,支撐是腦科學(xué),腦神經(jīng)

看到的視覺表征和腦神經(jīng)映射關(guān)系;訓(xùn)練完了測試,之后還是穩(wěn)定,證明規(guī)律存在


如何驗(yàn)證




