????機器感知使用先進的傳感器來收集關于周圍場景的信息，用于態(tài)勢感知。最先進的機器感知使用主動聲納，雷達和激光雷達增強相機視覺臉差異時，智能代理的數(shù)量增加。利用無處不在的熱信號可能是可擴展感知的新前沿。

????然而，物體和它們的環(huán)境不斷地發(fā)射和散射熱輻射，導致了被稱為“重影效應”的無紋理圖像。因此，熱視覺沒有受到信息丟失的限制，而熱測距——對導航至關重要——即使與人工智能（AI）結(jié)合，也難以捉摸。

????針對上述問題，該文章提出并通過實驗演示了熱輔助檢測和測距（HADAR），克服了重影的開放挑戰(zhàn)，并將其與人工智能增強的熱傳感進行基準測試。HADAR不僅在黑暗中看到紋理和深度，就像是白天一樣，還能感知到RGB或熱視覺之外的模糊的物理屬性，為完全被動和物理感知的機器感知鋪平了道路。

圖1?HADAR是機器感知中的一種轉(zhuǎn)變。a，完全無源HADAR為TeX-Net，見所有分解方法的方法)和使用熱信號，而不是主動聲納、雷達、激光雷達和準無源產(chǎn)生TeX視覺，以改進探測和測距。c，TeX視覺攝像機。大氣透射率窗口（白色區(qū)域）和溫度在我們的HADAR數(shù)據(jù)庫和室外實驗中演示(見場景確定了HADAR的工作波長。b，HADAR取擴展的數(shù)據(jù)圖。2-4)清楚地表明，HADAR通過熱光子流看到的紋理作為輸入，記錄了高光譜成像的熱立方體，黑暗和對場景的全面理解。通過TeX分解來解決重影效應。

圖3 HADAR可識別性的|鏡頭噪聲極限。a，TeX簡并度限制了HADAR的可識別性，就像在說明性的人機識別問題中一樣。頂部插入，人（灰色身體）和機器人（鋁）的明顯發(fā)射率。底部插圖，人類（37°C，紅色）和機器人（72.5°C，藍色）接近相同的入射光譜。b，HADAR可識別性（香農(nóng)信息）作為歸一化光子數(shù)Nd0 2的函數(shù)。

圖4 |HADAR范圍的基本極限。a，d，基于原始熱圖像的測距顯示，由于重影，精度較差。b，e，與熱測距相比，在HADAR中恢復的紋理和增強的測距精度（約100×）。c，f，本文還展示了光學成像(c)和RGB立體視覺(f)進行比較。d和e中的插圖顯示了蒙特卡羅實驗中的深度誤差δz（青色點），與本文的理論邊界（紅色曲線）相比，沿著白色虛線。

圖5 美國印第安納州的|物理驅(qū)動的HADAR感知。對于人體的戶外場景，一個愛因斯坦紙板切口和一輛黑色汽車，視覺驅(qū)動的物體檢測產(chǎn)生兩個人體（錯誤）和一個汽車從光學成像(a)，兩個人體和激光雷達點云(c).沒有汽車（錯誤）基于TeX物理屬性的HADAR感知對場景有全面的理解和準確的語義（b；一輛人體和一輛車），用于無人決策。比例尺，1米。

圖6? HADAR測距（TeX視覺+ AI）夜間擊敗最先進的熱測距（熱視覺+ AI），白天匹配RGB立體視覺，縮寫為“TeX_night≈RGB_day>IR_night”。a，可以清楚地看到，熱成像由于重影效應而受到了一定的阻礙，而HADAR TeX視覺則克服了重影效應，提供了提取熱紋理的基本途徑。這種紋理對于人工智能算法實現(xiàn)最佳功能至關重要。

擴展數(shù)據(jù)圖1 | HADAR TeX視覺算法。用于TeX逆分解的TeX-Net架構(gòu)。TeX-Net在三個方面受到物理學的啟發(fā)。

原文鏈接：https://doi.org/10.1038/s41586-023-06174-6

聲明：文章僅用于學術(shù)分享交流，為確保科學嚴謹，如推文內(nèi)容有不科學、不準確之處，或涉及知識產(chǎn)權(quán)問題，歡迎專業(yè)人士或作者下方私信更正或刪除。論文免費推薦、推廣合作請后臺私信。