作者：章魚哥 | 來源：3DCV

在公眾號「3DCV」后臺，回復「原論文」可獲取論文pdf和代碼鏈接

添加微信：dddvision，備注：三維重建，拉你入群。文末附行業(yè)細分群

1、導讀

一種使用視覺和觸覺傳感器進行3D形狀重建的方法，名為TouchSDF。該方法利用視覺觸覺傳感器提供的豐富信息，以及隱式神經表示DeepSDF的表達能力，從多個接觸點預測連續(xù)的signed-distance function (SDF)，表示物體的形狀。TouchSDF可以從模擬輸入中重建平滑連續(xù)的3D形狀，并在實際世界場景中進行物體探索和操作任務。該方法在模擬和真實世界中的實驗結果表明，它可以有效地重建物體，并具有較好的性能。TouchSDF為3D形狀重建領域提供了新的思路和方法。

2、貢獻

• 我們提出的TouchSDF是一種利用視覺觸覺進行三維形狀重建的方法。通過利用隱式神經表示DeepSDF，我們的方法可以編碼平滑和連續(xù)的表面，從而能夠從部分觀察結果中進行準確而穩(wěn)健的重建。

• 我們通過對潛在變量的調節(jié)，展示了在模擬和現(xiàn)實中對未見物體和姿勢進行泛化的能力，從而對各種幾何變化進行編碼。

• 我們首次利用純視覺觸覺傳感技術對現(xiàn)實世界中的一些三維打印物體和家用物體進行了三維形狀重建評估。

3、方法

TouchSDF：首先機器人對物體表面進行采樣，以獲得真實的觸覺圖像（標記圖案），然后將其轉換為模擬圖像（深度圖）。其次卷積神經網絡（CNN）將模擬圖像映射到表示觸摸位置處的局部對象表面的 3D 點集。最后預訓練的DeepSDF模型根據(jù)多個接觸點上的點云預測表示物體形狀的連續(xù)符號距離函數(shù)（SDF）。

TouchSDF方法的具體步驟和實現(xiàn)方式。如下：

• 模擬：首先收集觸覺圖像和局部點云。觸覺圖像用于捕捉物體表面的接觸信息，而局部點云則用于表示物體表面的三維結構。

• 接觸幾何預測：利用卷積神經網絡（CNN）預測接觸幾何。通過對基礎網格進行變形，從而實現(xiàn)對接觸幾何的預測。這個基礎網格是根據(jù)觸覺圖像和局部點云信息生成的。

• SDF預測：通過DeepSDF神經網絡預測連續(xù)的signed-distance function（SDF），用以表示物體的形狀。DeepSDF網絡接受接觸點和接觸幾何作為輸入，輸出物體的SDF值。

• 3D形狀重建：利用預測的SDF值對物體進行3D形狀重建。TouchSDF方法可以從模擬輸入中重建平滑連續(xù)的3D形狀，并在實際世界場景中進行物體探索和操作任務。

• 實驗驗證：在模擬和真實世界的實驗中，驗證TouchSDF方法的有效性和性能。實驗結果顯示，該方法可以有效地重建物體，具有較好的性能。

此外，TouchSDF方法主要針對視覺和觸覺傳感器的信息，而非純視覺傳感器。這種方法在捕捉接觸豐富信息方面具有優(yōu)勢，并能有效地應對遮擋和外部光線條件等挑戰(zhàn)。

4、提出的3D形狀重構方法，適用于哪些類型的機器人或設備呢？

TouchSDF方法適用于配備視覺和觸覺傳感器的機器人或設備。在本文中提到的具體設備是ABBIRB 120 6DTof機器人臂，它配備了一個高分辨率的視覺觸覺傳感器TacTip。此外，文中還提到了一些日常生活中的物體，如瓶子、相機、碗、透明罐和杯子，這些物體在實驗中用于真實世界評估。

然而，文中并未明確說明TouchSDF方法僅適用于特定類型的機器人或設備。根據(jù)描述，該方法應該適用于其他配備視覺和觸覺傳感器的機器人或設備，只要這些機器人或設備能夠捕獲觸覺圖像和局部點云信息。所以，TouchSDF方法具有一定的通用性，可以應用于多種類型的機器人或設備。

5、該方法在仿真和現(xiàn)實世界中都有測試，那么在現(xiàn)實世界中測試時，如何處理和仿真中不同的情況呢？

在現(xiàn)實世界中測試TouchSDF方法時，文檔提到采用了一種名為Real-to-Sim Image Transfer的方法。這種方法將現(xiàn)實世界的觸覺圖像轉換為模擬環(huán)境中的觸覺圖像。具體來說，他們首先使用一個稱為TacTip的視覺觸覺傳感器在現(xiàn)實世界中收集觸覺圖像。然后，將這些現(xiàn)實世界的觸覺圖像轉換為模擬環(huán)境中的圖像，以便在模擬環(huán)境中進行形狀重建。

在轉換過程中，可能遇到現(xiàn)實與仿真之間觸覺圖像差異的問題。為了解決這個問題，文檔中提到了采用隱式神經表示DeepSDF以及局部點云預測技術來彌補這種差異。通過這些方法，TouchSDF方法在現(xiàn)實世界中的表現(xiàn)得以優(yōu)化，實現(xiàn)了平滑連續(xù)的3D形狀重建。

6、文中使用了哪些指標來評估重構的質量？

評估重構質量的主要指標有平均誤差（Mean Error）和接觸點集誤差（Contact Set Error）。此外，還使用了表面誤差（Surface Error）和CD分數(shù)（CD scores）作為評估指標。

7、實驗結果

實驗結果表明，TouchSDF方法在多種物體種類上均具有較好的性能。

與之前的工作比較

我們將我們的方法與Smith等人進行了比較。的僅觸摸重建方法，使用地球移動器距離（EMD）、凸輪距離（CD）和表面重建誤差作為度量。TouchSDF實現(xiàn)了更好的EMD和表面重建誤差，盡管視覺質量更好，但CD卻略低。

重建：現(xiàn)實世界

我們的方法成功地重建了真實的3D打印物體和其他日常物體（杯子和透明罐子），實現(xiàn)了與模擬中獲得的低EMD值相當?shù)闹怠?/p>

其他

8、總結

TouchSDF方法在實驗中表現(xiàn)出較好的性能，能夠從多個接觸點預測連續(xù)的signed-distance function（SDF），在模擬和現(xiàn)實世界中均能有效地重建物體。