標(biāo)題：Scaling Robot Learning with Semantically Imagined Experience

項(xiàng)目地址：https://diffusion-rosie.github.io

來源：微信公眾號「計(jì)算機(jī)視覺工坊」??

1、背景

Scaling robot learning是指使機(jī)器人系統(tǒng)可以從大規(guī)模數(shù)據(jù)集中進(jìn)行學(xué)習(xí)，并在與環(huán)境交互時不斷提高其性能。這需要采取多種方法，例如使用多個機(jī)器人進(jìn)行數(shù)據(jù)收集、使用深度學(xué)習(xí)等表示學(xué)習(xí)技術(shù)、使用遷移學(xué)習(xí)技術(shù)、使用仿真等方法生成大量訓(xùn)練數(shù)據(jù)、使用強(qiáng)化學(xué)習(xí)技術(shù)、將人類反饋納入學(xué)習(xí)過程中等等。通過結(jié)合這些方法，可以實(shí)現(xiàn)機(jī)器人學(xué)習(xí)的任務(wù)擴(kuò)展，并創(chuàng)建可以在各種環(huán)境中操作并執(zhí)行各種任務(wù)的機(jī)器人系統(tǒng)。

盡管機(jī)器人學(xué)習(xí)的最新進(jìn)展表明，機(jī)器人能夠?qū)W習(xí)許多自然語言任務(wù)，但這種策略的泛化能力仍遠(yuǎn)低于最近的大規(guī)模視覺語言模型。造成這些限制的一個根本原因是缺乏多樣的數(shù)據(jù)，這些數(shù)據(jù)不僅涵蓋了各種運(yùn)動技能，還涵蓋了各種物體和視覺領(lǐng)域。當(dāng)規(guī)模擴(kuò)大到更大、更多樣的數(shù)據(jù)集時，當(dāng)前的機(jī)器人學(xué)習(xí)算法展示出不錯的發(fā)展前景。

然而，目前仍然存在諸多挑戰(zhàn)：為了獲得大規(guī)模數(shù)據(jù)集，先前的方法要么依賴于需要大量人力參與的演示，要么依賴于工程化的自主數(shù)據(jù)收集方案，這兩種方案都難以規(guī)模化。雖然現(xiàn)有的一些工作通過生成模擬數(shù)據(jù)來滿足這些機(jī)器人數(shù)據(jù)需求，提出了解決這一難題的潛在方案，但他們也面臨著自己的一系列挑戰(zhàn)，例如生成多樣且足夠精確的模擬或解決模擬到真實(shí)的傳輸。問題在于是否能找到其他方法來綜合生成真實(shí)的多樣數(shù)據(jù)，而不需要真實(shí)的模擬或在真實(shí)機(jī)器人上收集數(shù)據(jù)。

為了解決這一問題，作者提出了一種替代方法，并利用計(jì)算機(jī)視覺和自然語言處理中廣泛使用的文本到圖像基礎(chǔ)模型來獲得機(jī)器人學(xué)習(xí)的有意義的數(shù)據(jù)，而不需要額外的機(jī)器人數(shù)據(jù)。該方法稱為具有語義圖像體驗(yàn)的機(jī)器人學(xué)習(xí)（ROSIE）。具體而言，作者利用最先進(jìn)的文本到圖像擴(kuò)散模型，并在現(xiàn)有機(jī)器人操縱數(shù)據(jù)集的基礎(chǔ)上，通過使用文本指導(dǎo)修復(fù)各種不可見的操縱對象、背景和干擾物，進(jìn)行積極的數(shù)據(jù)擴(kuò)充。通過廣泛的真實(shí)世界實(shí)驗(yàn)，證明以這種方式增強(qiáng)的數(shù)據(jù)訓(xùn)練的操縱策略能夠解決具有新對象的完全未見過的任務(wù)，并且在使用新的干擾物時表現(xiàn)得更為魯棒。

這種基于大規(guī)模的圖像生成方法有以下三個優(yōu)點(diǎn)：

1）可以通過自然語言有意義地增強(qiáng)任務(wù)的語義信息；

2）方法建立在大規(guī)模的數(shù)據(jù)上，因此可以使用相機(jī)生成許多對象和背景的照片級真實(shí)圖像；

3）可以使用修復(fù)等方法來有意義地改變圖像的一部分。這使得該方法能夠通過結(jié)合新的干擾物、背景和環(huán)境來生成真實(shí)場景，同時反映新任務(wù)或場景的語義。

例如，給定“將綠色袋移到橙子附近”等任務(wù)的數(shù)據(jù)，作者希望將該任務(wù)擴(kuò)展到教機(jī)器人將任何顏色的袋子移向許多未與之交互的新對象，例如“將黃色袋移到桃子附近”（圖1）。這些技術(shù)允許將真實(shí)數(shù)據(jù)中的對象變換為任意相關(guān)對象。此外，他們可以讓場景中語義相關(guān)的部分保持不變，例如，當(dāng)橙子變成桃子時，對薯片袋的抓握仍然存在。這產(chǎn)生了一個新穎的、語義標(biāo)記的數(shù)據(jù)點(diǎn)。

圖1 作者提出使用文本引導(dǎo)的擴(kuò)散模型進(jìn)行數(shù)據(jù)增強(qiáng)，用于機(jī)器人學(xué)習(xí)領(lǐng)域。這些增強(qiáng)可以產(chǎn)生非常逼真的圖像，適合用于學(xué)習(xí)下游相關(guān)任務(wù)。如圖所示，由于系統(tǒng)的照片逼真度很高，生成的一些物體很難辨別哪些是真實(shí)的，哪些是生成的。

2、核心思想

ROSIE是一種通過語義圖像增強(qiáng)來擴(kuò)展機(jī)器人數(shù)據(jù)生成的框架。首先，作者用語義上不同的環(huán)境來擴(kuò)充自然語言指令。例如，在一個將物體放在空抽屜中的任務(wù)中，作者添加了“打開的抽屜中有一個可樂罐”。通過這種自然語言提示，ROSIE生成與語言查詢相關(guān)的感興趣區(qū)域的mask。接下來，給定擴(kuò)充文本，ROSIE使用Imagen Editor對所選mask進(jìn)行修復(fù)，以插入語義上精確的對象，這些對象遵循擴(kuò)充文本指令。重要的是，整個過程應(yīng)用于整個機(jī)器人軌跡，在所有步驟中都會不斷增強(qiáng)。作者在圖2中展示了該框架的概況。

圖2 ROSIE的架構(gòu)。首先，作者使用開放的詞袋分割模型來定位增強(qiáng)區(qū)域。其次，作者運(yùn)行Imagen Editor來執(zhí)行文本引導(dǎo)的圖像編輯。最后，作者使用增強(qiáng)的數(shù)據(jù)來訓(xùn)練RT-1操縱策略。

圖3 作者的增強(qiáng)方案生成更具針對性和物理真實(shí)性的增強(qiáng)，這些增強(qiáng)對于學(xué)習(xí)下游任務(wù)非常有用，而其他文本到圖像生成方法通常會導(dǎo)致全局更改，從而使圖像無法用于訓(xùn)練。

A．基于開放詞袋分割的增強(qiáng)區(qū)域定位：

為了在現(xiàn)有機(jī)器人數(shù)據(jù)集的基礎(chǔ)上生成語義上有意義的增強(qiáng)，首先需要檢測應(yīng)該執(zhí)行這種增強(qiáng)的圖像區(qū)域。為此，作者利用OWL ViT開放詞袋檢測器和附加的實(shí)例分割頭執(zhí)行開放詞袋實(shí)例分割。這個額外的頭部為OWL-ViT檢測到的每個邊界框預(yù)測固定分辨率的實(shí)例mask。（樣式類似于Mask-RCNN）。

OWL-ViT提供的實(shí)例分割模型需要一個語言查詢來指定應(yīng)該檢測圖像的哪一部分。作者為機(jī)器臂與之交互的對象生成mask，對于機(jī)器人數(shù)據(jù)集中的每個episode e，首先確定語言指令中指定的目標(biāo)對象。例如，如果指令是“pick coke can”，則任務(wù)的目標(biāo)對象是可樂罐。作者將目標(biāo)對象作為提示傳遞給OWL-ViT模型進(jìn)行分割，并獲得結(jié)果mask。作者還可以在需要將干擾因素去除的區(qū)域生成mask，以提高策略的魯棒性。在這種情況下，作者使用OWL-ViT同時檢測桌子（如圖2所示）和桌子上的所有對象。這使得該方法能夠?qū)ψ雷舆M(jìn)行采樣，而不會與現(xiàn)有對象（作者稱之為“passthrough objects”）重疊。在圖5中提供了機(jī)器人數(shù)據(jù)集中由OWL-ViT檢測到的更多mask示例。

圖4 ROSIE在操作中手持物體的增強(qiáng)。作者展示了ROSIE如何有效地將新物體繪制到原始的手持物體中。在頂部一行中，作者展示了原始的示例以及檢測到的mask，其中機(jī)器人拿起了綠色的薯片袋。在下面的一行中，作者展示了ROSIE可以將各種顏色和風(fēng)格的微纖維布繪制到原始的綠色薯片袋中。例如，作者可以簡單地將帶有mask和提示“機(jī)器人拿起一條圓點(diǎn)布”的原始示例傳遞給ROSIE，從而獲得機(jī)器人以逼真的方式拿起這樣的布的示例。

圖5 在頂部一行展示了RT-1數(shù)據(jù)集的原始圖像，底部一行展示了檢測到的mask和mask標(biāo)記的圖像。

B．增強(qiáng)文本提案：

這里作者討論了獲得文本到圖像擴(kuò)散模型增強(qiáng)提示的兩種主要方法：手動提示和LLM建議的提示。

手動設(shè)計(jì)提示。第一種方法涉及手動指定要進(jìn)行增強(qiáng)的對象。為了生成新的任務(wù)，作者選擇訓(xùn)練數(shù)據(jù)之外的對象，以確保增強(qiáng)能夠擴(kuò)展數(shù)據(jù)支持。為了提高學(xué)習(xí)策略和成功檢測的魯棒性，隨機(jī)選擇具有語義意義的對象，并將它們添加到提示中，以在場景中生成有意義的干擾。例如，在圖4中，作者旨在通過將原始對象（綠色薯片袋）替換為各種微纖維布來生成新的手持物品。

LLM提議的提示。雖然手工制作的提示可以保證生成的數(shù)據(jù)在分布范圍內(nèi)，但它限制了數(shù)據(jù)生成過程的可擴(kuò)展性。因此，作者利用大型語言模型增強(qiáng)對象的能力。盡管LLM提議的提示存在一些噪聲，但實(shí)踐中通常不會影響機(jī)器人控制性能。

C．文本引導(dǎo)修復(fù)的擴(kuò)散模型：

給定分割mask和增強(qiáng)提示，作者通過文本到圖像擴(kuò)散模型進(jìn)行文本引導(dǎo)的圖像編輯。這里，作者使用Imagen Editor，這是最新的文本引導(dǎo)圖像修復(fù)模型，經(jīng)過微調(diào)后使用預(yù)訓(xùn)練的文本到圖像生成器Imagen。ROSIE利用擴(kuò)散模型和從互聯(lián)網(wǎng)規(guī)模的數(shù)據(jù)中學(xué)到的先驗(yàn)知識提供物理上逼真的增強(qiáng)（例如圖3），這對于使機(jī)器人學(xué)習(xí)更具一般性和魯棒性非常有價(jià)值。

圖6 作者展示了ROSIE生成的場景的可視化，作者將機(jī)器人前面的常規(guī)桌面替換為碗架、大理石水槽和木制柜臺，而這在訓(xùn)練數(shù)據(jù)集中從未出現(xiàn)過。結(jié)果表明，在這種增強(qiáng)上訓(xùn)練的策略使機(jī)器人能夠?qū)⑽矬w放置到真正的金屬水槽中。

D．操縱模型訓(xùn)練：

增強(qiáng)的目的是改進(jìn)對下游任務(wù)的學(xué)習(xí)能力，例如機(jī)器人操作。作者基于Robotics Transformer（RT-1）架構(gòu)訓(xùn)練操縱策略，同時使用較小的學(xué)習(xí)率以確保微調(diào)的穩(wěn)定性。

圖7 作者展示了一個由ROSIE增強(qiáng)的場景（頂部行），其中ROSIE將金屬水槽替換到到柜臺的頂部抽屜上，并展示了在具有金屬水槽的真實(shí)廚房中使用原始和增強(qiáng)的數(shù)據(jù)訓(xùn)練的結(jié)果。該策略成功地完成了“將百事可樂罐放入水槽”的任務(wù)，即使它之前沒有在真實(shí)環(huán)境中訓(xùn)練過具有水槽的數(shù)據(jù)，這表明利用與互聯(lián)網(wǎng)規(guī)模數(shù)據(jù)訓(xùn)練的擴(kuò)散模型的先驗(yàn)知識可以提高機(jī)器人學(xué)習(xí)在現(xiàn)實(shí)世界中的泛化能力。

3、實(shí)驗(yàn)環(huán)節(jié)

在實(shí)驗(yàn)評估中，作者專注于機(jī)器人操縱和體現(xiàn)式推理（例如，檢測操縱任務(wù)是否成功執(zhí)行）。作者設(shè)計(jì)實(shí)驗(yàn)來回答以下研究問題：

RQ1：能否利用語義感知的增強(qiáng)學(xué)習(xí)得到僅在擴(kuò)散模型中看到過的全新技能？

RQ2：能否利用語義感知的增強(qiáng)使該策略更加魯棒，能夠應(yīng)對視覺干擾因素？

RQ3：能否利用語義感知的增強(qiáng)來引導(dǎo)高層次的體現(xiàn)式推理，如成功檢測？

為了回答這些問題，作者使用多任務(wù)機(jī)器人數(shù)據(jù)集對ROSIE進(jìn)行了評估，該數(shù)據(jù)集由130k個機(jī)器人演示組成，其中744個語言指令在實(shí)驗(yàn)室辦公室和廚房中收集。這些任務(wù)包括拾取、放置、打開和關(guān)閉抽屜、在目標(biāo)容器附近移動物體、操縱物體進(jìn)出抽屜以及重新排列物體等技能。

在實(shí)驗(yàn)中，作者旨在了解增強(qiáng)文本和增強(qiáng)圖像對策略學(xué)習(xí)的影響。因此，作者進(jìn)行了兩項(xiàng)比較：

1.預(yù)訓(xùn)練RT-1（NoAug）：雖然預(yù)訓(xùn)練的RT-1沒有在具有增強(qiáng)文本和生成對象的任務(wù)上進(jìn)行訓(xùn)練，但已經(jīng)證明它具有很好的預(yù)訓(xùn)練能力，并對不可見場景表現(xiàn)出出色的泛化能力。

2.帶指令擴(kuò)充的微調(diào)RT-1（InstructionAug）作者將RT-1數(shù)據(jù)集中的原始集重新標(biāo)記為通過作者的增強(qiáng)文本生成的新指令，同時保持圖像不變。作者希望這種方法能夠?qū)⑽谋局噶罘职l(fā)出去，但不識別增強(qiáng)對象的視覺效果。

A．RQ1：學(xué)習(xí)新技能：

為了回答RQ1，作者通過生成機(jī)器人需要操縱的新對象來擴(kuò)充RT-1數(shù)據(jù)集。作者在以下四個類別中評估所提方法，難度越來越大。

1）學(xué)習(xí)在生成的新容器附近移動對象。作者測試在看不見的容器附近移動訓(xùn)練對象的任務(wù)，如圖10所示。如表1所示，作者的ROSIE微調(diào)RT-1策略（在130k集的整個RT-1訓(xùn)練集和生成的新任務(wù)上進(jìn)行訓(xùn)練）優(yōu)于預(yù)訓(xùn)練的RT-1策略和帶有指令擴(kuò)充的微調(diào)RT-1，這表明ROSIE能夠生成對控制有益的完全不可見的任務(wù)，并超過RT-1的固有傳輸能力。

圖10 擴(kuò)充示例

2）學(xué)習(xí)將對象放置到生成的不可見容器中。作者進(jìn)行了一個類似的實(shí)驗(yàn)，重點(diǎn)是將對象放置在新的目標(biāo)容器中，而不僅僅是附近。示例擴(kuò)充如圖10所示。表1再次顯示，ROSIE在指令增加至少75%的情況下優(yōu)于預(yù)訓(xùn)練的RT-1和RT-1。

3）學(xué)習(xí)掌握生成的未知可變形對象。作者在新任務(wù)上測試ROSIE的限制，其中要操縱的對象是通過ROSIE生成的。作者從由1309集組成的RT-1數(shù)據(jù)集中選擇了一組任務(wù)“pick green chip bag”。為了在整個軌跡中準(zhǔn)確地生成芯片袋的掩模，作者運(yùn)行開放詞袋分割來檢測芯片袋和機(jī)器人夾持器作為通過對象，以便可以過濾掉機(jī)器人抓取，從而在抓取芯片袋時獲得芯片袋的準(zhǔn)確mask。表1再次表明，ROSIE優(yōu)于預(yù)訓(xùn)練的RT-1和RT-1，指令增加至少150%，證明ROSIE能夠通過使操縱目標(biāo)多樣化來擴(kuò)展操縱任務(wù)，并提高現(xiàn)實(shí)世界中的策略性能。

4）學(xué)習(xí)在新的背景下將物體放入看不見的廚房水槽。為了進(jìn)一步測試基于擴(kuò)散的增強(qiáng)框架，作者嘗試將物體放入水槽。作者生成了一個具有挑戰(zhàn)性的場景，將一個罐子放入柜臺的頂部抽屜（共779集），并部署ROSIE來檢測打開的抽屜，使用Imagen Editor將抽屜替換為金屬水槽（可視化見圖7的第一行）。表1最后一行的結(jié)果證實(shí)了這一點(diǎn)。ROSIE在將可樂罐和百事可樂罐放入水槽中取得了60%的總體成功率，而RT-1政策無法定位罐，未能取得任何成功。

總之，通過這些實(shí)驗(yàn)，ROSIE被證明能夠有效地修復(fù)需要豐富操作的對象和操作策略的目標(biāo)對象，顯著增加了機(jī)器人操作中的任務(wù)數(shù)量。這些結(jié)果表明，無需額外的實(shí)際數(shù)據(jù)收集，就可以擴(kuò)展機(jī)器人學(xué)習(xí)。

表1 ROSIE的完整實(shí)驗(yàn)結(jié)果。藍(lán)色陰影的結(jié)果對應(yīng)于RQ1，橙色陰影的結(jié)果相應(yīng)于RQ2。對于從上到下的每個任務(wù)系列，作者分別用50、20、16、10、80、40和27集（共243集）進(jìn)行了評估。

B．RQ2：增強(qiáng)操縱策略的魯棒性：

作者在兩種情況下研究RQ2：不同背景下策略的魯棒性和新的干擾因素。作者使用ROSIE來增加訓(xùn)練數(shù)據(jù)的背景。執(zhí)行兩種類型的擴(kuò)充：用彩色桌布替換桌面和在桌面上插入水槽。

C．RQ3：關(guān)于成功檢測的案例研究：

在本節(jié)中，作者展示了ROSIE在改善高級機(jī)器人體現(xiàn)式推理任務(wù)，如成功檢測方面也非常有效。成功檢測（或失敗檢測）是自主機(jī)器人在動態(tài)環(huán)境中完成任務(wù)所需的重要能力。鑒于機(jī)器人可能遇到的潛在情況的大量多樣性，解決這個問題的通用解決方案可能涉及部署已學(xué)習(xí)的失敗檢測系統(tǒng)，可以隨著更多數(shù)據(jù)的使用而不斷改進(jìn)。

4、總結(jié)

用語義圖像經(jīng)驗(yàn)進(jìn)行大規(guī)模機(jī)器人學(xué)習(xí)是一種旨在通過使用模擬經(jīng)驗(yàn)來提高機(jī)器人學(xué)習(xí)能力的技術(shù)。其想法是生成虛擬體驗(yàn)，可以用來訓(xùn)練機(jī)器人執(zhí)行各種任務(wù)，而無需與現(xiàn)實(shí)世界進(jìn)行物理交互。這種方法利用了機(jī)器學(xué)習(xí)的最新進(jìn)展，特別是深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。

為了使機(jī)器人能夠從模擬體驗(yàn)中學(xué)習(xí)，機(jī)器人的學(xué)習(xí)算法必須能夠區(qū)分真實(shí)體驗(yàn)和模擬體驗(yàn)。這是使用一種稱為領(lǐng)域自適應(yīng)的技術(shù)來完成的，該技術(shù)涉及使學(xué)習(xí)算法適應(yīng)模擬體驗(yàn)和真實(shí)體驗(yàn)之間的差異。一旦適應(yīng)了學(xué)習(xí)算法，它就可以用于從真實(shí)和模擬的經(jīng)驗(yàn)中學(xué)習(xí)，這顯著提高了機(jī)器人的學(xué)習(xí)能力。這種方法有可能徹底改變機(jī)器人領(lǐng)域，使機(jī)器人能夠在各個領(lǐng)域執(zhí)行廣泛的任務(wù)。

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。

3D視覺工坊精品課程官網(wǎng)：3dcver.com

1.面向自動駕駛領(lǐng)域的3D點(diǎn)云目標(biāo)檢測全棧學(xué)習(xí)路線！(單模態(tài)+多模態(tài)/數(shù)據(jù)+代碼)

2.徹底搞透視覺三維重建：原理剖析、代碼講解、及優(yōu)化改進(jìn)

3.國內(nèi)首個面向工業(yè)級實(shí)戰(zhàn)的點(diǎn)云處理課程

4.激光-視覺-IMU-GPS融合SLAM算法梳理和代碼講解

5.徹底搞懂視覺-慣性SLAM：基于VINS-Fusion正式開課啦

6.徹底搞懂基于LOAM框架的3D激光SLAM: 源碼剖析到算法優(yōu)化

7.徹底剖析室內(nèi)、室外激光SLAM關(guān)鍵算法原理、代碼和實(shí)戰(zhàn)(cartographer+LOAM +LIO-SAM)

8.從零搭建一套結(jié)構(gòu)光3D重建系統(tǒng)[理論+源碼+實(shí)踐]

9.單目深度估計(jì)方法：算法梳理與代碼實(shí)現(xiàn)

10.自動駕駛中的深度學(xué)習(xí)模型部署實(shí)戰(zhàn)

11.相機(jī)模型與標(biāo)定(單目+雙目+魚眼）

12.重磅！四旋翼飛行器：算法與實(shí)戰(zhàn)

13.ROS2從入門到精通：理論與實(shí)戰(zhàn)

14.國內(nèi)首個3D缺陷檢測教程：理論、源碼與實(shí)戰(zhàn)

15.基于Open3D的點(diǎn)云處理入門與實(shí)戰(zhàn)教程

16.透徹理解視覺ORB-SLAM3：理論基礎(chǔ)+代碼解析+算法改進(jìn)

17.不斷更新中......

重磅！粉絲學(xué)習(xí)交流群已成立

交流群主要有3D視覺、CV&深度學(xué)習(xí)、SLAM、三維重建、點(diǎn)云后處理、自動駕駛、多傳感器融合、CV入門、三維測量、VR/AR、3D人臉識別、醫(yī)療影像、缺陷檢測、行人重識別、目標(biāo)跟蹤、視覺產(chǎn)品落地、視覺競賽、車牌識別、硬件選型、ORB-SLAM系列源碼交流、深度估計(jì)、TOF、求職交流等方向。

添加小助理微信（dddvisiona）,一定要備注：研究方向+學(xué)校/公司+昵稱，例如：”3D視覺 + 上海交大 + 靜靜“。請按照格式備注，可快速通過且邀請進(jìn)群。?