隨著三維建模等技術(shù)的發(fā)展，許多基于深度學習的研究者們將自己的目光轉(zhuǎn)向了仿真數(shù)據(jù)，期望利用仿真平臺節(jié)省大量人工收集以及標注現(xiàn)實數(shù)據(jù)的時間和費用。但是仿真數(shù)據(jù)和現(xiàn)實數(shù)據(jù)之間無論從外觀還是噪聲上仍然有較大的差距，如果不進行后續(xù)處理的話將無法發(fā)揮仿真數(shù)據(jù)的優(yōu)勢。那么在現(xiàn)實數(shù)據(jù)不能獲得的前提條件下，我們?nèi)绾尾拍艹浞掷梅抡鏀?shù)據(jù)呢？本期文章將為大家介紹其中的一種解決方法——域隨機化（Domain Radomization）。

首先為大家介紹域隨機化的基本概念。域隨機化是指通過在仿真環(huán)境中隨機地改變各種參數(shù)，以期望獲得多種狀態(tài)下的仿真數(shù)據(jù)，進而訓練出更加具有魯棒性的模型，使其能夠直接應(yīng)用在各種現(xiàn)實環(huán)境中。

在采用域隨機化技術(shù)時，通常情況下包含的技術(shù)有：

(1) 紋理隨機化：通過改變環(huán)境中各個物件的貼圖，隨機賦予其不同的紋理狀態(tài)，以模擬現(xiàn)實環(huán)境中豐富的紋理和顏色變化。如在圖1中，第一行為Virtual Kitti數(shù)據(jù)集[1]所包含的普通仿真環(huán)境，第二行為經(jīng)過紋理隨機化之后所生成的仿真數(shù)據(jù)，其中汽車和背景的紋理均發(fā)生了明顯的變化。

(2) 光照隨機化：通過改變仿真環(huán)境中光源的位置、姿態(tài)、強度以及顏色等實現(xiàn)光照隨機化；

(3) 改變天氣：在仿真平臺中包含大量控制天氣如風、雨、雪、霧等插件，因此可以通過仿真環(huán)境模擬日常環(huán)境中天氣的變化，進而達到擬合現(xiàn)實環(huán)境的目的。

(4) 改變目標和環(huán)境的各種物理參數(shù)：控制目標的運動狀態(tài)，如位置、速度、軌跡等；改變攝像機的各種姿態(tài)等等。

那么域隨機化可以在哪些應(yīng)用場景下發(fā)揮較大的優(yōu)勢呢？

(1) 計算機視覺領(lǐng)域；由于深度學習需要大量的訓練數(shù)據(jù)，而仿真環(huán)境恰好可以提供豐富的視覺信息，因此域隨機化在計算機視覺領(lǐng)域有著廣泛的應(yīng)用，如目標檢測、語義分割、位姿估計等等。在[3]的研究中，域隨機化被應(yīng)用于改變環(huán)境中的顏色，進而提供更多的用于文字識別任務(wù)的數(shù)據(jù)，如圖2所示。

在[4]中，作者利用域隨機化生成了大量的目標姿態(tài)數(shù)據(jù)，如在圖中桌子和被抓取物體的紋理均發(fā)生改變，同時環(huán)境光照也發(fā)生了變化。

(2) 機器人領(lǐng)域；如果直接在現(xiàn)實環(huán)境中直接進行一些基于視覺的控制算法的研究會給機器人帶來嚴重的損耗，同時單一的仿真環(huán)境也會使控制器無法較為全面地訓練和學習，無法適用到現(xiàn)實環(huán)境中。因此可以利用域隨機化生成豐富的訓練數(shù)據(jù)，使在仿真環(huán)境中訓練的控制器能夠直接應(yīng)用到真實世界里。例如在基于強化學習和端到端的主動跟蹤算法的研究中[5]，作者通過改變仿真環(huán)境中紋理（如圖4所示）、光照、目標位置和軌跡等參數(shù)，得到了一個能夠直接應(yīng)用于現(xiàn)實環(huán)境的主動跟蹤器，使得相機能夠直接調(diào)整自身姿態(tài)跟上運動目標，而省去先得到目標位置再控制自身運動的中間過程。

在無人機競速比賽中，由于無人機需要高速穿越多個障礙如門、圈等，因此在[6]中研究了基于視覺的無人機控制和軌跡規(guī)劃算法，以保證無人機能夠高速平穩(wěn)地穿越各種障礙。其中，其通過域隨機化的方式生成了大量的環(huán)境和障礙物，如圖5所示。

當直接將控制器應(yīng)用于現(xiàn)實環(huán)境中（如圖6所示），無人機也能夠適應(yīng)其中，不需要重新對控制器進行微調(diào)。

也歡迎大家關(guān)注實驗室在域隨機化方面上的研究工作。

參考文獻：

[1] A. Gaidon, Q. Wang, Y. Cabon, et al. Virtual worlds as proxy for multi-object tracking Analysis. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 2016 (pp. 4340-4349).

[2] J. Tremblay, A. Prakash, D. Acuna, et al. Training deep networks with synthetic data: Bridging the reality gap by domain randomization. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops 2018 (pp. 969-977).

[3] S. Long, C. Yao. Unrealtext: Synthesizing realistic scene text images from the unreal world. arXiv preprint arXiv:2003.10608. Mar 2020.

[4] X. Ren, J. Luo, E. Solowjow, et al. Domain randomization for active pose estimation. In 2019 International Conference on Robotics and Automation (ICRA) May 2019 (pp. 7228-7234).

[5] W. Luo, P. Sun, F. Zhong, et al. End-to-end active object tracking and its real-world deployment via reinforcement learning. IEEE Transactions on Pattern Analysis and Machine Intelligence. Feb 2019;42(6):1317-32.

[6] A. Loquercio, E Kaufmann, R. Ranftl, et al. Deep drone racing: From simulation to reality with domain randomization. IEEE Transactions on Robotics. Oct 2019;36(1):1-4.

封面圖片：W. Luo, P. Sun, F. Zhong,?et al.?End-to-end active object tracking and its real-world deployment via reinforcement learning. IEEE Transactions on Pattern Analysis and Machine Intelligence. Feb 2019;42(6):1317-32.

本文共1560字

由西湖大學智能無人系統(tǒng)實驗室博士生張尹原創(chuàng)

申請文章授權(quán)請聯(lián)系后臺相關(guān)運營人員

▌微信公眾號：空中機器人前沿

▌知乎：空中機器人前沿（本文鏈接：https://zhuanlan.zhihu.com/p/530006197）

▌Youtube：Aerial robotics @ Westlake University

▌實驗室網(wǎng)站：https://shiyuzhao.westlake.edu.cn/??