Teledyne FLIR 為高級駕駛輔助系統(tǒng)（ADAS）和自動駕駛汽車的研究人員和開發(fā)人員發(fā)布免費的擴展熱成像數(shù)據(jù)集。最新版擴展后的數(shù)據(jù)集（V2.0.0）幾乎達到原始數(shù)據(jù)集的兩倍，總共包含 26,442 個完全注釋的幀，包含 15 個不同的對象類。其標簽類別數(shù)量也增加了兩倍，目前包括：行人、自行車、汽車、摩托車、公共汽車、火車、卡車、紅綠燈、消防栓、路標、狗、滑板、嬰兒車以及其他車輛標簽。擴展后的熱成像數(shù)據(jù)集將幫助汽車行業(yè)和學術(shù)界快速評估車輛安全算法性能、神經(jīng)網(wǎng)絡(luò)測試以及熱成像傳感器（如 FLIR ADK?）。

數(shù)據(jù)組織

數(shù)據(jù)分為三個部分：訓練圖像 ("train")、驗證圖像 ("val") 和驗證視頻 ("val_video")。從完全獨立的視頻序列中對這三個類別中的每一類的幀進行采樣，以鼓勵模型泛化。數(shù)據(jù)組織和拆分是促進可重復(fù)研究的建議，但最終用戶可以自由使用不同的方案來滿足他們的特定需求。共有 9,711 個熱圖像和 9,233 個 RGB 訓練/驗證圖像 包含在 90%/10% 的訓練/驗證拆分中。驗證視頻總共包含 7,498 幀。3,749 個熱/RGB 視頻對每個都由一系列以每秒 30 幀 (FPS) 捕獲的連續(xù)幀組成。一個頻譜中的每個視頻幀都映射到另一個頻譜中的時間同步幀對，在文件中指定 rgb_to_thermal_vid_map.json。該數(shù)據(jù)集中的鏡頭是在多個位置收集的，包括各種照明/天氣條件。請參閱 "extra_info" 注釋 (coco.json) 的圖像部分。

數(shù)據(jù)采集

該數(shù)據(jù)集是通過安裝在車輛上的熱成像和可見光相機對獲取的。使用具有 45 度水平視場 (HFOV) 和 37 度垂直視場 (VFOV) 的 Teledyne FLIR Tau 2 13 mm f/1.0 獲取熱圖像。熱像儀以T 線性模式運行模式?？梢妶D像是使用配備 52.8 度 HFOV Edmund Optics 鏡頭（部件號 68215）的 Teledyne FLIR BlackFly S BFS-U3-51S5C (IMX250) 相機拍攝的。時間同步捕獲由 Teledyne FLIR 的 Guardian 軟件執(zhí)行。驗證視頻以每秒 30 幀的幀速率收集，包括目標 ID，允許開發(fā)人員計算跟蹤指標，例如 MOTA/MOTP。訓練/驗證圖像片段幀在各種不同的鏡頭中進行采樣，以確保訓練和驗證的高度多樣性。在某些情況下，幀樣本是手動選擇的，而在其他情況下則使用跳幀。每個視頻通常使用不同的跳幀。策展團隊排除了多余的鏡頭，例如車輛在等紅燈時幾乎相同的幀。

數(shù)據(jù)標注

給定拆分（文件夾）的所有注釋都在一個名為 index.json. 該文件格式是為 Teledyne FLIR 的專有數(shù)據(jù)集管理工具 Conservator 創(chuàng)建的。它類似于 Microsoft 的 COCO 注釋文件格式，但允許具有幀級和注釋級屬性的更豐富的注釋。除了 Conservator JSON 文件之外，我們還包括了名為 COCO 格式的文件 coco.json，其中包含注釋的過濾版本。過濾后的版本重新映射或刪除了一些多余或多余的類，如“面部”和“車牌”。包含的 Conservator JSON 文件提供來自注釋器的原始/未經(jīng)過濾的數(shù)據(jù)，而 COCO JSON 文件是一個可供實驗的精煉版本。建議將 COCO 格式的文件 (coco.json) 用于訓練模型。報告的指標基于在 COCO 格式文件上訓練的模型。

標簽

修改后的 MSCOCO 標簽映射與主要受伯克利深度驅(qū)動數(shù)據(jù)集啟發(fā)的約定一起使用。

• Category Id 1: person

• Category Id 2: bike (renamed from "bicycle")

• Category Id 3: car (this includes pick-up trucks and vans)

• Category Id 4: motor (renamed from "motorcycle" for brevity)

• Category Id 6: bus

• Category Id 7: train

• Category Id 8: truck (semi/freight truck, excluding pickup truck)

• Category Id 10: light (renamed from "traffic light" for brevity)

• Category Id 11: hydrant (renamed "fire hydrant" for brevity)

• Category Id 12: sign (renamed from "street sign" for brevity)

• Category Id 17: dog

• Category Id 37: skateboard

• Category Id 73: stroller (four-wheeled carriage for a child, also called pram)

• Category Id 77: scooter

• Category Id 79: other vehicle (less common vehicles like construction equipment and trailers)

個人用戶請通過微信搜索【跨象乘云】公眾號（kxcy_ai）或掃描下方二維碼，關(guān)注后發(fā)送關(guān)鍵字【220608】，免費獲取 FLIR 自動駕駛熱成像數(shù)據(jù)集 V2?？缦蟪嗽? 原創(chuàng)實驗演示視頻內(nèi)全部代碼、數(shù)據(jù)集僅授權(quán)予個人用戶學習與實驗使用。禁止用于二次銷售、分發(fā)傳播、課堂教學及培訓用途。校企用戶采購請通過公眾號菜單【了解我們】->【商務(wù)合作】聯(lián)系。