本周帶來的?9?個(gè)?SOTA?模型分別用于開放領(lǐng)域的對話、問答、3D 對象重建、視頻去閃爍、3D 物體跟蹤；1?個(gè)工具用于代碼生成。

中文Alpaca模型Luotuo開源，權(quán)重語料均發(fā)布可應(yīng)用到各類垂直領(lǐng)域

Alpaca 是斯坦福團(tuán)隊(duì)基于 LLaMA 7B 在 52k 指令上微調(diào)得到的模型，能出色適應(yīng)多種自然語言應(yīng)用場景。近日來自商湯科技和華中科技大學(xué)開源中文語言模型 Luotuo，基于 ChatGPT API 翻譯 Alpaca 微調(diào)指令數(shù)據(jù)，并使用 lora 進(jìn)行微調(diào)得到。目前該項(xiàng)目已公開訓(xùn)練的語料和模型權(quán)重文件（兩個(gè)型號(hào)），供開發(fā)者可使用自己各種大小的語料，訓(xùn)練自己的語言模型，并適用到對應(yīng)的垂直領(lǐng)域。

獲取資源：

https://sota.jiqizhixin.com/project/luotuo

ChatGPT支持插件，可連接到第三方應(yīng)用程序

OpenAI 發(fā)布 ChatGPT Plugins，它能將 ChatGPT 連接到第三方應(yīng)用程序。ChatGPT Plugins 的插件接入方式非常友好，開發(fā)者只需定義清楚插件的用途，ChatGPT 就可以理解所定義插件的調(diào)用。連接 ChatGPT 的應(yīng)用可檢索實(shí)時(shí)信息，例如體育比分、股票價(jià)格、最新消息等；檢索知識(shí)庫信息：例如公司文件、個(gè)人筆記等；代表用戶執(zhí)行操作：例如，訂機(jī)票、訂餐等。

獲取資源：

https://sota.jiqizhixin.com/project/chatgpt-plugins

GitHub發(fā)布Copilot X，將GPT-4融入開發(fā)場景，帶來極致編程體驗(yàn)

本次發(fā)布的 GitHub Copilot X，基于 GPT-4 支持實(shí)時(shí)對話、AI PR 提交處理、智能文檔系統(tǒng)、智能命令行、語音生成代碼。GitHub Copilot X 集成至 VS Code 和 Visual Studio 上，將 GPT-4 融入到了實(shí)際開發(fā)場景中，開發(fā)者可通過內(nèi)嵌的聊天窗口實(shí)時(shí)進(jìn)行對話問答，以及識(shí)別代碼內(nèi)容、顯示報(bào)錯(cuò)信息、語音交流等操作。當(dāng)前官方開放內(nèi)測申請。

獲取資源：

https://sota.jiqizhixin.com/project/github-copilot-x

國內(nèi)火爆社交聊天應(yīng)用Glow底層模型面向企業(yè)用戶開放API內(nèi)測申請

Glow 是國內(nèi)一款火爆的社交型 AI 聊天應(yīng)用，與之前搜索引擎助手、回答問題、文案生成類不同，Glow 更強(qiáng)調(diào) AI 社交，在 Glow 里，用戶可以根據(jù)喜好創(chuàng)建有背景設(shè)定、有特定性格的智能體。智能體的性格特質(zhì)只需要通過一段簡短的描述實(shí)現(xiàn)，并能在后續(xù)對話中不斷調(diào)整強(qiáng)化。Glow 由創(chuàng)業(yè)團(tuán)隊(duì) MiniMax 打造，其高超的能力來源于該團(tuán)隊(duì)自研的 3 個(gè)通用語言大模型，當(dāng)前該團(tuán)隊(duì)面向企業(yè)用戶公開 MiniMax 新一代大語言模型 API 的申請。

獲取資源：

https://sota.jiqizhixin.com/project/minimax-api

華為提出PanGu-Σ，面向稀疏異構(gòu)計(jì)算的萬億參數(shù)語言模型

PanGu-Σ: Towards Trillion Parameter Language Model with Sparse Heterogeneous Computing

華為等在 Ascend 910 人工智能處理器集群和 MindSpore 框架上訓(xùn)練得到萬億級參數(shù)的語言模型 PanGu-Σ（1.085T 參數(shù)）。利用 PanGu-α 的固有參數(shù)，用隨機(jī)路由專家（RRE）將密集的 Transformer 模型擴(kuò)展為稀疏的模型，并通過使用專家計(jì)算和存儲(chǔ)分離（ECSS）對 329B 個(gè)標(biāo)記進(jìn)行有效的模型訓(xùn)練。這使得通過異構(gòu)計(jì)算的訓(xùn)練產(chǎn)量增加了 6.3 倍。PanGu-Σ 在各種中文 NLP 任務(wù)中實(shí)現(xiàn) SOTA。此外，在開放領(lǐng)域的對話、問題回答、機(jī)器翻譯和代碼生成等應(yīng)用數(shù)據(jù)中進(jìn)行微調(diào)時(shí)，它展示了強(qiáng)大性能。

獲取資源：

https://sota.jiqizhixin.com/project/pangu-2

哥倫比亞大學(xué)等提出Zero-1-to-3，給定單張RGB圖像，實(shí)現(xiàn)3D對象重建

Zero-1-to-3: Zero-shot One Image to 3D Object

該研究提出 Zero-1-to-3，只需給定一張RGB圖像，即可實(shí)現(xiàn)3D對象重建。為了實(shí)現(xiàn)該技術(shù)，該研究利用了大規(guī)模擴(kuò)散模型對自然圖像的幾何預(yù)設(shè)進(jìn)行新視圖合成。并使用條件擴(kuò)散模型合成的數(shù)據(jù)集來訓(xùn)練，實(shí)現(xiàn)對相對相機(jī)視角的控制，這可以在指定的相機(jī)轉(zhuǎn)換下生成同一物體的新圖像，實(shí)現(xiàn) 3D 對象重建。目前 Zero-1-to-3 的預(yù)訓(xùn)練模型權(quán)重已開源，可在 RTX 3090 Ti 上進(jìn)行單張圖像重建 3D 對象推理、新視圖合成。以及在 Hugging Face space 試用單張圖像到 3D 對象的轉(zhuǎn)換。

獲取資源：

https://sota.jiqizhixin.com/project/zero-1-to-3

香港科技大學(xué)提出FateZero，基于文本到圖像擴(kuò)散模型的視頻編輯方法

FateZero: Fusing Attentions for Zero-shot Text-based Video Editing

該研究提出了 FateZero，建立在預(yù)訓(xùn)練文本到圖像模型基礎(chǔ)上，無需預(yù)訓(xùn)練或使用特定掩碼，即可實(shí)現(xiàn)文本引導(dǎo)的視頻編輯方法。FateZero?在反演過程中捕獲了中間注意力圖，有效地保留了結(jié)構(gòu)和運(yùn)動(dòng)信息；將自注意力與通過源提示的交叉注意力特征獲得的混合掩碼相融合，進(jìn)一步最大限度地減少源視頻的語義泄漏。當(dāng)前?FateZero 已開源代碼倉庫，可使用 Stable Diffusion 實(shí)現(xiàn)基于文本驅(qū)動(dòng)的視頻風(fēng)格、局部屬性編輯。

獲取資源：

https://sota.jiqizhixin.com/project/fatezero

中國科學(xué)院等提出給老電影、老動(dòng)畫片、延時(shí)視頻、慢動(dòng)作視頻去閃爍新方法

Blind Video Deflickering by Neural Filtering with a Flawed Atlas

先前去視頻閃爍工作通常需要特定的指導(dǎo)，如閃爍頻率、手動(dòng)注釋或額外的一致視頻來消除閃爍。該研究提出了一個(gè)通用的閃爍去除框架，它只接收單一的閃爍視頻作為輸入，不需要額外的指導(dǎo)。利用神經(jīng)圖譜與神經(jīng)過濾策略合作，取得了令人滿意的去閃爍性能，甚至超過了在公共基準(zhǔn)上使用額外指導(dǎo)的基線。deflicker 預(yù)訓(xùn)練模型文件已開源，可使用預(yù)訓(xùn)練模型文件對圖像/視頻進(jìn)行去閃爍推理。

獲取資源：

https://sota.jiqizhixin.com/project/deflicker

慕尼黑大學(xué)提出Text2Room，給定輸入文本可生成帶紋理的3D房間

Text2Room: Extracting Textured 3D Meshes from 2D Text-to-Image Models

該研究提出 Text2Room，給定輸入文本可生成具有紋理的3D房間。為此，該研究利用預(yù)訓(xùn)練文本到圖像生成模型來合成一系列不同姿勢的圖像，并根據(jù)一系列相機(jī)姿勢迭代創(chuàng)建帶紋理的 3D 房間。為將這些輸出提升為一致的3D場景表示，該研究將單眼深度估計(jì)與文本到圖像生成模型相結(jié)合。Text2Room 已開源可復(fù)現(xiàn)，通過預(yù)訓(xùn)練文本到圖像生成模型合成一系列不同姿勢的圖像，并使用官方提供的腳本從不同姿勢圖像迭代創(chuàng)建帶紋理的 3D 房間。

獲取資源：

https://sota.jiqizhixin.com/project/text2room

港中文等提出強(qiáng)稀疏卷積網(wǎng)絡(luò)VoxelNext，完全通過體素特征實(shí)現(xiàn)簡單高效地檢測和跟蹤3D物體

VoxelNeXt: Fully Sparse VoxelNet for 3D Object Detection and Tracking

該研究提出強(qiáng)稀疏卷積網(wǎng)絡(luò) VoxelNext，用于完全稀疏的 3D 目標(biāo)檢測。核心是直接根據(jù)稀疏體素特征來預(yù)測物體，而不依賴手工制作的代理（hand-crafted proxies）。VoxelNeXt 完全通過體素特征實(shí)現(xiàn)簡單高效地檢測和跟蹤 3D 物體，無需進(jìn)行稀疏到密集的轉(zhuǎn)換或 NMS 后處理。VoxelNeXt 的預(yù)訓(xùn)練模型權(quán)重文件和訓(xùn)練數(shù)據(jù)集已開源，可實(shí)現(xiàn) 3D 目標(biāo)檢測和跟蹤任務(wù)推理和訓(xùn)練。

獲取資源：

https://sota.jiqizhixin.com/project/voxelnext

清華等提出3D場景理解新算法SurroundOcc，用來預(yù)測自動(dòng)駕駛多攝像機(jī)圖像3D占用情況，更全面地感知3D場景

SurroundOcc: Multi-Camera 3D Occupancy Prediction for Autonomous Driving

傳統(tǒng)方法專注于 3D 目標(biāo)檢測，難以描述現(xiàn)實(shí)世界中任意形狀和無限類別的物體。為了更全面地感知 3D 場景，該研究提出 SurroundOcc 來預(yù)測多攝像機(jī)圖像的 3D 占用情況。首先為每幅圖像提取多尺度特征，并并采用空間 2D-3D 注意力將其提升到 3D 體積空間。然后，采用 3D 卷積逐步上采樣體積特征，并在多個(gè)級別上施加監(jiān)督。為了獲得密集占有率預(yù)測，該研究設(shè)計(jì)了一個(gè)管道來生成密集的占據(jù)標(biāo)簽，能夠節(jié)省大量的注釋成本。SurroundOcc 的預(yù)訓(xùn)練模型文件已開源，可使用私人數(shù)據(jù)集進(jìn)訓(xùn)練自己的模型。

獲取資源：

https://sota.jiqizhixin.com/project/surroundocc

曠視提出視頻預(yù)測SOTA模型DMVFN，僅使用RGB圖像低成本實(shí)現(xiàn)預(yù)測性能

A Dynamic Multi-Scale Voxel Flow Network for Video Prediction

該研究提出動(dòng)態(tài)多尺度體素流網(wǎng)絡(luò)（DMVFN），與以前的方法相比，僅使用 RGB 圖像即可以更低的計(jì)算成本實(shí)現(xiàn)更好的視頻預(yù)測性能。DMVFN 的核心是一個(gè)可區(qū)分的路由模塊，可以有效地感知視頻幀的運(yùn)動(dòng)尺度。經(jīng)訓(xùn)練后，DMVFN 會(huì)在推理階段為不同的輸入選擇自適應(yīng)的子網(wǎng)絡(luò)。實(shí)驗(yàn)表明，DMVFN 比 Deep Voxel Flow 快一個(gè)數(shù)量級，在生成的圖像質(zhì)量上超過最先進(jìn)基于迭代的 OPT。當(dāng)前 DMVFN 已開源模型權(quán)重文件，訓(xùn)練數(shù)據(jù)集，并提供 4 個(gè)訓(xùn)練數(shù)據(jù)集的獲取方式和處理腳本以及訓(xùn)練命令。

獲取資源：

https://sota.jiqizhixin.com/project/dmvfn

中科院提出DiffBEV，將擴(kuò)散模型應(yīng)用于BEV感知，實(shí)現(xiàn)更優(yōu)的BEV語義分割和3D對象檢測性能

DiffBEV: Conditional Diffusion Model for Bird's Eye View Perception

BEV 感知在自動(dòng)駕駛領(lǐng)域具有重要意義，是規(guī)劃、控制和運(yùn)動(dòng)預(yù)測的基石。BEV 特征的質(zhì)量在很大程度上影響 BEV 感知的性能，然而通常會(huì)獲得帶有有害噪聲的 BEV 表示。該研究提出了一個(gè)名為 DiffBEV 的端到端框架，利用擴(kuò)散模型的潛力來生成更全面的 BEV 表示。首個(gè)將擴(kuò)散模型應(yīng)用于 BEV 感知，設(shè)計(jì)了三種類型的條件來指導(dǎo)擴(kuò)散模型的訓(xùn)練，該模型對粗樣本進(jìn)行去噪，并以漸進(jìn)的方式細(xì)化語義特征；利用交叉注意力模塊來融合 BEV 特征的上下文和條件擴(kuò)散模型的語義內(nèi)容。在多個(gè)基準(zhǔn)上的定量和定性結(jié)果證明了 DiffBEV 在 BEV 語義分割和 3D 對象檢測任務(wù)中的有效性。

獲取資源：

https://sota.jiqizhixin.com/project/diffbev

網(wǎng)頁端訪問： 在瀏覽器地址欄輸入新版站點(diǎn)地址 sota.jiqizhixin.com ，即可前往「SOTA！模型」平臺(tái)，查看關(guān)注的模型是否有新資源收錄。?

移動(dòng)端訪問：在微信移動(dòng)端中搜索服務(wù)號(hào)名稱「機(jī)器之心SOTA模型」或 ID 「sotaai」，關(guān)注 SOTA！模型服務(wù)號(hào)，即可通過服務(wù)號(hào)底部菜單欄使用平臺(tái)功能，更有最新AI技術(shù)、開發(fā)資源及社區(qū)動(dòng)態(tài)定期推送。?