實時追蹤科研動態(tài)丨7.12精選新論文，附ChatPaper綜述

2023-07-14 10:44 作者:AMiner科技 0人讀過 | 我要投稿

作為科研人員，每天需要檢索和瀏覽大量的學(xué)術(shù)文獻，以獲取最新的科技進展和研究成果。

然而，傳統(tǒng)的檢索和閱讀方式已經(jīng)無法滿足科研人的需求。

ChatPaper，一款集檢索、閱讀、知識問答于一體的文獻知識工具。幫助你快提高檢索、閱讀論文效率，獲取最新領(lǐng)域研究動態(tài)，讓科研工作更加游刃有余。

結(jié)合前沿動態(tài)訂閱功能，精選arXiv當(dāng)日熱門新論文，形成論文綜述，讓大家更加快速了解前沿動態(tài)。

如果想要對某篇論文進行深入對話，可以直接點擊論文鏈接或者直達ChatPaper頁面：https://www.aminer.cn/chat/g/

2023年7月12日精選新論文列表：

1.Efficient 3D Articulated Human Generation with Layered Surface Volumes

鏈接：https://www.aminer.cn/pub/64ae259f3fda6d7f0658f61e/

ChatPaper綜述：文指出了在生成式對抗網(wǎng)絡(luò)中使用現(xiàn)有的3D模型表示方法（如模板網(wǎng)格或體素）存在的問題，這些方法要么速度快但質(zhì)量有限，要么質(zhì)量高但渲染速度慢，因此在生成式對抗網(wǎng)絡(luò)中無法提供高質(zhì)量的3D模型。作者提出了一種新的3D對象表示方法，即分層表面體積（LSVs），以解決這個問題。LSVs使用多個紋理網(wǎng)格層來表示人體，并使用快速可微分光柵化進行繪制。與傳統(tǒng)的單層模板只能表示表面細節(jié)的方法不同，LSVs能夠自然地捕捉到頭發(fā)或配飾等細節(jié)。LSVs可以被調(diào)整，并且在生成式對抗網(wǎng)絡(luò)中表現(xiàn)出卓越的效率。通過在非結(jié)構(gòu)化、單視圖的2D圖像數(shù)據(jù)集上進行訓(xùn)練，LSV-GAN能夠生成高質(zhì)量、視角一致的3D人體模型，而無需使用不一致的2D上采樣網(wǎng)絡(luò)。

2.Self-Supervised Learning with Lie Symmetries for Partial Differential Equations

鏈接：https://www.aminer.cn/pub/64ae259f3fda6d7f0658f5ff/

ChatPaper綜述：論文介紹了使用自監(jiān)督學(xué)習(xí)和李對稱性來學(xué)習(xí)偏微分方程的問題。目前的算法需要特定場景下的模擬訓(xùn)練數(shù)據(jù)，而本論文提出從異構(gòu)數(shù)據(jù)中學(xué)習(xí)PDE的通用表示方法，以及應(yīng)用于自監(jiān)督學(xué)習(xí)的聯(lián)合嵌入方法。該方法在不變?nèi)蝿?wù)方面優(yōu)于基線方法，如回歸PDE的系數(shù)，同時還改進了神經(jīng)求解器的時間步進性能。希望這種方法有助于最終開發(fā)出適用于PDE的通用基礎(chǔ)模型。

3.Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives

鏈接：https://www.aminer.cn/pub/64ae259f3fda6d7f0658f629/

ChatPaper綜述：研究論文介紹了一個基于不同iable渲染的方法，使用一組校準圖像對場景進行解析，并將其表示為由少量紋理基元構(gòu)成的中層3D表示。與其他方法不同，該方法直接在圖像上操作，通過不同iable渲染將基元建模為紋理超二次網(wǎng)格，并通過圖像渲染損失從頭開始優(yōu)化其參數(shù)。該方法強調(diào)了為每個基元建模透明度的重要性，這對優(yōu)化至關(guān)重要，并且還可以處理不同數(shù)量的基元。該方法在DTU的各種場景以及從BlendedMVS和Nerfstudio捕獲的真實場景上與現(xiàn)有技術(shù)進行了比較，并展示了如何輕松編輯場景或進行物理模擬。

4.EgoVLPv2: Egocentric Video-Language Pre-training with Fusion in the Backbone

鏈接：https://www.aminer.cn/pub/64ae259f3fda6d7f0658f61f/

ChatPaper綜述：研究指出現(xiàn)有的自我中心視頻-語言預(yù)訓(xùn)練框架在視頻和語言編碼器上是分開的，并且只在精調(diào)過程中學(xué)習(xí)任務(wù)特定的跨模態(tài)信息，從而限制了統(tǒng)一系統(tǒng)的發(fā)展。為了解決這個問題，研究者們提出了第二代自我中心視頻-語言預(yù)訓(xùn)練（EgoVLPv2），通過直接將跨模態(tài)融合引入到視頻和語言骨干中，對上一代進行了顯著改進。EgoVLPv2在預(yù)訓(xùn)練過程中學(xué)習(xí)強大的視頻-文本表示，并在不同的下游任務(wù)中靈活高效地重用跨模態(tài)注意力模塊，從而降低了精調(diào)成本。此外，所提出的骨干融合策略比堆疊額外的融合特定層更輕量且計算效率更高。在廣泛的視覺語言任務(wù)上進行的大量實驗證明了EgoVLPv2的有效性，在所有下游任務(wù)上都實現(xiàn)了一致的最先進性能，并超過了強基線結(jié)果。

5.Test-Time Training on Video Streams

鏈接：https://www.aminer.cn/pub/64ae259c3fda6d7f0658f2dd/

ChatPaper綜述：如何在視頻流上進行測試時間訓(xùn)練(Test-Time Training)以提高模型性能。在傳統(tǒng)的測試時間訓(xùn)練中，模型會在每個測試實例之前使用自監(jiān)督任務(wù)進行訓(xùn)練，例如使用帶有掩碼自編碼器的圖像重構(gòu)。本文將測試時間訓(xùn)練擴展到了流式設(shè)置，在這種設(shè)置下，多個測試實例（本文中為視頻幀）按照時間順序到達。作者提出的在線測試時間訓(xùn)練(Online TTT)通過使用當(dāng)前幀和前面一個小窗口的幀對當(dāng)前模型進行初始化和訓(xùn)練。實驗證明，相比于固定模型基線，在線測試時間訓(xùn)練在四個任務(wù)上都有顯著的性能提升，在三個真實數(shù)據(jù)集上分別提升了45%和66%。令人驚訝的是，在線測試時間訓(xùn)練還比離線測試時間訓(xùn)練表現(xiàn)更好，盡管離線測試時間訓(xùn)練可以訪問更多的信息，即使用整個測試視頻的所有幀進行訓(xùn)練。這與之前使用合成視頻得出的結(jié)論不同。作者將在線測試時間訓(xùn)練的優(yōu)勢概念化為局部性。通過削減實驗和基于偏差-方差權(quán)衡的理論分析，作者分析了局部性的作用。

6.AutoDecoding Latent 3D Diffusion Models

鏈接：https://www.aminer.cn/pub/64ae259f3fda6d7f0658f60c/

ChatPaper綜述：論文介紹了一種新的靜態(tài)和可動3D資源生成方法，其核心是一個3D自解碼器。該3D自解碼器框架將從目標數(shù)據(jù)集中學(xué)習(xí)的特性嵌入到潛在空間中，然后可以解碼為用于呈現(xiàn)一致視覺效果和幾何形狀的體積表示。然后，論文確定了適當(dāng)?shù)闹虚g體積潛在空間，并引入了穩(wěn)健的歸一化和反歸一化操作，以學(xué)習(xí)從二維圖像或單目視頻中的剛性或可動物體到三維擴散的過程。該方法具有足夠的靈活性，可以使用現(xiàn)有的相機監(jiān)督信息，也可以在訓(xùn)練過程中高效地學(xué)習(xí)相機信息。實驗評估表明，該生成方法在各種基準數(shù)據(jù)集和指標上優(yōu)于最先進的替代方法，包括合成物體的多視圖圖像數(shù)據(jù)集、真實環(huán)境中移動人物的視頻以及大規(guī)模靜態(tài)物體的真實視頻數(shù)據(jù)集。

7.Collaborative Score Distillation for Consistent Visual Synthesis

鏈接：https://www.aminer.cn/pub/64ae259c3fda6d7f0658f1f0/

ChatPaper綜述：論文主要介紹了在復(fù)雜的視覺模態(tài)中，如何實現(xiàn)一致性地生成一組圖像的挑戰(zhàn)。傳統(tǒng)的大規(guī)模文本到圖像擴散模型的生成先驗可以應(yīng)用于各種不同的視覺模態(tài)，實現(xiàn)新型的生成和編輯應(yīng)用。然而，當(dāng)適應(yīng)這些生成先驗到復(fù)雜的視覺模態(tài)，比如多個圖像（例如視頻），要實現(xiàn)圖像集合的一致性就變得具有挑戰(zhàn)性。為了解決這個問題，本文提出了一種新的方法，即協(xié)同得分蒸餾（Collaborative Score Distillation，CSD）。CSD基于Stein變分梯度下降（Stein Variational Gradient Descent，SVGD）。具體地，我們建議將多個樣本視為SVGD更新中的“粒子”，并結(jié)合它們的得分函數(shù)來同步蒸餾一組圖像的生成先驗。因此，CSD實現(xiàn)了在2D圖像之間無縫地整合信息，從而實現(xiàn)了多個樣本之間的一致的視覺合成。我們展示了CSD在各種任務(wù)中的有效性，包括全景圖像、視頻和3D場景的視覺編輯。我們的結(jié)果突顯了CSD作為一種通用方法，在增強樣本之間一致性方面的能力，從而擴展了文本到圖像擴散模型的適用性。

8.Generative Pretraining in Multimodality

鏈接：https://www.aminer.cn/pub/64ae259c3fda6d7f0658f3b5/

ChatPaper綜述：模型可以無縫地在多模態(tài)環(huán)境下生成圖像和文本。它可以接受任何單模態(tài)或多模態(tài)的數(shù)據(jù)輸入，并通過一個全自回歸訓(xùn)練過程進行訓(xùn)練。首先，視覺信號被編碼成嵌入向量，并與文本標記一起形成交叉輸入序列。接著，Emu根據(jù)統(tǒng)一的目標進行端到端訓(xùn)練，目標是在多模態(tài)序列中對下一個文本標記進行分類或?qū)ο乱粋€視覺嵌入進行回歸。Emu的這種多模態(tài)能力使其能夠?qū)Ω鞣N規(guī)模的預(yù)訓(xùn)練數(shù)據(jù)源進行廣泛的探索，如交錯幀和文本的視頻，交錯圖像和文本的網(wǎng)頁，以及大規(guī)模的圖像-文本對和視頻-文本對。Emu可以作為圖像到文本和文本到圖像任務(wù)的通用多模態(tài)接口，并支持上下文中的圖像和文本生成。在包括圖像字幕，視覺問答，視頻問答和文本到圖像生成等廣泛的零樣本/小樣本任務(wù)中，Emu相比最先進的大型多模態(tài)模型表現(xiàn)出了出色的性能。另外，通過指令調(diào)優(yōu)，還展示了Emu的多模態(tài)助手等擴展能力，并取得了令人印象深刻的表現(xiàn)。

9.Empowering Cross-lingual Behavioral Testing of NLP Models with Typological Features

鏈接：https://www.aminer.cn/pub/64ae259f3fda6d7f0658f616/

ChatPaper綜述：文章討論了針對跨語言行為測試的自然語言處理（NLP）模型的問題，并提出了一種基于語言類型學(xué)特征的框架M2C來解決這個問題。作者使用M2C在12種類型學(xué)多樣的語言中生成了針對模型行為的測試，并評估了最先進的語言模型在這些測試中的表現(xiàn)。結(jié)果發(fā)現(xiàn)，雖然英語的測試大多數(shù)模型都表現(xiàn)出色，但在斯瓦希里語的時間表達和芬蘭語的復(fù)合所有格等特定類型學(xué)特征方面，模型存在泛化失敗的問題。作者的研究結(jié)果表明需要開發(fā)能夠解決這些盲點的模型。

10.Unleashing Cognitive Synergy in Large Language Models: A Task-Solving Agent through Multi-Persona Self-Collaboration

鏈接：https://www.aminer.cn/pub/64ae259c3fda6d7f0658f403/

ChatPaper綜述：指出了大語言模型（LLMs）在需要領(lǐng)域知識和復(fù)雜推理的任務(wù)中仍然存在困難。它提出了一種解決方案，即通過與多個角色進行多輪自我協(xié)作，將單個LLM轉(zhuǎn)化為認知協(xié)同體，從而提升問題解決能力和整體性能。通過根據(jù)任務(wù)輸入動態(tài)地識別和模擬不同的角色，這種方法釋放了LLMs中認知協(xié)同的潛力。研究發(fā)現(xiàn)，與使用單個或固定數(shù)量的角色相比，給LLMs分配多個細粒度的角色能夠更好地提升問題解決能力。該研究還對三個具有挑戰(zhàn)性的任務(wù)進行了評估，包括知識密集型和推理密集型的任務(wù)。與以往僅增強LLMs推理能力的研究（如思維鏈）不同，這種方法有效地促進了LLMs的內(nèi)部知識獲取能力，減少了產(chǎn)生幻覺，并保持了強大的推理能力。

11.Secrets of RLHF in Large Language Models Part I: PPO

鏈接：https://www.aminer.cn/pub/64ae259c3fda6d7f0658f2a9/

ChatPaper綜述：指出了使用大型語言模型進行強化學(xué)習(xí)與人類反饋（RLHF）的穩(wěn)定訓(xùn)練存在的問題。根據(jù)作者的觀察，獎勵設(shè)計、環(huán)境交互和智能體訓(xùn)練的挑戰(zhàn)，加上大型語言模型的大量試錯成本，給人工智能研究人員在推動技術(shù)對齊和安全落地大型語言模型的發(fā)展上帶來了重大障礙。作者重點強調(diào)了PPO算法的內(nèi)在工作方式，并探討了構(gòu)成PPO算法的不同部分對策略智能體訓(xùn)練的影響。他們認為策略約束是PPO算法有效實施的關(guān)鍵因素，并介紹了PPO-max算法作為PPO算法的改進版本，以提高策略模型的訓(xùn)練穩(wěn)定性。此外，作者還提到了與SFT模型和ChatGPT相比，RLHF在能力上的全面分析。最后，作者強調(diào)了缺乏開源實現(xiàn)對于研究大型語言模型對齊所帶來的重大挑戰(zhàn)，并表示他們將發(fā)布技術(shù)報告、獎勵模型和PPO代碼來解決這一問題。

12.One-2-3-45: Any Single Image to 3D Mesh in 45 Seconds without Per-Shape Optimization

鏈接：https://www.aminer.cn/pub/649e52c5d68f896efae487fc/

ChatPaper綜述：論文討論了單圖像三維重建的挑戰(zhàn)性任務(wù)，并提出了一個新方法來解決這個問題?，F(xiàn)有的方法通常通過優(yōu)化神經(jīng)輻射場來進行二維擴散模型的引導(dǎo)，但是存在優(yōu)化時間長、三維不一致和幾何質(zhì)量差的問題。作者的方法通過一個前饋過程，將任意物體的單圖像輸入轉(zhuǎn)換為360度的三維紋理網(wǎng)格。為了處理多視圖不一致的預(yù)測，作者基于基于SDF（有符號距離場）的可推廣神經(jīng)表面重建方法構(gòu)建了三維重建模塊，并提出了幾個重要的訓(xùn)練策略，以實現(xiàn)360度網(wǎng)格的重建。該方法不需要昂貴的優(yōu)化過程，比現(xiàn)有方法更快地完成三維形狀的重建。此外，該方法具有更好的幾何形狀、更一致的結(jié)果，并更貼近輸入圖像。作者在合成數(shù)據(jù)和實際圖像上驗證了該方法的優(yōu)越性，證明了其在網(wǎng)格質(zhì)量和運行時間方面的優(yōu)勢。此外，該方法還可以與即用的文本到圖像擴散模型結(jié)合，無縫支持文本到三維的任務(wù)。

13.NILUT: Conditional Neural Implicit 3D Lookup Tables for Image Enhancement

鏈接：https://www.aminer.cn/pub/6493c733d68f896efad19b14/

ChatPaper綜述：論文指出了當(dāng)前學(xué)習(xí)和應(yīng)用3D LUTs的方法在速度方面尚可，但在內(nèi)存效率上存在問題，并且由于實現(xiàn)限制，在移動設(shè)備上它們的使用較少。為解決這個問題，論文提出了一種新的方法，即Neural Implicit LUT (NILUT)，它是由神經(jīng)網(wǎng)絡(luò)參數(shù)化的隱式定義的連續(xù)3D顏色轉(zhuǎn)換。作者展示了NILUT能夠準確地模擬真實的3D LUTs。此外，NILUT可以擴展為將多個風(fēng)格融合到單個網(wǎng)絡(luò)中，并具有隱式混合風(fēng)格的能力。這種新方法具有內(nèi)存效率高、可控性好的特點，并且可以補充先前的方法，包括學(xué)習(xí)的圖像信號處理器（ISPs）。