實(shí)時(shí)追蹤科研動(dòng)態(tài)丨7.19精選新論文，附ChatPaper綜述

2023-07-20 10:43 作者:AMiner科技 0人讀過(guò) | 我要投稿

作為科研人員，每天需要檢索和瀏覽大量的學(xué)術(shù)文獻(xiàn)，以獲取最新的科技進(jìn)展和研究成果。然而，傳統(tǒng)的檢索和閱讀方式已經(jīng)無(wú)法滿足科研人的需求。

ChatPaper，一款集檢索、閱讀、知識(shí)問(wèn)答于一體的文獻(xiàn)知識(shí)工具。幫助你快提高檢索、閱讀論文效率，獲取最新領(lǐng)域研究動(dòng)態(tài)，讓科研工作更加游刃有余。

結(jié)合前沿動(dòng)態(tài)訂閱功能，精選arXiv當(dāng)日熱門新論文，形成論文綜述，讓大家更加快速了解前沿動(dòng)態(tài)。

如果想要對(duì)某篇論文進(jìn)行深入對(duì)話，可以直接復(fù)制論文鏈接到瀏覽器上或者直達(dá)ChatPaper頁(yè)面：https://www.aminer.cn/chat/g/

2023年7月19日精選新論文列表：

1.Communicative Agents for Software Development

鏈接：https://www.aminer.cn/pub/64b60eaa3fda6d7f06eaea2a/

ChatPaper綜述：文章提出了一種創(chuàng)新的范式，利用大型語(yǔ)言模型（LLMs）在整個(gè)軟件開發(fā)過(guò)程中，通過(guò)自然語(yǔ)言溝通精簡(jiǎn)和統(tǒng)一關(guān)鍵流程，從而消除了每個(gè)階段都需要專門的模型的需要。這個(gè)范式的核心是ChatDev，一個(gè)虛擬的基于聊天的軟件開發(fā)公司，它模擬了已經(jīng)建立的瀑布模型，將開發(fā)過(guò)程細(xì)分為設(shè)計(jì)、編碼、測(cè)試和文檔編寫四個(gè)不同的時(shí)間段。每個(gè)階段都涉及到一個(gè)團(tuán)隊(duì)的代理人，如程序員、代碼審查人員和測(cè)試工程師，促進(jìn)協(xié)作對(duì)話并促進(jìn)無(wú)縫工作流程。聊天鏈作為一個(gè)促進(jìn)者，將每個(gè)階段分解為原子子任務(wù)。這使得雙重角色成為可能，通過(guò)上下文感知的交流提出和驗(yàn)證解決方案，從而高效解決具體的子任務(wù)。ChatDev的實(shí)證分析凸顯了它在軟件生成方面的顯著有效性，使得整個(gè)軟件開發(fā)過(guò)程可以在不到七分鐘的時(shí)間內(nèi)以不到一美元的成本完成。它不僅能夠識(shí)別和緩解潛在的漏洞，還能糾正潛在的錯(cuò)覺(jué)，同時(shí)保持了良好的效率和成本效益。ChatDev的潛力揭示了將LLMs整合到軟件開發(fā)領(lǐng)域的新機(jī)會(huì)。

2.Llama 2: Open Foundation and Fine-Tuned Chat Models

鏈接：https://www.aminer.cn/pub/64b758dd1a5852438b7976ff/

ChatPaper綜述：Llama 2是一種經(jīng)過(guò)預(yù)訓(xùn)練和精調(diào)的大型語(yǔ)言模型（LLMs）集合，其參數(shù)范圍從70億到700億。其中，經(jīng)過(guò)精調(diào)的LLM稱為L(zhǎng)lama 2-Chat，專門針對(duì)對(duì)話使用情況進(jìn)行了優(yōu)化。在我們測(cè)試的大多數(shù)基準(zhǔn)測(cè)試中，我們的模型在性能上優(yōu)于開源聊天模型，并根據(jù)我們進(jìn)行的有關(guān)有用性和安全性的人類評(píng)估，可能是封閉源模型的合適替代品。我們?cè)敿?xì)描述了我們對(duì)Llama 2-Chat的精調(diào)和安全改進(jìn)方法，以便使社區(qū)能夠在我們的基礎(chǔ)上進(jìn)行工作并為L(zhǎng)LM的負(fù)責(zé)任開發(fā)做出貢獻(xiàn)

3.Augmenting CLIP with Improved Visio-Linguistic Reasoning

鏈接：https://www.aminer.cn/pub/64b76c703fda6d7f068eecf3/

ChatPaper綜述：論文指出了現(xiàn)有的對(duì)比圖像-文本模型在合成視覺(jué)-語(yǔ)言任務(wù)（如Winoground）上的性能問(wèn)題，其性能相當(dāng)于隨機(jī)猜測(cè)。然后，論文提出了一種名為SDS-CLIP的方法，通過(guò)從文本到圖像生成模型（如Stable-Diffusion）中蒸餾目標(biāo)來(lái)使用可微分的圖像參數(shù)化對(duì)CLIP進(jìn)行微調(diào)，從而提高了CLIP的合成視覺(jué)-語(yǔ)言推理能力。在具有挑戰(zhàn)性的Winoground合成推理基準(zhǔn)測(cè)試中，該方法使不同CLIP模型的絕對(duì)視覺(jué)-語(yǔ)言性能提高了最多7％，而在ARO數(shù)據(jù)集上，該方法使視覺(jué)-語(yǔ)言性能提高了最多3％。通過(guò)將視覺(jué)-語(yǔ)言推理引入CLIP，還發(fā)現(xiàn)了在各種下游數(shù)據(jù)集上零樣本性能的輕微改進(jìn)。該方法強(qiáng)調(diào)了可以利用來(lái)自生成模型的精心設(shè)計(jì)的蒸餾目標(biāo)來(lái)擴(kuò)展現(xiàn)有的對(duì)比圖像-文本模型，并提高其視覺(jué)-語(yǔ)言推理能力。

4.How is ChatGPT's behavior changing over time?

鏈接：https://www.aminer.cn/pub/64b76c6a3fda6d7f068ee31b/

ChatPaper綜述：文章指出GPT-3.5和GPT-4這兩個(gè)大型語(yǔ)言模型（LLM）服務(wù)的行為會(huì)隨著時(shí)間而發(fā)生改變。作者通過(guò)評(píng)估GPT-3.5和GPT-4在四個(gè)不同任務(wù)上的表現(xiàn)來(lái)支持這一觀點(diǎn)：1）解決數(shù)學(xué)問(wèn)題，2）回答敏感/危險(xiǎn)問(wèn)題，3）生成代碼，4）視覺(jué)推理。研究發(fā)現(xiàn)，無(wú)論是GPT-3.5還是GPT-4的性能和行為在不同時(shí)間段會(huì)有很大變化。例如，GPT-4（2023年3月）在尋找質(zhì)數(shù)方面表現(xiàn)非常好（準(zhǔn)確率為97.6%），但是GPT-4（2023年6月）在同樣的問(wèn)題上表現(xiàn)非常差（準(zhǔn)確率為2.4%）。有趣的是，GPT-3.5（2023年6月）在這個(gè)任務(wù)上比GPT-3.5（2023年3月）表現(xiàn)更好。在6月份，GPT-4不愿回答敏感問(wèn)題的意愿較3月份更低，而且GPT-4和GPT-3.5在代碼生成方面在6月份比3月份更容易出現(xiàn)格式錯(cuò)誤?？偟膩?lái)說(shuō)，這些發(fā)現(xiàn)表明同一個(gè)LLM服務(wù)的行為在相對(duì)短的時(shí)間內(nèi)可能發(fā)生顯著變化，強(qiáng)調(diào)了對(duì)LLM質(zhì)量的持續(xù)監(jiān)測(cè)的必要性。

5.DS-Fusion: Artistic Typography via Discriminated and Stylized Diffusion

鏈接：https://www.aminer.cn/pub/6417d04090e50fcafd83db60/

ChatPaper綜述：介紹了一種新方法來(lái)自動(dòng)生成藝術(shù)字體，通過(guò)對(duì)一個(gè)或多個(gè)字體進(jìn)行樣式化，以視覺(jué)方式傳達(dá)輸入單詞的語(yǔ)義，同時(shí)確保輸出仍然可讀。為了應(yīng)對(duì)我們面臨的各種挑戰(zhàn)，包括沖突的目標(biāo)（藝術(shù)化風(fēng)格化 vs. 可讀性），缺乏基準(zhǔn)數(shù)據(jù)以及巨大的搜索空間，我們的方法利用大型語(yǔ)言模型來(lái)對(duì)文本和視覺(jué)圖像之間的樣式化進(jìn)行建模，并構(gòu)建一個(gè)無(wú)監(jiān)督的生成模型，其骨干是擴(kuò)散模型。具體而言，我們采用了潛在擴(kuò)散模型（LDM）中的去噪生成器，并通過(guò)基于CNN的鑒別器將輸入樣式適應(yīng)到輸入文本上。鑒別器使用給定字體的柵格化圖像作為真樣本，將去噪生成器的輸出作為假樣本。我們的模型被稱為DS-Fusion，其中DS代表鑒別和樣式化擴(kuò)散。我們通過(guò)大量示例、定性和定量評(píng)估以及消融研究展示了我們方法的質(zhì)量和多功能性。通過(guò)與包括CLIPDraw和DALL-E 2在內(nèi)的強(qiáng)基線和藝術(shù)家制作的字體進(jìn)行用戶研究，證明了DS-Fusion的強(qiáng)大性能。從標(biāo)題和摘要可以得出，本論文解決了將藝術(shù)風(fēng)格與可讀性相結(jié)合的自動(dòng)生成藝術(shù)字體的問(wèn)題。

6.NU-MCC: Multiview Compressive Coding with Neighborhood Decoder and Repulsive UDF

鏈接：https://www.aminer.cn/pub/64b76c6a3fda6d7f068ee3b5/

ChatPaper綜述：指出了MCC方法在單視角RGB-D輸入下的三維重建領(lǐng)域存在兩個(gè)關(guān)鍵問(wèn)題：1）Transformer解碼器在處理大量查詢點(diǎn)時(shí)效率低下；2）三維表示難以恢復(fù)高保真度的細(xì)節(jié)。為了解決這些問(wèn)題，文中提出了一種名為NU-MCC的新方法。NU-MCC包括兩個(gè)關(guān)鍵創(chuàng)新：鄰域解碼器和斥力無(wú)符號(hào)距離函數(shù)（Repulsive UDF）。首先，鄰域解碼器引入中心點(diǎn)作為輸入視覺(jué)特征的有效代理，使每個(gè)查詢點(diǎn)只能與一個(gè)小鄰域相關(guān)聯(lián)。這種設(shè)計(jì)不僅提高了推理速度，還可以利用更精細(xì)的視覺(jué)特征來(lái)改善三維紋理的恢復(fù)效果。其次，Repulsive UDF是MCC中使用的占用場(chǎng)的一種新穎替代品，顯著改善了三維物體重建的質(zhì)量。與結(jié)果中存在空洞的標(biāo)準(zhǔn)UDFs相比，我們提出的Repulsive UDF可以實(shí)現(xiàn)更完整的表面重建。實(shí)驗(yàn)結(jié)果表明，NU-MCC能夠?qū)W習(xí)到強(qiáng)大的三維表示，在單視角三維重建領(lǐng)域取得了顯著的進(jìn)展。特別地，它在CO3D-v2數(shù)據(jù)集上的F1得分比MCC高出9.7%，同時(shí)運(yùn)行速度更快，提升了5倍以上。

7.Biomaker CA: a Biome Maker project using Cellular Automata

鏈接：https://www.aminer.cn/pub/64b76c703fda6d7f068eed4c/

ChatPaper綜述：介紹了一個(gè)名為Biomaker CA的項(xiàng)目，該項(xiàng)目使用細(xì)胞自動(dòng)機(jī)（Cellular Automata）來(lái)模擬生物群落的生成。在Biomaker CA中，形態(tài)發(fā)生是重中之重，小種子需要在養(yǎng)分匱乏的環(huán)境中成長(zhǎng)為類植物生物以生存，并最終以變異的方式進(jìn)行繁殖，以維持生物群落的長(zhǎng)期生存。通過(guò)在2D網(wǎng)格上使用細(xì)胞自動(dòng)機(jī)規(guī)則來(lái)模擬復(fù)雜的生物群落，并通過(guò)Python JAX框架在GPU上并行計(jì)算。該項(xiàng)目允許使用不同種類的環(huán)境和\"物理規(guī)律\"，以及不同的模型架構(gòu)和突變策略。作者進(jìn)一步分析了一些配置，展示了植物個(gè)體如何生長(zhǎng)、存活、繁殖和進(jìn)化，形成穩(wěn)定和不穩(wěn)定的生物群落。然后，作者展示了如何通過(guò)端到端的元進(jìn)化或更為精確和高效的方法（稱為Petri Dish元進(jìn)化）來(lái)使模型在惡劣環(huán)境中存活。最后，作者展示了如何進(jìn)行交互式進(jìn)化，即用戶可以決定如何與植物模型互動(dòng)地進(jìn)行進(jìn)化，并將其部署在更大的環(huán)境中。