實時追蹤科研動態(tài)丨7.10精選新論文，附ChatPaper綜述

2023-07-11 11:26 作者:AMiner科技 0人讀過 | 我要投稿

作為科研人員，每天需要檢索和瀏覽大量的學術文獻，以獲取最新的科技進展和研究成果。

然而，傳統(tǒng)的檢索和閱讀方式已經(jīng)無法滿足科研人的需求。

ChatPaper，一款集檢索、閱讀、知識問答于一體的文獻知識工具。幫助你快提高檢索、閱讀論文效率，獲取最新領域研究動態(tài)，讓科研工作更加游刃有余。

結(jié)合前沿動態(tài)訂閱功能，精選arXiv當日熱門新論文，形成論文綜述，讓大家更加快速了解前沿動態(tài)。

如果想要對某篇論文進行深入對話，可以直接復制論文鏈接到瀏覽器上或者直達ChatPaper頁面：https://www.aminer.cn/chat/g/

2023年7月10日精選新論文列表：

1.Frontier AI Regulation: Managing Emerging Risks to Public Safety

鏈接：https://www.aminer.cn/pub/64ab828f3fda6d7f06f788b6/

ChatPaper綜述：文章說明了前沿人工智能（Frontier AI）模型所帶來的潛在風險對公共安全的影響，并提出了需要采取的一些措施來管理這些風險。前沿AI模型具有高度智能的基本模型，可能具備足以對公共安全構(gòu)成嚴重威脅的危險能力。這些模型帶來了獨特的監(jiān)管挑戰(zhàn)，包括危險能力的不可預知性、難以防止部署模型被誤用以及難以控制模型能力的廣泛傳播。為了應對這些挑戰(zhàn)，需要至少三個構(gòu)建模塊來規(guī)范前沿AI模型的開發(fā)和部署：（1）建立標準制定流程，以確定對前沿AI開發(fā)者的適當要求；（2）注冊和報告要求，提供給監(jiān)管機構(gòu)前沿AI開發(fā)過程的可見性；（3）確保遵守前沿AI模型的安全標準的機制。行業(yè)自律是重要的第一步，但需要更廣泛的社會討論和政府干預來制定標準并確保其合規(guī)性。作者提出了一些選擇，包括賦予監(jiān)管機構(gòu)執(zhí)法權力和前沿AI模型的許可制度。最后，作者提出了一系列初步的安全標準，包括進行部署前的風險評估、對模型行為進行外部審查、使用風險評估來指導部署決策以及監(jiān)測和回應模型能力和用途的新信息。作者希望這些討論能夠為如何平衡前沿AI發(fā)展的創(chuàng)新利益和公共安全風險的廣泛討論做出貢獻。

2.Decomposing the Generalization Gap in Imitation Learning for Visual Robotic Manipulation

鏈接：https://www.aminer.cn/pub/64ab828f3fda6d7f06f7887b/

ChatPaper綜述：論文旨在解決在視覺機器人操縱中模仿學習的泛化問題。作者認為，泛化困難的原因在于機器人從環(huán)境的角度看，可以分解為多個可枚舉的變化因素，例如光照條件或相機的位置。已有的研究工作對每個因素對泛化差距的貢獻了解甚少。為了解答這個問題，作者在仿真環(huán)境和真實機器人任務上研究了模仿學習策略，并量化了對不同因素（組合）的泛化困難程度。他們還設計了一個包含了11個變化因素的19個任務的仿真基準，以便更加精確地評估泛化性能。從研究結(jié)果中，作者確定了基于泛化困難程度的因素排序，這個排序在仿真和真實機器人環(huán)境中是一致的。

3.One Step of Gradient Descent is Provably the Optimal In-Context Learner with One Layer of Linear Self-Attention

鏈接：https://www.aminer.cn/pub/64ab828f3fda6d7f06f78824/

ChatPaper綜述：在轉(zhuǎn)換器中使用一層線性自注意力和無MLP層時，訓練到的最小化預訓練損失的模型會實現(xiàn)最小二乘線性回歸目標上的一步梯度下降（GD）。該研究探究了不同條件下的學習算法，并發(fā)現(xiàn)當輸入變量和權重向量的分布改變時，模型學習到的算法也會相應變化。然而，如果只改變響應的分布，則對于最小化預訓練損失的全局最小化器仍然實現(xiàn)最小二乘線性回歸目標上的一步梯度下降。

4.Becoming self-instruct: introducing early stopping criteria for minimal instruct tuning

鏈接：https://www.aminer.cn/pub/64ab828f3fda6d7f06f7889c/

ChatPaper綜述：論文介紹了一種衡量語言模型遵循指令能力的度量標準，即Instruction Following Score (IFS)。該度量標準具有雙重目的：一方面，可以區(qū)分基礎模型和指令模型；另一方面，可以作為指令調(diào)優(yōu)的早停準則。通過對7B和13B LLaMA模型的監(jiān)督微調(diào)，計算IFS，并展示了模型在訓練過程中相對早期就學會了遵循指令，并且進一步微調(diào)可能會導致基礎模型語義的變化。作者還通過輔助度量標準ObjecQA來展示語義變化的客觀性。作者希望通過將指令調(diào)優(yōu)分解為IFS和語義因素，開啟更好的可控指令調(diào)優(yōu)趨勢，并為設計查詢基礎模型的最小指令接口提供可能性。

5.GPT4RoI: Instruction Tuning Large Language Model on Region-of-Interest

鏈接：https://www.aminer.cn/pub/64ab828f3fda6d7f06f78840/

ChatPaper綜述：論文指出了在圖像-文本對上調(diào)節(jié)大型語言模型（LLM）的指令調(diào)整方法取得了前所未有的視覺-語言多模態(tài)能力。然而，它們的視覺-語言對齊僅建立在圖像層面上，缺乏區(qū)域?qū)用娴膶R限制了它們在細粒度的多模態(tài)理解方面的進展。因此，論文提出了在感興趣區(qū)域上進行指令調(diào)整的方法。關鍵設計是將邊界框重新定義為空間指令的格式。由空間指令和語言嵌入提取的交織序列的視覺特征輸入到LLM中，并在轉(zhuǎn)換后的區(qū)域-文本數(shù)據(jù)上進行指令調(diào)整格式的訓練。該論文提出的基于區(qū)域級的視覺-語言模型GPT4RoI實現(xiàn)了超越圖像級理解的全新的對話和交互體驗。具體來說，該模型具有以下特點：（1）可控性：用戶可以通過語言和空間指令與模型進行交互，靈活調(diào)整問題的細節(jié)級別。（2）能力：該模型不僅支持單區(qū)域空間指令，還支持多區(qū)域指令。這解鎖了更多的區(qū)域級多模態(tài)能力，如詳細的區(qū)域標題和復雜的區(qū)域推理。（3）組合性：任何現(xiàn)成的物體檢測器都可以成為空間指令提供者，從而從我們的模型中挖掘有關物體的信息屬性，如顏色、形狀、材質(zhì)、動作、與其他物體的關系等。

6.BiPhone: Modeling Inter Language Phonetic Influences in Text

鏈接：https://www.aminer.cn/pub/64ab82833fda6d7f06f77db1/

ChatPaper綜述：論文說明了在技術不對稱的情況下，許多人被迫使用自己識字水平較低的語言瀏覽網(wǎng)絡。這些人以第二語言（L2）書寫的文本通常包含許多受到其母語（L1）影響的錯誤。為了解決這個問題，作者提出了一種方法來挖掘L1和L2語言對中的音素混淆（L1說話者可能混淆的L2的音素）。然后，將這些混淆插入一個生成模型（Bi-Phone）中，以合成帶有錯誤的L2文本。通過人類評估，作者表明Bi-Phone生成了合理的錯誤，這些錯誤在各種L1語言之間存在差異，并且在網(wǎng)絡上被廣泛覆蓋。作者還利用這種技術在流行的語言理解基準SuperGLUE上引入了錯誤（稱為FunGLUE for Phonetically Noised GLUE），并顯示了目前最先進的語言理解模型在此基準上表現(xiàn)較差。此外，作者還引入了一項新的音素預測預訓練任務，幫助字節(jié)模型恢復接近SuperGLUE的性能。最后，作者還發(fā)布了FunGLUE基準，以促進在音素完整的語言模型中進行進一步的研究。據(jù)我們所知，F(xiàn)unGLUE是首個引入文本中L1-L2交互的基準。

7.Teaching Arithmetic to Small Transformers

鏈接：https://www.aminer.cn/pub/64ab82833fda6d7f06f77dee/

ChatPaper綜述：研究探討了如何將小型變壓器訓練成能夠有效學習基本算術、乘法和平方根等元素函數(shù)的能力。研究發(fā)現(xiàn)，傳統(tǒng)的訓練數(shù)據(jù)對于算術學習并不是最有效的，通過對訓練數(shù)據(jù)進行簡單的格式更改可以顯著提高準確性。此外，研究還發(fā)現(xiàn)，在沒有預訓練的情況下，通過在訓練數(shù)據(jù)中包含中間步驟的結(jié)果進行訓練，可以顯著提高算術學習的準確性、樣本復雜度和收斂速度。研究還探討了訓練過程中算術和文本數(shù)據(jù)之間的相互作用，以及少量示例提示、預訓練和模型規(guī)模對結(jié)果的影響。該研究強調(diào)了高質(zhì)量、具有指導性的數(shù)據(jù)對于快速激發(fā)算術能力的重要性，并且需要考慮下一個單詞預測目標的特定特征。