2023年第10周 (03-06 ~ 03-12)

■ Runway 發(fā)布用于生成視頻的新模型 Gen-1

?? 項目主頁 https://research.runwayml.com/gen1
?? 論文: https://arxiv.org/abs/2302.03011

（以下圖文摘錄自seven_的文章，有刪改）

Gen-1可以提供相比之前方法更加逼真的生成效果以及更加細(xì)粒度的語言控制。
例如：給Gen-1一段相機(jī)拍攝的視頻，并且給他輸入一個目標(biāo)指令“Claymation style”，模型會自動將當(dāng)前視頻轉(zhuǎn)換為出粘土動畫風(fēng)格。

(圖片來自官方網(wǎng)站視頻截圖)

Gen-1 不僅可以穩(wěn)定的處理靜態(tài)鏡頭（下圖第一行），也可以穩(wěn)定處理抖動的自拍視頻（第二行），無需對輸入視頻進(jìn)行任何顯式的跟蹤調(diào)整。

Gen-1 從大規(guī)模圖像和視頻數(shù)據(jù)集進(jìn)行訓(xùn)練獲得的泛化能力，因此不限于特定的主題領(lǐng)域，支持很多視頻編輯功能。

例如改變視頻風(fēng)格，如動漫（第一行）或粘土動畫（第二行）。
也能夠識別物體對象，可以改變場景環(huán)境，例如將白天改為日落（第三行）或?qū)⑾募靖臑槎荆ǖ谒男校?br>可以改變主體角色，例如將徒步旅行者變成外星人（第五行）或?qū)⒆匀唤缰械男茏兂稍谛强障滦凶叩奶招埽ǖ诹校?br>也可以編輯替換背景（最后一行）。

■ 和ChatGPT探討AI對教育的影響

Reid Hoffman 在這期播客節(jié)目中和 ChatGPT 探討了AI 在教育領(lǐng)域的應(yīng)用和影響。

https://greylock.com/greymatter/ai-in-the-classroom/

“

• AI可以通過個性化課程設(shè)計、引入新的教學(xué)方法等方式來改變教育，但也可能會加劇教育中現(xiàn)存的問題并擴(kuò)大不同階層學(xué)生之間的差距。

• AI可以提供個性化的學(xué)習(xí)體驗，通過實時反饋、自適應(yīng)課程設(shè)計等方式幫助學(xué)生掌握知識和技能，而人類教師則需要在其中扮演重要的角色。

• 盡管AI的應(yīng)用有很大的潛力，但仍需要認(rèn)真考慮可能帶來的風(fēng)險和負(fù)面影響，并制定相關(guān)的規(guī)范和實踐指南。

• K-12教育應(yīng)當(dāng)優(yōu)先考慮培養(yǎng)學(xué)生適應(yīng)快速變化的世界所需的技能，AI工具可以輔助實現(xiàn)這一目標(biāo)，但應(yīng)該看到它們不能替代大規(guī)模的教育改革所需的努力。

• 為確保AI工具能夠在教育領(lǐng)域發(fā)揮應(yīng)有的作用，需要政府投資、教師培訓(xùn)、合作等多方面的支持，并注重教育從業(yè)者、學(xué)生和其他利益相關(guān)者的參與。
  ”

■ Stable Attribution，幫助找到AIGC圖像背后的人類創(chuàng)作者

Jon Stokes 在文章 Stable Attribution: A New Tool Could Ruin Generative AI, Or It Could Save It 中詳細(xì)探討了 Stable Attribution 這款工具。

https://www.jonstokes.com/p/stable-attribution-a-new-tool-could

我們知道 Stable Diffusion（穩(wěn)定擴(kuò)散）模型，會從在線藝術(shù)網(wǎng)站上抓取圖像用作訓(xùn)練。這已引起了藝術(shù)家的不滿，并最終對其提起訴訟。
Stable Attribution（穩(wěn)定歸因）是一款新的工具，用于識別生成模型訓(xùn)練數(shù)據(jù)中給定生成圖像的“源圖像”，其目的是為了幫助AIGC可以向藝術(shù)家付費(fèi)，以激勵藝術(shù)家將其作品包含在Stable Diffusion的訓(xùn)練數(shù)據(jù)中，并為他們創(chuàng)造一條新的收入流。

盡管該工具的創(chuàng)始人有良好的意圖，但作者認(rèn)為當(dāng)前的方法并不理想，擔(dān)心該工具可能會被律師用來向創(chuàng)作者發(fā)送大量敲詐信，或被大型內(nèi)容提供商用來殺死分散式AI。創(chuàng)作者和出版商必須小心使用版權(quán)圖像，否則會被專門起訴侵權(quán)的律師事務(wù)所抓住把柄，使用自動化網(wǎng)絡(luò)爬蟲等軟件發(fā)送敲詐信。

作者質(zhì)疑Stable Attribution的道德角度，認(rèn)為它識別出給定圖像的“源圖像”，并不需要向被識別的“源圖像”的所有者支付任何費(fèi)用或信用。
此外，該工具的可靠性也受到了質(zhì)疑，因為其所謂的“源圖像”只是表面相似，并不具有法律上的價值。

■ PaLM-E: 多模態(tài)語言模型與機(jī)器人

10號，谷歌博客發(fā)文介紹在多模態(tài)模型方面的新進(jìn)展。
PaLM-E 是結(jié)合了谷歌大型語言模型 PaLM 與視覺模型 ViT-22B，為機(jī)器人開發(fā)的一個新模型。將來自視覺和語言領(lǐng)域的知識轉(zhuǎn)移到機(jī)器人系統(tǒng)中。

機(jī)器人現(xiàn)在可以將傳感器數(shù)據(jù)，例如文本、視覺圖像、機(jī)器人狀態(tài)、場景等——以任意順序，稱之為“多模態(tài)句子”，輸入 PaLM-E 模型，模型輸出文本——可以是描述、問題的答案，也可以是一系列決策。

上圖中展示的是，要求機(jī)器人拿一袋薯片，在機(jī)器人行動過程中，工作人員移動了薯片的位置。為了成功完成任務(wù)，PaLM-E 制定了一個行動計劃，然后在執(zhí)行任務(wù)時通過更新計劃來響應(yīng)世界的變化。

(視頻）

PaLM-E 提供了一種訓(xùn)練通用模型的新范例。其結(jié)果是 PaLM-E 從視覺和語言領(lǐng)域獲得了顯著的積極知識轉(zhuǎn)移，提高了機(jī)器人學(xué)習(xí)的效率。

■ MCTS，AlphaGo和AlphaZero的核心組件

實際上 DeepMind 在2022年就開源了AlphaGo和AlphaZero的核心組件“mctx”——JAX-native Monte Carlo Tree Search (MCTS)算法，可以在批量輸入中并行運(yùn)行，并具有出色的速度。MCTS是AlphaGo最復(fù)雜的組件之一，也是最難優(yōu)化的。mctx不僅支持AlphaGo，還支持AlphaZero和MuZero（AlphaZero +解決Atari游戲）。(引用自 Jim Fan)

?? MCTS 代碼倉庫： https://github.com/deepmind/mctx

(END)

AI展望周刊

一份關(guān)于人工智能的資訊摘錄周刊，記錄值得關(guān)注的AI產(chǎn)品、技術(shù)研究、項目進(jìn)展、引人思考的觀點(diǎn)和鼓舞人心的理念。注視正在發(fā)生的未來。

?? 全文RSS免費(fèi)訂閱 ｜ 往期周刊見網(wǎng)頁版

https://issue.toulan.fun/ai-prospects-weekly/2023-10