好萊塢怕了, Gen-2全面開啟免費(fèi)使用
仿佛一聲驚雷炸響,7月24日Runway 宣布,Gen-1 和 Gen-2 已經(jīng)徹底開放,任何人都可以注冊一個賬號免費(fèi)嘗試。生成的視頻長度為 4 秒,每秒消耗 5 個積分,利用免費(fèi)額度可以生成二十六個視頻。如果免費(fèi)積分耗盡,付費(fèi)標(biāo)準(zhǔn)為 0.01 美元 / 積分,也就是生成一個視頻需要 0.2 美元
筆者體驗(yàn)了一下Gen-2,其生成的視頻對于普通人來說,無需使用AE、Blender等專業(yè)軟件就能輕松實(shí)現(xiàn)酷炫特效。但用專業(yè)視角來看,存在模糊、顆粒感較重、光線穿透差、幀率不穩(wěn)定、視頻動物/人物的動作詭異等問題.
什么是Gen-2
Gen-2是Runway在今年3月最新發(fā)布的,可以通過文本、圖片、文本+圖片直接生成視頻,同時(shí)支持風(fēng)格化和渲染添加好萊塢式大片特效,僅需要幾分鐘即可完成所有操作。
據(jù)Runway介紹,Gen-2采用的是擴(kuò)散模型,生成的過程從完全由噪聲構(gòu)成的起始圖像中逐漸消除噪聲,以接近用戶的文本提示。Gen-2的訓(xùn)練數(shù)據(jù)包括2.4億張圖片、640萬個視頻剪輯片段以及數(shù)億個學(xué)習(xí)示例。
如何使用Gen-2
目前,Runway 已經(jīng)開放了網(wǎng)頁端的免費(fèi)體驗(yàn)窗口,相關(guān)應(yīng)用(RunwayML)也已經(jīng)在蘋果的應(yīng)用商店上線。網(wǎng)址:https://research.runwayml.com/gen2
使用流程:
1)在https://research.runwayml.com/gen2/選擇【Try Runway for Free】免費(fèi)注冊登錄到Runway平臺。
2)在主頁選擇Gen-2。
3)輸入文字進(jìn)行制作,目前Gen-2限制320個字符。例如,一個未來的烏托邦時(shí)代,有彎曲的外星人般的建筑,建在巖石般的外星景觀上,2300年,電影風(fēng)格,電影攝影,淺景深,聚焦主題,美麗。
4)直接生成視頻在線預(yù)覽,也可以下載到本地。
一句話,一張圖,三秒視頻無中生有
Gen-2的功能非常豐富,包括風(fēng)格化、故事版、蒙版、渲染、自定義等等。
風(fēng)格化可以理解為參考某張圖像修改視頻風(fēng)格。比如給出以下原始視頻:
再給定一張參考圖像:


蒙版(mask)可以理解為修改視頻中的指定部分,而其他部分保持不變。比如,給定以下原始視頻:




比如,我們輸入一段純文字:「午后的陽光透過紐約閣樓的窗戶照進(jìn)來?!笹en-2 會直接「腦補(bǔ)」出視頻:




