※本文所展示的所有內(nèi)容均為學(xué)術(shù)研究用途，嚴(yán)禁任何形式的商業(yè)用途！

Introduction

其實(shí)打完這個(gè)標(biāo)題還滿慚愧的，別人家都是《XXX's LoRA模型發(fā)布》，但自己做的LoRA模型的質(zhì)量確實(shí)還沒(méi)到有勇氣公開(kāi)發(fā)布的地步。姑且先和家人們分享一下產(chǎn)出的圖。后期如果使用新算法或者千春公布3.0新機(jī)體可能會(huì)優(yōu)化模型再發(fā)布。這里想跟朋友們交流一些LoRA模型訓(xùn)練的想法，評(píng)論區(qū)也會(huì)有我這次實(shí)驗(yàn)的結(jié)果的圖片數(shù)據(jù)供大家批評(píng)交流。那我先從數(shù)據(jù)集講起。

Dataset

我基本是用千春直播截圖再進(jìn)行摳圖，選取了大概20張沒(méi)戴帽子的。

我覺(jué)得虛擬主播的數(shù)據(jù)收集其實(shí)是有先天優(yōu)勢(shì)的。如果我們思考機(jī)體的左右搖擺、面部表情的變化，其實(shí)可以意識(shí)到這是一種continuous連續(xù)的運(yùn)動(dòng)，可以帶來(lái)無(wú)窮的樣本數(shù)據(jù)。但相應(yīng)的也會(huì)有不足：這些圖像都是在固定視角、固定機(jī)位下拍攝的。像是側(cè)身、后背這種數(shù)據(jù)是無(wú)法提供的。

我個(gè)人實(shí)驗(yàn)效果上，千春數(shù)據(jù)集的一個(gè)直觀問(wèn)題是：LoRA會(huì)認(rèn)為“一只手上舉一個(gè)放大鏡”這個(gè)動(dòng)作是一個(gè)不能動(dòng)的固有屬性。這導(dǎo)致如果你不對(duì)手臂動(dòng)作做強(qiáng)有力的約束，在模型權(quán)重拉到0.7以上時(shí)，會(huì)有很神奇的表現(xiàn)：

所以在數(shù)據(jù)集方面，我建議有興趣的小伙伴可以找千春手自然放下的直播嘗試截圖，并嘗試截取更多表情、更多頭部的搖晃位置。直覺(jué)上，如果千春實(shí)裝3.0，應(yīng)該會(huì)給數(shù)據(jù)集帶來(lái)很大的進(jìn)步。另外也可以嘗試3d回的各種截圖作為樣本使用。

Experiment Results

本文嘗試了熱門模型ChilloutMix和Cetus-Mix。

ChilloutMix其實(shí)就是我們最近很樹(shù)枝的賽博coser。我個(gè)人對(duì)這個(gè)模型很好奇的點(diǎn)是，lora會(huì)抓取什么樣的信息以及在這種擬人形式圖片上又有什么表現(xiàn)。這里展示兩張我覺(jué)得效果最貼的。

直覺(jué)上，一些基本的要素是可以被lora模型捕獲的。譬如說(shuō)，劉海的形狀、棕帶紅的發(fā)色、上挑眼角。整體氣質(zhì)可以拿下70%-80%。但仔細(xì)看來(lái)，又弗如遠(yuǎn)甚。感覺(jué)在是又不是的狀態(tài)，說(shuō)不上原因。所以如果用一句話來(lái)總結(jié)這個(gè)模型的效果，那就是“圖一樂(lè)”。

Cetus-Mix是一個(gè)二次元繪畫模型。整個(gè)結(jié)果看下來(lái)，還是在二次元繪畫中比較穩(wěn)健。

雖然說(shuō)有些代餐的嫌疑，總體而言還是比較貼合千春的人物設(shè)定了。觀察了很多二次元角色的相關(guān)實(shí)驗(yàn)，均是在二次元模型上收獲了較好的效果。

Discussion

我自己在賽博coser這種形式的內(nèi)容流傳開(kāi)來(lái)前，對(duì)ai繪圖是抱有悲觀態(tài)度的。自己是學(xué)這塊的，也看過(guò)很多ai繪圖但都覺(jué)得質(zhì)量很差。在進(jìn)行完這次實(shí)驗(yàn)后也是陷入了對(duì)ai的大思考。目前沒(méi)有什么思想性的東西可以分享，僅僅做一些內(nèi)容的分享吧。希望有小伙伴可以做的比我更好。其實(shí)可以看到，進(jìn)步的空間還是大大的有。

本文的目的還是探討lora模型在使用虛擬主播這種“動(dòng)作表情連續(xù)”但“機(jī)位固定”的角色數(shù)據(jù)集時(shí)的效果，是純學(xué)術(shù)性質(zhì)的交流，沒(méi)有任何商業(yè)的目的。請(qǐng)大家一定尊重版權(quán)，尊重畫師太太的付出。不要在未經(jīng)允許的情況下使用這些技術(shù)為自己謀取利益。任何技術(shù)都要遵守相關(guān)法律法規(guī)，互聯(lián)網(wǎng)不是法外之地。

※本文所展示的所有內(nèi)容均為學(xué)術(shù)研究用途，嚴(yán)禁任何形式的商業(yè)用途！

※本文所展示的所有內(nèi)容均為學(xué)術(shù)研究用途，嚴(yán)禁任何形式的商業(yè)用途！

※本文所展示的所有內(nèi)容均為學(xué)術(shù)研究用途，嚴(yán)禁任何形式的商業(yè)用途！