一個基于gpt2的prompt生成器，采用的訓練集是huggingface上提供的500萬條從danbooru上收集的tag

這是其中幾條tag:

huggingface上也有專門收集的stable diffusion和midjourney的prompt，但是其中有大量類似'high quality,masterpiece'之類的詞，這些詞完全可以用更簡單的程序生成，并且如果將這些詞加入訓練集，最后的模型可能只會寫這些詞

但是這些從danbooru上收集的tag也不能直接拿去訓練，因為其中有很多生僻詞和人名，在訓練的時候需要指定一個長度，如果tag小于這個長度需要填充，大于這個長度需要截斷，這些詞大部分都是按照個人喜好添加的，我希望模型可以生成描述類tag如衣服，頭發(fā)等

刪除這些詞后，還要刪除一些18+詞匯和一些符號比如‘（’

然后要統(tǒng)計訓練集中大部分tag的長度，我按照空格和逗號分詞

統(tǒng)計發(fā)現(xiàn)大部分的tag長度集中在0-60，所以將長度設置為60，采用eos_token作為pad_token。

處理好的數(shù)據(jù)可以保存為npy文件。gpt2模型參數(shù)比較多，小型的也有1億多，中型的更是有3億，個人電腦訓練很慢，所以我使用autodl上租的A5000訓練。

再講一下如何保存和使用huggingface上提供的模型，首先下載這些文件：

然后把這些文件放在文件夾，在使用from_pretrained方法時直接使用文件路徑即可

訓練不到一個epoch就可以達到70%多的準確率，這主要歸功于gpt2

下面看一下生成效果，我設置最大長度為60：

生成tag后，你可以手動加入固定tag如“masterpiece"之類的，下面展示一些tag和圖片：

(masterpiece),(best quality),(illustration) ,(extremely detailed CG unity 8k wallpaper),(best shadow), ultra-detailed ,finaly detail, solo,1girl, animal ears, blue theme, bow, capelet, dress, fire, glowing, glowing eyes, green bow, glowing eyes, hat, long sleeves, monochrome, short hair, sketch, skirt, solo, spot color, sword, sword of hisou, tabard,beautiful detailed eyes,(an extremely delicate and beautiful) , studio photography,? extremely detailed wallpaper

(masterpiece),(best quality),(illustration) ,(extremely detailed CG unity 8k wallpaper),(best shadow), ultra-detailed ,finaly detail, solo,1girl, animal ears, blue dress, blue eyes, blush, braid, chakabo, cat ears, cat tail, dress, full moon, glowing, long hair, mob cap, moon, night, puffy sleeves, silver hair, skirt, solo, source request, tail,beautiful detailed eyes,(an extremely delicate and beautiful) , studio photography,? extremely detailed wallpaper?

(masterpiece),(best quality),(illustration) ,(extremely detailed CG unity 8k wallpaper),(best shadow), ultra-detailed ,finaly detail, solo,1girl, bow, breasts, brown hair, cleavage, dress, hair brush, hat, hat ornament, kijima ban, leaning forward, long hair, medium breasts, nature, open mouth, red eyes, ribbon, skirt, skirt set, smile, solo, water, white hair,rainy,street light,beautiful detailed eyes,(an extremely delicate and beautiful) , studio photography,? extremely detailed wallpaper

(masterpiece),(best quality),(illustration) ,(extremely detailed CG unity 8k wallpaper),(best shadow), ultra-detailed ,finaly detail, solo,1girl, armor, breasts, choker, cloak, crossed arms, colored skin, dragon's crown, dress, earrings, fairy wings, gloves, high heels, jewelry, large breasts, magical girl, monochrome, necklace, no shoes, queen's blade, queen's blade rebellion,beautiful detailed eyes,(an extremely delicate and beautiful) , studio photography,? extremely detailed wallpaper

還有一些tag忘了存的圖片

并不能保證生成的每個tag都能符合邏輯并生成很好的圖，但十個里面出兩三個還是可以做到的