前往
大廳
主題

[AI繪圖] AI 咒文詠唱者初體驗+Stable Diffusion web UI_txt2img 功能簡單介紹

l1a2yyyy | 2022-11-25 22:14:00 | 巴幣 1116 | 人氣 18104

哈囉~ 這次來更新點不一樣的東西

在之前「夏娜20周年繪圖比賽」的文中有提到說想來嘗試AI繪圖與試著成為AI詠唱者,不過我大概是在兩周前才跟著 PTT [猴子都會的AI繪圖軟體安裝教學(https://disp.cc/b/ACG/fpup)]的教學把 stable diffusion 安裝好+下載好 AI 運算的模式 (NovelAI與Waifu Diffusion)

安裝過程基本上跟著大佬的教學文跑就沒問題,整個過程在 Stable Diffusion web UI 文章的 github 中也有詳細描述 (https://github.com/AUTOMATIC1111/stable-diffusion-webui)

其中,大概的注意事項有─

1. python 不要安裝錯版本(看到的教學文都是推薦下載 3.10.7,小心不要裝成更新的版本)

2. git 要確定有安裝到,安裝 Stable Diffusion web UI的過程中會用到

3. AI 的運行模型需要自行下載,找字尾是 .ckpt 的版本─這部分可以去 "https://cyberes.github.io/stable-diffusion-models/#waifu-diffusion" 上找想要的版本,其中我主要是下載 "Waifu Diffusion" 與"NovelAI"兩個模型,後續也會展示兩個模型在用相似的限制詞時生成結果的差異(結果上NovelAI會好很多 我是用4G的版本"animefull-final-pruned",兩種版本的差異可以看這篇文章"https://www.bilibili.com/read/cv19099066"─主要的差異大概在於後續有沒有要自己訓練AI,如果有要自己訓練AI,需要用 7G 的版本)

4. 在網路穩定的地方安裝XD 網路如果不穩,會下載滿久+跑到懷疑程式有沒有在運行,其實啟動了 webui-user.bat 後,後續還會通過 git 下載機器學習相關的程式,所以會需要等一段時間,其中執行介面會跑出目前執行的步驟,如果前面有沒有安裝好的部分,也可以從執行介面去檢視問題(通常會給提示,不過看不看的懂又是一回事(。-`ω´-)

總之,如果下載成功,執行介面會有一串網址,將網址輸入瀏覽器就可以使用 web的UI介面進行操作─不過,記得不要把執行視窗關掉呀

介面功能的介紹可以參考這篇(https://zhuanlan.zhihu.com/p/570954565);

基本上,最上方主要會用到的模式有 txt2img (文字生成圖)以及 img2img(圖生圖),我這次主要是玩txt2img

在 txt2img 模式中,主要的限制詞都是以 prompt 與 negative prompt 來執行,前者提供的是圖需要具備的要素(正向限制),後者則限制圖不要什麼要素(負向限制);

其中,negative prompt 大部分都是限制圖會令人掉san的東西,比如: 長脖子(longneck)、多於1隻右手(morethan 1 left hand)、不好的比例(bad proportions)、低品質(Lowquality)、變形(deformed)等等詞,這部分每張AI圖的通用性偏高,如果不想自己測試,可以複製別人已經調整好的negative prompt─當然,如果這部分寫得越詳細,能避免的情況會越多~ 所以才會看到一堆AI圖的 negative prompt 都超長(。-`ω´-)

另外,prompt 就是想要的效果,這部分也是有一些通用詞,比如對於圖的品質(best quality)、(masterpiece)、(high resolution)、(ultra-detailed),光影效果(cinematic lighting)(detailed light)),鏡頭景深(Depth of field)、對於人物細節的描述(比如強調眼睛的細節)等,這些通用的正向限制詞打好後,後續才是對於圖像風格(如插畫 illustration、動畫截圖anime screencap、輕小說風格art of light novel)、人物數量(1 girl/boy)、服裝、種族、背景畫面等等限制,用詞當然都是英文單詞─這邊推薦一個網站 (http://www.prompttool.com/NovelAI),其中有不少細節詞彙可以挑選,也可以直接找喜歡的AI繪圖風格,直接複製別人的  prompt,方便後續自己再做細節調整

細節調整部分,主要是調整每個字詞的權重,這部分用的是() 與[]來調整─ ()表示加強,而 []則是減弱,通過增加()或[]的數量,可以增加對於單一字詞之影響權重,這部分可以從生成的圖中去調整─比如眼睛生成的不好,就加強對於眼睛清晰度字詞的權重

另外,權重也可以用 (字詞: 1.XX) 來調整,這部分跟上面的差異,就還需要再多測試  了

處理完 prompt 這塊比較複雜的部份,後續就是調整左下側的模式─

Sampling   step:   AI的對比次數,設定的越高,AI生成的圖與prompt對比的次數越多,但也越花時間─這就根據自己電腦的性能去決定吧

Sampling   method:     可以選不同的運算採樣模式,實際的效果我會跟下面 CFG Scale  一起呈現

Width, Height:     長寬比,這部分就看自己的電腦性能調整圖的大小吧

Restore faces: 修復人臉,基本上只有真人用的到,動漫角色不用勾選;同一排的另兩個功能基本上也沒什麼用到,這部分有興趣前面的介面功能文章中有說明

CFG Scale :  圖與 prompt之間的關聯性(自由度),數值越高與 prompt越接近,越低則會出現越"意想不到"的圖片─這部分的影響可以看下方的測試表格來知曉

目前看起來─採樣模式:  Euler a, Euler,  DPM++ 2S a,  DDIM  四個模式都算穩定,而CFG 則是 7-11,但這部分與採樣模式有點關係就是,不同採樣模式的最佳點似乎有些差異,不過確實在7-11的區間內,CFG越高看起來越接近 prompt的設定(prompt可參考下方)

Seed: 每張生成圖片都有其編號(模型運算的初始狀態基礎),如果覺得某張圖生成的不錯,輸入其 seed 標號後,就可以基於這張圖的基礎再重新做調整

Script: 腳本測試模式,如果想測試某些參數的影響,可以選擇不同的測試腳本模式,這部分的操作推薦可以看這個影片(https://www.bilibili.com/video/BV1aV4y1G7eZ/?spm_id_from=333.788.recommend_more_video.17&vd_source=b8c8883a91b7a2e4b6b425c8fc8ca1f8)

哈~  原本只是想稍微整理一下自己目前繪製的成果,結果變成有點硬的文章了 後面來點輕鬆的內容,放一下目前自己生成的一些圖片,prompt跟negative如下~

Prompt:
(((10 yearsold))), (((((loli))))), (((elf))), (((cute))), (((shy))), ((confused facialexpression)),  colorful, (dynamicangle),(((solo))), ((light golden hair)),(green eyes),((light goldenhair)),((bright and detailed eyes)),(green eyes),(long hair flowing with thewind), long bangs between eyes, messy hair, payot,lateral braid, wet whitedress with gold decoration, wrinkled skirt, tulle lace white skirt, beautifulhair ornaments, delicate wet skirt, staring blankly,(drizzle), very delicatelight, beautiful and delicate water, the finest grass,((flower field)), nature,painting, water spray, Flowers and grass meadow, ((sunset)), starry skyinacircle,  randomly distributed clouds,river, splashing water, (spotlight), ((look at viewer)), ((strong contrast)),((((jewel-like eyes)))), clavicle, (dynamic pose)
 
(((bestquality))) ,(((masterpiece))), ((illustration)), (((an extremely delicate andbeautiful))), ((((extremely detailed)))) , (((8k wallpaper))), Amazing, finelydetail, masterpiece,(((best quality,official art))), (((ultra-detailed)))
 
(((detailedlight))), ((((cinematic lighting)))), (lens flare), light leaks, sunlight ,shine , (((((beautiful detailed glow)))), (((((beautiful detailed girl))))),((((extremely detailed eyes and face))))), ((((beautiful detailed eyes))))

Negative:
((((ugly)))), (((duplicate))), (((tranny))), (((disfigured))), (((extralegs))), (((deformed))), (((mutation))), (((trans))), (((bad proportions))),(((extra arms))), (((long neck))), ((mutated hands and fingers: 1.5 ))),(((long body: 1.3))), (((mutation, prooly drawn : 1.2))), (((lowers))), (((badhands))),(((error))), (((extra digit))), (((Low quality))), (((normalquality))), (((artifacts))), (((username))), (((watermark))), (((bad face))),(((mutated face))), (((fusion face))), (((bad eye))), (((mutated eye))),(((fusion eye))), (((bad month))), (((mutated month))), (((fusion month))),(((more than 2 ears))), (((more than 2 eyes))), (((thick neck))), (((longbody))), (((more than 2 hands))), (((more than 2 leg))), (((1 hand with morethan 5 fingers))), (((NFSW))), (((((poorly drawn hands))))), (((more than 1left_hand))), (((more than 1 right_hand))), (((short_arm))),(((missing arms))),(((liquid tongue))), (((liquid hands)))
 
((morbid)), ((mutilated)), ((poorly drawn face)), ((ugly)), ((badanatomy)), ((extra limbs)), ((poorly drawn hands)), ((missing arms)), ((missinglegs)), ((missing fingers)), ((overexposure)), ((sharp fingers)), ((wrongfigernails)), ((long hand)), ((curled fingers)),((no finger gaps))
 
(hermaphrodite), (malformed limbs), (mutated hands), (fused fingers),(too many fingers), (bad anatomy), (extra digit),(fewer digits)
 
extra fingers, mutated hands, blurry, cloned face, ugly, extra limbs, gross proportions,bad_hands,missing fingers, mutated hands,(fused fingers),(too many fingers), doublemiddle finger, index fingers together, missing index finger, interlockedfingers, pick fingers, sharp fingernails,(steepled fingers),x fingers,interlocked fingers, fingers different thickness, cross fingers, poor outline,big fingers, finger growth, outline on the body, outline on hair, outline onbackground, fuse arm, fuse elbow, more than two arms, more than two elbow
 
[out of frame]

不過,這部分我也還沒確認哪些字詞是真的有效、哪些是還需要再調整,這部分還需要做些測試,不然咒語是有點長啦;不過,目前在我的電腦上跑出來的圖片都滿穩定,應該還好─至於某些關鍵字就當作沒看到就好XD 反正,我租屋處不叫外送,我也沒有其他送貨到房間的需求,敲門我是不會開的 ヽ( ^^)

其中,下方的圖片是 Novel AI 生成的圖
這張雖然我覺得很棒,但脖子處有明顯的問題,實在是可惜呀

這張兩眼的眼睛顏色不一致(圖片左綠又藍),而且細節上圖片左邊也比較差

另外,下方的圖片則是 Waifu Diffusion 生成的圖
老實說,我實在是不知道為何Waifu Diffusion 生成的圖很容易有人物跟背景錯位或是比例不對的問題,很容易出現人上半身或頭紮在花園中,或是人的大小比後方風景還大的問題

頭髮的畫風上,Novel AI   比較接近動畫的畫法,是把頭髮當成片狀物去繪製,而Waifu Diffusion則更偏寫實一點,是用髮絲的方式去呈現;

此外,眼睛的畫法上,覺得Novel AI 的眼睛相對比較混亂,細節呈現比較差,兩眼的一致性也比較不好,高光呈現不穩定(這部分不知道跟語法的關係有多大,但當初調   Novel AI    眼睛部分權重花不少時間,);相對來說,Waifu Diffusion的眼睛比較穩定,高光細節有,且兩眼的一致性相對較好

另外,在權重上,Waifu Diffusion  生成的年齡感覺比較接近我設定的範圍(10歲蘿莉);相對來說,Novel AI 生成圖的年齡浮動比較大,大概感覺是8-15歲晃動

不過表情細節上Novel AI 確實比較生動,Waifu Diffusion 的臉都有點僵硬

比較起來,雖然各有優缺點,但   Novel AI  生成的圖更接近我的喜好(XP)就是 而且,生成出來的圖也相對比較穩定,不像是Waifu Diffusion會出現只有上半身的問題

最後,再分享一些    Novel AI   繪製的圖片來結束這回合     後面如果有什麼好玩的東西,再來分享好了

送禮物贊助創作者 !
0
留言

創作回應

無相
我也覺得NovelAI比較好看,可是看到要158GB就卻步了....
2023-01-07 18:17:41
l1a2yyyy
可以下載 animefull-final-pruned.ckpt (~4G),我自己是用這個,不過要找一下載點

看看這個能不能用吧(https://huggingface.co/a1079602570/animefull-final-pruned/blob/main/novelailatest-pruned.ckpt)
2023-01-07 18:37:13
無相
網址好像死了,我再找看看,感謝
2023-01-07 19:12:53
l1a2yyyy
好像是沒辦法直接貼載點 https://huggingface.co/a1079602570/animefull-final-pruned/tree/main
2023-01-07 19:48:17
l1a2yyyy
這個可以進,不過要登入,model 001跟novelailatest這兩個都可
2023-01-07 19:50:36
無相
哇,感謝,已經成功載到了,原本找了個要用百度網盤的載10小時,想說明天再用了
2023-01-07 20:34:32
らっび
propmt的括號是甚麼含意?用了一陣子卻不知道真正的意義是什麼
2023-12-05 11:37:21
l1a2yyyy
增加詞的強度,()數量越多詞在AI生圖時該指令的權重越高,算是一個簡單的作法,實際的權重比例可以查看看其他人的資料,我是對於一些必要元素才會用;

不然,目前比較推薦的是用(prompt:0.x)的調法,可以更好地知道權重的比例,也可以精調到小數點第二位,比如 lora的調整,一般都會有推薦的權重數字(通常是1)

最主要還是使用多個 Lora時,權重調整會變得很細瑣,就會需要用數字去標記各Lora權重比例,通常差個0.1就會有很大風格上的變化
2023-12-09 16:01:56

更多創作