這是首次嘗試訓練Lora模型，花了不少時間測試，以下是詳細的產圖流程。
如果對Lora模型訓練不感興趣的人可以直接從第4步開始。
1. 素材蒐集
本次Lora模型素材主要取自官方資源，包含遊戲內截圖、角色PV、官方立繪等。
主要取包含臉部表情、各動作、角度、背景的圖片，並且沒有做額外去背等動作。
蒐集完30張以上的圖片後，再使用A1111 Stable diffusion webui中Train>Preprocess images的功能。
設定長寬皆為768、勾選Auto-sized crop與Use deepbooru for caption。
執行完後初階段的素材蒐集就算完成了。
2. 素材手動修正
前一步自動整理完的素材還有許多問題，諸如角色被切出畫面外、提示字錯誤等等。
這邊我有額外對這類內容做手動調整，並在提示字最前面加上關鍵觸發lan_1_(tower_of_fantasy)以及角色重點如mask_on_head、kimono、long_sleeves、high_heels等等。
這一步算是模型訓練裡最需要勞力的，要手動去檢查幾十張圖中是否有誤判的關鍵字。
3. 模型訓練
準備完成後，就可以使用Kohya's GUI開始模型訓練。我實際上對相關參數功能和影響還很不熟悉，這裡主要都參考網路上其他人分享的設定。
我喜歡用Anythingv5V3_v5PrtRE做為Checkpoint。
我使用約50~60張圖、每張圖片重複10次、做10個epoch，讓總步數拉到約5000。
Learning rate: 7e-5，Text Encoder learning rate: 8e-6，Unet learning rate: 7e-5，Max resolution: 768,768。
都設定好之後就可以開始訓練了，我用3070進行訓練時長大約兩個小時。
4. 決定場景要素
有了模型之後，再來就正式開始AI創作的部分。
我習慣第一步是先決定場景上會出現的要素，再大量的去roll不同的構圖，直到選定比較滿意的為止。
這次我希望能產出跟嵐一起坐在公園櫻花樹下的圖，相關參數如下。
<lora:lan_1_(tower_of_fantasy):0.6>(high quality:1.1), (hige resolution:1.1), (wariza:1.4) on grass, (clear light and shadow:1.1), lan 1 \(tower of fantasy\), 1girl, light smile, pink hair with (black streaks:0.8), green eyes, kimono, hair ornament, mask on head, (white socks:0.9), (high heels:0.8), under the (sakura:0.6) in the (park:1.2) Negative prompt: (low quality:1.3), (low resolution:1.3), (blurry:1.2), simple background, white background, umbrella, weapon, fire, flame, (long hair:1.2), (tower:1.2), large breasts, pantyhose, toe Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 308660174, Size: 768x512, Model hash: 7f96a1a9ca, Model: Anythingv5V3_v5PrtRE |
5. 細節重繪
決定好了基本的場景要素和構圖之後，會發現圖片上實際還有不少缺陷。
我這一步會透過inpaint局部重繪的功能去做修正，主要有幾種做法:
a. 如果指定區域問題較大且非角色重點，可以給新種子再重roll數次，如櫻花樹形狀奇怪，那就對櫻花樹部分重roll
b. 如果指定區域細節不夠精緻或有邏輯錯誤，可以直接參考原色做幅度較大的重繪，如手部缺陷
c. 如果指定區域有角色細節錯誤，可以用其他繪圖工具粗略塗上，再設定參考原色做小幅度重繪，如嵐的衣服綴飾
重繪步驟可以一次小範圍，多步的去精確執行。執行到相對滿意為止。
如果有特定特徵無法呈現，也可以調整提示字大量強調，由於只對局部重繪，不用擔心像txt2img一樣會影響整體品質。
調整左側櫻花樹:
調整角色衣服綴飾:
6. 高解析度處理
最後為了提高成品精細度，我會再用Extras>Single Image>Scale功能把解析度拉高。
Upscaler主要使用RESRGAN 4x+ Anime6B去執行，可以拉到4K或8k的解析度。
這樣就大功告成啦!
實際上成品瑕疵還是很多，原始模型對角色服飾細節的還原度非常有限，權重拉高又會導致畫面崩掉。
重繪又看起來有明顯手動更改痕跡，如果降低重繪幅度，又會讓細節跑掉...。
只能再繼續研究是否有改進方案了，如果有各位有不錯的經驗請務必與我分享!
Lora模型已分享至CIVIT AI可供下載，如果想看"精彩的差分圖"和我的其他創作請至Pixiv。
達人
