以下圖源來自FF14與Falcom官網.
Style2Paints V4的輸入是顏色點hint,線稿以及參考圖.
已知有一張原圖imageA,
透過隨機取樣可以得到imageA的顏色點hint(hint.txt),
也可以透過Anime2Sketch得到線稿imageB.
若將imageA,imageB以及hint.txt的文字送進Style2PaintV4,
其實會發現Style2PaintsV4輸出圖片imageC其實會和原圖相距甚遠,
很多描繪的細節都Loss掉.
原圖:
Style2Paints V4輸出結果:
因此,這時我就想到了,
把Style2PaintsV4輸出圖片imageC作為pix2pixHD的輸入,
imageA作為pix2pixHD的輸出,
就可以彌補Style2Paints V4所Loss的細節,
這也就是上一篇文章的由來:
在實作上,是採用LAB色系,
分別訓練3個pix2pixHD.
<pix2pixHD(1)>
輸入1:imageC的L通道(即灰階)
輸入2:透過imageC的灰階得到的skeleton map
輸入3:imageB
輸出:imageA的L通道
*關於skeleton map為何,
<pix2pixHD(2)>
輸入1:imageC的A通道
輸入2:透過imageC的灰階得到的skeleton map
輸入3:imageB
輸出:imageA的A通道
<pix2pixHD(3)>
輸入1:imageC的B通道
輸入2:透過imageC的灰階得到的skeleton map
輸入3:imageB
輸出:imageA的B通道
以下為測試結果:
第1張圖是Style2Paints V4輸出結果,
也就是完全沒用pix2pixHD修圖.
第2張圖是把Style2Paints V4輸出結果的L通道改成pix2pixHD(1)的輸出,
也就是只修灰階的部分
第3張圖是把3個pix2pixHD產生的L,A,B通道直接拿來用,
也就是整張彩圖的顏色都有修,不是只修灰階.
個人是覺得第2和第3張圖主要差別在皮膚的配色上,
只改灰階,色調上是比較單調,
但LAB三通道都改,Styte2Paints V4用色錯誤的小地方會被放大.
