前往
大廳
主題

ComfyUI變換動畫人物為真人工作流

岩田朝香 | 2024-01-13 13:10:52 | 巴幣 0 | 人氣 107

一切都必須從Load Checkpoint開始,載入模型後有三個節點,VAE、Clip與Model。
VAE可用於所有的VAE節點,Clip用於Clip層,Model則用於模型控制。
VAE層不用管,目前大多都是Baked,也就是模型自帶,所以全部看到有VAE往模型連就好。

以下先從Clip開始。
Clip層包括的功能為
1、提示詞控制
提示詞控制,若是圖生圖可以使用WDTagger提詞,再與自己的提示詞合併。
提示詞輸入稱之為ClipTextEncode,圖中是以下幾個構件的合併。
ClipTextEncode(正向提示詞1,將輸入轉為textinput,讓WDTagger能連接)
ClipTextEncode(正向提示詞2),用以輸入提詞以外的條件
WDTaggerModel(提詞模型,連接原圖型提詞,圖形輸入後,文字輸出給第一個正向提示詞)
接著使用ClipTextCombine,完成兩個正向提示詞的整併,拉出最後的Conditioning
負向提示詞則是第二個輸出,ClipTextCodeConditioning
2、ClipSetLastlayer
用以進行Clipskip,若要使用就是用它連接到所有的Clip輸入,以控制整個Clip層
3、Controlnet控制
若需使用Controlnet,該組件位於Clip層,所以必須把合併完的正負向提示詞Conditioning接給Controlnet,才能往外接給出去,這邊的Controlnet包括以下幾個組件。
ApplyControlnet,接續原模型,輸入影像(預處理過的影像),輸入Controlnet模型
ControlnetModel,載入Controlnet模型
AIOControlnetPreprocessing,預處理器,有輸入、輸出圖片兩個連接點
在這邊三組控件整合起來,就變成使用Controlnet,對原來的圖片進行預處理後交給最後輸出的Conditioning

Model層包括的控制為
1、Lora控制,接續原模型與Clip後選擇Lora,影響模型後輸出模型。
2、ipAdapter控制,使用ipAdapter影響模型後輸出模型。
(之後再繼續編輯)

創作回應

更多創作