雖然AI影片還很難用在遊戲裡,不過拿來玩玩也挺有趣的。
於是我把遊戲開發丟在一旁,稍微研究了一下怎麼用Google Colab跑Wan2.2
偷曬隻可愛狐娘
還是來廢話一下前言,對AI比較了解的可以跳過,畢竟是上一篇複製過來的XD
目前AI跑影片的方法不外乎是兩種:
1、把AI裝在自己電腦跑。
優點:免錢、高度客製化可以自己決定大小還有裝一堆插件lora之類的。而且尺度要多大有多大

缺點:電腦規格不夠高沒辦法跑,跑影片時也不好做其他事。
2、用一些AI網站去線上跑。
優點:不需要用到自己的電腦,方便快速。
缺點:免費的有限制或要排隊,付費的又有些貴。也沒辦法使用Lora來調整影片。更別說有各種規範

不過我今天要講的是第三種方法,算是兩者的折衷。
那就是使用Google Colab的高效能電腦跑ComfyUI+Wan2.2
優點:像裝在自己電腦一樣使用各種Lora,也不用用到自己電腦,可以同時做其他事。而且Google提供的電腦規格跑得動Wan2.2。雖然要花錢訂閱不過可以算的量會比AI算圖網站多。也不用擔心會被限制R18內容

缺點:每次要跑影片都要等他重新安裝一次,不過時間大約8分鐘左右,而且每個月訂閱費10.5鎂(300多台幣)。
這篇文章主要是在講圖片生影片(I2V)的架構,如果想要的是文生影或是其他功能就抱歉囉。
用這個方式生成影片速度挺快的,5分鐘左右能跑一個720x720,5秒的影片

不過要講一下這個Colab的程式碼是我從別人的程式碼作修改的,原本的作者是這邊
裡面有很多不同的種類可以跑影片的Colab,也可以去看看喔

使用方法:
1、首先上面連結點進去,會連結到google colab的網頁。
點進去會是這樣的頁面
接下來是使用Lora的步驟,假如你沒有要使用Lora的話可以跳過第2步
2-1、首先先把網頁往下拉一些
藍色的框是Lora的下載連結,貼上連結打勾後就會自動下載Lora
目前藍框內是我範例內使用的Lora,按順序分別是
可以依照你的需求使用或是替換掉。
Civitai這個網站有非常多別人做的Lora,有興趣的也可以去裡面找一找自己想要的Lora
不過下載Civitai的Lora需要在紅框內輸入你的帳號的API,以下步驟是API的位置
2-2、點開右上角的頭像,最下方有帳號的設定點進去
2-3、到設定頁後拉到最下方,有個Add API key
2-4、點開後要為的你API取個名子,隨便輸入就行,然後API碼就會跑出來了
把它填回Colab的欄位就可以下載Lora囉!
3、之後點擊左上方的按鈕就可以運行了
4、大概等個8分鐘左右,把畫面稍微往下拉,會跑出一個網址,點進去。
5、點開就會進入ComfyUI的介面囉!不過還缺少工作流,請到這個網站下載我的影片
6、點擊右上方的下載按鈕直接下載下來
7、將檔案拖移到剛才的ComfyUI介面裡,就會跑出工作流囉!大功告成

接下來我再稍微講解一下基本的ComfyUI使用方法。
1、首先剛才的畫面放大往中間移動,這邊主要是3個基本要素
紅框是正反面提示詞,這應該不用多說
藍框是你要使用的圖片,點擊按鈕後上傳
黃框是影片的大小和時間,大小大約設置在720x720上下,設置太大的話可能會超過記憶體限制讓colab連結中斷。影片長度設在81會是5秒鐘,可以自由做調整。
2、接下來畫面往上拉,這塊區域是關於你要使用的Lora。稍微複雜一點
紅框是你使用的Lora和權重,權重照你想要的調就行,不想用就調成0。
Wan2.2的Lora檔案通常有分H-noise和L-noise,兩個都需要下載,然後分別替換進這個Lora加載器。
如果沒有Lora的使用需求,上面這5個加載器刪掉也行,不過藍框的1要連接到3。
要多加使用的Lora的話就是相反,複製兩個Lora加載器出來,然後把他們像串丸子一樣串起來,最後連回3。
簡而言之1要連回3,中間不管你想串幾個或是不串都行。
3、最後全部設定完以後,點擊右上的按鈕就會開始生成影片囉!
不過別急,這只是平常的步驟,假如你是第一次使用google Colab的話還要設定一些東西。
1、首先打開在右上角選單,點開查看資源
2、去訂閱colab,否則他免費提供的資源是跑不動Wan2.2的
基本上colab Pro就夠用了,每個月會有100運算單元,運算單元是計時的,至少可以讓你算58小時。假設假設1小時跑個10支影片,100運算單元大概能讓你跑超過500支,也是相當夠用了

不過不算圖時記得要[中斷連線並刪除執行階段],否則就算沒在算圖他還是會扣你的運算單元。按鈕一樣在右上角選單內。
3、還有執行階段類型要改成上圖這樣,硬體加速器至少要選L4 GPU或是A100GPU。
A100消耗的運算單元是L4的4倍多,至於影片生成有沒有4倍快就不清楚了,所以我建議選L4就行。
一樣在右上角選單內可以找到。
以上用Google Colab跑ComfyUI+Wan2.2的步驟就是這些囉。
開開心心的跑影片吧

最後補充一下,colab下方有我寫的一些額外功能
1、假設你想下載的Lora太多,下面也有額外的欄位可以填。填完後運行程式碼,下載好後就跑下面那條[清理GPU並重新啟動comfyUI]就好。
2、有時候算完影片GPU會有資源沒被釋放,讓運算時間大大拉長。這時候就暫停原本的程式碼,然後再運行最下面這條程式碼,重新點進連結就可以囉。
順帶一提,ComfyUI和Wan2.2的詳細問題不要問我,因為我也剛接觸所以不清楚

偷曬另一隻自創角作結尾