前往
大廳
主題

繪圖AI - ComfyUI 基於Node based生圖工具

獵奇一哥 | 2023-03-18 10:14:25 | 巴幣 3140 | 人氣 9415

不知道有沒有注意到ComfyUI能讓AI產圖流程化,我用了快一個月,大幅度減少流程與動作,除此之外他還能生成更為複雜的圖片,例如用text生成一個長達4000X1000並有不同內容的連續圖片,甚至你能針對某些細節做最佳化,不過我想推薦時,就想到要打一大篇很累,終於等到有人貼影片,這樣我就不用寫一堆。不過我還是分享一下,另外除了他原版的自動運作,一開始推出時只有手動安裝,我製作了另一個自動安裝的bat,能自動完成anaconda的與其他自動安裝,我也分享出來。

一,介紹
這位老外介紹得不錯,我想他講解得比我寫一大篇清楚

現有功能如下:

  • 節點/圖形/流程圖介面,用於實驗和創建複雜的穩定擴散工作流程,而無需編寫任何代碼。
    => 我想如果玩過blander或者Unreal blueprint的應該會知道這種流程介面是非常常見的東西,你可以安排好一套處理方案(有些可帶入OOP概念),未來需要時調用即可,low code在某些產業已經非常成熟而有方法應付複雜狀況,只是有些使用者並不知道那是什麼只是會用,但這是正確的,因為一個團隊為了讓某些人負責某些任務而要求他們從頭學程式是多麼不切實際。
  • 完全支援 SD1.x 和 SD2.x
  • 異步佇列系統 (Asynchronous Queue system)
    => 具體來說就是非同步的佇列處理,如果你是後端開發人員,這種系統應該接觸很多,例如最普通能摸到的是ActiveMQ,進階一點的公司會模改成圖形介面,讓非資訊專業人員能用,這東西很常拿來應對大量非同步的資料,如果公司有額外花錢應該就能摸到IBM MQ或Oracle AQ,不過這邊他提到的MQ還沒有到達大量同時接收資料的水平,只是能做到大量同時整理不同資料的水平。
  • 許多優化:僅重新執行在執行之間更改的工作流部分。
  • 命令行選項:使其在vram小於3GB vram的GPU上運行(在具有低vram的GPU上自動啟用)--lowvram
    => 我後面直接整合到bat,你到時候選擇選對就能用了
  • 即使您沒有具有以下功能的 GPU,也可以正常工作:(慢)--cpu
    => 這部分我個人完全不建議用CPU
  • 可以載入 ckpt 和安全張量模型/檢查點。獨立的VAE和CLIP型號。
    => 個人測試過,所有model都能用
  • 嵌入/文本反轉
  • LoRA(常規和定位)
    => 目前更新的訓練工具,記憶體8GB以下,訓練效果不錯。
    如果你是藝術家,可以透過LoRA私下來訓練模型知道自己風格的,並拿來應付需求,
    出貨前可以完成常見的放大=>縮小動作,可以讓產品更自然一點。
  • 從生成的 PNG 檔載入完整的工作流(帶有種子)。
  • 將工作流保存/載入為 JSON 檔。
  • 節點介面可用於創建複雜的工作流程,例如用於修復或更高級的工作流程。
    => 具體來說我不太確定這句話,但我加了很多自製的節點可以處理各種事情
  • 區域構成
    => 部分位置重新繪製或拓展,他這工具很擅長整合不同圖片
  • 修復
    他能塗改某部分然後作重繪,看他介紹應該白色是要修改部分,他用GIMP以透明化處理後再以png存檔給系統修復,目前我暫時還沒用到。
  • ControlNet and T2I-Adapter Examples
    => 大家應該都用過ControlNet,他有數種功能能分解圖片,其中T2I-Adapters按照他的說法效能更好。而搭配ComfyUI優勢,能更快整合圖片。
  • Upscale模型(ESRGAN,ESRGAN變體,SwinIR,Swin2SR等)
  • 啟動速度非常快。
    => 並沒有,只是相對於一些肥大的WebUI快
  • 完全離線工作:永遠不會下載任何內容。

認真來說,缺點只有DeepDanbooru你必須自己改code整合。
要不然他功能還滿強大的。

其他教學

二,安裝

使用上建議NVIDIA顯示卡8GB以上,AMD據說RX6600以上有機會可以運作,但我沒試過,AMD遇到問題建議自己嘗試看看,或者用Colab,他有提供colab的應用。

你必須先有基礎的python與CUDA安裝
下載後請完成安裝

方法一:
如果你是windows、NVIDIA,不考慮其他WebUI會不會交叉影響,理論上用這個安裝包直接用就可以,不過我已經先有安裝,所以這方案我無法驗證他會遇到什麼問題。

使用comfyUI提供的安裝包,下載位置:
解壓縮後
先放入你的模型,例如waifu

接著回到上層直接執行:run_nvidia_gpu.bat
如果你沒nvidia card就用run_cpu.bat  (非常慢不建議)

他使用python embeded的技術,這方法有個優勢,就是python最小環境,整包整給你,我看了一下,他幾乎所有套件都整進去,除了CUDA跟Python應該還是得先裝,當然如果你有修改或者更深入使用,建議走conda


方法二:
我將它的手動安裝簡化到bat內
並且整入anaconda的方法
這個方法請具備一些anaconda的知識

這僅是提供擴充功能。
這個bat程式針對comfyUI的手動安裝設計,執行後會自動以conda為基礎進行安裝。
你必須先下載comfyUI完整的程式碼,請到 " https://github.com/comfyanonymous/ComfyUI "下載完整,並解壓縮到你想要放置的位置,另外請自行安裝cuda 11.8。

進一步使用這個bat
  1. 你必須先安裝anaconda,並且記得點選 "Add Anaconda3 to my PATH environment variable"。
    https://www.anaconda.com/
    進去後下載windows版本安裝
  2. 安裝完成後,請將github這裡的程式下載到comfiy資料夾內,主要為三個bat(ComfyUI_BG_conda.bat、ComfyUI_BG_install.bat、1.install.bat),請確保他與main.py同一個資料夾。
    https://github.com/star-power-storm/comfyui--install-with-conda-bat
  3. Conda上的自動命名為comfyUI,請先確保不衝突,若衝突請自行修改bat。
  4. 安裝請執行1.install.bat。
  5. 安裝過程中會遇到一些提問:
    (1) 若第一次建立conda會問是否安裝相對應的基礎包,請輸入"Y"

    (2) 安裝過程會問你是否為AMD或NVIDIA顯卡,若你是AMD請輸入A,若你是NVIDIA則輸入N,若你只想用CPU運作直接enter(不建議使用CPU)

    (3) 最後會問你GPU記憶體是否大於3GB,請依照你的顯示卡現況輸入相對應的資訊

    (4) 完成安裝後會標示 "Done"
  6. 安裝完成後會自動生成一個 "2.run.bat",請執行他,之後遵照comfyUI的設計,開啟網頁使用。



創作回應

相關創作

更多創作