切換
舊版
前往
大廳
主題

KoboldAI簡易使用指南(使用Google colab)

塔克蘭斯 | 2023-01-10 22:54:04 | 巴幣 336 | 人氣 4715

GOOGLE目前修改了政策,目前無法在Colab上執行Pygmalion
Pygmalion是一個很好的可聊天Model,不過因為太多人創新帳號去搶colab資源跑Pygmalion而導致google針對Pygmalion進行阻擋,一跑就會將你視為濫用而Ban你;目前還能跑KoboldAI但千萬不要跑Pygmalion,很想玩的話請參考自架那一篇文章在自己電腦上跑Pygmalion

KoboldAI是由社群開發的文字AI,相較NovelAI、CHATGPT與character.ai是比較簡單,但同時限制較少的文字AI;不過即使如此,其較好的語言Model仍然需要極佳的配置才能使用;不過透過Google colab可以用比較簡單的方式去架設並使用KoboldAI

如果直接在google上搜尋「KoboldAI colab」會分別找到koboldTPU(目前似乎壞了)與KoboldGPU兩個版本的colab筆記本,這意思是讓KoboldAI使用TPU或GPU跑,兩者的差別在於TPU使用的語言包會比較大包,詞彙會更完整但載入更久
在這裡,我們使用TPU為範例,打開之後會看到這樣的畫面,記得把筆記本複製到你的雲端硬碟後再來跑才能記得你上次選了甚麼Model!
下拉至這裡,會看到選擇語言Model與是否讓他讀取你的Google drive,勾選的話會讓KoboldAI把生成的故事塞進你的Google driver以供之後接續你的故事
在這文件底下有一個清單顯示Model對應的分類,想玩一些冒險類的自己看一下該選哪個;Model名稱後面的6B/13B/20B的意思是其含有六十億、一百三十億、兩百億的文本量,越大代表載越久、讀取越久;第一次使用還是選6B的快速讀取快速開玩吧!

*這是選到NeoX 20B會發生的事情,一個41G的Model載完讀完到可能半小時後就過去了,身為Colab的免費仔很容易被斷開,沒買運算元最好別選這種幹報大的Model

這是我選6B的Model後,下載+讀取完畢後的畫面,最後會顯示一個網址,點進去

點進去後再點藍色按鈕
就可以看到Kobold的使用畫面!
要開始玩,點左上的New Game,選Random Story,上排輸入給AI產生的提示,下排輸入給AI的記憶,完成輸入後按Accept,AI會用你給的東西去初步產生一個故事後就可以開始玩
輸入模式分故事模式與動作模式
故事模式就跟寫故事與小說一樣,如果你「說話」就輸入像「"Do you want to go?" You said」的語句
動作模式就是跟AI說你想怎麼做,AI會把你想做的事情補成故事與情節
而在Setting選項中有個Chat Mode,切換後基本上就是變成你說AI答的形式,不過這模式AI不會有詳細的應答,像是你說「I made a cake for you!」 AI通常只會答「Thanks!」,想要像character.ai那樣回答中帶有故事的具說明文件是說要選特定的Model

寫完一堆就是儲存拉(記得經常存檔),第一次儲存會需要填檔名,之後就只要按save就好
之後load會可以選檔案讀取,並繼續上次的內容。在這裡可以看到chatmode對話起來真的有點乾
如果懶得自己寫故事,或是希望在一個比較完整的故事架構下開始玩,可以到aetherroom這裡選想玩的故事後,在上方點Import輸入對應故事的ID就可以直接拿人家的故事開始玩啦!

大概寫到這邊,祝大家玩得愉快

常見問題
1.Google colab是啥?
一個Google用來跑python程式的平台,可以免費用他們的雲端GPU與TPU來跑AI的東西
2.Colab筆記本是啥?
給Google colab跑的程式碼都會寫在這裡,AI畫圖也可以用Colab弄出來
3.為啥執行時他會說沒有可以用的GPU/TPU?
因為這些「高級」資源是浮動分配的,Google不保證免費仔一定能用GPU/TPU(就連付了錢也不一定有資源,更何況是免費仔)
4.為啥跑一跑突然機器斷線了?
因為Google會浮動調度機器,而免費仔都是先被開刀的
5.為什麼一開始都還要得到GPU/TPU但後面越來越難要?
你越常用你的優先序就排越低,真很想用就花錢買運算單元
6.我可以把KoboldAI弄到自己電腦跑嗎?
可以,但KoboldAI本身對硬體需求非常大,如果你的電腦有1張以上的4090及100GB以上的空間,弄到自己電腦也可以玩得很開心
7.我在跑的時候沒有讓他用我的Google drive,一斷線紀錄就沒了?
因為Colab要到的機器都是臨時生給你的,一斷線裡面的東西就全沒了,很自然的紀錄也會不見;不過Save鈕可以把你的紀錄存至你的電腦,Load時選從檔案讀取紀錄就好。不必擔心你的故事會被別人看到,Google會把機器洗得很乾淨。
8.故事產生的東西怎麼怪怪的?
因為你給的設定不夠完整、全面,或是有些細節被AI產生出來但你沒有注意到,硬著頭皮產生的話會發生一部分劇情不連貫或破碎的情況,在一開始的時候記得自行修改劇情、引導AI產出你預期的結果(你可以直接改文本或是點Rety叫AI重新產),隨著文本變常會越來越順暢
9.我可以用中文嗎?
很抱歉,除非你用TPU版配20B版本的Model,其他的Model應該都不支援中文,你可以試試Google翻譯
20230216新增
10.我以I去寫行動時有產出一些警告訊息,怎麼回事?
根據koboldai的使用說明提到,任何描寫自己的行為使用you會有更好的產出,為了讓AI不要那麼容易秀斗,就盡量跟koboldai的要求吧

創作回應

更多創作