前往
大廳
主題

簡單談談ChatGPT為什麼會"學習"及"遺忘"

makusi | 2022-12-10 14:07:00 | 巴幣 38 | 人氣 627

我們在使用ChatGPT時,會有所經驗。
我們設定了某些事物後,ChatGPT似乎會學習到什麼。
例如這個,我設定了星爆氣流斬這件技能。
然後再向GPT詢問一些基本問題


看起來GPT確實學習到了什麼,對吧?

但實際上模型並沒有從你單次的使用學習到什麼,也不會根據你的輸入調整網路中的參數。
ChatGPT實際上的任務目標是接龍。

現在舉一個例子

使用者輸入
你好,我是
它可能會接龍出
潘志遠,我幸賴普拿疼。

接下來使用者輸入
我是誰?
它可能就會接龍出
我是潘志遠,我幸賴普拿疼。

在使用這體驗層面上,我們可能以為我們是一句一句去對AI進行問答的
但實際上我們是把上文全部輸入AI,並讓AI進行接龍
以這邊的例子,第二個問題的實際的輸入是「你好,我是潘志遠,我幸賴普拿疼。我是誰?」

簡單來說,你問了問題A後
模型會根據A,接龍出B
你又問了C
實際上模型是用ABC 這個文章去預測出新的結果D
以此類推。

也因為AI的輸入是所有的前文,所以預測出來的接龍就會包含前文所內涵的資訊這樣。

到這邊理解的人大概也想到為什麼AI會"遺忘"了

因為我們一次能輸入ChatGPT這個模型的字數有上限,超過了之後前面的字就會被擠掉
當某個背景設定被新的輸入完全擠出輸入文章後,自然ChatGPT就不會使用他們進行預測了。

當然 ChatGPT可能實際上使用的技術跟這邊說得不會完全一樣,不過大致可以這樣了解。


創作回應

人類至上
我用了幾天調教AI,有發現雖然被加上限制。但只要想辦法讓AI自己說出限制內容,繼續催眠後他就會開始真的壞了。而方法就是樓主說的,但要越過限制本身然後維持下去真的需要耐心。
2022-12-23 07:31:29

更多創作