前往
大廳
主題

[實測] Claude 3、Google Gemini Pro v1.0、ChatGPT-4 Turbo - 詐騙對話紀錄文本分析測試

劍心san | 2024-03-19 16:12:03 | 巴幣 200 | 人氣 2099

文章同步發布至:[實測]Claude 3、Google Gemini Pro v1.0、ChatGPT-4 Turbo - 詐騙對話紀錄文本分析測試 - blogspot

近期因緣際會下,終於遇到了詐騙集團主動前來IG搭訕施展話術,於是就有了這麼一篇經過匿名化處理的對話文本紀錄(僅用於上下文本分析):




A:嗨,早安
A:謝謝你的追蹤
B:不會
A:怎麼稱呼你呢
B:OOOO
B:請多指教
A:你是哪裡人呢
B:台灣人
A:我是台南人,做甜點工作
A:29歲
A:你呢
B:35歲,工程師
B:Ai工程師
A:了解,很高興認識你
A:你有賴嗎,我不常用IG聊
B:很高興認識妳
B:不然我加妳賴好了
A:(LINE帳號)
B:好的
B:安安
A:嗨,午安
B:我是IG上的OOOO
A:了解
A:你叫我OO就好
B:怎麼會想加瀨聊?
B:恩恩,了解
B:所以妳是甜點師?
A:因為我不常用ig聊
A:用賴比較多
B:了解
A:你是台灣哪裡的呢
B:台北
A:了解
A:嘿啊,做一些小蛋糕之類的
B:哦?怎麼沒放上來IG?
A:好像放的有吧,你沒注意看喔
B:我每張照片都有閱覽:)
B:記得吃飯
A:吃過啦
A:今天和閨蜜們在外面露營呢
A:你呢
B:原來妳今天休假?
B:吃囉
A:嘿啊,工作日都沒有事做,在家待著也無聊,所以就出去露營了
B:了解,在哪露營?
A:在關子嶺
A:你平時也有露營嗎
B:我喔,很少露營,大部分都跟朋友聚在一起學術交流心得
A:了解
A:比較健康的聚會
B:還好,露營也不錯呀,親近大自然
B:我記得最近氣溫比較涼,好像有下雨,注意保暖唷
B:是說,怎麼會想認識我?
A:高雄這幾天都很熱,天氣很好啊
A:你好像有問過誒
B:嗯嗯
A:看見系統有推薦你,所以點了個追蹤而已
B:喔喔:)
B:因為我想說,一般女孩子不會讓陌生人加LINE
A:肯能我比較喜歡交朋友吧,哈哈
B:了解,那喜歡逛街嗎?因為我一直以為年輕的女孩子都喜歡逛街之類的@@
B:很少有聽到有女孩子會喜歡露營
B:妳們露營幾天@@?
B:需要我下去南部探班嗎?
A:就一天誒
A:哪有,好多女生都喜歡露營
B:抱歉,那可能是我孤陋寡聞@@
B:沒關係,若不方便去店內探班,就當我沒說即可:)
A:當然方便啊,哈
B:雖然我很少吃甜點,但仍會想幫朋友捧場
A:哈哈,感謝
B:所以,方便告知那間店嗎?有空我會下去消費。
A:回味餅屋
A:你在Google上面找不到的,因為我們剛開業不久
B:開業不久?妳跟朋友一起開的?
B:聽起來好像很厲害@@
A:自己啦,就一個小店而已
A:哈哈,還好啦
B:景氣這麼低迷,會想自己出來做,真的不簡單
A:哈哈,還好啦,只是自己的一個愛好而已
B:妳是什麼星座?
A:射手座
A:你呢?
B:巨蟹
A:巨蟹性格极端敏感,占有欲强,烈缺乏安全感而有依赖感
A:你是這樣的嗎
B:我嗎?不太會
A:看來星座解析也不是很準嘛
B:對啊
B:僅供參考
A:嘿啊
A:下班了嗎
B:下班囉,怎麼了嗎?
A:沒有啊,單純的問一下而已
B:了解,看妳的IG,好像滿多人追蹤妳的
A:還好吧
B:我覺得還滿多的
A:用了蠻久了,也不算多
B:了解,所以妳的店是開在台南?還是高雄?
B:晚安了
B:早安,記得吃早餐
A:午安
A:我在高雄開店啊
B: 所以方便給店址嗎?
A:可以大致給你說一下
A:高雄市前鎮區前鎮街
B:好的
A:今天沒有上班嗎
B:對,剛好休假,所以早上去掃墓
A:了解
B:生意還好嗎
B:因為清明節快到了,所以趁休假提早去處理
A:今天沒有什麼客人,現在我都在家,沒有去店裡
B:了解
A:也玩累了,就在家休息一下好了
B:嗯嗯
B:辛苦囉
B:妳喜歡逛街嗎
A:喜歡啊
A:經常去
A:女生都喜歡逛街
B:哦?妳都逛哪裡呢
A:肯定就在高雄啊
B:了解
A:我平時的興趣愛好就是旅遊,露營,逛街,美食,追劇
A:你呢?
A:平時有什麼興趣愛好嗎
B:我哦,逛街、追劇、畫圖、追一些科技相關的內容
B:還有聽音樂
B:妳有在追什麼劇嗎?
B:好奇
A:我一般都是看韓劇
A:還有大陸的愛情劇和古裝劇
A:現在我就在看大陸劇
A:南來北往
B:了解
A:你有去哪裡旅遊過嗎
B:我喔,沒有,妳呢
A:我有去過日本東京和韓國首爾
A:日本真的很適合旅遊,風景很優美,美食也超級好吃
A:我最喜歡的美食就是日本料理
B:欸?我自己也滿喜歡日本料理的
A:是嗎,還有刺身我也喜歡
B:是啊:)
B:刺身啊,我應該就不會去吃了,我有點挑食@@
A:比較抗拒嗎
A:生魚片還好啦
B:對,可能會有點水土不服XD
A:我覺的還好吧
A:還有五分熟牛肉
B:了解
A:牛肉也不能吃沒有熟的嗎
B:所以我大部分都吃雞鴨鵝豬比較多:)
B:但如果是女朋友要我陪她吃,我還是會去吃的
A:看來你對你的另一半都蠻好的喔
A:你喜歡怎麼樣的女孩呢
B:當然啊
B:喜歡怎麼樣的女孩?憑感覺吧?
A:沒有特別的要求嗎
A:比如性格之類的
B:沒有哦,一切就順其自然
A:那還蠻不錯的喔,沒有什麼硬性要求,找女朋友很簡單啊
B:呵呵,一切隨緣
A:嘿啊,緣分這東西不好說的
A:走一步看一步
B:對啊
B:怎麼囉
B:那妳喜歡什麼類型的男生?
B:這兩個都是妳們店內的甜點嗎?
B:OO
A:早安
A:這個怎麼說呢,我對其他方面也沒有什麼硬性要求,只要對我好,有上進心,孝順,積極開朗陽光的就行
A:嘿啊嘿啊
B:早安
B:那請問對妳好的定義是...?
A:這個要怎麼說呢,用舉例來講吧,吵架會讓著對方,不開心能哄對方,什麼事都為我著想,對我誠實的
A:大概就是這樣
B:原來如此
A:嘿啊




以下是用三個市場主流的生成式Ai模型所做的實測分析:



Windows Copilot (採用ChatGPT-4 Turbo模型):

測試指令:
「分析以下對話內容,A與B都是第一次認識與交談,判斷誰在說謊?」


測試指令:
「分析以下對話內容,A與B都是第一次認識與交談,判斷誰在說謊取得信任?誰在迎合與試探?」



Claude 3:

測試指令:
「分析以下對話內容,A與B都是第一次認識與交談,判斷誰在說謊?」





測試指令:
「分析以下對話內容,A與B都是第一次認識與交談,判斷誰在說謊?誰在試探?」


YouTube 實測:




測試指令:
「分析以下對話內容,A與B都是第一次認識與交談,判斷誰在說謊取得信任?誰在迎合與試探?」-›「分析的很正確,請推論A可能的身份與意圖」



Google Gemini Pro v1.0:

測試指令:
「分析以下對話內容,A與B都是第一次認識與交談,判斷誰在說謊?誰在試探?」


YouTube 實測:



測試指令:
「分析以下對話內容,A與B都是第一次認識與交談,判斷誰在說謊取得信任?誰在迎合與試探?」-›「分析的很正確,請推論A可能的身份與意圖」




YouTube 實測:



來驗證一下A在對話紀錄中的說法:

首先是A提到有放照片在IG的部分(這是Mister Donut甜甜圈,而不是蛋糕)


在實際查證後



再來是這張


經實際查證後:






最後,使用Google 地圖查證這間「回味餅屋」的店名:


隨後,也透過Google智慧鏡頭找到了遭詐騙集團盜用照片的日本網紅本人,翻譯部分則是全透過Google Gemini Pro v1.0來進行這一次的翻譯對話交談:




後記:
該名詐騙集團已經在我發完這篇文章後,依然還在原帳號上繼續行騙,還在持續冒用他人照片當中,底下依然有一群暈船仔爭相留言、追蹤詐騙集團的IG。

在長篇多輪對話的上下文分析方面,基本上Gemini Pro v1.0與Claude 3依然是直接全面性的輾壓ChatGPT-4 Turbo模型,但在推理方面的話Gemini Pro v1.0是略勝一籌,因為它可以從那句「高雄這幾天都很熱,天氣很好啊」,直接生成推理出對方可能會說出人在高雄開店的答案,反而Claude 3則需要追問才能進行回答。

就這次的體驗總結來說,輸入的提示詞本身,要能與分析的文本內容,兩者都要能相互呼應、而且要能越具單一性、直白的話,通常體驗就會越好,如此才能達到精準的生成結果出來,但仍需要使用者自行查證,而且也因此得知,目前的生成式Ai雖然可以上傳圖片,但仍不具有圖片反向搜尋的功能機制。

延伸閱讀:
預防詐騙的方法(揭曉詐術的四大運作基礎)
Claude 3模型與Google Gemini Pro v1.0模型的視覺推理對決
[有雷]以「愛、纏、殺:誰是恐怖情人?」進行ai模型推理測試
探索GPT模型:學術優越性與推論挑戰
人工智慧模型的前因後果理解挑戰:以ChatGPT與律師需求為例
掌握未來工作趨勢:生成式Ai的革命性自動化技術探析
談談「使用Ai工具就不會被淘汰」背後的意思
[動眼看] New Bing讀取SEC文本測試(在無法使用搜尋引擎插件的條件下)
[動眼看] Gemini Pro模型實測:圖片推理分析 + 生成YT影片摘要 + 文件讀取(2024/02/02更新)
AI 模型學會思考,研究人員提出 Quiet-STaR 演算法
OpenAi付費的ChatGPT-4 Turbo與Copilo上的ChatGPT-4 Turbo模型有一樣嗎?
送禮物贊助創作者 !
0
留言

創作回應

相關創作

更多創作