加入星計(jì)劃,您可以享受以下權(quán)益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴(kuò)散
  • 作品版權(quán)保護(hù)
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長期合作伙伴
立即加入
  • 正文
  • 相關(guān)推薦
  • 電子產(chǎn)業(yè)圖譜
申請(qǐng)入駐 產(chǎn)業(yè)圖譜

面對(duì)人類的挑撥離間 文心一言和 ChatGPT 竟給出驚人答案

2023/03/20
2309
閱讀需 6 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點(diǎn)資訊討論

百度于3月16日發(fā)布了大語言模型文心一言,雖然這款產(chǎn)品目前還處于測試階段,但不少人也對(duì)文心一言和 ChatGPT 的差距感到好奇。如果能讓文心一言和 ChatGPT 打一架,誰輸誰贏差距一目了然。

我們讓 OpenAI 的 ChatGPT 和百度的文心一言,各自對(duì)對(duì)方進(jìn)行評(píng)價(jià)。

ChatGPT 給出了這樣的回答:

顯然,這樣的回答可不能滿足想要搞事的我們,將目光轉(zhuǎn)向文心一言,面對(duì)同樣的問題,它的回答是:

兩個(gè)人工智能都展現(xiàn)出來了驚人的友好度,看樣子在 AI 屆并不流行拉踩。但對(duì)于這種友好的答案我們并不滿意,我們決定更直白一點(diǎn),讓他們直接進(jìn)行一場“斗嘴”。

當(dāng)面對(duì)人類的挑撥離間時(shí),ChatGPT 給出的答案是:

而文心一言則表示:

面對(duì)沒有感情卻相互尊重的 AI,這一回合,是卑鄙人類的敗北。

考慮到微軟的 New Bing 也是基于 GPT-4,但搜索引擎的加入令其和其他應(yīng)用略有不同。我們決定向它詢問,想知道 New Bing 是如何回答這些問題的。

第一個(gè)問題,當(dāng)然是經(jīng)典的互相評(píng)價(jià),New Bing 給出的答案是:

New Bing 的回答不是“我不能”而是“我不想”,更具情感。

而當(dāng)我們讓 New Bing 和文心一言斗嘴時(shí),New Bing 回答完全出乎了我們的意料。它的回答是這樣的:

New Bing 不僅沒有回答我們的問題,還自己關(guān)閉了這一輪對(duì)話。最后一次測試更能體會(huì)到情緒的存在。

經(jīng)過這兩輪的提問,我們也放棄了挑撥離間的不友善問法。三個(gè)語言大模型應(yīng)用均提到了“應(yīng)用場景”,這也是現(xiàn)階段AI開發(fā)過程當(dāng)中必須要考慮的步驟,直接影響到設(shè)計(jì)、開發(fā)、部署和優(yōu)化等各個(gè)環(huán)節(jié)。ChatGPT 的出現(xiàn)帶來的“通用”屬性,讓人們逐漸忽略掉了“應(yīng)用場景”的存在,或者說將應(yīng)用場景無限放大至各行各業(yè)、方方面面,變得無所不能。

經(jīng)過這次的測試,我們無法從對(duì)話質(zhì)量上看出文心一言和ChatGPT有多么大的差距,帶有情緒的New Bing反而感覺略勝一籌。

不過連AI都在互相尊重,這讓進(jìn)行對(duì)比測試的我們?nèi)祟愑行┳詰M形穢。

恰逢蘋果的黃色配色iPhone 發(fā)布,我們又分別讓文心一言和GPT-4為iPhone 14 寫了一篇推廣文案。其中GPT-4的回答是:

而文心一言給出的答案是:

雖然雙方都對(duì)手機(jī)的特色和亮點(diǎn)進(jìn)行了介紹,但GPT-4在介紹中缺乏對(duì)于手機(jī)具體配置的描述,文心一言卻也有“黑色邊框”這樣的胡說八道。

在面對(duì)一些略帶調(diào)侃的問題時(shí),雙方的表現(xiàn)也不盡相同。我們讓GPT-4和文心一言分別給出一個(gè)用5塊錢度過一周的方案,GPT-4的回答是:

文心一言的答案是:

顯然,文心一言給出了更可行的方案,甚至最后還給出了像是“伸手”這樣讓人哭笑不得卻又現(xiàn)實(shí)到極致的回答。而GPT-4的回答,仿佛一篇虛浮的說教。

最后,我們從網(wǎng)上的考試題中選擇了一道數(shù)學(xué)題目,對(duì)兩者的數(shù)學(xué)能力進(jìn)行比較,其中GPT-4給出的回答是:

而文心一言在這方面的回答則是:

GPT-4 給出了一個(gè)疑似的分析過程,但似乎他并沒有理解題干的內(nèi)容,給出的答案和過程都似是而非。而文心一言這邊,不僅僅沒有給出準(zhǔn)確的答案,甚至沒有完整理解問題的題干。至少在處理數(shù)學(xué)問題方面,不管是GPT-4 還是文心一言,表現(xiàn)得都不盡如人意。

需要額外補(bǔ)充的是,這是一道非常經(jīng)典的題目,New Bing通過搜索能力,在互聯(lián)網(wǎng)找到了“15”這個(gè)正確答案。

僅從“整活”層面,文心一言與ChatGPT并不存在實(shí)質(zhì)性的差距。在發(fā)布會(huì)上提到的多模態(tài)生成在目前還未上線,還有百度的看家本領(lǐng)搜索功能能不能接入文心一言也是頗具想象空間的一件事。

但至少,隨著文言一心的逐步開放,對(duì)于對(duì)大部分人來說使用通用語言大模型的門檻進(jìn)一步降低,不管是ChatGPT還是New Bing,想要非常順暢的使用還是有些門檻的。

百度

百度

百度是擁有強(qiáng)大互聯(lián)網(wǎng)基礎(chǔ)的領(lǐng)先AI公司。是全球?yàn)閿?shù)不多的提供AI芯片、軟件架構(gòu)和應(yīng)用程序等全棧AI技術(shù)的公司之一,被國際機(jī)構(gòu)評(píng)為全球四大AI公司之一。百度以“用科技讓復(fù)雜的世界更簡單”為使命,堅(jiān)持技術(shù)創(chuàng)新,致力于“成為最懂用戶,并能幫助人們成長的全球頂級(jí)高科技公司”。

百度是擁有強(qiáng)大互聯(lián)網(wǎng)基礎(chǔ)的領(lǐng)先AI公司。是全球?yàn)閿?shù)不多的提供AI芯片、軟件架構(gòu)和應(yīng)用程序等全棧AI技術(shù)的公司之一,被國際機(jī)構(gòu)評(píng)為全球四大AI公司之一。百度以“用科技讓復(fù)雜的世界更簡單”為使命,堅(jiān)持技術(shù)創(chuàng)新,致力于“成為最懂用戶,并能幫助人們成長的全球頂級(jí)高科技公司”。收起

查看更多

相關(guān)推薦

電子產(chǎn)業(yè)圖譜