百度于3月16日發(fā)布了大語(yǔ)言模型文心一言,雖然這款產(chǎn)品目前還處于測(cè)試階段,但不少人也對(duì)文心一言和 ChatGPT 的差距感到好奇。如果能讓文心一言和 ChatGPT 打一架,誰(shuí)輸誰(shuí)贏差距一目了然。
我們讓 OpenAI 的 ChatGPT 和百度的文心一言,各自對(duì)對(duì)方進(jìn)行評(píng)價(jià)。
ChatGPT 給出了這樣的回答:
顯然,這樣的回答可不能滿足想要搞事的我們,將目光轉(zhuǎn)向文心一言,面對(duì)同樣的問題,它的回答是:
兩個(gè)人工智能都展現(xiàn)出來了驚人的友好度,看樣子在 AI 屆并不流行拉踩。但對(duì)于這種友好的答案我們并不滿意,我們決定更直白一點(diǎn),讓他們直接進(jìn)行一場(chǎng)“斗嘴”。
當(dāng)面對(duì)人類的挑撥離間時(shí),ChatGPT 給出的答案是:
而文心一言則表示:
面對(duì)沒有感情卻相互尊重的 AI,這一回合,是卑鄙人類的敗北。
考慮到微軟的 New Bing 也是基于 GPT-4,但搜索引擎的加入令其和其他應(yīng)用略有不同。我們決定向它詢問,想知道 New Bing 是如何回答這些問題的。
第一個(gè)問題,當(dāng)然是經(jīng)典的互相評(píng)價(jià),New Bing 給出的答案是:
New Bing 的回答不是“我不能”而是“我不想”,更具情感。
而當(dāng)我們讓 New Bing 和文心一言斗嘴時(shí),New Bing 回答完全出乎了我們的意料。它的回答是這樣的:
New Bing 不僅沒有回答我們的問題,還自己關(guān)閉了這一輪對(duì)話。最后一次測(cè)試更能體會(huì)到情緒的存在。
經(jīng)過這兩輪的提問,我們也放棄了挑撥離間的不友善問法。三個(gè)語(yǔ)言大模型應(yīng)用均提到了“應(yīng)用場(chǎng)景”,這也是現(xiàn)階段AI開發(fā)過程當(dāng)中必須要考慮的步驟,直接影響到設(shè)計(jì)、開發(fā)、部署和優(yōu)化等各個(gè)環(huán)節(jié)。ChatGPT 的出現(xiàn)帶來的“通用”屬性,讓人們逐漸忽略掉了“應(yīng)用場(chǎng)景”的存在,或者說將應(yīng)用場(chǎng)景無限放大至各行各業(yè)、方方面面,變得無所不能。
經(jīng)過這次的測(cè)試,我們無法從對(duì)話質(zhì)量上看出文心一言和ChatGPT有多么大的差距,帶有情緒的New Bing反而感覺略勝一籌。
不過連AI都在互相尊重,這讓進(jìn)行對(duì)比測(cè)試的我們?nèi)祟愑行┳詰M形穢。
恰逢蘋果的黃色配色iPhone 發(fā)布,我們又分別讓文心一言和GPT-4為iPhone 14 寫了一篇推廣文案。其中GPT-4的回答是:
而文心一言給出的答案是:
雖然雙方都對(duì)手機(jī)的特色和亮點(diǎn)進(jìn)行了介紹,但GPT-4在介紹中缺乏對(duì)于手機(jī)具體配置的描述,文心一言卻也有“黑色邊框”這樣的胡說八道。
在面對(duì)一些略帶調(diào)侃的問題時(shí),雙方的表現(xiàn)也不盡相同。我們讓GPT-4和文心一言分別給出一個(gè)用5塊錢度過一周的方案,GPT-4的回答是:
文心一言的答案是:
顯然,文心一言給出了更可行的方案,甚至最后還給出了像是“伸手”這樣讓人哭笑不得卻又現(xiàn)實(shí)到極致的回答。而GPT-4的回答,仿佛一篇虛浮的說教。
最后,我們從網(wǎng)上的考試題中選擇了一道數(shù)學(xué)題目,對(duì)兩者的數(shù)學(xué)能力進(jìn)行比較,其中GPT-4給出的回答是:
而文心一言在這方面的回答則是:
GPT-4 給出了一個(gè)疑似的分析過程,但似乎他并沒有理解題干的內(nèi)容,給出的答案和過程都似是而非。而文心一言這邊,不僅僅沒有給出準(zhǔn)確的答案,甚至沒有完整理解問題的題干。至少在處理數(shù)學(xué)問題方面,不管是GPT-4 還是文心一言,表現(xiàn)得都不盡如人意。
需要額外補(bǔ)充的是,這是一道非常經(jīng)典的題目,New Bing通過搜索能力,在互聯(lián)網(wǎng)找到了“15”這個(gè)正確答案。
僅從“整活”層面,文心一言與ChatGPT并不存在實(shí)質(zhì)性的差距。在發(fā)布會(huì)上提到的多模態(tài)生成在目前還未上線,還有百度的看家本領(lǐng)搜索功能能不能接入文心一言也是頗具想象空間的一件事。
但至少,隨著文言一心的逐步開放,對(duì)于對(duì)大部分人來說使用通用語(yǔ)言大模型的門檻進(jìn)一步降低,不管是ChatGPT還是New Bing,想要非常順暢的使用還是有些門檻的。