2309
百度于3月16日發(fā)布了大語言模型文心一言，雖然這款產(chǎn)品目前還處于測試階段，但不少人也對(duì)文心一言和 ChatGPT 的差距感到好奇。如果能讓文心一言和 ChatGPT 打一架，誰輸誰贏差距一目了然。
我們讓 OpenAI 的 ChatGPT 和百度的文心一言，各自對(duì)對(duì)方進(jìn)行評(píng)價(jià)。
ChatGPT 給出了這樣的回答：
顯然，這樣的回答可不能滿足想要搞事的我們，將目光轉(zhuǎn)向文心一言，面對(duì)同樣的問題，它的回答是：
兩個(gè)人工智能都展現(xiàn)出來了驚人的友好度，看樣子在 AI 屆并不流行拉踩。但對(duì)于這種友好的答案我們并不滿意，我們決定更直白一點(diǎn)，讓他們直接進(jìn)行一場“斗嘴”。
當(dāng)面對(duì)人類的挑撥離間時(shí)，ChatGPT 給出的答案是：
而文心一言則表示：
面對(duì)沒有感情卻相互尊重的 AI，這一回合，是卑鄙人類的敗北。
考慮到微軟的 New Bing 也是基于 GPT-4，但搜索引擎的加入令其和其他應(yīng)用略有不同。我們決定向它詢問，想知道 New Bing 是如何回答這些問題的。
第一個(gè)問題，當(dāng)然是經(jīng)典的互相評(píng)價(jià)，New Bing 給出的答案是：
New Bing 的回答不是“我不能”而是“我不想”，更具情感。
而當(dāng)我們讓 New Bing 和文心一言斗嘴時(shí)，New Bing 回答完全出乎了我們的意料。它的回答是這樣的：
New Bing 不僅沒有回答我們的問題，還自己關(guān)閉了這一輪對(duì)話。最后一次測試更能體會(huì)到情緒的存在。
經(jīng)過這兩輪的提問，我們也放棄了挑撥離間的不友善問法。三個(gè)語言大模型應(yīng)用均提到了“應(yīng)用場景”，這也是現(xiàn)階段AI開發(fā)過程當(dāng)中必須要考慮的步驟，直接影響到設(shè)計(jì)、開發(fā)、部署和優(yōu)化等各個(gè)環(huán)節(jié)。ChatGPT 的出現(xiàn)帶來的“通用”屬性，讓人們逐漸忽略掉了“應(yīng)用場景”的存在，或者說將應(yīng)用場景無限放大至各行各業(yè)、方方面面，變得無所不能。
經(jīng)過這次的測試，我們無法從對(duì)話質(zhì)量上看出文心一言和ChatGPT有多么大的差距，帶有情緒的New Bing反而感覺略勝一籌。
不過連AI都在互相尊重，這讓進(jìn)行對(duì)比測試的我們?nèi)祟愑行┳詰M形穢。
恰逢蘋果的黃色配色iPhone 發(fā)布，我們又分別讓文心一言和GPT-4為iPhone 14 寫了一篇推廣文案。其中GPT-4的回答是：
而文心一言給出的答案是：
雖然雙方都對(duì)手機(jī)的特色和亮點(diǎn)進(jìn)行了介紹，但GPT-4在介紹中缺乏對(duì)于手機(jī)具體配置的描述，文心一言卻也有“黑色邊框”這樣的胡說八道。
在面對(duì)一些略帶調(diào)侃的問題時(shí)，雙方的表現(xiàn)也不盡相同。我們讓GPT-4和文心一言分別給出一個(gè)用5塊錢度過一周的方案，GPT-4的回答是：
文心一言的答案是：
顯然，文心一言給出了更可行的方案，甚至最后還給出了像是“伸手”這樣讓人哭笑不得卻又現(xiàn)實(shí)到極致的回答。而GPT-4的回答，仿佛一篇虛浮的說教。
最后，我們從網(wǎng)上的考試題中選擇了一道數(shù)學(xué)題目，對(duì)兩者的數(shù)學(xué)能力進(jìn)行比較，其中GPT-4給出的回答是：
而文心一言在這方面的回答則是：
GPT-4 給出了一個(gè)疑似的分析過程，但似乎他并沒有理解題干的內(nèi)容，給出的答案和過程都似是而非。而文心一言這邊，不僅僅沒有給出準(zhǔn)確的答案，甚至沒有完整理解問題的題干。至少在處理數(shù)學(xué)問題方面，不管是GPT-4 還是文心一言，表現(xiàn)得都不盡如人意。
需要額外補(bǔ)充的是，這是一道非常經(jīng)典的題目，New Bing通過搜索能力，在互聯(lián)網(wǎng)找到了“15”這個(gè)正確答案。
僅從“整活”層面，文心一言與ChatGPT并不存在實(shí)質(zhì)性的差距。在發(fā)布會(huì)上提到的多模態(tài)生成在目前還未上線，還有百度的看家本領(lǐng)搜索功能能不能接入文心一言也是頗具想象空間的一件事。
但至少，隨著文言一心的逐步開放，對(duì)于對(duì)大部分人來說使用通用語言大模型的門檻進(jìn)一步降低，不管是ChatGPT還是New Bing，想要非常順暢的使用還是有些門檻的。
