“大模型”訓(xùn)練：一場(chǎng)AI技術(shù)和算力市場(chǎng)的博弈

ChatGPT作為近幾個(gè)月持續(xù)的熱點(diǎn)話題，熱度不減的背后，是人工智能內(nèi)容自動(dòng)生成技術(shù)算力需求的水漲船高。一方面，ChatGPT帶動(dòng)了算力需求增長(zhǎng)，另一方面，ChatGPT又對(duì)算力支撐提出了更高的要求。

有數(shù)據(jù)顯示，ChatGPT一次模型訓(xùn)練需要的總算力消耗是3640PF-days，耗資約1200萬(wàn)美元，且在運(yùn)營(yíng)過(guò)程中也需要相當(dāng)大的開(kāi)銷。

根據(jù)國(guó)盛證券報(bào)告，以ChatGPT在1月的獨(dú)立訪客平均數(shù)1300萬(wàn)計(jì)算，其對(duì)應(yīng)芯片需求為3萬(wàn)多片英偉達(dá)A100 GPU，大概需要的算力成本為8億美元，每天的電費(fèi)成本在5萬(wàn)美元左右。ChatGPT獲得微軟130億美元的投資，是其高算力投入背后的信心支撐。

正是有了科技巨頭微軟從資金、未來(lái)市場(chǎng)，到算力基礎(chǔ)設(shè)施（Azure云）的全方位支持，OpenAI才能夠以獨(dú)立創(chuàng)業(yè)企業(yè)的身份，完成如此巨大的工程。算力要求和參數(shù)量級(jí)緊密相關(guān)，參數(shù)量級(jí)也是當(dāng)前衡量大模型訓(xùn)練質(zhì)量的一個(gè)重要參考。參數(shù)量越大，模型越智能，隨之而來(lái)的開(kāi)銷也就越大。這一點(diǎn)形成了GPT類型高門檻的特點(diǎn)。GPT-3之前的版本是開(kāi)源的，其他創(chuàng)業(yè)者比較容易以此為基礎(chǔ)開(kāi)展新的研發(fā)工作。從GPT-4開(kāi)始，OpenAI開(kāi)放API以字節(jié)流量收費(fèi)。不論是應(yīng)用開(kāi)發(fā)，還是在此基礎(chǔ)上進(jìn)行二次模型開(kāi)發(fā)，都存在較高門檻。

比較有趣的事情是Meta公司的LLaMA源代碼泄露。由此出現(xiàn)了所謂的“羊駝家族”（“Llama”可譯為“羊駝”）大模型，希望獲得開(kāi)源資源的開(kāi)發(fā)者可以在GPT-3之外獲得一個(gè)新的選擇。

“大模型”對(duì)算力的高度依賴至少造成兩個(gè)重大影響

一是這已經(jīng)不是“草根”創(chuàng)業(yè)的游戲，也不是以往互聯(lián)網(wǎng)創(chuàng)業(yè)“Copy To China”的游戲，而是“真刀真槍”的核心能力大比拼，從資金、技術(shù)到企業(yè)戰(zhàn)略定力的全方位考核。

在傳統(tǒng)工業(yè)時(shí)代，中國(guó)從加工業(yè)開(kāi)始，逐漸向高價(jià)值的核心技術(shù)研發(fā)攀升，但實(shí)際上距離歐美最先進(jìn)水平還有一定距離。特別是在材料科學(xué)等需要長(zhǎng)時(shí)間技術(shù)積累的類目上，差距依然很大。

進(jìn)入數(shù)字時(shí)代，中國(guó)產(chǎn)業(yè)界的共識(shí)變?yōu)橹苯訌暮诵募夹g(shù)研發(fā)開(kāi)始。

美國(guó)與中國(guó)的科技依存度減弱已成趨勢(shì)。雖然現(xiàn)在只是芯片行業(yè)受到掣肘， 但是如果“大模型”發(fā)展成為生產(chǎn)要素，我們也一定會(huì)遇到同樣的問(wèn)題。因此，中國(guó)必須擁有自己的“大模型”核心技術(shù)。中國(guó)科技企業(yè)看到這樣的必然性，對(duì)“大模型”進(jìn)行大投入也成為趨勢(shì)。

中小科技企業(yè)在沒(méi)有能力開(kāi)發(fā)原生“大模型”的情況下，可以利用GPT-3或者LLaMA的開(kāi)源模型進(jìn)行開(kāi)發(fā)或二次開(kāi)發(fā)，形成自己的“大模型”。應(yīng)用開(kāi)發(fā)企業(yè)很少會(huì)開(kāi)發(fā)原生“大模型”，除非對(duì)其應(yīng)用的銷售市場(chǎng)有極高的信心，否則將屈服于巨大的算力成本壓力，轉(zhuǎn)而支付API使用費(fèi)，利用現(xiàn)成模型開(kāi)發(fā)相關(guān)應(yīng)用。

二是“東數(shù)西算”建設(shè)恰逢其時(shí)，可能迎來(lái)大商機(jī)。

西部地區(qū)“綠電”資源豐富，在“東數(shù)西算”整體規(guī)劃下，西部樞紐主要承擔(dān)備份存儲(chǔ)的工作；東部地區(qū)在智慧城市、產(chǎn)業(yè)互聯(lián)網(wǎng)和互聯(lián)網(wǎng)服務(wù)中的即時(shí)計(jì)算工作，則放在東部地區(qū)的樞紐解決?！按竽Ｐ汀睂?duì)算力要求巨大，東部IDC大規(guī)模占用算力資源，有三大缺點(diǎn)：成本高（東部電費(fèi)高）、排放高（東部綠電比例?。D占低時(shí)延需求應(yīng)用的算力資源，這為西部的算力中心創(chuàng)造了新的商機(jī)。

一方面，將“大模型”的訓(xùn)練計(jì)算放在西部地區(qū)的IDC，對(duì)當(dāng)?shù)氐?a class="article-link" target="_blank" href="/baike/1572030.html">通信網(wǎng)絡(luò)性能提升有更高要求。海量數(shù)據(jù)的吞吐是一個(gè)需要解決的問(wèn)題，但解決這個(gè)問(wèn)題的成本遠(yuǎn)遠(yuǎn)小于IDC使用費(fèi)差異。

另一方面，科技公司巨頭都提出了自己的ESG（環(huán)境社會(huì)責(zé)任）目標(biāo)，碳排放是其中最重要的指標(biāo)?！按竽Ｐ汀?、大算力，運(yùn)行就會(huì)產(chǎn)生大量的碳排放，對(duì)“綠色算力”的需求也就越迫切。

*本文刊載于《通信世界》

總第918期 2023年4月25日 第8期原文標(biāo)題：《ChatGPT對(duì)算力存在雙重影響》

作者：野村綜研未來(lái)創(chuàng)新中心主任咨詢顧問(wèn) 閔海蘭

責(zé)編/版式：王鶴迦

審核：舒文瓊

監(jiān)制：劉啟誠(chéng)