隨著“千模大戰(zhàn)”接近尾聲,由大模型掀起的算力競賽也逐漸進(jìn)入“下半場”,由“建算力”過渡到“用算力”上。不同于大模型的參數(shù)量大、成本高、部署復(fù)雜,以“小而美”著稱的小模型為行業(yè)提供了新選擇。
近日,大模型頭部廠商微軟和英偉達(dá)紛紛押注小模型,相繼發(fā)布了最新的小型語言模型——Phi-3.5-mini-instruct和Mistral-NeMo-Minitron8B。這兩款模型的主要賣點(diǎn)是實(shí)現(xiàn)了計(jì)算資源使用和功能表現(xiàn)之間良好的平衡。更有消息稱,在某些方面,它們的性能甚至可以媲美大模型。
其實(shí),不僅國外小模型發(fā)展提速,國內(nèi)眾多廠商也有小模型問世。比如阿里巴巴發(fā)布的Qwen1.5系列,其最小參數(shù)可達(dá)到0.5B;面壁智能發(fā)布的MiniCPM系列模型號稱最強(qiáng)端側(cè)模型。
顧名思義,小模型即在參數(shù)量、計(jì)算資源需求、模型規(guī)模等方面相對較小的人工智能模型。從已有產(chǎn)品不難發(fā)現(xiàn),國內(nèi)外廠商紛紛入局小模型,既是看到了小模型相較于大模型的優(yōu)勢所在,也是積極助推人工智能模型落地的實(shí)踐。
在成本與資源利用上,小模型參數(shù)量少,對計(jì)算資源的需求較低,訓(xùn)練和推理成本也更低,這對于資源有限或預(yù)算緊張的企業(yè)來說極具吸引力。而且小模型體積小,部署相對簡單,對硬件和存儲的要求不是很高,也無需復(fù)雜的分布式計(jì)算架構(gòu),能夠有效降低部署和維護(hù)的難度與成本。
在性能與效率平衡上,小模型的價(jià)值更多體現(xiàn)在滿足特定場景需求上,能夠更快地給出結(jié)果,實(shí)現(xiàn)實(shí)時(shí)響應(yīng)。此外,其定制性也更強(qiáng),企業(yè)可以基于自身業(yè)務(wù)數(shù)據(jù)對小模型進(jìn)行精調(diào)優(yōu)化,使其更貼合特定任務(wù)和場景。
在應(yīng)用場景拓展上,一方面,小模型更適應(yīng)邊緣計(jì)算需求,可以本地部署到個(gè)人電腦、手機(jī)等終端設(shè)備上并進(jìn)行數(shù)據(jù)處理和分析,降低數(shù)據(jù)傳輸到云端的成本和隱私風(fēng)險(xiǎn)。另一方面,小模型具備靈活性和低成本等特點(diǎn),更利于新業(yè)務(wù)探索,降低試錯(cuò)成本,幫助企業(yè)在新領(lǐng)域快速迭代和創(chuàng)新。
小模型的優(yōu)勢有目共睹,行業(yè)逐漸重視其應(yīng)用與開發(fā),也在很大程度上給了其“反卷”大模型的勇氣。但不可否認(rèn)的是,小模型參數(shù)量較小以及訓(xùn)練數(shù)據(jù)有限,在帶來輕便、易部署等一系列優(yōu)點(diǎn)的同時(shí),也暴露了可能存在理解深度與廣度不足、復(fù)雜任務(wù)處理能力有限、容易產(chǎn)生“偏見”等問題。
既然大模型與小模型各有利弊,行業(yè)應(yīng)用也應(yīng)各有所長,筆者認(rèn)為不能將大模型與小模型視為簡單的競爭關(guān)系,“適用為王”的理念更符合兩者的價(jià)值所在。“反卷”大模型,體現(xiàn)了小模型多樣化的行業(yè)需求,小模型自身的局限性也注定了其只能作為大模型的補(bǔ)充,以更好地推動各行業(yè)智能化進(jìn)程。
為此,筆者認(rèn)為未來大模型與小模型更趨向于協(xié)同共生。
一是實(shí)現(xiàn)協(xié)同合作。大模型作為基礎(chǔ)支撐,將繼續(xù)在通用智能、復(fù)雜任務(wù)處理、大規(guī)模數(shù)據(jù)理解等方面發(fā)揮重要作用,小模型則在大模型的基礎(chǔ)上,針對不同的行業(yè)、領(lǐng)域、場景和用戶需求進(jìn)行個(gè)性化與精細(xì)化處理,支撐更精準(zhǔn)、高效的解決方案。
二是促進(jìn)技術(shù)融合。大模型和小模型在訓(xùn)練和優(yōu)化過程中所采用的方法可以相互借鑒和融合。將大模型訓(xùn)練中的大規(guī)模數(shù)據(jù)處理技術(shù)、算法優(yōu)化技術(shù)應(yīng)用到小模型的訓(xùn)練中,以提高小模型的性能;同時(shí),小模型的高效訓(xùn)練和優(yōu)化策略也可為大模型訓(xùn)練提供參考,以降低大模型訓(xùn)練成本和資源消耗。
三是共建生態(tài)體系。正如大模型最終還是要滿足用戶需求、走入行業(yè)應(yīng)用,可以預(yù)見的是,未來包括大模型、小模型在內(nèi)的不同規(guī)模和類型的模型將有賴于靈活組合和調(diào)度,根據(jù)開發(fā)者和用戶的具體需求,構(gòu)建最適合的應(yīng)用解決方案。
*本文刊載于《通信世界》總第951期 2024年9月10日 第17期?
作者:包建羽
責(zé)編/版式:王禹蓉
審校:王 濤?梅雅鑫
監(jiān)制:劉啟誠