隨著大模型的飛速發(fā)展,行業(yè)各界對(duì)大模型的核心疑問(wèn),已經(jīng)從“有沒有大模型”,轉(zhuǎn)變?yōu)榉e極投入建設(shè)之后,中國(guó)AI產(chǎn)業(yè)如何實(shí)現(xiàn)大模型落地?巨大的建設(shè)投資應(yīng)該如何獲得確定性、可持續(xù)的回報(bào)?
事實(shí)上,中國(guó)AI最強(qiáng)的特征一直是落地。
技術(shù)落地的一個(gè)重要指標(biāo)是技術(shù)密度,即一項(xiàng)技術(shù)在社會(huì)和經(jīng)濟(jì)中的普及程度和應(yīng)用密度。過(guò)去幾年里,AI技術(shù)已經(jīng)在中國(guó)的農(nóng)田、工廠、港口、礦山、校園、城市等遍地開花,是全球其他地區(qū)都極少見到的景象。
產(chǎn)業(yè)革命的發(fā)生不可能一蹴而就,擁有大量業(yè)務(wù)場(chǎng)景和AI落地經(jīng)驗(yàn)的中國(guó),也應(yīng)該是大模型落地的前哨站。
果不其然,外界對(duì)中國(guó)AI和大模型落地的疑問(wèn)與好奇,已經(jīng)可以在文心的最新進(jìn)展中,得到解答。
7月6日,在2023世界人工智能大會(huì)(WAIC)上,百度首席技術(shù)官、深度學(xué)習(xí)技術(shù)及應(yīng)用國(guó)家工程研究中心主任王海峰,解讀文心大模型3.5版核心技術(shù),同時(shí)發(fā)布了飛槳生態(tài)最新進(jìn)展,首次披露了飛槳深度學(xué)習(xí)平臺(tái)最新數(shù)據(jù),闡述人工智能產(chǎn)業(yè)模式。
文心和飛槳的協(xié)同發(fā)展,組成了一個(gè)雙螺旋結(jié)構(gòu),讀懂這個(gè)DNA 片段,可以更清晰地理解中國(guó)AI技術(shù)持續(xù)走向落地的方法與路徑。
一、產(chǎn)業(yè)AI的無(wú)形之墻
一個(gè)技術(shù)走向產(chǎn)業(yè),有三個(gè)因素構(gòu)成了影響其市場(chǎng)格局的制約點(diǎn):一是技術(shù)領(lǐng)先性,二是市場(chǎng)需求度,三是產(chǎn)品可靠與可用程度。
大模型技術(shù)的領(lǐng)先性和市場(chǎng)需求度,自然毋庸置疑,那么產(chǎn)品能否經(jīng)受得住產(chǎn)業(yè)用戶的考驗(yàn)?zāi)??中?guó)AI場(chǎng)景多、落地早、實(shí)踐多,所以已經(jīng)可以清晰地看到一堵產(chǎn)業(yè)AI的無(wú)形之墻,各行各業(yè)普遍存在的“三高”要求,是大模型落地所必須跨越的挑戰(zhàn):
能力要求高。一些IT基礎(chǔ)好的產(chǎn)業(yè)會(huì)率先應(yīng)用AI、落地大模型,但這些領(lǐng)域往往有著復(fù)雜的業(yè)務(wù)場(chǎng)景,以及使用多年的傳統(tǒng)算法,因此產(chǎn)業(yè)對(duì)AI大模型的基礎(chǔ)能力,要求會(huì)比較苛刻,超出現(xiàn)有技術(shù)手段,才有升級(jí)替換的必要性。
專業(yè)性要求高。通用大模型進(jìn)入垂直細(xì)分的業(yè)務(wù)場(chǎng)景,會(huì)面臨非常復(fù)雜的業(yè)務(wù)狀況,要注意哪些問(wèn)題和細(xì)節(jié),需要哪些數(shù)據(jù),目標(biāo)是什么,需要大模型能夠像行業(yè)專家一樣,掌握專有知識(shí)和行業(yè)Know-How。
開發(fā)成本高。行業(yè)場(chǎng)景的龐雜和差異化廣泛,大模型落地需要有針對(duì)性的訓(xùn)練、精調(diào),而很多行業(yè)和企業(yè)缺乏充足的IT人才、算力資源等來(lái)進(jìn)行定制開發(fā),延緩了大模型落地的速度。
“三高”要求制約著AI技術(shù)落地,這也使得大模型走向產(chǎn)業(yè),還處于初級(jí)階段。
二、中國(guó)大模型的強(qiáng)落地范本
鑿穿產(chǎn)業(yè)AI 的圍墻,需要筑重器。在世界人工智能大會(huì)上,王海峰分享了文心大模型3.5的核心技術(shù)創(chuàng)新。
與文心大模型3.0版本相比,文心大模型3.5版本在效果、功能、性能上全面提升,實(shí)現(xiàn)了基礎(chǔ)模型升級(jí)、精調(diào)技術(shù)創(chuàng)新、知識(shí)點(diǎn)增強(qiáng)、邏輯推理增強(qiáng)等能力升級(jí)。
更值得關(guān)注的是,文心大模型在應(yīng)用層面,展現(xiàn)出了掙脫制約、指向落地的一系列方法,可以成為產(chǎn)業(yè)示范。
文心大模型3.5的幾大技術(shù)創(chuàng)新,就滿足了產(chǎn)業(yè)各界對(duì)大模型的三種強(qiáng)期待:
一是對(duì)先進(jìn)生產(chǎn)力的期待。
歸根結(jié)底,大模型要可靠、可用,為行業(yè)提質(zhì)增效。文心大模型3.5的兩大升級(jí)點(diǎn),就著眼于此:
首先,基礎(chǔ)模型升級(jí),基于飛槳加快模型迭代,提升模型效果和安全性,模同時(shí),百度文心大模型研發(fā)團(tuán)隊(duì)創(chuàng)新了多類型多階段有監(jiān)督精調(diào)、多層次多粒度獎(jiǎng)勵(lì)模型、多損失函數(shù)混合優(yōu)化策略、雙飛輪結(jié)合的模型優(yōu)化等技術(shù),使模型效果及場(chǎng)景適配能力進(jìn)一步提升。
此外,文心大模型3.5的邏輯推理提升,在語(yǔ)義理解、數(shù)學(xué)計(jì)算、代碼生成等領(lǐng)域表現(xiàn)更好,這些任務(wù)是實(shí)際業(yè)務(wù)中高頻出現(xiàn)的。王海峰舉了個(gè)例子,百度每天有大量工程師在寫代碼,文心一言發(fā)揮大模型的代碼生成能力,可以更好地幫助工程師提升寫代碼的效率,切實(shí)提高生產(chǎn)力。
二是對(duì)行業(yè)專家的期待。
大模型需要與行業(yè)場(chǎng)景適配,解決業(yè)務(wù)中更具專業(yè)性的實(shí)際問(wèn)題,已經(jīng)成為共識(shí)。此次3.5版本,就通過(guò)“精調(diào)”+“知識(shí)點(diǎn)增強(qiáng)”兩大技術(shù)創(chuàng)新,讓大模型具備行業(yè)專家一樣的專精能力。
有監(jiān)督的精調(diào)技術(shù),可以針對(duì)性地適配業(yè)務(wù)場(chǎng)景,讓結(jié)果更加可靠,從而更好地滿足業(yè)務(wù)場(chǎng)景對(duì)模型效果和安全性的需求。知識(shí)點(diǎn)增強(qiáng)技術(shù),則在此前的知識(shí)增強(qiáng)和檢索增強(qiáng)的基礎(chǔ)上,為大模型注入更具體、更詳細(xì)、更專業(yè)的知識(shí)點(diǎn),顯著提升大模型對(duì)世界知識(shí)的掌握和運(yùn)用,更好地完成專業(yè)任務(wù)。比如在生成報(bào)告時(shí),文心大模型就能夠?qū)τ脩糨斎氲牟樵?、?wèn)題等進(jìn)行分析理解,并解析生成答案所需要的相關(guān)知識(shí)點(diǎn),生成更匹配業(yè)務(wù)特點(diǎn)的內(nèi)容。
三是對(duì)豐富應(yīng)用的期待。
智能手機(jī)中豐富多彩的應(yīng)用,是移動(dòng)互聯(lián)網(wǎng)產(chǎn)業(yè)繁榮的前提。用戶使用大模型也需要多樣、豐富、易用的各種應(yīng)用工具,這就需要插件機(jī)制來(lái)滿足。
文心大模型3.5新增的插件機(jī)制,可以擴(kuò)展大模型的能力邊界,細(xì)致高效地應(yīng)用于各類場(chǎng)景。比如文心一言的長(zhǎng)文本摘要和問(wèn)答插件ChatFile,支持超長(zhǎng)文本輸入,可以在辦公場(chǎng)景下,形成會(huì)議議題、摘要及總結(jié)等關(guān)鍵信息,幫助提升工作效率。
王海峰也表示,文心一言將發(fā)布更多優(yōu)質(zhì)的百度官方和第三方插件,讓用戶能夠更好地應(yīng)用文心大模型,同時(shí)也將逐步開放插件生態(tài),幫助開發(fā)者基于文心大模型打造自己的應(yīng)用。
隨著大量?jī)?yōu)秀的開發(fā)者和軟件工程師,基于文心大模型來(lái)打造專屬插件,不僅大模型的可用性和產(chǎn)業(yè)適配性會(huì)進(jìn)一步提高,所帶來(lái)的應(yīng)用市場(chǎng)空間也是巨大的。
文心大模型3.5的升級(jí)曲線,緊密貼合產(chǎn)業(yè)期待。從中可以看到,文心大模型時(shí)刻準(zhǔn)備著落地千行百業(yè)。
三、大模型落地需要可持續(xù)動(dòng)力
僅有大模型還不夠,王海峰提出,在文心一言這類大模型產(chǎn)業(yè)落地的進(jìn)程中,可以采用“集約化生產(chǎn),平臺(tái)化應(yīng)用”的模式,即具有算法、算力和數(shù)據(jù)綜合優(yōu)勢(shì)的企業(yè)將模型生產(chǎn)的復(fù)雜過(guò)程封裝起來(lái),通過(guò)低門檻、高效率的生產(chǎn)平臺(tái),為千行百業(yè)提供大模型服務(wù)。
文心大模型能夠率先卡位在大模型落地的關(guān)鍵位置,離不開背后的另一條上升曲線:飛槳的聯(lián)合優(yōu)化。
飛槳對(duì)文心的全面賦能,有四個(gè)層面:
首先,飛槳支撐大模型開發(fā)、訓(xùn)練和推理部署,全面提升大模型落地效率。大模型的訓(xùn)練、迭代要消耗大量訓(xùn)練成本、訓(xùn)練時(shí)間,經(jīng)過(guò)飛槳與文心大模的協(xié)同優(yōu)化,最新升級(jí)的文心大模型3.5的模型效果提升50%,訓(xùn)練速度提升2倍,推理速度提升30倍。
其次,文心大模型成為飛槳模型庫(kù)的重要組成部分,通過(guò)飛槳平臺(tái)進(jìn)行精調(diào)、推理部署,就可以有效支持千行百業(yè)的應(yīng)用,降低行業(yè)獲取大模型門檻。
再次,飛槳提供了全流程產(chǎn)業(yè)化工具與平臺(tái),解決大模型開發(fā)中的卡點(diǎn)、堵點(diǎn),比如模型體積大、訓(xùn)練難度高、算力消耗大等,更好地滿足企業(yè)開發(fā)應(yīng)用大模型的需求。
此外,大模型落地產(chǎn)業(yè)離不開人才,飛槳已經(jīng)凝聚了750萬(wàn)開發(fā)者,也支持了大量企業(yè)產(chǎn)生了大量的模型,為中國(guó)AI培養(yǎng)了大量新型人才,是大模型落地的有生力量。
可以看到,飛槳的技術(shù)和生態(tài)積累,正在為文心大模型走向產(chǎn)業(yè),注入了源源不斷的動(dòng)力。
四、中國(guó)AI憑借這樣的DNA落地生根
在大會(huì)現(xiàn)場(chǎng),王海峰也展現(xiàn)了文心一言在辦公、會(huì)議、編碼等場(chǎng)景的應(yīng)用??梢哉f(shuō),文心一言已經(jīng)有了豐富的新落地場(chǎng)景,這種強(qiáng)勁的落地表現(xiàn),應(yīng)該能夠打消外界對(duì)中國(guó)大模型可持續(xù)發(fā)展的擔(dān)憂。
從文心與飛槳組成了雙螺旋結(jié)構(gòu)的DNA,從中可以看出中國(guó)AI以實(shí)用為先,以產(chǎn)業(yè)為向的底色,中國(guó)大模型產(chǎn)業(yè)也開始呈現(xiàn)出這樣的發(fā)展趨勢(shì):
1.低門檻。通過(guò)各個(gè)端口的技術(shù)創(chuàng)新,形成了AI技術(shù)全面低門檻化的特征,讓模型的開發(fā)、獲取和應(yīng)用,都更加便捷、易得。
2.高效率。芯片、框架、模型、應(yīng)用的全棧協(xié)同,帶來(lái)了效率持續(xù)增長(zhǎng)的乘法效應(yīng),大大加快了模型的落地速度。
3.通行業(yè)。AI開發(fā)、訓(xùn)練、部署、應(yīng)用的全鏈路得到越來(lái)越飽滿的支撐,“集約化生產(chǎn),平臺(tái)化應(yīng)用”讓大模型更適配產(chǎn)業(yè)和行業(yè)的現(xiàn)實(shí)需要,賦能產(chǎn)業(yè)智能化。
落地成為中國(guó)AI的DNA,大模型也不例外。以大模型為代表的AI技術(shù)和先進(jìn)生產(chǎn)力在各行各業(yè)落地生根,這是為什么智能革命一定會(huì)發(fā)生在中國(guó)。