端側(cè)小模型們的春天來到了嗎？

作者：周聞鈞物聯(lián)網(wǎng)智庫 整理

邁入萬物智聯(lián)AIoT2.0時(shí)代，數(shù)據(jù)的產(chǎn)生和處理不再局限于中心化的數(shù)據(jù)中心，而是越來越多地發(fā)生在數(shù)據(jù)產(chǎn)生的端側(cè)——即我們的個(gè)人設(shè)備上。

在全球范圍內(nèi)，科技公司和研究機(jī)構(gòu)都在積極探索端側(cè)模型的應(yīng)用潛力。從智能手機(jī)到可穿戴設(shè)備，從智能家居到工業(yè)自動(dòng)化，端側(cè)模型的應(yīng)用場(chǎng)景正在不斷擴(kuò)展。

什么是端側(cè)小模型？在端側(cè)運(yùn)行大語言模型有可能嗎？端側(cè)AI的進(jìn)展如何？

近日，智用人工智能應(yīng)用研究院 CTO 周聞鈞應(yīng)邀出席“2025中國AIoT產(chǎn)業(yè)年會(huì)暨萬物智聯(lián)2.0前瞻洞察大典”，并在會(huì)上發(fā)表了題為《端側(cè)小模型們的春天來到了嗎？》的主題演講，深入探討了端側(cè)小模型的最新進(jìn)展、應(yīng)用實(shí)例以及未來的發(fā)展趨勢(shì)。

以下為演講全文：

端側(cè)小模型的應(yīng)用實(shí)例

我們來回顧一下近期與端側(cè)小模型相關(guān)的一些進(jìn)展，可能大家已經(jīng)在使用新一代的蘋果手機(jī)，盡管在國內(nèi)可能因?yàn)槟承┫拗贫鵁o法完全體驗(yàn)其功能，但至少Apple Intelligence讓大家感受到了比Siri更出色的體驗(yàn)。這實(shí)際上是一個(gè)典型的端側(cè)小模型與在線大模型結(jié)合的例子。

蘋果的端側(cè)小模型與在線大模型的結(jié)合

蘋果公司擁有自己的人工智能團(tuán)隊(duì)，一直在研發(fā)端側(cè)小模型，因此其設(shè)備上搭載自家的端側(cè)小模型并不令人意外。同時(shí)，蘋果還宣布了與OpenAI的合作，這種架構(gòu)明顯是為了快速思考和響應(yīng)，使用的是蘋果自己的端側(cè)設(shè)備，確保iOS設(shè)備上的流暢體驗(yàn)，而更復(fù)雜的推理任務(wù)則交給與OpenAI合作的在線大模型來完成，提供全面完整的推理結(jié)果。這樣的設(shè)計(jì)讓用戶感受到在線大模型的推理和思考能力接近人類的水平，這是一個(gè)端加云的模型組合的典型案例。

國內(nèi)硬件設(shè)備的革新

在國內(nèi)，我們也見證了許多熟悉的硬件設(shè)備的革新。

例如，最近市場(chǎng)上出現(xiàn)了許多新型眼鏡，包括百度推出的小度AI眼鏡，據(jù)說其中搭載了端側(cè)模型。在教育類硬件中，也嵌入了一些小型模型，甚至是特別小的模型，如翻譯筆、詞典筆等。以前我們認(rèn)為這些設(shè)備太小、算力太弱，無法運(yùn)行小模型，但現(xiàn)在有些廠商已經(jīng)將特別小的語言模型集成進(jìn)去，取代了原來的OCR、翻譯模型等，將多個(gè)模型合并為一個(gè)。由于語言模型天生具有對(duì)話能力，這樣的設(shè)備即使在無法聯(lián)網(wǎng)的情況下，也不會(huì)顯得太“智障”。這是我們觀察到的一些進(jìn)展。

具身智能的前沿探索——Figure 1

再把時(shí)間線往前推一下，有一家名為Figure的具身智能公司值得一提。OpenAI投資了這家公司，并裁撤了自己的具身智能部門，專注于大模型的研發(fā)。他們投資的Figure公司專注于具身智能體的研發(fā)，發(fā)布的Figure是第一個(gè)真正將OpenAI的云端大模型作為其背后的思考大腦的例子，這也是一個(gè)典型的端側(cè)模型。

端側(cè)模型負(fù)責(zé)將思考結(jié)果轉(zhuǎn)換成對(duì)具身智能體各個(gè)自由度的控制，包括力度控制，而理解人類意圖的整個(gè)思考邏輯則交給OpenAI這樣的大模型。

這個(gè)場(chǎng)景令人印象深刻，它能夠理解人類的對(duì)話意圖，比如詢問桌上哪些東西是可以吃的。智能體掃視一圈后，識(shí)別出餐具、水杯和蘋果，然后決定蘋果是人可以吃的食物，接著用合適的力度和方式將蘋果遞到人的手中。整個(gè)思考場(chǎng)景和選擇是由在線模型完成的，而端側(cè)模型則負(fù)責(zé)將這些思考結(jié)果轉(zhuǎn)化為動(dòng)作指令。這也是我們?cè)诰呱碇悄荏w中看到的端側(cè)模型與在線模型結(jié)合的一個(gè)例子。

斯坦福 Mobile ALOHA 開源機(jī)器人

幾個(gè)月前，斯坦福大學(xué)開源了一個(gè)名為Mobile ALOHA的項(xiàng)目，這個(gè)項(xiàng)目包含了軟件和硬件算力所需的所有材料清單。有人估算，在美國市場(chǎng)上，大約花費(fèi)3萬2美元就可以買到所需的材料。如果在中國購買，成本可能會(huì)更低。盡管這個(gè)模型看起來簡(jiǎn)陋，但只要你按照說明組裝并運(yùn)行，通過真人示范訓(xùn)練，例如遙控機(jī)械手操作50次炒雞蛋，Mobile ALOHA就能學(xué)會(huì)這項(xiàng)技能，并且大約有90%的成功率。當(dāng)然，有時(shí)也會(huì)出現(xiàn)翻車的情況。

這個(gè)項(xiàng)目為我們打開了新的想象空間，我們可以將Mobile ALOHA視為一種低成本的具身智能參考架構(gòu)。基于這個(gè)架構(gòu)，人們可以通過眾包學(xué)習(xí)來訓(xùn)練它完成特定的任務(wù)，比如我可能會(huì)訓(xùn)練它專門用于烹飪，比如烘焙或制作甜點(diǎn)；另一組人可能會(huì)訓(xùn)練它在養(yǎng)老院幫助老人翻身或清洗衣物等。通過在不同場(chǎng)景下使用Mobile ALOHA并進(jìn)行人類示范訓(xùn)練，這些機(jī)器人可以習(xí)得不同的能力，而且由于它們基于相同的架構(gòu)，這些在不同場(chǎng)景下獲得的具身智能體能力是可以交換和導(dǎo)入的。

進(jìn)一步來說，現(xiàn)在大家已經(jīng)廣泛接受了手機(jī)應(yīng)用商店的概念，通過應(yīng)用商店來補(bǔ)足手機(jī)的能力，無論是娛樂、音樂還是提高工作效率，都可以打造專屬的個(gè)性化體驗(yàn)。同樣，這樣的具身智能體硬件也可以通過一個(gè)能力商店，讓人們自由選擇和加載所需的能力，以滿足不同場(chǎng)景的需求。

英偉達(dá)也盯上了端側(cè)？

談到機(jī)器的能力，英偉達(dá)可以說是近期最意氣風(fēng)發(fā)的企業(yè)之一了。盡管如今英偉達(dá)在全球算力中心和高端顯卡領(lǐng)域供不應(yīng)求，所有人都希望與其建立良好關(guān)系，以獲取更多顯卡資源，英偉達(dá)無疑是一個(gè)強(qiáng)勢(shì)的甲方。然而，他們的算力中心業(yè)務(wù)在短期內(nèi)似乎并沒有瓶頸，市場(chǎng)對(duì)各種顯卡的需求依然旺盛，訂單甚至排到三五年之后。但我相信，他們也在思考未來的挑戰(zhàn)所在，這一點(diǎn)非常難得。在英偉達(dá)的技術(shù)大會(huì)上，我們不僅看到了新顯卡架構(gòu)的展示，還注意到他們邀請(qǐng)了全球眾多知名企業(yè)參與。這表明，英偉達(dá)正在考慮未來算力的下一個(gè)主戰(zhàn)場(chǎng)，是否會(huì)轉(zhuǎn)向端側(cè)或具身智能體。

端側(cè)小模型的定義與未來

什么是小模型？

那么，究竟什么是小模型呢？大模型的概念大家應(yīng)該都不陌生，比如OpenAI的模型等。那么小模型又是什么呢？

首先，小模型需要具備在特定場(chǎng)景下理解用戶輸入并推理出對(duì)應(yīng)輸出的能力。關(guān)于參數(shù)量，并沒有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)。有人認(rèn)為7B參數(shù)以下算是小模型，也有人認(rèn)為10B參數(shù)以下才算。

小模型與大模型的概念是相對(duì)的。例如，當(dāng)主流模型如Llama推出70B、80B參數(shù)的高配版本時(shí)，7B、3B可能被認(rèn)為是合適的小模型尺寸。但隨著開源模型參數(shù)量達(dá)到430B甚至可能超過1000B，小模型的標(biāo)準(zhǔn)也在不斷提高。當(dāng)然，這也與我們能在端側(cè)運(yùn)行的算力和支持的小模型類型密切相關(guān)。目前，大家普遍接受的標(biāo)準(zhǔn)是10B參數(shù)以下可以稱為小模型。

小模型主要應(yīng)用于特定領(lǐng)域的問答系統(tǒng)，將能力限定在某些特定的狹窄領(lǐng)域或行業(yè)。例如，醫(yī)療、金融等領(lǐng)域的模型，參數(shù)量不大，但結(jié)合了行業(yè)專屬知識(shí)，并對(duì)模型做了二次微調(diào)。此外，代碼輔助生成的基礎(chǔ)模型也相對(duì)較小，通常在3B到7B參數(shù)之間。在移動(dòng)設(shè)備領(lǐng)域，隨著AI概念的興起，設(shè)備端也開始研究如何嵌入端側(cè)模型以提高AI能力，比如AI PC、AI手機(jī)等。

目前市場(chǎng)上一些主流的小模型，如Llama3.2，其小模型版本大約是3B參數(shù)；千問模型則在1B參數(shù)以下，有0.5B、1.5B、3B、7B版本。谷歌的Gemma 2有2B和9B版本。微軟的Phi-3.5模型參數(shù)量較為特殊，有3.8B、4.2B、6.6B等版本，均低于7B的標(biāo)準(zhǔn)。

小模型的能力也在不斷提升，例如，它們已經(jīng)能夠?qū)崟r(shí)理解游戲畫面并產(chǎn)生對(duì)策，控制兵種進(jìn)行戰(zhàn)略部署，如即時(shí)戰(zhàn)略游戲。這些是小模型目前能夠?qū)崿F(xiàn)的一些功能。

對(duì)端側(cè)小模型未來的展望

關(guān)于端側(cè)小模型的未來展望，我的看法經(jīng)歷了轉(zhuǎn)變。

六個(gè)月前，我曾懷疑在端側(cè)運(yùn)行大語言模型的實(shí)用性，因?yàn)樗鼈冞\(yùn)行緩慢且容易發(fā)熱。然而，現(xiàn)實(shí)教育了我，現(xiàn)在我完全站在了對(duì)立面，我們確實(shí)需要在設(shè)備端運(yùn)行一些小語言模型，原因是：

首先，盡管大家都在大力投資智算中心，但在某些地區(qū)，特別是在數(shù)據(jù)密集和需求旺盛的東部地區(qū)，算力仍然是稀缺資源。即便在云平臺(tái)上投入巨資，如微軟Azure，想要獲取足夠的A100算力卡，有時(shí)還需要與商務(wù)人員進(jìn)行申請(qǐng)和對(duì)接。算力中心的GPU資源極度稀缺，只能共享，這導(dǎo)致在線大模型推理時(shí)會(huì)產(chǎn)生較大的網(wǎng)絡(luò)延遲，而在許多場(chǎng)景中，延遲是不可忽視的。

其次，許多客戶對(duì)將企業(yè)私域知識(shí)和業(yè)務(wù)場(chǎng)景問題發(fā)送到外部大模型進(jìn)行理解和推理，再將結(jié)果返回的安全性表示質(zhì)疑。他們擔(dān)心企業(yè)核心經(jīng)營機(jī)密的泄露。因此，許多企業(yè)，尤其是行業(yè)客戶，由于合規(guī)、隱私和安全方面的考慮，非常需要在物理邊界內(nèi)控制屬于自己的模型，所以端側(cè)小模型的需求是切實(shí)存在的。

目前，盡管市面上有許多合適的小模型，但我們特別看好兩個(gè)小模型的未來發(fā)展，無論是從尺寸、能力還是應(yīng)用場(chǎng)景來看，它們都可能表現(xiàn)得更好。一個(gè)是微軟的PHi-3.5系列，它正在不斷迭代。另一個(gè)值得一提的是，之前提到的模型基本上都是基于Transformer架構(gòu)的，也就是GPT系列，但Transformer架構(gòu)有一個(gè)致命缺陷，即它的時(shí)間復(fù)雜度是二次方的，對(duì)于算力的需求隨著問題規(guī)模的增長(zhǎng)而急劇增加。而非Transformer架構(gòu)的大模型，如國內(nèi)廠商推出的RWKV，已經(jīng)發(fā)展到第6代，它的時(shí)間復(fù)雜度是線性的，這對(duì)于大模型的增長(zhǎng)和擴(kuò)展來說更為友好。

端側(cè)有很多這樣的例子，特別是一些嵌入式設(shè)備已經(jīng)能夠運(yùn)行1B到7B參數(shù)的模型。未來，我們會(huì)發(fā)現(xiàn)越來越多的端側(cè)設(shè)備，如眼鏡、手機(jī)、PC等，將內(nèi)置越來越多的小模型，它們將無聲地影響著我們的生活。

我的分享到此結(jié)束，謝謝大家。