從LLM大模型到SLM小模型再到TinyML,這個(gè)領(lǐng)域有望增長(zhǎng)31倍并催生新的商業(yè)模式

作者：彭昭（智次方創(chuàng)始人、云和資本聯(lián)合創(chuàng)始合伙人），物聯(lián)網(wǎng)智庫(kù) 原創(chuàng)

這是我的第349篇專欄文章。

生成式人工智能GenAI是否存在泡沫？這個(gè)問(wèn)題日益成為業(yè)界熱議的焦點(diǎn)。目前，全球?qū)I基礎(chǔ)設(shè)施的投資已到了癲狂的成千上萬(wàn)億美元的規(guī)模，然而大模型如何實(shí)現(xiàn)盈利卻始終沒(méi)有一個(gè)明確的答案。

在眾說(shuō)紛紜之際，有一個(gè)領(lǐng)域的潛力卻常常被低估，那就是邊緣側(cè)的人工智能（Edge AI）。作為一個(gè)方興未艾的領(lǐng)域，邊緣AI與云端AI可謂迥然不同。那些在數(shù)據(jù)中心行之有效的方法，不一定能夠適用于工業(yè)邊緣平臺(tái)，如安全攝像頭、機(jī)械臂或汽車(chē)等場(chǎng)景。

由于空間限制、功耗、預(yù)算、數(shù)據(jù)安全以及實(shí)時(shí)性等要求，邊緣AI領(lǐng)域沒(méi)有一刀切的解決方案。這意味著，沒(méi)有任何一種方案能夠滿足所有人工智能應(yīng)用的需求，從云端AI過(guò)渡到邊緣AI需要開(kāi)發(fā)全新的模型。

研究機(jī)構(gòu)Counter Points的數(shù)據(jù)顯示，未來(lái)AIoT模塊的計(jì)算能力將實(shí)現(xiàn)指數(shù)級(jí)的大幅增長(zhǎng)。據(jù)測(cè)算，未來(lái)七年內(nèi)配備神經(jīng)網(wǎng)絡(luò)處理單元NPU的模塊數(shù)量將達(dá)到目前的31倍，這將催生大量創(chuàng)新應(yīng)用的涌現(xiàn)。

面對(duì)如此蓬勃發(fā)展的邊緣AI市場(chǎng)，本文將對(duì)其進(jìn)行深入剖析。筆者認(rèn)為，邊緣AI的崛起將催生出全新的商業(yè)模式，而去中心化物理基礎(chǔ)設(shè)施網(wǎng)絡(luò)DePIN或許是幫助邊緣AI避免盈利困境的有效解決方案之一。

TinyML、SLM與LLM：聯(lián)合語(yǔ)言模型的“三駕馬車(chē)”

在人工智能的世界里，終端側(cè)、邊緣側(cè)和云端扮演著截然不同的角色。它們?cè)谛螒B(tài)、功能和應(yīng)用場(chǎng)景上的差異如此之大，以至于可以將其視為完全不同的實(shí)體。

正是基于這種認(rèn)識(shí)，有業(yè)界人士提出了“聯(lián)合大模型”的理念，旨在將不同規(guī)模的AI模型分別部署于云、邊、端三個(gè)層面，以執(zhí)行相關(guān)任務(wù)。

在終端側(cè)，微型機(jī)器學(xué)習(xí)（TinyML）正在崛起。TinyML是一種優(yōu)化機(jī)器學(xué)習(xí)模型的技術(shù)，使其能夠在資源受限的設(shè)備（如微控制器）上高效運(yùn)行。這些模型通常體積小巧、運(yùn)算高效，能夠勝任語(yǔ)音識(shí)別和傳感器數(shù)據(jù)分析等任務(wù)。

邊緣側(cè)的主角則是小型語(yǔ)言模型（SLM）。SLM指的是那些參數(shù)量低于100億的輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型。與大型模型相比，SLM以更少的參數(shù)和計(jì)算資源實(shí)現(xiàn)自然語(yǔ)言處理。此外，SLM通常是面向特定任務(wù)、應(yīng)用或用例量身定制的。

至于云端，大型語(yǔ)言模型（LLM）無(wú)疑是其中的佼佼者。LLM是一種強(qiáng)大的深度學(xué)習(xí)算法，能夠執(zhí)行各種自然語(yǔ)言處理（NLP）任務(wù)。得益于海量訓(xùn)練數(shù)據(jù)和多個(gè)Transformer模型的使用，LLM具備了識(shí)別、翻譯、預(yù)測(cè)乃至生成文本等內(nèi)容的驚人能力。

“聯(lián)合語(yǔ)言模型”的提出，正是為了充分利用TinyML、SLM和LLM這三種技術(shù)，在保障隱私性和安全性的同時(shí)，為企業(yè)帶來(lái)切實(shí)價(jià)值。

TinyML以其超低成本和功耗的特點(diǎn)，非常適合在資源有限的設(shè)備（如物聯(lián)網(wǎng)終端和可穿戴硬件）上使用。

而SLM可以看作是LLM的“迷你版”。相比動(dòng)輒數(shù)百萬(wàn)、數(shù)十億參數(shù)的GPT-4等大型模型，SLM的運(yùn)行規(guī)模要簡(jiǎn)單得多。經(jīng)過(guò)優(yōu)化的SLM能夠高效處理較為簡(jiǎn)單的任務(wù)，而無(wú)需消耗大量計(jì)算資源。

盡管規(guī)模不及LLM，SLM在實(shí)際應(yīng)用中卻有著不可小覷的作用。從文本生成、問(wèn)答到語(yǔ)言翻譯，SLM能夠勝任多種任務(wù)，只是在準(zhǔn)確性和多功能性上可能稍遜一籌。

SLM的優(yōu)勢(shì)還體現(xiàn)在其訓(xùn)練速度快、推理速度佳等方面。它在性能和資源效率之間取得了微妙的平衡。參數(shù)數(shù)量的減少，使得SLM的訓(xùn)練更加經(jīng)濟(jì)高效；而將處理工作負(fù)載轉(zhuǎn)移到邊緣設(shè)備，則進(jìn)一步降低了基礎(chǔ)設(shè)施和運(yùn)營(yíng)成本。

BrainChip公司的實(shí)踐表明，綜合利用TinyML和SLM能夠取得顯著成效：模型參數(shù)數(shù)量減少50倍，訓(xùn)練時(shí)間縮短30倍，多重累積運(yùn)算（MAC）降低5000倍，而精度卻保持不變甚至有所提高。性能和功耗效率的提升與模型效率成正比。

Tirias Research預(yù)測(cè)，如果到2028年，使用邊緣設(shè)備和終端硬件內(nèi)的TinyML和SLM混合處理，從數(shù)據(jù)中心卸載20%的LLM工作負(fù)載，那么數(shù)據(jù)中心基礎(chǔ)設(shè)施和運(yùn)營(yíng)成本將下降150億美元，整體功耗需求也將降低800兆瓦。

從云端到邊緣：GenAI遷移的必經(jīng)之路

隨著人工智能技術(shù)的不斷發(fā)展，越來(lái)越多的AI模型開(kāi)始從云端數(shù)據(jù)中心向邊緣設(shè)備遷移。這種趨勢(shì)的背后，是成本、實(shí)時(shí)性和安全性等因素的綜合考量。

在云端運(yùn)行AI模型，盡管能夠利用數(shù)據(jù)中心強(qiáng)大的算力資源，但往往面臨著高昂的費(fèi)用、網(wǎng)絡(luò)延遲和數(shù)據(jù)安全隱患等問(wèn)題。相比之下，通過(guò)模型壓縮等優(yōu)化技術(shù)，將神經(jīng)網(wǎng)絡(luò)模型部署在網(wǎng)絡(luò)邊緣設(shè)備上運(yùn)行，即邊緣計(jì)算，則有望在保證性能的同時(shí)，大幅降低成本和延遲，提高數(shù)據(jù)安全性。

然而，對(duì)于許多邊緣應(yīng)用場(chǎng)景而言，簡(jiǎn)單地將數(shù)據(jù)中心的解決方案“縮小”并非最佳選擇。在醫(yī)療保健、汽車(chē)、制造等關(guān)鍵領(lǐng)域，邊緣AI應(yīng)用通常專注于傳感器數(shù)據(jù)的實(shí)時(shí)處理，對(duì)模型的尺寸、精度和執(zhí)行效率有著更高的要求。

這就催生了“EdgeGenAI”的概念，即在設(shè)備上執(zhí)行的生成式AI。越來(lái)越多的硬件展示了EdgeGenAI的能力，高通、英偉達(dá)等芯片廠商紛紛展示了在移動(dòng)端運(yùn)行Stable Diffusion、LLaMA等模型的可能性，這預(yù)示著EdgeGenAI已經(jīng)到來(lái)。

根據(jù)Tirias Research的分析，隨著AI模型的不斷壓縮優(yōu)化以及終端和邊緣設(shè)備算力的持續(xù)提升，越來(lái)越多的GenAI模型將能夠在設(shè)備端完成推理和執(zhí)行。這意味著，適用于端側(cè)處理的模型規(guī)模將隨時(shí)間推移而不斷增加，設(shè)備本地的AI處理能力將不斷拓展。

與此同時(shí)，消費(fèi)類和工業(yè)物聯(lián)網(wǎng)設(shè)備所承載的平均推理模型參數(shù)規(guī)模也在不斷增長(zhǎng)。為了評(píng)估GenAI的發(fā)展前景和總體擁有成本TCO，Tirias Research對(duì)不同類別的設(shè)備進(jìn)行了細(xì)分和建模，如下圖所示。

研究發(fā)現(xiàn)，在設(shè)備本地處理AI任務(wù)，不僅能夠顯著降低響應(yīng)延遲，提升用戶體驗(yàn)，還能夠有效緩解數(shù)據(jù)隱私和安全問(wèn)題。通過(guò)減少或消除與云端的數(shù)據(jù)交互，敏感數(shù)據(jù)和GenAI生成的結(jié)果都能夠在設(shè)備層得到妥善保護(hù)，大大降低了隱私泄露和網(wǎng)絡(luò)攻擊的風(fēng)險(xiǎn)。

不過(guò)，并非所有GenAI應(yīng)用都適合完全在設(shè)備上處理。受限于芯片算力、內(nèi)存容量和功耗預(yù)算，許多大型模型仍然無(wú)法在單個(gè)設(shè)備上高效執(zhí)行。

針對(duì)這一問(wèn)題，“聯(lián)合大模型”的提出恰逢其時(shí)。

通過(guò)在設(shè)備與云端之間合理分配計(jì)算任務(wù)，這種混合計(jì)算模式能夠在降低延遲、保護(hù)隱私的同時(shí)，充分利用云端的算力優(yōu)勢(shì)。

例如，在圖像生成應(yīng)用中，初始圖像可以在設(shè)備上快速生成，而后續(xù)的增強(qiáng)和優(yōu)化則交由云端處理。在需要整合多源數(shù)據(jù)的場(chǎng)景，如實(shí)時(shí)地圖更新，將本地信息與云端模型結(jié)合也能發(fā)揮協(xié)同效應(yīng)。某些涉及專有數(shù)據(jù)的行業(yè)應(yīng)用，如工業(yè)和醫(yī)療領(lǐng)域，出于安全考慮，也可能需要在云端完成部分敏感計(jì)算任務(wù)。

據(jù)此，邊緣AI有望迎來(lái)爆發(fā)式增長(zhǎng)，據(jù)Counter Point預(yù)測(cè)，到2030年，搭載AI算力的物聯(lián)網(wǎng)模塊將占整體出貨量的25%，遠(yuǎn)高于2023年的6%。

在汽車(chē)領(lǐng)域，AI助手通過(guò)語(yǔ)音交互、導(dǎo)航引導(dǎo)和娛樂(lè)控制，正在重塑自動(dòng)駕駛體驗(yàn)；在零售行業(yè)，搭載AI模塊的智能POS終端憑借掌紋或人臉識(shí)別、行為分析等能力，助力客戶洞察、庫(kù)存管理和風(fēng)險(xiǎn)防控；在智能家居場(chǎng)景，集成AI功能的路由器有望成為照明、安防、能源管理等子系統(tǒng)的中樞。此外，無(wú)人機(jī)、工業(yè)手持設(shè)備、服務(wù)機(jī)器人等領(lǐng)域，也將成為邊緣AI芯片的主要應(yīng)用陣地。

DePIN賦能邊緣AI，開(kāi)創(chuàng)盈利新模式

在人工智能的商業(yè)化進(jìn)程中，大型語(yǔ)言模型（LLM）的盈利之路一直備受關(guān)注。

盡管生成式AI初創(chuàng)企業(yè)頻頻獲得高額融資，估值屢創(chuàng)新高（如下圖所示），但如何將技術(shù)優(yōu)勢(shì)轉(zhuǎn)化為持續(xù)穩(wěn)定的收入，仍是一個(gè)懸而未決的難題。

與此同時(shí)，隨著AI模型不斷向邊緣遷移，嵌入式AI設(shè)備的市場(chǎng)需求正在快速增長(zhǎng)。在這一背景下，去中心化物理基礎(chǔ)設(shè)施網(wǎng)絡(luò)（DePIN）與邊緣AI的結(jié)合，有望為這一難題提供一個(gè)全新的解決思路。

DePIN的核心理念，是通過(guò)區(qū)塊鏈技術(shù)和token經(jīng)濟(jì)，將分散在全球各地的物理設(shè)備連接起來(lái)，形成一個(gè)去中心化的資源共享網(wǎng)絡(luò)。在這個(gè)網(wǎng)絡(luò)中，設(shè)備所有者可以將閑置的計(jì)算、存儲(chǔ)、帶寬等資源出租給需求方，從而獲得token激勵(lì)。而需求方則可以以更低的成本、更高的靈活性，獲得所需的基礎(chǔ)設(shè)施服務(wù)。

如果將DePIN的模式引入邊緣AI領(lǐng)域，可以極大地促進(jìn)AI設(shè)備的普及和應(yīng)用。

一方面，設(shè)備制造商可以通過(guò)融入DePIN社區(qū)，將AI設(shè)備預(yù)置到去中心化網(wǎng)絡(luò)中，以資源共享的方式銷(xiāo)售設(shè)備使用權(quán)，而非一次性售賣(mài)硬件產(chǎn)品。這種“設(shè)備即服務(wù)”的模式，將大大降低用戶的前期采購(gòu)成本，提升邊緣AI的易用性。

另一方面，AI模型提供商也可以利用DePIN網(wǎng)絡(luò)，將訓(xùn)練好的模型以API的形式提供給設(shè)備所有者，并按照調(diào)用量獲得token收益。這種按需付費(fèi)的機(jī)制，將顯著降低邊緣AI的推理成本，使中小企業(yè)和個(gè)人開(kāi)發(fā)者也能夠負(fù)擔(dān)得起高質(zhì)量的AI服務(wù)。

某寵物智能項(xiàng)圈廠商的案例，為DePIN賦能邊緣AI提供了一個(gè)生動(dòng)的例證。該廠商計(jì)劃將智能項(xiàng)圈引入DePIN社區(qū)，構(gòu)建一個(gè)去中心化的寵物數(shù)據(jù)共享網(wǎng)絡(luò)。憑借項(xiàng)圈內(nèi)置的活動(dòng)監(jiān)測(cè)和定位跟蹤功能，海量的寵物行為數(shù)據(jù)將被采集和流轉(zhuǎn)，成為寵物AI模型訓(xùn)練的重要數(shù)據(jù)源。而寵物主人則可以選擇性地共享這些數(shù)據(jù)，并獲得token激勵(lì)。

這一去中心化AI范式，不僅能夠顯著提升數(shù)據(jù)處理的實(shí)時(shí)性和隱私性，更能夠?yàn)閷櫸顰I模型的開(kāi)發(fā)和優(yōu)化提供源源不斷的數(shù)據(jù)支持。

與此同時(shí)，該廠商還計(jì)劃開(kāi)放項(xiàng)圈的邊緣算力，允許第三方開(kāi)發(fā)者將寵物AI模型部署到項(xiàng)圈中，實(shí)現(xiàn)場(chǎng)景化的AI應(yīng)用，如異常行為檢測(cè)、情緒識(shí)別、安全區(qū)域預(yù)警等。這種“AI即插即用”的開(kāi)放生態(tài)，將極大地釋放邊緣AI的想象空間，催生出一批以寵物為中心的創(chuàng)新應(yīng)用和服務(wù)。

DePIN與邊緣AI的結(jié)合，不僅為設(shè)備制造商開(kāi)辟了新的銷(xiāo)售渠道和盈利模式，也為AI企業(yè)搭建了一個(gè)海量數(shù)據(jù)聚合、模型快速部署的去中心化基礎(chǔ)設(shè)施。

寫(xiě)在最后

隨著TinyML、SLM等技術(shù)的成熟，AI模型正在從云端向邊緣大規(guī)模遷移，催生出EdgeGenAI等全新的應(yīng)用形態(tài)。通過(guò)模型壓縮、混合計(jì)算等優(yōu)化手段，百億級(jí)參數(shù)模型已經(jīng)能夠在智能手機(jī)等終端設(shè)備上高效運(yùn)行。在萬(wàn)物智聯(lián)的時(shí)代，邊緣AI將為汽車(chē)、零售、家居等行業(yè)賦能，創(chuàng)造巨大的商業(yè)價(jià)值。

不過(guò)，當(dāng)前的邊緣AI生態(tài)仍面臨著設(shè)備成本高、開(kāi)發(fā)門(mén)檻高、盈利模式單一等挑戰(zhàn)。去中心化物理網(wǎng)絡(luò)DePIN的引入，有望通過(guò)將AI設(shè)備接入資源共享網(wǎng)絡(luò)，建立按需付費(fèi)機(jī)制，構(gòu)建開(kāi)放生態(tài)，從而有效破解邊緣AI的商業(yè)化困局。

參考資料：

Federated Language Models：SLMs at the Edge + Cloud LLMs，作者：Janakiram MSV，來(lái)源：thenewstack.io
Tiny but mighty：The Phi-3 small language models with big potential，作者：Sally Beatty，來(lái)源：微軟