ST：改變邊緣設(shè)備游戲規(guī)則，AI開(kāi)發(fā)面臨哪些挑戰(zhàn)？

我們對(duì)于AI的一個(gè)憧憬就是讓它能夠更普及和更便捷，就像已經(jīng)深入生活中、又不可或缺的水和電一樣，能夠觸手可及，享受到它們所帶來(lái)的便利。

日前，意法半導(dǎo)體（ST）亞太區(qū)人工智能技術(shù)創(chuàng)新中心和智能手機(jī)技術(shù)創(chuàng)新中心高級(jí)經(jīng)理Matteo MARAVITA在接受<與非網(wǎng)>等媒體時(shí)指出，“AI是一項(xiàng)真正能改變?cè)S多事情的變革性技術(shù)，對(duì)于建設(shè)未來(lái)的互聯(lián)世界至關(guān)重要。而對(duì)于云連接的智能邊緣設(shè)備來(lái)說(shuō)，它們將具有更強(qiáng)的自主能力，將有更多的設(shè)備連接到云端，不僅是數(shù)據(jù)量在提高，本地的數(shù)據(jù)處理能力也在提高?！?/p>

ST亞太區(qū)人工智能技術(shù)創(chuàng)新中心和智能手機(jī)技術(shù)創(chuàng)新中心高級(jí)經(jīng)理 Matteo MARAVITA

如何通過(guò)邊緣AI構(gòu)建未來(lái)世界？

邊緣AI具備三個(gè)基本要素：安全性、連接性、自主性，Matteo MARAVITA深入分析了第三大要素，即如何提高設(shè)備的自主性，來(lái)實(shí)現(xiàn)我們對(duì)于AI的未來(lái)設(shè)想。

事實(shí)上，AI已經(jīng)深入到了傳感器、MCU等領(lǐng)域，通過(guò)虛擬化方案、模型訓(xùn)練、AI算法等方式，來(lái)提升邊緣設(shè)備的智能性和自主性。

Matteo MARAVITA分享了三個(gè)案例：

在車(chē)規(guī)傳感器領(lǐng)域，ST與HPE集團(tuán)合作，利用邊緣AI優(yōu)化電動(dòng)汽車(chē)的電機(jī)運(yùn)維——雙方聯(lián)合開(kāi)發(fā)的虛擬傳感器方案，通過(guò)在Stellar系列車(chē)規(guī)微控制器上運(yùn)行AI算法，獲取電機(jī)運(yùn)行數(shù)據(jù)，進(jìn)而推斷和估計(jì)電機(jī)內(nèi)部無(wú)法測(cè)量到的溫度。該方案為電動(dòng)汽車(chē)的預(yù)測(cè)性維護(hù)提供了新的可能，以識(shí)別減震、機(jī)械和電氣系統(tǒng)中可能存在的異常狀態(tài)。

在PC領(lǐng)域，ST利用六軸IMU MEMS智能傳感器，與惠普共同優(yōu)化了筆記本電腦的電源監(jiān)控。這些傳感器能夠收集機(jī)器在不同條件下的運(yùn)行數(shù)據(jù)，以此為基礎(chǔ)，雙方工程師合作開(kāi)發(fā)和訓(xùn)練了基于設(shè)備和用戶動(dòng)作的AI模型。這種模型能夠識(shí)別特定的使用場(chǎng)景，例如在關(guān)閉筆記本電腦前避免過(guò)熱和電池耗盡，從而延長(zhǎng)筆記本電腦的待機(jī)時(shí)間并提高使用壽命。

在家電領(lǐng)域，通過(guò)在洗衣機(jī)電機(jī)控制的STM32微控制器上運(yùn)行AI算法，ST能夠估算待洗衣物的重量。根據(jù)計(jì)算，一個(gè)洗滌周期可以節(jié)省15%-40%的能源和水。同時(shí)，AI算法還能夠檢測(cè)滾筒在旋轉(zhuǎn)時(shí)可能發(fā)生的碰撞情況，提高洗衣機(jī)的穩(wěn)定性和耐用性。

基于這些示例，Matteo MARAVITA指出，其實(shí)邊緣AI的需求非常大，許多公司非常期待在他們的產(chǎn)品中集成AI。

直面邊緣AI開(kāi)發(fā)挑戰(zhàn)

不過(guò)，擺在邊緣AI開(kāi)發(fā)者面前的有許多現(xiàn)實(shí)問(wèn)題：比如硬件性能、安全性、能效等，軟件方面，他們需要在設(shè)備中實(shí)現(xiàn)機(jī)器學(xué)習(xí)模型的創(chuàng)建、訓(xùn)練、部署和維護(hù)。這些挑戰(zhàn)，都需要像ST這樣的老牌半導(dǎo)體企業(yè)提供底層支持。

據(jù)了解，ST的AI研發(fā)計(jì)劃約始于十年前。從機(jī)器學(xué)習(xí)技術(shù)的基礎(chǔ)研究開(kāi)始，逐步發(fā)展到專門(mén)針對(duì)硬件資源受限的邊緣設(shè)備進(jìn)行AI優(yōu)化。多年來(lái)，ST推出了STM32 AI庫(kù)(Cube AI)、內(nèi)置MLC機(jī)器學(xué)習(xí)核的MEMS傳感器、集成更先進(jìn)硬件加速器的MEMS傳感器ISPU、STM32開(kāi)發(fā)者云模型庫(kù)、更新了Stellar系列車(chē)規(guī)MCU工具等等。生態(tài)建設(shè)方面，ST也取得了諸多進(jìn)展：加入TinyML聯(lián)盟、將AI布局和支持范圍擴(kuò)展到汽車(chē)、Linux等領(lǐng)域，發(fā)布NanoEdge AI生態(tài)系統(tǒng)……

正是通過(guò)多年的布局和推進(jìn)，ST率先在嵌入式AI領(lǐng)域獲得了重要進(jìn)展：STM32成為部署嵌入式AI的事實(shí)硬件平臺(tái)。根據(jù)ML Perf Tiny benchmark基準(zhǔn)測(cè)試數(shù)據(jù)：STM32位列第一，有73%的提交項(xiàng)目基于STM32開(kāi)發(fā)。

“我認(rèn)為這與以下三大因素有關(guān)：首先是我們?cè)谕ㄓ梦⒖刂破鳌⒐I(yè)和消費(fèi)微控制器市場(chǎng)的優(yōu)勢(shì)地位，STM32適用于工業(yè)和消費(fèi)應(yīng)用；其次是我們?yōu)檫吘堿I基準(zhǔn)測(cè)試做出的貢獻(xiàn)，例如ML Perf Tiny 基準(zhǔn)測(cè)試;第三是我們的在線平臺(tái) STM32 AI開(kāi)發(fā)者云，可幫助客戶和開(kāi)發(fā)人員用我們的在線工具和各種STM32板輕松測(cè)試他們的模型。我們相信，所有這些都鼓勵(lì)了圍繞STM32進(jìn)行廣泛的AI創(chuàng)新”，Matteo MARAVITA表示。

先進(jìn)算力+工具，賦能邊緣AI應(yīng)用

正如上文所提到的“在洗衣機(jī)電機(jī)控制的STM32微控制器上運(yùn)行AI算法”的應(yīng)用實(shí)例，電機(jī)上運(yùn)行的 STM32，其中AI模型可通過(guò)NanoEdge AI工具開(kāi)發(fā)，最終通過(guò)優(yōu)化工具和庫(kù)來(lái)實(shí)現(xiàn)機(jī)器學(xué)習(xí)模型在硬件設(shè)備上的實(shí)現(xiàn)和移植，幫助客戶解決性能、安全和能效方面的挑戰(zhàn)，方便開(kāi)發(fā)者把機(jī)器學(xué)習(xí)模型導(dǎo)入CPU算力和內(nèi)存受限的硬件設(shè)備。

除此之外，AI加速器能夠進(jìn)一步賦能應(yīng)用。集成自研NPU的STM32N6是ST比較有代表性的硬件方案，ST與合作伙伴L(zhǎng)acroix合作開(kāi)發(fā)的機(jī)器學(xué)習(xí)模型進(jìn)行多對(duì)象識(shí)別跟蹤AI算法結(jié)果顯示，每秒18幀的行人、自行車(chē)和汽車(chē)檢測(cè)和跟蹤算法全部在NPU上執(zhí)行，基于Cortex內(nèi)核的負(fù)荷不到5%。在安全性方面，產(chǎn)品不僅在內(nèi)部集成了可信區(qū)域，還增加了安全功能外設(shè)，例如防篡改等功能，有了這些新功能，客戶和開(kāi)發(fā)者不僅可以保護(hù)存儲(chǔ)器內(nèi)的數(shù)據(jù)，還能保護(hù)機(jī)器學(xué)習(xí)模型的安全。

汽車(chē)行業(yè)對(duì)于邊緣AI來(lái)說(shuō)是一個(gè)更大的機(jī)會(huì)。例如ADAS自動(dòng)駕駛，AI幫助汽車(chē)避免車(chē)外發(fā)生的意外事故和危險(xiǎn)情況，在車(chē)內(nèi)檢測(cè)可能存在的危險(xiǎn)情況、監(jiān)視駕駛員駕車(chē)狀態(tài)等?！拔覀兒芸炀蜁?huì)看到邊緣AI在車(chē)內(nèi)的應(yīng)用普及，并與多個(gè)傳感器整合，可能出現(xiàn)不同類型的用例。一個(gè)可能的例子是監(jiān)測(cè)電池的健康狀態(tài)，或是識(shí)別系統(tǒng)中可能存在的異常，例如結(jié)合MEMS加速器來(lái)檢測(cè)系統(tǒng)中的振動(dòng)等”， Matteo MARAVITA表示。

而除了硬件方面，他認(rèn)為軟件帶來(lái)的挑戰(zhàn)更多。為此，需要提供強(qiáng)大的開(kāi)發(fā)工具和支持，幫助開(kāi)發(fā)人員更輕松地創(chuàng)建、訓(xùn)練和部署模型。比如ST Edge AI 開(kāi)發(fā)套件，整合了邊緣AI開(kāi)發(fā)所需的全部工具和模塊，從模型庫(kù)創(chuàng)建用例開(kāi)始，到收集數(shù)據(jù)集，再到把模型部署到特定的硬件上，涵蓋了整個(gè)開(kāi)發(fā)過(guò)程，適用于包括嵌入式硬件工程師，軟件工程師以及機(jī)器學(xué)習(xí)工程師在內(nèi)的所有開(kāi)發(fā)者。

此外，ST致力于將AI工具集成到全面的邊緣AI開(kāi)發(fā)套件中，并兼容外部的AI開(kāi)發(fā)生態(tài)系統(tǒng)。比如支持廣泛使用的深度學(xué)習(xí)框架TensorFlow Lite、Keras、PyTorch 等，并實(shí)現(xiàn)與英偉達(dá)工具包的兼容性，以及連接到亞馬遜云科技(AWS)和微軟 Azure等云服務(wù)的可能性，同時(shí)還兼容MATLAB等仿真工具。

通過(guò)這些日趨強(qiáng)大的AI工具和生態(tài)上的推進(jìn)，ST希望加快邊緣AI的推廣應(yīng)用。Matteo MARAVITA強(qiáng)調(diào)，ST邊緣AI解決方案的核心是ST Edge AI，它可以幫助用戶根據(jù)自己的知識(shí)和資源找到最佳的方法和工具。目前，ST Edge AI和Nano AI Studio均免費(fèi)提供給STM32的客戶，同時(shí)根據(jù)特殊許可協(xié)議，其他ARM Cortex-M的微控制器也可以免費(fèi)使用。

邊緣AI設(shè)備將百花齊放

“目前邊緣AI并沒(méi)有一個(gè)統(tǒng)一通用的開(kāi)發(fā)方法，因此在開(kāi)發(fā)過(guò)程中，為開(kāi)發(fā)者提供指引和信息是非常重要的”， Matteo MARAVITA表示，“我們的STEdgeAI 套件就考慮到了這個(gè)因素，這套工具可以幫助用戶根據(jù)自己的知識(shí)和資源找到最佳的方法和工具。我們還將考慮融合和統(tǒng)一各種工具的用戶體驗(yàn)，以簡(jiǎn)化人工智能庫(kù)的設(shè)計(jì)流程?！?/p>

而隨著邊緣AI的日益普及，許多應(yīng)用需要長(zhǎng)期供電以保證其持續(xù)在線狀態(tài)。針對(duì)這些設(shè)備開(kāi)發(fā)商，Matteo MARAVITA提出了以下建議，以確保設(shè)備的高效、低功耗和智能化運(yùn)行。

首先，他建議將部分AI算法的處理任務(wù)從云端遷移到邊緣設(shè)備。這是ST在邊緣AI解決方案方面所專注的核心思路。通過(guò)將處理任務(wù)本地化，不僅可以節(jié)省系統(tǒng)功耗，提高響應(yīng)速度和安全性，還能有效降低解決方案的總體成本。

其次，選擇集成AI加速器和配套軟件工具的產(chǎn)品是關(guān)鍵。例如集成了NPU的STM32系列產(chǎn)品，以及在MEMS傳感器內(nèi)部增加的AI加速器（ISPU）。如果AI算法能從應(yīng)用處理器遷移到MCU，將會(huì)顯著節(jié)省電能。再進(jìn)一步，如果模型能夠從微控制器遷移到MEMS傳感器（適用于較小模型的情況），則可以實(shí)現(xiàn)總功耗從毫安級(jí)降低至微安級(jí)。這不僅能確保AI算法在后臺(tái)持續(xù)在線，保證整體系統(tǒng)的有效性，還能實(shí)現(xiàn)按需喚醒整個(gè)系統(tǒng)，從而進(jìn)一步實(shí)現(xiàn)節(jié)能目標(biāo)。

通過(guò)這些策略，設(shè)備開(kāi)發(fā)商可以確保邊緣AI設(shè)備的高效、低功耗和智能化運(yùn)行，從而滿足長(zhǎng)期供電和始終在線的需求。

“目前，ST在邊緣AI的創(chuàng)新有三大看點(diǎn)：首先是集成AI硬件加速器的硬件產(chǎn)品；第二是配套的軟件工具，比如ST Edge AI Suite、AI專用編譯器等;第三是為客戶提供參考設(shè)計(jì)和概念驗(yàn)證原型，幫助他們利用人工智能進(jìn)行產(chǎn)品創(chuàng)新”， Matteo MARAVITA總結(jié)道。

他強(qiáng)調(diào)，AI仍處于大規(guī)模發(fā)展初期，預(yù)計(jì)智能設(shè)備的數(shù)量即將達(dá)到數(shù)十億，加速各行各業(yè)的數(shù)字化進(jìn)程。隨著研發(fā)的進(jìn)一步推進(jìn)，越來(lái)越多邊緣AI加持的設(shè)備會(huì)進(jìn)入市場(chǎng)，呈現(xiàn)百花齊放的局面。