加入星計(jì)劃,您可以享受以下權(quán)益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴(kuò)散
  • 作品版權(quán)保護(hù)
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長(zhǎng)期合作伙伴
立即加入
  • 正文
    • ?硬件創(chuàng)新:強(qiáng)化算力,保障安全
    • ?軟件與工具鏈:賦能開發(fā)者,優(yōu)化AI部署
    • ?生態(tài)構(gòu)建:加速芯片開發(fā),推動(dòng)市場(chǎng)應(yīng)用
  • 推薦器件
  • 相關(guān)推薦
  • 電子產(chǎn)業(yè)圖譜
申請(qǐng)入駐 產(chǎn)業(yè)圖譜

ARM:痛且快樂著,加速邊緣人工智能創(chuàng)新

08/29 12:10
858
閱讀需 10 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點(diǎn)資訊討論

快樂的是AI將改寫一切,帶來機(jī)遇;痛的是AI演進(jìn)的速度太快,模型和應(yīng)用層出不窮。

在8月27日舉行的elexcon2024深圳國(guó)際電子展上,ARM VP, China GTM, loT&Embedded Line of Business Chloe Ma發(fā)表了關(guān)于《加速邊緣人工智能創(chuàng)新》的演講。

我們捕捉了以下關(guān)鍵信息:

AI在邊緣落地的速度驚人

ARM賦能邊緣AI的創(chuàng)新聚焦的三個(gè)方面:硬件、軟件和生態(tài)

不會(huì)止步:ARM Flexible Access

隨著ChatGPT的興起以及大模型生成式AI(GenAI)的迅猛發(fā)展,大模型助力于千行百業(yè)的自動(dòng)化轉(zhuǎn)型和新質(zhì)生產(chǎn)力的提升。

AI正以前所未有的速度改變著人們的生活和工作方式。從Netflix到TikTok(抖音),再到ChatGPT,用戶增長(zhǎng)的速度不斷刷新紀(jì)錄。特別是ChatGPT僅用五天時(shí)間就達(dá)到百萬用戶,兩個(gè)月內(nèi)輕松突破億級(jí)大關(guān),這一壯舉充分展示了AI技術(shù)的巨大潛力和市場(chǎng)接受度。隨著AI模型和計(jì)算芯片技術(shù)的不斷突破,AI算力正迅速向邊緣設(shè)備滲透,為智能手機(jī)、PC以及自動(dòng)駕駛、機(jī)器人等新型計(jì)算領(lǐng)域帶來革命性變化。

Chloe Ma表示,這種飛速發(fā)展的背后,是AI強(qiáng)大的技術(shù)支撐。AI模型和計(jì)算芯片技術(shù)的突破,以及對(duì)實(shí)時(shí)響應(yīng)成本、用戶體驗(yàn)以及安全隱私的訴求,都讓AI算力迅速地?fù)涞搅诉吘壴O(shè)備。

針對(duì)邊緣AI的發(fā)展,當(dāng)前傳感器主要承擔(dān)信息采集任務(wù),邊緣網(wǎng)關(guān)尚不支持AI大模型,但這一狀況正在迅速改變。隨著AI PC和IoT網(wǎng)關(guān)加載的算力不斷提升,邊緣AI已展現(xiàn)出巨大潛力。未來,傳感器將支持更多模態(tài),并具備簡(jiǎn)單的智能數(shù)據(jù)分析能力,而復(fù)雜的數(shù)據(jù)分析和決策規(guī)劃將實(shí)現(xiàn)云、邊、端的協(xié)同調(diào)度,整體AI算力水平將顯著提升。

ARM作為全球領(lǐng)先的計(jì)算平臺(tái)提供商,正在積極賦能邊緣AI的創(chuàng)新。ARM在硬件、軟件和生態(tài)三個(gè)方面持續(xù)發(fā)力,推出了包括Cortex-m嵌入式處理器、Cortex-a應(yīng)用處理器以及Ethos邊緣AI加速器在內(nèi)的多款產(chǎn)品,以滿足不同場(chǎng)景的AI算力需求。同時(shí),ARM還加強(qiáng)了CPU的矢量或矩陣處理能力,并在軟件和工具鏈方面加大投資,以幫助開發(fā)者輕松釋放AI硬件的潛力。

?硬件創(chuàng)新:強(qiáng)化算力,保障安全

Chloe Ma強(qiáng)調(diào)了ARM在硬件領(lǐng)域的深厚積累。她指出,ARM的Cortex-m嵌入式處理器與Cortex-a應(yīng)用處理器為邊緣AI提供了強(qiáng)大的算力支持。面對(duì)萬物互聯(lián)帶來的安全挑戰(zhàn),ARM推出了TrustZone等安全技術(shù),為敏感數(shù)據(jù)和操作提供了堅(jiān)實(shí)的保護(hù)屏障。此外,針對(duì)AI推理需求的激增,ARM不僅增強(qiáng)了CPU的矢量與矩陣處理能力,還創(chuàng)新性地推出了Ethos邊緣系列AI加速器,進(jìn)一步滿足了高性能、復(fù)雜AI工作負(fù)載的需求。

ARM的Ethos NPU是世界上首款的嵌入式AI加速器。目前已經(jīng)被英飛凌、恩智浦、Olive、奇景光電、Alif Semiconductor 和 Synaptics 等領(lǐng)先廠商的芯片所采用。從第一代的Ethos-U55到最新的U85,不僅在性能和能效上有顯著提升,而且還實(shí)現(xiàn)了對(duì)新的算子以及transformer等神經(jīng)網(wǎng)絡(luò)的原生支持。Ethos系列NPU提供了一致的工具,那么可以為邊緣AI生態(tài)帶來無縫的開發(fā)者體驗(yàn),使合作伙伴能夠重復(fù)利用在ARM AI上的投資。

?軟件與工具鏈:賦能開發(fā)者,優(yōu)化AI部署

在軟件與工具鏈方面,Chloe Ma介紹了ARM為開發(fā)者提供的全方位支持。從ARM虛擬硬件到IP Explorer,再到ML Influence Adviser、ML Zoo模型庫(kù)及ML Evaluation Kit等工具,ARM為開發(fā)者構(gòu)建了一個(gè)從設(shè)計(jì)到部署的高效流程。

同時(shí),ARM還支持多種主流的ML開發(fā)框架,包括pywatch、ONMX 、TensorFlow 和 TensorFlow Lite以及中國(guó)本土的百度飛槳等,并針對(duì)不同硬件目標(biāo)提供優(yōu)化的ML編譯器和runtime,確保ML模型在不同硬件上的最優(yōu)化運(yùn)行。特別值得一提的是,ARM倡導(dǎo)的TOSA(tensor operator set architecture)開放標(biāo)準(zhǔn)正逐步簡(jiǎn)化訓(xùn)練環(huán)境到不同硬件平臺(tái)的部署過程,為AI技術(shù)的普及應(yīng)用鋪平了道路。

近期ARM和meta進(jìn)行合作,通過ExecuteTorch將PyTorch引入基于ARM架構(gòu)的邊緣側(cè)移動(dòng)和嵌入式平臺(tái)。ARM與meta的合作就是依托于ARM在TOSA方面巨大的投入。

?生態(tài)構(gòu)建:加速芯片開發(fā),推動(dòng)市場(chǎng)應(yīng)用

在構(gòu)建開放生態(tài)方面,ARM致力于將豐富的處理器IP及系統(tǒng)IP實(shí)現(xiàn)預(yù)先集成和驗(yàn)證,以Core Stone參考設(shè)計(jì)子系統(tǒng)的形式提供給合作伙伴。這些參考設(shè)計(jì)不僅縮短了開發(fā)周期,降低了開發(fā)成本,還助力合作伙伴快速推出符合市場(chǎng)需求的邊緣AI產(chǎn)品。同時(shí),ARM還與英偉達(dá)合作,將Ethos NPU等創(chuàng)新技術(shù)應(yīng)用于實(shí)際產(chǎn)品中,進(jìn)一步推動(dòng)了邊緣AI技術(shù)的商業(yè)化進(jìn)程。

Chloe Ma表示,只有ARM才能提供從云到端,現(xiàn)代敏捷開發(fā)部署流程中所需要的特性和功能。使大家可以在基于量產(chǎn)驗(yàn)證的一致架構(gòu)和統(tǒng)一的工具鏈上進(jìn)行AI轉(zhuǎn)型。

在過去的一兩年大模型興起的過程中,ARM看到了整個(gè)業(yè)界的迅猛發(fā)展。業(yè)內(nèi)都處于一種“痛并快樂”的狀態(tài)中。“快樂”的是AI將改寫一切,帶來機(jī)遇。AI基本上會(huì)讓所有領(lǐng)域的芯片軟件都重組一遍?!巴吹摹笔茿I演進(jìn)的速度太快,模型和應(yīng)用層出不窮。對(duì)芯片設(shè)計(jì)公司來說,就是如何選賽道、定規(guī)格,加速產(chǎn)品的開發(fā)和上市,產(chǎn)生差異化。在這個(gè)AI的淘金潮中,ARM的計(jì)算平臺(tái)可以提供一套簡(jiǎn)單易用并且通用的普世的利器。能夠把從云到端,非差異化的部件做好做精,讓大家用著順手,挖掘所發(fā)現(xiàn)的AI金礦。

為了讓廣大開發(fā)者更容易地訪問和使用ARM技術(shù),降低開發(fā)門檻,ARM在過去幾年中不斷探索創(chuàng)新的商務(wù)模式。Chloe Ma特別介紹了ARM Flexible Access(AFA)計(jì)劃,這一模式在海外已廣受好評(píng),并在中國(guó)市場(chǎng)正式落地。AFA類似于Costco的會(huì)員制服務(wù),開發(fā)者只需支付極低的年費(fèi),即可無限制地訪問ARM提供的豐富資源,包括Cortex-A、R、M系列CPU處理器、Ethos-U NPU、ML GPU和ISP參考設(shè)計(jì),以及仿真平臺(tái)和工具鏈等。開發(fā)者可以根據(jù)自己的產(chǎn)品需求,自主選擇合適的IP組合進(jìn)行設(shè)計(jì)和優(yōu)化,并在產(chǎn)品量產(chǎn)或流片時(shí)結(jié)算所選IP組合的授權(quán)及后續(xù)費(fèi)用。這種靈活的商務(wù)模式極大地降低了開發(fā)成本,加速了產(chǎn)品上市進(jìn)程,受到了包括樹莓派在內(nèi)的眾多開發(fā)者的熱烈歡迎。

最后,Chloe Ma總結(jié)到,人工智能的普及以及大模型和生成式AI的迅猛發(fā)展,為物聯(lián)網(wǎng)生態(tài)系統(tǒng)的合作伙伴們帶來了前所未有的機(jī)遇。ARM憑借其豐富的生態(tài)資源、領(lǐng)先的技術(shù)實(shí)力和廣泛的行業(yè)影響力,將全力支持合作伙伴把握邊緣AI的機(jī)遇,推動(dòng)智能技術(shù)的廣泛應(yīng)用。她堅(jiān)信,只有云、邊、端三者緊密結(jié)合,才能構(gòu)建起無所不在的智能世界。

目前,全球約90%的AI運(yùn)行在基于ARM架構(gòu)的CPU上,這一數(shù)字不僅彰顯了ARM在全球計(jì)算平臺(tái)中的領(lǐng)先地位,也預(yù)示著ARM將在未來繼續(xù)引領(lǐng)AI計(jì)算的潮流,與生態(tài)伙伴共同釋放AI前所未有的規(guī)模潛力。*聲明:本文系原作者創(chuàng)作。文章內(nèi)容系其個(gè)人觀點(diǎn),我方轉(zhuǎn)載僅為分享與討論,不代表我方贊成或認(rèn)同,如有異議,請(qǐng)聯(lián)系后臺(tái)。

推薦器件

更多器件
器件型號(hào) 數(shù)量 器件廠商 器件描述 數(shù)據(jù)手冊(cè) ECAD模型 風(fēng)險(xiǎn)等級(jí) 參考價(jià)格 更多信息
DSPIC33EP512MU814-I/PH 1 Microchip Technology Inc 16-BIT, FLASH, 60 MHz, MICROCONTROLLER, PQFP144, 16 X 16 MM, 1 MM HEIGHT, LEAD FREE, PLASTIC, TQFP-144

ECAD模型

下載ECAD模型
$13.09 查看
STM32F756ZGY6TR 1 STMicroelectronics High-performance and DSP with FPU, Arm Cortex-M7 MCU with 1 Mbyte of Flash memory, 216 MHz CPU, Art Accelerator, L1 cache, HW crypto, SDRAM, TFT

ECAD模型

下載ECAD模型
$12.73 查看
MC56F8345VFGE 1 Freescale Semiconductor 16-bit DSC, 56800E core, 128KB Flash, 60MHz, QFP 128
$22 查看

相關(guān)推薦

電子產(chǎn)業(yè)圖譜

公眾號(hào):半導(dǎo)體產(chǎn)業(yè)縱橫。立足產(chǎn)業(yè)視角,提供及時(shí)、專業(yè)、深度的前沿洞見、技術(shù)速遞、趨勢(shì)解析,鏈接產(chǎn)業(yè)資源,構(gòu)建IC生態(tài)圈,賦能中國(guó)半導(dǎo)體產(chǎn)業(yè),我們一直在路上。