Arm Corstone-320：加速語音、音頻和視覺物聯(lián)網(wǎng)系統(tǒng)的部署

隨著語音、音頻和視覺功能融合到物聯(lián)網(wǎng) (IoT) 中，聯(lián)網(wǎng)設(shè)備與其周圍環(huán)境交互、解讀和感知的方式發(fā)生了徹底的變化。未來的物聯(lián)網(wǎng)市場蘊(yùn)含巨大機(jī)遇，特別是在視覺領(lǐng)域。在未來的十年里，數(shù)以百萬計(jì)的先進(jìn)攝像頭將被部署到工廠、倉庫、城市、辦公室和商店等各類場所，從而推動(dòng)了物聯(lián)網(wǎng)用例前所未見的規(guī)模，呈指數(shù)級(jí)增長。這些用例涵蓋安保、人員和環(huán)境監(jiān)測、能源、設(shè)施和庫存管理、訪問控制、安全和用戶界面，并且根據(jù)位置的不同，每個(gè)用例所需要的部署和管理水平各異。

Arm Corstone-320 Arm? Corstone?-320是Arm新推出的全新物聯(lián)網(wǎng)參考設(shè)計(jì)平臺(tái)，助力我們的生態(tài)伙伴掌握物聯(lián)網(wǎng)市場激動(dòng)人心的新機(jī)遇。該平臺(tái)結(jié)合了領(lǐng)先的嵌入式 IP、軟件、工具和支持，其中包含了Arm虛擬硬件 (Arm Virtual Hardware)。該平臺(tái)不僅能加快語音、音頻和視覺系統(tǒng)的部署，還能夠降低系統(tǒng)級(jí)芯片 (SoC) 設(shè)計(jì)人員和軟件開發(fā)者所面臨的復(fù)雜性。

除了降低復(fù)雜性和加快產(chǎn)品上市進(jìn)程，Corstone-320 還帶來了以下優(yōu)勢：

• 提高性能：通過提升計(jì)算吞吐量，為各種物聯(lián)網(wǎng)設(shè)備和用例提供合適的算力。
• 改善內(nèi)存帶寬：對(duì)數(shù)據(jù)寬度和內(nèi)存通道等內(nèi)存帶寬方面進(jìn)行改善，從而為像素流提供全系統(tǒng)范圍的互連帶寬。
• 提高能效：提高可持續(xù)性，以及延長電池續(xù)航時(shí)間。
• 一系列電源模式：包括睡眠模式、待機(jī)模式和電源島。
• 降低設(shè)計(jì)成本，并縮短工程時(shí)間：通過“開箱即用的” Corstone-320，設(shè)計(jì)人員和工程師能夠立即啟動(dòng) SoC 設(shè)計(jì)。
• 更多的安全功能：包括啟動(dòng)時(shí)和運(yùn)行時(shí)的安全機(jī)制，都集成至系統(tǒng)中。
• 可觀察性：Corstone-320 中內(nèi)置了所有組件的全面調(diào)試和跟蹤功能。
• 改進(jìn)的靈活性：Corstone-320 設(shè)計(jì)針對(duì)不同的細(xì)分市場、設(shè)備和用例中進(jìn)行定制。
• 一系列的軟件支持：包括大量開源軟件等一系列的軟件支持，可降低總體成本和復(fù)雜性。

Corstone-320 硬件

在硬件方面，物聯(lián)網(wǎng)參考設(shè)計(jì)平臺(tái) Corstone-320 集成了以下前沿的 Arm IP： ? Arm Cortex?-M85 ? Arm Mali?-C55 ISP ? Arm Ethos?-U85 NPU ? Arm CoreLink? DMA-350 Cortex-M85 搭載 Arm Helium? 技術(shù)，也是性能最高的Cortex-M 處理器。尤其是視覺應(yīng)用的理想之選。其優(yōu)勢包括：

• 高能效：能為需要長期運(yùn)行的攝像頭提供高能效。
• 高性能：能為需要實(shí)時(shí)捕獲高質(zhì)量視頻和音頻的攝像頭帶來高性能表現(xiàn)。
• 安全性：可抵御黑客攻擊及其他形式的網(wǎng)絡(luò)攻擊。
• 靈活性：可用于大量的攝像頭和視覺用例。

對(duì)于采用 Cortex-M 的應(yīng)用而言，若想顯著提升性能和強(qiáng)化安全性，升級(jí)到 Cortex-M85 是一條順理成章的路徑。除了 Arm TrustZone? 技術(shù)，該處理器還集成了指針驗(yàn)證和分支目標(biāo)識(shí)別 (PACBTI) 安全技術(shù)，可抵御返回導(dǎo)向編程 (ROP) 和跳轉(zhuǎn)導(dǎo)向編程 (JOP) 的安全漏洞攻擊。

Ethos-U85 是 Arm 的第三代 NPU。與上一代產(chǎn)品相比，其性能提升四倍，能效提高 20%。該 NPU在物聯(lián)網(wǎng)應(yīng)用中具有可擴(kuò)展性 ，支持 128 至 2048 個(gè) MAC 單元的配置，可在1GHz時(shí)提供高達(dá)4 TOPs的機(jī)器學(xué)習(xí)（ML）加速。用于 AI 推理時(shí)，Ethos-U85 還支持 Transformer 架構(gòu)和卷積神經(jīng)網(wǎng)絡(luò) (CNN)。

Mali-C55絕佳地集成了高分辨率圖像處理能力（可支持 4800 萬像素的圖像分辨率）、能效、可配置性及無與倫比的圖像質(zhì)量，適用于廣泛的物聯(lián)網(wǎng)視覺應(yīng)用。同時(shí)，高度可配置的直接內(nèi)存訪問控制器 DMA-350，可實(shí)現(xiàn)高效的數(shù)據(jù)移動(dòng)，從而提高系統(tǒng)性能和能效，并支持 Arm TrustZone技術(shù)。

Corstone-320 套件還涵蓋了技術(shù)參考手冊(cè)、配置和渲染腳本，以及驗(yàn)證報(bào)告。這意味著 ASIC 開發(fā)者能夠根據(jù)特定細(xì)分市場的要求構(gòu)建 SoC，或在開始定制設(shè)計(jì)前，使用此套件來探索 Arm 的計(jì)算設(shè)計(jì)概念。

Corstone-320 軟件

Corstone-320 軟件套件包括固件、所有 IP 的驅(qū)動(dòng)程序、中間件、實(shí)時(shí)操作系統(tǒng) (RTOS) 和云集成、ML 模型和參考應(yīng)用程序。這意味著軟件開發(fā)者能夠輕松選擇其特定細(xì)分市場所需的組件，并使用所選開發(fā)工具為該設(shè)備構(gòu)建物聯(lián)網(wǎng)堆棧。開源應(yīng)用程序演示了關(guān)鍵詞識(shí)別、語音識(shí)別和目標(biāo)識(shí)別用例。與此同時(shí)，Corstone-320 中包含的原型平臺(tái)能使軟件開發(fā)與 SoC 設(shè)計(jì)并行啟動(dòng)。 軟件中還包含了固定虛擬平臺(tái) (FVP)，用于對(duì)構(gòu)成完整 FPGA 系統(tǒng)的外設(shè)進(jìn)行建模。通過使用 FVP，軟件開發(fā)者無需硬件即可開始開發(fā)應(yīng)用，從而加快開發(fā)速度。

Arm 擁有全球最大規(guī)模的 AI 合作伙伴生態(tài)系統(tǒng)，這些合作伙伴提供 ML 模型和軟件，滿足多樣化的物聯(lián)網(wǎng)設(shè)備需求，覆蓋了從嵌入式系統(tǒng)的低功耗傳感器到未來環(huán)境體驗(yàn)的高性能物聯(lián)網(wǎng)應(yīng)用。

解鎖物聯(lián)網(wǎng)的創(chuàng)新機(jī)遇

語音、音頻和視覺與物聯(lián)網(wǎng)設(shè)備的持續(xù)集成帶來了巨大的創(chuàng)新機(jī)遇。通過賦能這些設(shè)備以更加復(fù)雜的方式與其周圍環(huán)境交互、解讀和感知，從前難以想象的廣泛新應(yīng)用和功能正逐步被發(fā)掘。而這將推動(dòng)物聯(lián)網(wǎng)設(shè)備和技術(shù)實(shí)現(xiàn)重大的創(chuàng)新與變革。

Corstone-320 正處于這個(gè)變革的前沿，為物聯(lián)網(wǎng)市場提供低成本、低功耗、高性能的智能參考設(shè)計(jì)平臺(tái)。通過集成式軟件與硬件相結(jié)合，該平臺(tái)將在各個(gè)用例和場景中顯著加快產(chǎn)品上市進(jìn)程，并降低 SoC 設(shè)計(jì)與軟件開發(fā)的復(fù)雜性。這將有助于生態(tài)系統(tǒng)以前所未有的速度擴(kuò)展物聯(lián)網(wǎng)應(yīng)用。