自從物聯(lián)網(wǎng)(IoT)出現(xiàn)以來(lái),邊緣智能是一項(xiàng)頗具顛覆性的創(chuàng)新。物聯(lián)網(wǎng)帶來(lái)了數(shù)十億智能互聯(lián)設(shè)備,這些設(shè)備傳輸TB級(jí)海量傳感器數(shù)據(jù),用于執(zhí)行基于人工智能的云計(jì)算,除此之外,另一項(xiàng)革命正在進(jìn)行,那就是邊緣設(shè)備上的機(jī)器學(xué)習(xí)(ML)。隨著越來(lái)越多的智能化計(jì)算遷移到網(wǎng)絡(luò)邊緣,恩智浦緊跟趨勢(shì),提供成本、性能和功率優(yōu)化的處理解決方案,以便跨多個(gè)市場(chǎng)和應(yīng)用推動(dòng)機(jī)器學(xué)習(xí)技術(shù),讓最終用戶(hù)享受到邊緣計(jì)算增強(qiáng)安全性、提高隱私性和減少延遲的優(yōu)勢(shì)。
以前,機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)應(yīng)用一直是數(shù)據(jù)科學(xué)家和人工智能專(zhuān)家的開(kāi)發(fā)領(lǐng)域。但是,隨著越來(lái)越多的機(jī)器學(xué)習(xí)工具和技術(shù)可用來(lái)消除機(jī)器學(xué)習(xí)應(yīng)用開(kāi)發(fā)方面的一些復(fù)雜性,這種情況正在逐漸改變。恩智浦的eIQ(“edge intelligence”)機(jī)器學(xué)習(xí)開(kāi)發(fā)環(huán)境就此應(yīng)運(yùn)而生。eIQ提供一組綜合工作流程工具、推理引擎、神經(jīng)網(wǎng)絡(luò)(NN)編譯器、經(jīng)過(guò)優(yōu)化的庫(kù)和技術(shù),幫助簡(jiǎn)化并加快機(jī)器學(xué)習(xí)開(kāi)發(fā)。eIQ適合各種技能水平的用戶(hù),從第一次接觸深度學(xué)習(xí)項(xiàng)目的嵌入式開(kāi)發(fā)人員,到重點(diǎn)研究高級(jí)目標(biāo)識(shí)別、分類(lèi)、異常檢測(cè)或語(yǔ)音識(shí)別解決方案的專(zhuān)家,eIQ都可以助力開(kāi)發(fā)。
eIQ機(jī)器學(xué)習(xí)軟件于2018年推出,經(jīng)過(guò)不斷發(fā)展,可支持系統(tǒng)級(jí)應(yīng)用和機(jī)器學(xué)習(xí)算法實(shí)現(xiàn),適用于恩智浦i.MX系列,包括低功耗i.MX RT跨界微控制器(MCU),以及基于Arm® Cortex®-M和Cortex®-A內(nèi)核的多核i.MX 8和i.MX 8M應(yīng)用處理器。
重大升級(jí)
為幫助機(jī)器學(xué)習(xí)開(kāi)發(fā)人員更熟練地基于恩智浦i.MX平臺(tái)進(jìn)行機(jī)器學(xué)習(xí)開(kāi)發(fā),并提高工作效率,我們大力擴(kuò)展eIQ軟件環(huán)境,在其中添加了全新的eIQ Toolkit工作流程工具、基于圖形界面(GUI)的eIQ portal開(kāi)發(fā)環(huán)境以及針對(duì)i.MX和i.MX RT設(shè)備進(jìn)行優(yōu)化的DeepViewRT™推理引擎。
圖1.簡(jiǎn)要展示eIQ Toolkit和eIQ portal特性與工作流程。
下面詳細(xì)介紹eIQ軟件環(huán)境中新增的這些強(qiáng)大的工具如何幫助簡(jiǎn)化機(jī)器學(xué)習(xí)開(kāi)發(fā),提高工作效率并為開(kāi)發(fā)人員提供更多選項(xiàng)和更大的靈活性。
eIQ Toolkit:實(shí)現(xiàn)“機(jī)器學(xué)習(xí)人人可用”
考慮到機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)應(yīng)用的潛在復(fù)雜性以及機(jī)器學(xué)習(xí)開(kāi)發(fā)人員的不同需求,簡(jiǎn)單的“萬(wàn)能”工具并不適合。更好的方法是提供靈活的綜合工具套件,該套件應(yīng)該能夠擴(kuò)展,以滿(mǎn)足不同技能水平和經(jīng)驗(yàn)水平的機(jī)器學(xué)習(xí)開(kāi)發(fā)人員。為此,我們?cè)趀IQ機(jī)器學(xué)習(xí)開(kāi)發(fā)環(huán)境中添加了強(qiáng)大但易用的eIQ Toolkit,使開(kāi)發(fā)人員能夠?qū)霐?shù)據(jù)集和模型,基于恩智浦i.MX 8M應(yīng)用處理器系列和i.MX RT跨界MCU系列訓(xùn)練、量化、驗(yàn)證和部署神經(jīng)網(wǎng)絡(luò)模型與機(jī)器學(xué)習(xí)相關(guān)的計(jì)算。無(wú)論您是剛剛接觸機(jī)器學(xué)習(xí)項(xiàng)目的嵌入式開(kāi)發(fā)人員,還是熟練的數(shù)據(jù)科學(xué)家,抑或是人工智能專(zhuān)家,都能在eIQ Toolkit中找到合適功能,以匹配您的技能水平并簡(jiǎn)化機(jī)器學(xué)習(xí)項(xiàng)目的開(kāi)發(fā)。
圖2. eIQ portal提供數(shù)據(jù)集管理工具,幫助您注釋并整理所有訓(xùn)練數(shù)據(jù)。
eIQ Toolkit提供簡(jiǎn)單的工作流程和機(jī)器學(xué)習(xí)應(yīng)用示例。此外,eIQ Toolkit包括eIQportal,提供基于GUI的直觀開(kāi)發(fā)選項(xiàng),您也可以根據(jù)自己的喜好選擇使用命令行工具。如果您想要利用現(xiàn)成的開(kāi)發(fā)解決方案,或者需要恩智浦或我們值得信賴(lài)的合作伙伴提供的專(zhuān)業(yè)服務(wù)與支持,您可以在eIQ Toolkit中輕松訪(fǎng)問(wèn)Au-Zone Technologies等公司提供的不同選擇,eIQ也會(huì)不斷更新豐富相關(guān)的支持。
圖3. eIQ portal提供便捷的模型驗(yàn)證和精度測(cè)量方法。
通過(guò)使用eIQ portal,您可以輕松創(chuàng)建、優(yōu)化、調(diào)試、轉(zhuǎn)換并導(dǎo)出機(jī)器學(xué)習(xí)模型,也可以從TensorFlow、ONNX和PyTorch機(jī)器學(xué)習(xí)框架中導(dǎo)入數(shù)據(jù)集和模型。您可以通過(guò)“自帶數(shù)據(jù)”(BYOD)流程,使用自己的數(shù)據(jù)訓(xùn)練模型,從由預(yù)先訓(xùn)練的模型組成的數(shù)據(jù)庫(kù)中選擇,或者通過(guò)“自帶模型”(BYOM)流程導(dǎo)入預(yù)先訓(xùn)練的模型,比如來(lái)自Au-Zone Technologies的高級(jí)檢測(cè)模型。通過(guò)遵循簡(jiǎn)單的BYOM流程,您可以使用基于云的公共或私有工具構(gòu)建經(jīng)過(guò)訓(xùn)練的模型,然后將模型傳輸?shù)絜IQ Toolkit中,以便在針對(duì)芯片優(yōu)化后的推理引擎上運(yùn)行。
圖4. eIQ portal提供靈活的BYOM和BYOD工作模式
針對(duì)目標(biāo)的圖形級(jí)別分析功能讓開(kāi)發(fā)人員能夠在運(yùn)行時(shí)深入了解運(yùn)行情況,以便微調(diào)和優(yōu)化系統(tǒng)參數(shù)、運(yùn)行時(shí)性能、內(nèi)存使用和在i.MX設(shè)備上執(zhí)行的神經(jīng)網(wǎng)絡(luò)架構(gòu)。
恩智浦全新eIQ推理引擎
推理引擎是機(jī)器學(xué)習(xí)開(kāi)發(fā)項(xiàng)目的核心,這是機(jī)器學(xué)習(xí)應(yīng)用的運(yùn)行時(shí)組件。eIQ機(jī)器學(xué)習(xí)軟件開(kāi)發(fā)環(huán)境支持使用針對(duì)Glow、ONNX和TensorFlow Lite等針對(duì)i.MX和MCU進(jìn)行優(yōu)化的各種基于社區(qū)的開(kāi)源推理引擎進(jìn)行推理,除此之外,我們又新添加了DeepViewRT推理引擎。
DeepViewRT是與合作伙伴Au-Zone Technologies聯(lián)合開(kāi)發(fā)的專(zhuān)有推理引擎,提供由供應(yīng)商維護(hù)的更長(zhǎng)期穩(wěn)定的解決方案,作為對(duì)于現(xiàn)有開(kāi)源推理引擎的補(bǔ)充。
圖5.DeepViewRT為機(jī)器學(xué)習(xí)應(yīng)用提供穩(wěn)定靈活的量產(chǎn)化推理引擎。
在DeepViewRT推理引擎在MCUXpresso SDK中作為中間件集成,對(duì)于使用Linux操作系統(tǒng)的產(chǎn)品開(kāi)發(fā),DeepViewRT推理引擎可以通過(guò)Yocto BSP獲得。