愛芯元智宣布,旗下芯片產(chǎn)品愛芯元智AX650N獲第四屆人工智能卓越創(chuàng)新獎——“最具創(chuàng)新價值產(chǎn)品獎”。同時,企業(yè)正式發(fā)布開發(fā)者套件——愛芯派Pro,以便于社區(qū)開發(fā)者低成本地體驗視覺大模型在邊緣側(cè)、端側(cè)的便捷部署,同時打造面向開發(fā)者的生態(tài)平臺。
8月23日,愛芯元智AI推理引擎總監(jiān)唐琦受邀出席由電子發(fā)燒友網(wǎng)和elexcon深圳國際電子展聯(lián)合主辦的2023第七屆人工智能大會,并發(fā)表《Transformer視覺大模型在邊緣側(cè)的部署》主題演講,分享基于愛芯通元混合精度NPU部署Transformer視覺模型的落地實踐,并正式發(fā)布開發(fā)者套件——愛芯派Pro。第四屆人工智能卓越創(chuàng)新獎同期頒發(fā),憑借在邊緣AI賽道的強(qiáng)大自研實力和突出落地成果,愛芯元智AX650N獲評“最具創(chuàng)新價值產(chǎn)品獎”。
端側(cè)智能快速普及 Transformer視覺模型應(yīng)用走向新高度
自2015年,AI模型的物體識別準(zhǔn)確率在ImageNet的圖像分類比賽中首次超過人類以來,人工智能行業(yè)便正式進(jìn)入到新航海時代。而近年來,伴隨著芯片行業(yè)制程的進(jìn)步以
及AI模型小型化、輕量化的趨勢,AI模型在掃地機(jī)器人、家用攝像頭、智能音箱等產(chǎn)品的本地化部署成為現(xiàn)實,端側(cè)智能得到普及。
“到現(xiàn)在為止,基于傳統(tǒng)CNN模型的云、邊、端三角互補(bǔ)的算力主線已經(jīng)完成”,唐琦在演講中表示。而在AI模型從云端往端側(cè)遷移的過程中,Transformer網(wǎng)絡(luò)結(jié)構(gòu)也在不斷進(jìn)步,并隨著ChatGPT的火爆備受關(guān)注?;仡橳ransformer視覺模型的發(fā)展歷史,從基于Transformer網(wǎng)絡(luò)結(jié)構(gòu)的語義分割模型應(yīng)用于自動駕駛場景,到分割萬物的SAM和基座視覺大模型DINOv2,Transformer視覺模型的應(yīng)用正走向新的高度。
致力于打造世界領(lǐng)先的人工智能視覺芯片,愛芯元智專注于高性能、低功耗的邊緣側(cè)、端側(cè)人工智能處理器芯片開發(fā),布局智慧城市、智能駕駛和AIoT三大業(yè)務(wù)市場?;谥腔鄢鞘械纳壐脑欤琇2/L2+智能駕駛的應(yīng)用大規(guī)模落地,以及終端設(shè)備智能化需求的擴(kuò)大,愛芯元智將在邊緣感知智能芯片上持續(xù)投入,持續(xù)打造感知和計算基礎(chǔ)能力。
加快AI開發(fā)落地效率 用視覺連接數(shù)字世界和物理世界
從智慧城市到智能駕駛再到AIoT,愛芯元智之所以能做到三大應(yīng)用場景全覆蓋,依托于公司自研的愛芯智眸AI-ISP和愛芯通元混合精度NPU兩大核心技術(shù)。
愛芯智眸AI-ISP是將深度學(xué)習(xí)算法與傳統(tǒng)的ISP處理單元相結(jié)合,作為萬物智能的“眼睛”感知更多信息,特別是暗光全彩的剛需。其擁有六大技術(shù)亮點:AI星光全彩、AI HDR成像、AI多光譜融合、AI防抖、AI場景增強(qiáng)、AI多傳感器融合,在暗黑道路、隧道出口、顛簸路段等多個行車場景下可全面提高畫質(zhì),實現(xiàn)更優(yōu)質(zhì)的視覺效果。
愛芯通元混合精度NPU作為愛芯元智另一大核心自研技術(shù),支持INT4/INT8/INT16三種計算精度,具有高性能、低成本、易使用的突出優(yōu)勢。值得一提的是,在汲取前兩代產(chǎn)品的市場反饋并結(jié)合行業(yè)前沿技術(shù)的發(fā)展趨勢之下,第三代愛芯通元混合精度NPU進(jìn)一步增強(qiáng)了算子支持種類和不同精度的混合計算,優(yōu)化了內(nèi)部內(nèi)存調(diào)度機(jī)制,同時可高效率支持CNN網(wǎng)絡(luò)和Transformer網(wǎng)絡(luò)模型。而針對愛芯通元3.0 NPU研發(fā)的工具鏈——Pulsar2則進(jìn)一步完善了工具鏈的功能和易用性,支持主流深度學(xué)習(xí)訓(xùn)練框架的模型部署,支持PTQ、QAT兩種不同的量化操作,滿足各種場景的量化調(diào)優(yōu)功能。
Transformer模型在愛芯元智NPU上部署非常簡單高效,以SwinT模型為例:從PyTorch的官方ModelZoo上直接下載SwinT的ONNX模型,不需要做任何模型或算子修改,就可以實現(xiàn)SwinT的量化壓縮和編譯,達(dá)到199 FPS/W的高能效比。而會上獲評“最具創(chuàng)新價值產(chǎn)品獎”的AX650N作為愛芯元智在今年推出的高性能芯片產(chǎn)品,基于第三代NPU,在邊緣側(cè)、端側(cè)部署Transformer具有高性能、高精度、易部署、低功耗等特性,是業(yè)內(nèi)首屈一指的Transformer落地平臺。
打造芯片開發(fā)者生態(tài) 愛芯派Pro助力視覺大模型落地
大會上,愛芯元智正式推出開發(fā)者套件——“愛芯派Pro”,這款聯(lián)合硬件生態(tài)伙伴共同打造的開發(fā)者套件,意在為社區(qū)開發(fā)者低成本地體驗視覺大模型在邊緣側(cè)、端側(cè)的便捷部署。愛芯派Pro搭載AX650N,擁有高算力和超強(qiáng)編解碼能力,可滿足行業(yè)對高性能邊緣智能計算的需求,實現(xiàn)視頻結(jié)構(gòu)化、行為分析、狀態(tài)檢測等應(yīng)用,高效率支持CNN模型和Transformer視覺大模型。
在愛芯派Pro發(fā)售的同時,愛芯元智還將釋放集成模型量化、模型編譯、模型部署三合一功能的新一代AI工具鏈Pulsar2的社區(qū)版本以及豐富的開發(fā)文檔,方便用戶快速進(jìn)行產(chǎn)品原型驗證和二次開發(fā),幫助用戶在智慧城市、智慧交通、智慧教育、智能制造等領(lǐng)域發(fā)揮更大的價值。
目前,愛芯元智已經(jīng)量產(chǎn)了四代多顆應(yīng)用于不同行業(yè)領(lǐng)域的視覺感知芯片,并堅持基于算法、芯片、產(chǎn)品的垂直整合,為合作伙伴提供全棧式解決方案,幫助客戶實現(xiàn)最新技術(shù)的快速落地。面向人工智能產(chǎn)業(yè)的高速發(fā)展,愛芯元智也將通過持續(xù)的技術(shù)創(chuàng)新,提高芯片性能、降低成本,讓邊端智能更加普惠,最終實現(xiàn)“普惠AI 造就美好生活”的使命。