AI大算力場(chǎng)景加速發(fā)展，NPU如何破局？

ChatGPT和GPT-4等大規(guī)模語(yǔ)言模型的走紅，迅速點(diǎn)燃了輿論對(duì)人工智能的熱情，也讓人工智能芯片受到產(chǎn)業(yè)界的強(qiáng)烈關(guān)注。相比CPU、GPU等通用芯片，NPU（神經(jīng)網(wǎng)絡(luò)處理器）能夠以更簡(jiǎn)單的控制流、更高的效率、更低的功耗處理AI工作負(fù)載。隨著人工智能技術(shù)棧和行業(yè)應(yīng)用的發(fā)展，NPU一方面支持越來(lái)越多的模型，包括GPT-4采用的Transformer模型；另一方面，也從AIoT走向消費(fèi)電子、自動(dòng)駕駛等更多領(lǐng)域。

3 月 28 日，安謀科技發(fā)布了最新一代NPU產(chǎn)品“周易”X2，將配合此前宣布的“周易”NPU軟件開(kāi)源計(jì)劃，為人工智能的應(yīng)用創(chuàng)新——尤其是面向自動(dòng)駕駛等大算力、高精度、強(qiáng)實(shí)時(shí)場(chǎng)景提供軟硬件支持。

多核心、大算力、多精度，助力AI多場(chǎng)景落地

隨著摩爾定律放緩，通用處理器架構(gòu)難以滿(mǎn)足人工智能的密集型計(jì)算需求。數(shù)據(jù)顯示，2000-2004年，每一美元能獲取的芯片性能以每年48%的速度提升，而2008年以后已不足10%。在這種趨勢(shì)下，專(zhuān)用芯片成為面向特定需求提升算力和能效比的新思路。

其中，NPU是面向機(jī)器學(xué)習(xí)和人工智能領(lǐng)域的專(zhuān)用加速芯片。相比CPU、GPU等通用芯片，NPU在電路層模擬了人類(lèi)神經(jīng)元和突觸，針對(duì)AI計(jì)算涉及的大量神經(jīng)網(wǎng)絡(luò)模型進(jìn)行特殊優(yōu)化，能夠以更高的效率、更低的能耗處理人工神經(jīng)網(wǎng)絡(luò)、隨機(jī)森林等機(jī)器學(xué)習(xí)算法和深度學(xué)習(xí)模型。

如今，蘋(píng)果、三星、oppo等多家手機(jī)廠商搭載了NPU，用于面部識(shí)別、拍攝物體及環(huán)境識(shí)別、影像處理等，為消費(fèi)者帶來(lái)3D動(dòng)畫(huà)表情、人臉解鎖、AI場(chǎng)景識(shí)別、無(wú)損實(shí)時(shí)RAW計(jì)算等一系列新體驗(yàn)。隨著人工智能向平板電腦、臺(tái)式機(jī)等更多終端，家居、汽車(chē)等更多領(lǐng)域滲透，“萬(wàn)物智聯(lián)”時(shí)代拉開(kāi)序幕，這不僅考驗(yàn)著NPU的算力和精度，也對(duì)NPU架構(gòu)的靈活性和兼容性提出了更高的要求。

此次安謀科技推出的“周易”X2 NPU聚焦綜合性能的提升，兼顧了多終端、跨領(lǐng)域應(yīng)用對(duì)大算力、高精度、靈活性、兼容性的需求。

在算力層面，“周易”X2 NPU不僅提升了單核性能，還引入了多核、多集群架構(gòu)，能夠支持高達(dá)320TOPS的大算力方案。相比采用單核架構(gòu)的“周易”X1和“周易”Z系列，“周易”X2引入了由多個(gè)NPU核組成的Cluster（集群），較單核實(shí)現(xiàn)了算力的成倍提升。多個(gè)Cluster又構(gòu)成了子系統(tǒng)，較單個(gè)Cluster進(jìn)一步實(shí)現(xiàn)算力的成本提升，可支持320TOPS大算力產(chǎn)品的交付。

在精度層面，“周易”X2 NPU支持混合精度計(jì)算，支持整型的4bit、8bit、12bit、16bit、32bit以及浮點(diǎn)的16bit、32bit計(jì)算，可以更好地平衡功耗、算力密度和計(jì)算精度。

在靈活性層面，“周易”X2 NPU 的任務(wù)調(diào)度速度達(dá)到100納秒。據(jù)安謀科技產(chǎn)品總監(jiān)楊磊介紹，安謀科技為“周易”X2設(shè)計(jì)了硬件級(jí)別的任務(wù)調(diào)度加速單元，以支持多核或者多個(gè)計(jì)算單元的實(shí)時(shí)任務(wù)調(diào)度。

“當(dāng)我的車(chē)有10個(gè)攝像頭，有10路數(shù)據(jù)進(jìn)來(lái)。任務(wù)調(diào)度器發(fā)現(xiàn)哪個(gè)NPU核是空閑的，就可以把任務(wù)立刻調(diào)度給那個(gè)核做計(jì)算，構(gòu)建動(dòng)態(tài)、實(shí)時(shí)的調(diào)度解決方案?！睏罾谡f(shuō)。

在兼容性方面，“周易”X2 NPU支持自定義算子，滿(mǎn)足各種模型部署需求，并針對(duì)ADAS、智能座艙、平板電腦、臺(tái)式機(jī)和手機(jī)等應(yīng)用場(chǎng)景提供了配置方案和專(zhuān)門(mén)優(yōu)化。

面向消費(fèi)級(jí)終端，“周易”X2 NPU則針對(duì)AI去噪、超分辨率、插幀等面向拍照、錄像和視頻會(huì)議的場(chǎng)景進(jìn)行了優(yōu)化。

面向自動(dòng)駕駛等場(chǎng)景，“周易”X2 NPU可提供大算力配置方案。首先，專(zhuān)門(mén)的硬件加速任務(wù)調(diào)度器，能夠更好地支持汽車(chē)判斷前方目標(biāo)并實(shí)時(shí)響應(yīng)的需求。其次，對(duì)混合精度的支持，順應(yīng)了汽車(chē)場(chǎng)景對(duì)更高計(jì)算精度的追求。此外，安謀科技面向車(chē)載算法專(zhuān)門(mén)優(yōu)化了Transformer模型的性能，在算力相等的情況下，Transformer的性能較上一代的“周易” Z2提升了10倍。

在邊緣終端和自動(dòng)駕駛等領(lǐng)域的基礎(chǔ)上，“周易”系列還將向更高性能的場(chǎng)景拓展。

“過(guò)去幾年里，‘周易’系列產(chǎn)品應(yīng)用已經(jīng)從AIoT領(lǐng)域，到現(xiàn)在的汽車(chē)、邊緣智能終端等領(lǐng)域，未來(lái)會(huì)向更高性能的云側(cè)和服務(wù)側(cè)發(fā)展。我們希望‘周易’涵蓋不同的應(yīng)用場(chǎng)景，通過(guò)不同的配置，與更多領(lǐng)域、更加多樣的系統(tǒng)結(jié)合?！卑仓\科技執(zhí)行副總裁、產(chǎn)品研發(fā)負(fù)責(zé)人劉澍表示。

軟件開(kāi)源解決開(kāi)發(fā)痛點(diǎn)，助力本土NPU生態(tài)構(gòu)建

在面向更多行業(yè)、更多場(chǎng)景的落地過(guò)程中，NPU的應(yīng)用開(kāi)發(fā)也出現(xiàn)了一些痛點(diǎn)。由于缺乏統(tǒng)一的工具鏈，NPU在推理側(cè)出現(xiàn)了硬件碎片化，增加了應(yīng)用開(kāi)發(fā)創(chuàng)新的代價(jià)和周期。另一方面，NPU處理AI模型的訓(xùn)練、推理時(shí)，涉及或產(chǎn)生大量數(shù)據(jù)，開(kāi)發(fā)者對(duì)白盒軟件、工具鏈的訴求越發(fā)迫切。

針對(duì)以上痛點(diǎn)，安謀科技發(fā)起了“周易”NPU軟件開(kāi)源計(jì)劃，通過(guò)開(kāi)放源碼，滿(mǎn)足客戶(hù)更自主、靈活的算法移植需求。按照計(jì)劃，安謀科技率先對(duì)外開(kāi)放NPU中間表示層規(guī)范、模型解析器、模型優(yōu)化器、驅(qū)動(dòng)等，并提供免費(fèi)的軟件工具鏈，包括軟件模擬器、調(diào)試器、C編譯器。

安謀科技“周易”NPU軟件開(kāi)源計(jì)劃

“我們收集到很多用戶(hù)反饋，最典型的是汽車(chē)應(yīng)用場(chǎng)景。一方面，Tier1在實(shí)際應(yīng)用過(guò)程中產(chǎn)生的算法和數(shù)據(jù)都是很寶貴的資源，如果在移植開(kāi)發(fā)中遇到問(wèn)題，Tier1希望在自己那側(cè)解決，獨(dú)立進(jìn)行白盒的開(kāi)發(fā)和調(diào)試。另一方面,客戶(hù)有很多自定義算子的需求，這也對(duì)白盒化的軟件和工具鏈有很強(qiáng)的訴求?；谶@樣的市場(chǎng)反饋，我們選擇這個(gè)時(shí)間點(diǎn)推出開(kāi)源計(jì)劃。”楊磊在接受《中國(guó)電子報(bào)》采訪(fǎng)時(shí)表示。

目前，安謀科技已開(kāi)源“周易”NPU軟件工具Compass的前端，并在開(kāi)源計(jì)劃的第一階段開(kāi)放了Compass解析器、NPU Linux驅(qū)動(dòng)、Compass集成和模型倉(cāng)庫(kù)。

同時(shí)，安謀科技最新的一代V3架構(gòu)為免費(fèi)授權(quán)。根據(jù)安謀科技研發(fā)團(tuán)隊(duì)測(cè)算，如果開(kāi)發(fā)者在軟件參與“周易”的NPU開(kāi)源項(xiàng)目，在硬件上兼容“周易”架構(gòu)，無(wú)論在硬件開(kāi)發(fā)還是在軟件開(kāi)發(fā)上，大概能節(jié)省超過(guò)50%的工作量。

后續(xù)，安謀科技還將逐步開(kāi)放更多資源，例如模型量化、算子實(shí)現(xiàn)等源代碼。

軟件的開(kāi)源不僅能提升開(kāi)發(fā)效率，而且能夠持續(xù)吸納開(kāi)發(fā)者在使用過(guò)程中的反饋，有利于行業(yè)生態(tài)的良性循環(huán)。一方面，NPU的軟件開(kāi)源可以提升用戶(hù)開(kāi)發(fā)效率，減少上市時(shí)間，并提升系統(tǒng)的能效表現(xiàn)。另一方面，開(kāi)源有利于NPU在更多場(chǎng)合發(fā)揮更大作用，也令NPU IP廠商能夠觸達(dá)上下游企業(yè)，共同反哺本地化的NPU生態(tài)。

“NPU有很強(qiáng)的軟件屬性，并不是一個(gè)純粹的硬件加速器，因?yàn)橛脩?hù)要在上面跑各種各樣的應(yīng)用或算法。每一個(gè)算法在硬件上的部署或移植，都會(huì)為生態(tài)貢獻(xiàn)了一份力量?！睏罾谡f(shuō)。

目前，安謀科技已分別在代碼托管平臺(tái)Gitee、GitHub上建立NPU軟件的開(kāi)源庫(kù)，并吸引了來(lái)自AIoT、智能汽車(chē)、智能操作系統(tǒng)等領(lǐng)域的第一批合作伙伴“入駐”。據(jù)安謀科技透露，以上合作伙伴均表示將基于NPU開(kāi)源計(jì)劃與安謀科技深化合作，加速構(gòu)建本地化的智能計(jì)算生態(tài)“朋友圈”。

Arm底蘊(yùn)與本土化創(chuàng)新結(jié)合，強(qiáng)化芯片設(shè)計(jì)“彈藥庫(kù)”

自1990年Arm公司成立以來(lái)，基于Arm架構(gòu)出貨的芯片已經(jīng)達(dá)到2500億顆。IP授權(quán)這一商業(yè)模式，也隨著Arm的發(fā)展深入人心，成為芯片設(shè)計(jì)垂直分工的重要環(huán)節(jié)。

安謀科技作為獨(dú)立運(yùn)營(yíng)、中資控股的合資公司，在吸納和發(fā)揮Arm技術(shù)和生態(tài)優(yōu)勢(shì)的同時(shí)，立足并結(jié)合本地化需求，形成了“自研IP技術(shù)的創(chuàng)新發(fā)展與Arm IP相配合”的經(jīng)營(yíng)策略。據(jù)安謀科技介紹，其成立時(shí)與Arm簽訂了交叉許可協(xié)議，一方面可以向總部設(shè)在中國(guó)的合作伙伴開(kāi)展集成電路IP的授權(quán)與技術(shù)服務(wù)；另一方面，也擁有獨(dú)立的自主研發(fā)權(quán)力，可以結(jié)合中國(guó)市場(chǎng)需求自研基于Arm技術(shù)的IP與標(biāo)準(zhǔn)，本土團(tuán)隊(duì)研發(fā)的自研IP產(chǎn)權(quán)歸安謀科技所有。

安謀科技自研IP產(chǎn)品矩陣及相關(guān)服務(wù)

以“周易”NPU為例，安謀科技在自研其硬件IP和軟件工具的同時(shí)，也吸引和培養(yǎng)了本地化的NPU工程師團(tuán)隊(duì)，為公司研發(fā)和用戶(hù)開(kāi)發(fā)提供本地化的支持。

“經(jīng)過(guò)5年的努力，我們已經(jīng)在北京、上海、深圳吸引和培養(yǎng)了很多工程師，整個(gè)團(tuán)隊(duì)擁有超過(guò)130位工程師從事NPU的軟硬件全棧研發(fā)。我們已經(jīng)開(kāi)發(fā)了三代NPU產(chǎn)品和架構(gòu)，也專(zhuān)注于IP和SDK開(kāi)發(fā)，以及對(duì)國(guó)內(nèi)客戶(hù)的服務(wù)和支持。”安謀科技NPU研發(fā)高級(jí)總監(jiān)孫錦鴻表示。

時(shí)至今日，安謀科技在國(guó)內(nèi)的授權(quán)客戶(hù)超過(guò)370家，累計(jì)芯片出貨量突破300億片。除了“周易”NPU，安謀科技還自研并推出了“星辰”CPU、“山?！盨PU、“玲瓏”ISP與“玲瓏”VPU等本地化IP，而包含CPU、NPU、信息安全、多媒體的IP矩陣，為芯片企業(yè)打造異構(gòu)集成方案提供了“彈藥庫(kù)”，并有利于提升芯片設(shè)計(jì)的靈活性。例如博通2022年推出的兩款Wi-Fi藍(lán)牙雙模SoC芯片，就集成了“星辰”處理器和“山?！钡男畔踩诵哪K。

本次“周易”NPU軟件開(kāi)源及相應(yīng)的生態(tài)合作措施，也是對(duì)安謀科技“生態(tài)伙伴計(jì)劃”的承襲和補(bǔ)充。該計(jì)劃發(fā)起于2022年7月，依托Arm技術(shù)生態(tài)與自研IP產(chǎn)品矩陣，與生態(tài)伙伴共建上下游產(chǎn)業(yè)生態(tài)，共同推動(dòng)各領(lǐng)域的軟硬件、解決方案、工具鏈、行業(yè)標(biāo)準(zhǔn)以及社區(qū)聯(lián)盟等生態(tài)環(huán)節(jié)的發(fā)展。截至目前，已有多家芯片設(shè)計(jì)公司、解決方案提供商、系統(tǒng)平臺(tái)公司等加入生態(tài)伙伴計(jì)劃。

安謀科技生態(tài)伙伴計(jì)劃

IP作為硬件設(shè)計(jì)的核心資產(chǎn)，不僅在芯片設(shè)計(jì)和產(chǎn)品定義中發(fā)揮了重要作用，也對(duì)芯片產(chǎn)業(yè)的底層創(chuàng)新具有深遠(yuǎn)意義。而IP的迭代與創(chuàng)新，需要與芯片、軟件、生態(tài)乃至標(biāo)準(zhǔn)等產(chǎn)業(yè)鏈關(guān)鍵節(jié)點(diǎn)的發(fā)展趨勢(shì)與共性問(wèn)題耦合，才能推動(dòng)芯片產(chǎn)業(yè)的螺旋上升。

“對(duì)產(chǎn)業(yè)來(lái)說(shuō)一個(gè)，IP公司的意義和作用就在于，它首先看到了生態(tài)和技術(shù)的發(fā)展趨勢(shì)，幫助客戶(hù)和合作伙伴解決一些重復(fù)投入的問(wèn)題。通常來(lái)說(shuō)，我們解決了底層的技術(shù)問(wèn)題和創(chuàng)新問(wèn)題以后，可以幫助客戶(hù)合作伙伴節(jié)省1到2年的開(kāi)發(fā)周期。客戶(hù)利用這些IP，能夠更高效地推出可量產(chǎn)的芯片，達(dá)到應(yīng)用級(jí)創(chuàng)新的目的，這是IP作為基石幫助客戶(hù)走向成功的定位和角色?！眲f(shuō)。

編輯丨陳炳欣

美編丨馬利亞