大模型端側(cè)部署激戰(zhàn)！GPGPU創(chuàng)企亮出AI加速卡，小體積跑70億參數(shù)大模型

作者 |??程茜，編輯?|??漠影

“六邊形戰(zhàn)士”處理器為支撐，兼顧體積與性能優(yōu)勢(shì)，加速大模型端側(cè)部署。

大模型端側(cè)部署正加速！AI PC等新物種熱度暴增，企業(yè)對(duì)于AI加速卡的關(guān)注度也水漲船高。但是AI PC等端側(cè)設(shè)備中的AI加速卡如何做到可用、好用是一大難題，其需要兼顧體積小、性能強(qiáng)、功耗低才能使得端側(cè)設(shè)備承載大模型能力成為現(xiàn)實(shí)。

近日，清華系AI芯片創(chuàng)企芯動(dòng)力科技面向大模型推出了一款新產(chǎn)品——AzureBlade L系列M.2加速卡。M.2加速卡是目前國(guó)內(nèi)最強(qiáng)的高性能體積小的加速卡，其強(qiáng)大的性能使其能夠順利運(yùn)行大模型系統(tǒng)。M.2加速卡的大小僅為80mm（長(zhǎng)）x22mm（寬），并已經(jīng)實(shí)現(xiàn)與Llama 2、Stable Diffusion模型的適配。

具備體積小、性能強(qiáng)，且有通用接口的M.2加速卡成為助推大模型在PC等端側(cè)設(shè)備上部署的加速器。從這一加速卡出發(fā)，芯東西與芯動(dòng)力創(chuàng)始人、CEO李原進(jìn)行了深入交流，探討了大模型產(chǎn)業(yè)發(fā)展至今產(chǎn)生的顯著變化，以及大模型在端側(cè)部署過程中，芯動(dòng)力科技在其中扮演的角色以及手持的殺手锏是什么。

體積小、性能強(qiáng)、功耗低端側(cè)跑大模型三大關(guān)鍵

AI PC已經(jīng)成為大模型落地端側(cè)設(shè)備的一個(gè)重要載體。從去年年底至今，AI PC的熱潮正在涌起。前有英特爾啟動(dòng)AI PC加速計(jì)劃、高通推出專為AI研發(fā)的PC芯片驍龍X Rlite、上周英偉達(dá)發(fā)布全新一代RTX 500和1000顯卡，支持筆記本電腦等端側(cè)設(shè)備上運(yùn)行生成式AI應(yīng)用……

根據(jù)市研機(jī)構(gòu)IDC發(fā)布的最新報(bào)告，預(yù)估AI PC出貨量2024年逼近5000萬臺(tái)，到2027年將增長(zhǎng)到1.67億臺(tái)，占全球PC總出貨量的60%左右。

AI PC這一新物種正在加速大模型的規(guī)?；涞亍Ｅc此同時(shí)，擁有龐大參數(shù)規(guī)模的大模型也對(duì)端側(cè)設(shè)備可承載的算力提出了更高的需求。在端側(cè)往往只有一個(gè)獨(dú)立設(shè)備。以PC為例，作為人們?nèi)粘Ｉ睢⒐ぷ鞯某Ｓ迷O(shè)備，其體積并不大且足夠輕便，因此需要AI加速卡足夠小且不會(huì)因體積犧牲性能上的優(yōu)勢(shì)。以M.2加速卡的形式進(jìn)入AI PC的市場(chǎng)就是很有優(yōu)勢(shì)的產(chǎn)品形態(tài)。

可以看到，當(dāng)下大模型的發(fā)展路線不再唯參數(shù)論，越來越多參數(shù)規(guī)模小性能強(qiáng)大的模型出現(xiàn)，如開源的Llama 2模型系列參數(shù)在70億到700億不等，為大模型在端側(cè)的落地提供了機(jī)會(huì)。即便如此，大模型想要成功部署在端側(cè)對(duì)于芯片玩家而言仍然具有挑戰(zhàn)，需要其突破端側(cè)設(shè)備有限的計(jì)算和存儲(chǔ)能力，因此芯片玩家亟需找到芯片體積小與性能強(qiáng)大的平衡點(diǎn)。

李原談道，端側(cè)設(shè)備還有一大特點(diǎn)是，GPU是其最主要的元件。這背后的風(fēng)險(xiǎn)在于，企業(yè)全部圍繞GPU來做設(shè)備，就會(huì)造成一旦產(chǎn)品的開發(fā)周期變長(zhǎng)，其未來的開發(fā)路線會(huì)受到一定限制。由于邊緣設(shè)備上接口的可選擇性不多，很多設(shè)備需要針對(duì)不同的芯片進(jìn)行接口定制，企業(yè)就需要承擔(dān)接口受限的風(fēng)險(xiǎn)。這些新的變化及需求為這家GPGPU創(chuàng)企帶來了新的機(jī)遇。

已適配Llama 2創(chuàng)新封裝技術(shù)兼顧體積與性能優(yōu)勢(shì)

芯動(dòng)力科技的AzureBlade L系列M.2加速卡，就是面對(duì)這一市場(chǎng)變化的最佳解決方案之一。M.2加速卡搭載了4個(gè)DDR內(nèi)存，總?cè)萘窟_(dá)到16GB，除了支持傳統(tǒng)的視覺網(wǎng)絡(luò)，如YOLO等，現(xiàn)在更已經(jīng)實(shí)現(xiàn)了與Llama 2、Stable Diffusion等模型的適配。李原解釋道，M.2加速卡目前可以支持70億、130億參數(shù)規(guī)模的Llama 2模型，以及最多可以支持300億。

目前，70億參數(shù)規(guī)模的Llama 2在M.2加速卡上的計(jì)算速度可達(dá)到十幾tokens每秒。正與當(dāng)下端側(cè)的玩家承接大模型能力的核心痛點(diǎn)相對(duì)應(yīng)，M.2加速卡的優(yōu)勢(shì)正是體積小、性能強(qiáng)，功耗低。李原談道，一般的GPU,NPU如果要處理大模型，因?yàn)樗懔σ蟾?、功耗大，芯片面積也會(huì)比較大，很難集成在端側(cè)設(shè)備狹小的空間內(nèi)。M.2加速卡的大小僅為80mmx22mm，剛好能做到這一點(diǎn)。達(dá)到這一優(yōu)勢(shì)的關(guān)鍵在于，芯動(dòng)力科技為M.2加速卡集成了一顆芯片——AE7100，這顆芯片以17mmx17mm的面積實(shí)現(xiàn)了32 TOPs的算力與60GB/s的內(nèi)存帶寬。

為了打造這顆足夠薄且小的芯片，芯動(dòng)力科技研發(fā)了一種創(chuàng)新的封裝方案。他們一開始就在這個(gè)方向布局，去掉了芯片中的ABF材料，在無基板的情況下制造完成了芯片，還能滿足其散熱需求。“這也是我們第一次嘗試這一封裝工藝，并打造出了這顆業(yè)界最小、最薄的GPU?！崩钤f。

M.2加速卡兼顧了體積與性能優(yōu)勢(shì)。由于端側(cè)設(shè)備的接口有限，芯動(dòng)力科技為M.2加速卡選擇了更為普及的閃存硬盤接口，這種接口已經(jīng)普遍存在于PC等設(shè)備中，因此更容易被企業(yè)所接受，無需針對(duì)芯片進(jìn)行接口定制就能快速實(shí)現(xiàn)相應(yīng)的功能。目前已經(jīng)有諸多客戶注意到了M.2加速卡，芯動(dòng)力科技M.2加速卡的通用接口可以幫助企業(yè)規(guī)避定制風(fēng)險(xiǎn)，同時(shí)為其適配市面上的不同產(chǎn)品擴(kuò)大可選擇性。

與此同時(shí)，這一加速卡采用完全可編程設(shè)計(jì)，兼容CUDA+ONNX，可以廣泛應(yīng)用于AI PC、機(jī)器視覺、泛安防、內(nèi)容過濾等領(lǐng)域。

“六邊形戰(zhàn)士”處理器為支撐M.2加速卡已出貨

在當(dāng)下大模型逐漸邁向端側(cè)設(shè)備、AI PC等新物種的熱潮初現(xiàn)，支撐芯動(dòng)力科技能夠迅速推出創(chuàng)新的M.2加速卡，其關(guān)鍵基石在于——可重構(gòu)并行處理器架構(gòu)（RPP）。這正是M.2加速卡的核心AE7100背后的殺手锏。RPP架構(gòu)是針對(duì)并行計(jì)算設(shè)計(jì)的芯片架構(gòu)，芯動(dòng)力將其稱作“六邊形戰(zhàn)士”。

這一架構(gòu)既結(jié)合了NPU的高效率與GPU的高通用性優(yōu)勢(shì)，更具備DSP的低延時(shí)，可滿足高效并行計(jì)算及AI計(jì)算應(yīng)用，如圖像計(jì)算、視覺計(jì)算、信號(hào)處理計(jì)算等，大大提高了系統(tǒng)的實(shí)時(shí)性和響應(yīng)速度。

芯動(dòng)力同樣制程下的GPGPU芯片，與英偉達(dá)相比，在一些場(chǎng)景下性能提高達(dá)50%，且Core的面積為類似芯片的1/7，功耗僅為其1/2-1/3。對(duì)這一架構(gòu)的探索正是他們成立公司的最根本原因。

芯片行業(yè)的發(fā)展周期很長(zhǎng)，因此芯動(dòng)力科技需要在保證芯片性能的同時(shí)，能適應(yīng)5、6年之后市場(chǎng)的變化，這樣才能在AI PC這樣的機(jī)會(huì)出現(xiàn)時(shí)，迅速抓住機(jī)遇，打造出具有顯著優(yōu)勢(shì)的產(chǎn)品。

對(duì)RPP架構(gòu)的探索可以追溯到英偉達(dá)提出GPGPU新概念前后。彼時(shí)，芯動(dòng)力創(chuàng)始團(tuán)隊(duì)就開始探索如何在發(fā)揮GPU并行計(jì)算能力和通用性優(yōu)勢(shì)的同時(shí)，通過引入其他類架構(gòu)的長(zhǎng)處，研發(fā)出能更好平衡性能、功耗、成本、延遲、部署速度的硬件。因此，在2011年到2016年間，他們探索出獨(dú)創(chuàng)的將NPU的高效率與GPU的高通用性相結(jié)合的創(chuàng)新架構(gòu)，RPP架構(gòu)應(yīng)運(yùn)而生。

芯動(dòng)力科技將產(chǎn)品的開發(fā)周期定義為兩個(gè)階段，芯動(dòng)力科技做的就是芯片的研制、基礎(chǔ)軟件研發(fā)，這樣一來，針對(duì)企業(yè)的需求在這塊基本成型的芯片上進(jìn)行研發(fā)，只需要兩三個(gè)月，就能達(dá)到產(chǎn)品性能，大大縮短芯片應(yīng)用的時(shí)間周期。這背后的考量就是芯片的市場(chǎng)推廣。他補(bǔ)充說，目前AI發(fā)展處于早期，其落地的產(chǎn)品量相比于其他傳統(tǒng)行業(yè)的設(shè)備而言并不算多，因此其產(chǎn)品定義仍然在快速變化中。以RPP架構(gòu)為核心的產(chǎn)品出現(xiàn)，能前瞻性地瞄準(zhǔn)通用性需求，滿足芯片在更廣泛場(chǎng)景下的應(yīng)用，這就相當(dāng)于他們面對(duì)最后的產(chǎn)品已經(jīng)走了70%的路。面向當(dāng)下的市場(chǎng)變化，M.2加速卡已經(jīng)快速向客戶實(shí)現(xiàn)出貨。

目前M.2加速卡面向的客戶主要為AI PC、工業(yè)視覺以及AI服務(wù)器廠商。目前，M.2加速卡已經(jīng)向基因檢測(cè)、AI服務(wù)器客戶出貨，AI PC廠商仍在進(jìn)行產(chǎn)品的調(diào)校?？梢源_定的是，芯動(dòng)力科技的這一創(chuàng)新產(chǎn)品正讓大模型在端側(cè)迸發(fā)出無限的想象力。

結(jié)語：大模型走向端側(cè)GPGPU創(chuàng)企狂飆

大模型熱潮為國(guó)內(nèi)GPGPU公司帶來諸多機(jī)遇，大模型在應(yīng)用端的計(jì)算需求對(duì)于國(guó)內(nèi)創(chuàng)企而言是一個(gè)巨大的機(jī)會(huì)。

對(duì)于芯動(dòng)力科技而言，其創(chuàng)辦之初就開始前瞻性地打造更加通用的產(chǎn)品，以RPP架構(gòu)為核心打造產(chǎn)品適配企業(yè)客戶更通用的需求，能更靈活應(yīng)對(duì)復(fù)雜多變的市場(chǎng)趨勢(shì)。

隨著M.2加速卡規(guī)模出貨、AI PC這一新物種的大規(guī)模量產(chǎn)，大模型在端側(cè)將會(huì)的發(fā)展將會(huì)加速。芯動(dòng)力科技也在大模型帶來的產(chǎn)業(yè)變革下，熱切尋找市場(chǎng)機(jī)遇。可以看出，當(dāng)下想要抓住產(chǎn)業(yè)機(jī)遇，核心的技術(shù)積累與前瞻性的技術(shù)布局更為關(guān)鍵。