加入星計劃,您可以享受以下權(quán)益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴散
  • 作品版權(quán)保護
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長期合作伙伴
立即加入
  • 正文
    • AI芯片的破“墻”運動
    • 以數(shù)據(jù)為核心的AI芯片路線
    • 存算一體,方興未艾
    • 誰將勝出?
    • 寫在最后
  • 推薦器件
  • 相關(guān)推薦
  • 電子產(chǎn)業(yè)圖譜
申請入駐 產(chǎn)業(yè)圖譜

國產(chǎn)存算一體AI芯片發(fā)展正當時

2022/10/21
6260
閱讀需 10 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論

架構(gòu)就像是芯片的基因,它直接決定了芯片的提升空間。這也是后摩爾定律時代,“新物種”芯片崛起的根本原因。

大量的數(shù)據(jù)、有效的算法以及足夠的算力結(jié)合,推動了人工智能的高速發(fā)展。但我們也不得不看清一個嚴峻的現(xiàn)實:數(shù)據(jù)量越來越大,數(shù)據(jù)類型越來越多;各種算法日新月異,高速發(fā)展;與此同時,算力的提升卻顯得趕不上趟,甚至落后于數(shù)據(jù)和算法的需求,特別是在計算場景對高帶寬、低功耗需求持續(xù)走高的趨勢下。此外,加之芯片工藝趨近極限,可大規(guī)模商用的新型材料暫時還沒實現(xiàn),在芯片架構(gòu)上的探索成為提高芯片性能最重要的手段之一。

AI芯片的破“墻”運動

在傳統(tǒng)的馮·諾依曼架構(gòu)中,由于計算與存儲分離,計算過程中需要不斷通過總線交換數(shù)據(jù),將數(shù)據(jù)從內(nèi)存讀進CPU,計算完成后再寫回存儲。而隨著深度學習的發(fā)展和應用,計算單元和存儲單元之間的數(shù)據(jù)移動尤為頻繁,數(shù)據(jù)搬運慢、搬運能耗大等問題成為了算力效能進一步提升的關(guān)鍵瓶頸。從處理單元外的存儲器提取數(shù)據(jù),搬運時間往往是運算時間的成百上千倍,公開數(shù)據(jù)顯示,整個過程的無用能耗約在60%-90%之間。

特別是大算力場景下,存算分離帶來的計算帶寬問題成為主要瓶頸。以智能駕駛等邊緣端高并發(fā)計算場景來看,它們除了對算力需求高之外,對芯片的功耗和散熱也有很高的要求。而常規(guī)架構(gòu)的芯片設(shè)計中,內(nèi)存系統(tǒng)的性能提升速度已經(jīng)大幅落后于處理器的性能提升速度,有限的內(nèi)存帶寬無法保證數(shù)據(jù)高速傳輸,無法滿足高級別的計算需求。

行業(yè)面臨的挑戰(zhàn)很突出,一邊是需要逾越的“算力高墻”,一邊則是固守多年的“存儲墻”。而只有創(chuàng)新架構(gòu),打破存儲墻、降低成本、提升計算效率,才能讓芯片算力更進一步,推進數(shù)據(jù)計算應用的發(fā)展。

在這一趨勢下,將內(nèi)存和計算更緊密地結(jié)合在一起的存算一體方案,正獲得越來越多的關(guān)注,并逐步由研究走入商用場景中。

以數(shù)據(jù)為核心的AI芯片路線

對于大算力的AI芯片來說,架構(gòu)設(shè)計已經(jīng)越來越明顯地轉(zhuǎn)向了“數(shù)據(jù)為核心”的思路,不過對于不同技術(shù)路線的企業(yè)來說,有不同的實現(xiàn)方式。

HBM是目前超大算力芯片常用的方案之一,它能夠暫時緩解“存儲墻”的困擾,但實現(xiàn)成本較高。以英偉達在AI云端市場大規(guī)模落地的GPU來看,其最先進的Hopper架構(gòu)一方面通過HBM來解決內(nèi)存墻,另一方面新增了張量存儲加速器 (TMA) 。整個Hopper架構(gòu)GPU由8個圖形處理集群(GPC)“拼接”組成,核心兩側(cè)是HBM3顯存,擁有5120 Bit的位寬。此外,TMA提高了張量核心與全局存儲和共享存儲的數(shù)據(jù)交換效率。

這一方式也需要先進的工藝和封裝技術(shù),基于Hopper的最新一代GPU H100,就采用了臺積電4nm工藝、CoWoS 2.5D封裝技術(shù),在設(shè)計能力、成本投入方面都有很高門檻。

再看三星發(fā)布的HBM2-PIM技術(shù)和近內(nèi)存計算方案AxDIMM。HBM2-PIM實際上是一塊帶有計算功能且在AI應用中能提升系統(tǒng)性能的內(nèi)存芯片,AxDIMM則實現(xiàn)了在每個DRAM芯片旁邊都集成了一塊單獨的加速器邏輯并可以同時訪問,增加了訪存帶寬。這樣的設(shè)計思路也非常符合三星的業(yè)務(wù)規(guī)劃,用以確保其存儲器在AI時代繼續(xù)保持先進性。

英特爾的神經(jīng)擬態(tài)計算芯片Loihi也采用了存算一體的架構(gòu),使之更加容易擴展。Loihi芯片的裸片包含128個小核,每個核里面模擬1024個神經(jīng)元的計算結(jié)構(gòu),每個神經(jīng)元又有1000個突觸連接,這意味著768個芯片連接起來可以構(gòu)建接近1億神經(jīng)元的系統(tǒng)。

存算一體,方興未艾

近年來,國內(nèi)企業(yè)對于存算一體芯片的投入進入高峰期。

據(jù)<與非網(wǎng)>分析,國產(chǎn)存算一體芯片主要呈現(xiàn)以下趨勢:進入2017年以來,國產(chǎn)存算一體芯片企業(yè)開始“扎堆”入場,12家企業(yè)中有10家成立于2017年之后;第二,從技術(shù)路線來看,以近存計算和存內(nèi)計算兩種路線為主,其中,又可以細分為模擬存內(nèi)計算、全數(shù)字存內(nèi)計算、類腦存內(nèi)計算、類腦近存計算等;第三,存儲器類型相對多樣化,包括閃存、SRAM、RRAM、ReRAM等;第四,國產(chǎn)存算一體芯片正在向大算力的方向邁進,以2020年成立的億鑄科技和后摩智能為代表。

國產(chǎn)存算一體芯片概況,<與非網(wǎng)>不完全整理

技術(shù)路線的選擇直接決定了產(chǎn)品的應用方向。近存計算的基本做法是將數(shù)據(jù)存儲盡量靠近計算單元,降低數(shù)據(jù)搬運的延遲和功耗,其架構(gòu)主要包括多級緩存架構(gòu)和高密度片上存儲;而存內(nèi)計算是對內(nèi)部存儲中添加計算邏輯,直接在內(nèi)部存儲執(zhí)行數(shù)據(jù)計算,這種架構(gòu)數(shù)據(jù)傳輸路徑最短,同時能滿足大模型的計算精度要求。

在存儲器的選擇方面,發(fā)展較為成熟的有NOR Flash、SRAM、DRAM等。FLASH屬于非易失性存儲介質(zhì),具有低成本、高可靠性優(yōu)勢,但工藝制程有瓶頸;SRAM在速度方面有優(yōu)勢,但容量密度小,價格高,在大陣列運算的同時保證運算精度具有挑戰(zhàn);DRAM成本低、容量大,但是速度慢,且需要電力不斷刷新。存算一體新型存儲器有PCRAM、MRAM、ReRAM等,其中ReRAM在神經(jīng)網(wǎng)絡(luò)計算中具有優(yōu)勢,是目前發(fā)展較快的新型存儲器。

此外,還有模擬存算和全數(shù)字存算的區(qū)分。究竟是數(shù)字好還是模擬好?前幾年,業(yè)界認為模擬計算在速度、能耗、工藝節(jié)點方面有優(yōu)勢;近些年,又提出模擬路線需要進行模數(shù)轉(zhuǎn)換,精度容易受信噪比影響達到上限,而數(shù)字計算具有高精度、高環(huán)境容忍度的優(yōu)點。不過,不論是模擬還是數(shù)字,都需要企業(yè)基于已有技術(shù)能力,面向應用場景、可選擇工藝等方面進行權(quán)衡選擇。

誰將勝出?

面向國際巨頭在AI算力市場、存儲技術(shù)占據(jù)領(lǐng)先地位的當下,以電路/架構(gòu)設(shè)計出身的存算一體初創(chuàng)公司,將競爭核心著眼于存算一體SoC芯片設(shè)計以及相應的IP核能力,是一種較為務(wù)實的做法。并且,差異化的技術(shù)路線演進,長遠看也有利于產(chǎn)業(yè)的良性發(fā)展。

目前看來,整個行業(yè)對存算一體芯片的研究依舊處于探索階段,在工藝成熟度、典型應用、生態(tài)系統(tǒng)等方面亟待進一步成熟,談?wù)撃姆N架構(gòu)勝出為時尚早。并且,存算一體芯片發(fā)展本身就涉及龐雜的產(chǎn)業(yè)鏈環(huán)節(jié),需要從存儲器到AI芯片再到編譯器和算法的一系列技術(shù)能力,也離不開強大的開發(fā)能力和生態(tài)建設(shè)能力。

寫在最后

多年從事芯片開發(fā)的工程師,到后來可能發(fā)現(xiàn),很多時候算力的提升并不在于計算單元本身,而是傳輸帶寬的制約。對于這一多年來就存在的瓶頸,存算一體無疑是合理的路徑,也因深度學習的興盛而達到了合適的發(fā)展節(jié)點。

目前看來,第一批實現(xiàn)量產(chǎn)落地的存算一體芯片,以小算力、端側(cè)應用居多,面向大算力數(shù)據(jù)中心、智能駕駛的芯片,根據(jù)主要玩家的市場規(guī)劃,有望在未來一兩年內(nèi)實現(xiàn)量產(chǎn)。

在人工智能本身仍在探尋應用場景的前提下,存算一體化的落地問題,仍需要緊密結(jié)合具體應用場景具體分析。存算一體芯片產(chǎn)業(yè)真正走向成熟還需要持續(xù)地積累,實現(xiàn)小算力場景持續(xù)滲透,針對高價值場景做極致優(yōu)化;大算力場景規(guī)模量產(chǎn),最終走向普遍應用。

推薦器件

更多器件
器件型號 數(shù)量 器件廠商 器件描述 數(shù)據(jù)手冊 ECAD模型 風險等級 參考價格 更多信息
BTA41-800BRG 1 STMicroelectronics 40A standard Triacs

ECAD模型

下載ECAD模型
$7.82 查看
CRH-50270 1 Okaya Electric America Inc RC Network, Isolated, 10W, 27ohm, 0.47uF, Chassis Mount, 2 Pins,
$15.55 查看
43045-0412 1 Molex Rectangular Power Connector, 4 Contact(s), Male, Solder Terminal, Plug,

ECAD模型

下載ECAD模型
$0.61 查看

相關(guān)推薦

電子產(chǎn)業(yè)圖譜

與非網(wǎng)資深行業(yè)分析師。主要關(guān)注人工智能、智能消費電子等領(lǐng)域。電子科技領(lǐng)域?qū)I(yè)媒體十余載,善于縱深洞悉行業(yè)趨勢。歡迎交流~