加入星計劃,您可以享受以下權(quán)益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴散
  • 作品版權(quán)保護
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長期合作伙伴
立即加入
  • 正文
    • AI算力演進驅(qū)動HBM需求爆發(fā)
    • 解決內(nèi)存瓶頸,HBM的優(yōu)勢與挑戰(zhàn)?
    • 價格上漲與需求激增,三巨頭壟斷HBM市場
    • 先進封裝的決勝時刻,HBM與chiplet技術(shù)融合
    • 總結(jié):HBM比臺積電更重要?
  • 推薦器件
  • 相關(guān)推薦
  • 電子產(chǎn)業(yè)圖譜
申請入駐 產(chǎn)業(yè)圖譜

HBM比臺積電更重要?

2023/11/28
5867
閱讀需 19 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論
NVDAH200的發(fā)布揭示了算力下一步提升路徑,H200證明HBM比臺積電更重要

AI算力演進驅(qū)動HBM需求爆發(fā)

電腦屏幕的照片上有字 中度可信度描述已自動生成

海力士 HBM3 芯片, 數(shù)據(jù)來源:海力士官網(wǎng),財通證券研究所

自2023年初以來,生成式人工智能AI)模型因其不斷的應用和商業(yè)化而受到極大關(guān)注。這些模型的發(fā)展推動了對人工智能基礎(chǔ)設(shè)施的需求,尤其是在算力和通信領(lǐng)域。生成式AI模型,如大型語言模型GPT,需要大量高性能硬件(如GPU和TPU)、龐大的高質(zhì)量數(shù)據(jù)集以及先進的軟件算法。這些模型含有數(shù)十億參數(shù),需要比傳統(tǒng)SOC更大的存儲空間和內(nèi)存訪問能力。隨著GPT等模型算力需求的增長,對芯片的速度和容量提出了更高的要求。在這個背景下,Chiplet技術(shù)在算力芯片領(lǐng)域的應用顯得尤為重要,它不僅降低了大面積芯片的成本和提高了良率,還便于引入高速HBM存儲,從而允許更多計算核心的集成。

作為全球知名的AI計算領(lǐng)導者,NVIDIA占據(jù)了全球約80%的算力芯片市場。2022年發(fā)布的H100 GPU芯片,結(jié)合了Chiplet技術(shù)和臺積電4nm工藝,通過將HBM3顯存子系統(tǒng)集成到芯片中,實現(xiàn)了超高的顯存帶寬和性能。NVIDIA最近推出的AI超級計算機DGX GH200結(jié)合了Arm架構(gòu)的Grace CPU和Hopper架構(gòu)的GPU,具備強大的存儲和通信能力,特別適合于生成式AI模型的訓練。

除了NVIDIA,AMD最新發(fā)布的MI300X GPU是公司迄今為止最先進的AI圖形處理器,明確挑戰(zhàn)NVIDIA的H100 GPU。這款基于Chiplet設(shè)計的加速器擁有多個基于3D堆疊的5nm和6nm小芯片,周圍封裝了大容量HBM3顯存,擁有1530億個晶體管,顯存性能和容量均超過了NVIDIA的H100,非常適合于AI運算和適配大型語言模型。

隨著GPU等AI芯片的發(fā)展,帶寬需求不斷增加,傳統(tǒng)的GDDR5技術(shù)已無法滿足高性能計算場景的需求。HBM通過重新調(diào)整內(nèi)存的功耗效率,使每瓦帶寬比GDDR5高出3倍以上,大大降低了功耗。這些AI芯片的興起不僅促進了HBM等高傳輸能力存儲技術(shù)的發(fā)展,而且成為存儲巨頭應對市場下行行情的重要增長點。

表格 描述已自動生成

英偉達、AMD 目前主流 AI 訓練芯片都采用 HBM 以增加帶寬,來源:AMD、英偉達網(wǎng)站,國金證券研究所

解決內(nèi)存瓶頸,HBM的優(yōu)勢與挑戰(zhàn)?

圖示 描述已自動生成

DRAM 分類結(jié)構(gòu)圖,資料來源:互聯(lián)網(wǎng)公開信息整理,中原證券

HBM(High Bandwidth Memory)是一種高性能的3D DRAM技術(shù),專門設(shè)計用于解決傳統(tǒng)內(nèi)存技術(shù)在帶寬和容量方面的局限性。這種高帶寬存儲器通過使用TSV(Through-Silicon Vias)技術(shù),將多個DRAM芯片垂直堆疊在一起,并與GPU或CPU緊密封裝,從而實現(xiàn)了顯著的性能提升。

圖形用戶界面 描述已自動生成

HBM 通過中介層(Interposer)與 GPU 連接, 資料來源:TrendForce,華安證券研究所

相對于其他類型的DRAM,HBM的主要優(yōu)勢在于其短外部導線長度,這意味著數(shù)據(jù)傳輸速度更快,能耗更低,因此被認為是最理想化的3D DRAM形式之一。這種設(shè)計使HBM能夠突破傳統(tǒng)內(nèi)存技術(shù)的限制,尤其是在內(nèi)存容量和帶寬方面,從而克服了被稱為“內(nèi)存墻”的性能瓶頸。

HBM技術(shù)在提供大容量和高帶寬方面具有顯著優(yōu)勢。例如,最新的HBM3可以達到819GB/s的高帶寬,這遠遠超過了傳統(tǒng)的DDR4和GDDR6內(nèi)存技術(shù)。這種顯著的性能提升對于AI計算、區(qū)塊鏈和數(shù)字貨幣挖礦等需要處理大量數(shù)據(jù)的應用場景至關(guān)重要。

除了高性能計算領(lǐng)域外,HBM還被廣泛應用于其他硬件,如汽車存儲器、GPU顯存芯片、部分CPU內(nèi)存芯片、邊緣AI加速卡和Chiplets等。例如,在NVIDIA的A100加速卡和富岳超級計算機的A64FX芯片中均應用了HBM技術(shù)。隨著異構(gòu)計算和小芯片技術(shù)的發(fā)展,對高帶寬內(nèi)存的需求也在增長。

AI處理器架構(gòu)方面的IO問題也是HBM技術(shù)發(fā)展的重要推動因素。隨著AI模型變得更加復雜,算力需求增加,內(nèi)存帶寬成為了一個關(guān)鍵瓶頸。HBM通過晶片堆疊技術(shù)和硅聯(lián)通層將處理器和存儲器連接起來,提高了集成度和效率,降低了功耗,從而在一定程度上解決了IO瓶頸問題。

HBM的核心技術(shù)挑戰(zhàn)在于TSV技術(shù)的應用,它通過在硅芯片內(nèi)部形成通孔并將多個芯片垂直堆疊來實現(xiàn)。這種方法不僅減小了封裝面積,而且允許在相同厚度下堆疊更多的芯片。隨著對更高容量存儲器的需求增加,未來可能需要12層甚至更多層的芯片堆疊技術(shù)。為了實現(xiàn)這一目標,需要減小芯片的厚度、縮小凸塊電極的尺寸,并采用混合鍵合技術(shù),去除芯片間的填充物,實現(xiàn)直接銅電極連接。

由于 HBM 較傳統(tǒng) GDDR 與 DRAM 具備更高的帶寬,在數(shù)據(jù)流量不斷提升的當下,除了當前的AI 芯片的相關(guān)應用以外,未來有望在其他各類邏輯芯片、通信行業(yè)交換機路由器等都產(chǎn)生較廣闊的應用,成為存儲行業(yè)未來新的增長點。

價格上漲與需求激增,三巨頭壟斷HBM市場

表格 描述已自動生成

2022-2026E HBM 市場規(guī)模預測情況,資料來源:TrendForce,中銀證券測算

HBM的平均售價是DRAM的三倍以上,受到產(chǎn)能限制和生成式AI等應用的推動,價格一直上漲。根據(jù)TrendForce數(shù)據(jù),高端AI服務器GPU已普遍采用HBM,預計2023年全球HBM需求量將年增近六成,達到2.9億GB,2024年將再增長三成。預測從2023到2027年,HBM市場的復合年均增長率達到82%。根據(jù)DRAMexchange的數(shù)據(jù),2022年7月31日8Gb DDR4合約價格為2.88美元,2023年同日價格為1.34美元。假設(shè)HBM價格為DDR4的5倍,2023年全球AI服務器存儲市場規(guī)模預計為76億美元,預計2026年能達到492.4億美元,2023-2026年CAGR為86.4%。

圖表, 條形圖 描述已自動生成

HBM 市占率預測,資料來源:TrendForce,中銀證券

目前HBM市場主要由SK海力士、三星和美光所壟斷。2022年,SK海力士占據(jù)了市場的50%,三星約40%,美光約10%。SK海力士和三星的市占率預計在2023-2024年間將會持平,達到約95%的總市場份額。美光則專注于開發(fā)HBM3e產(chǎn)品,但可能略有下滑。

日程表 描述已自動生成

HBM2014-2022 年發(fā)展歷程,資料來源:SK 海力士官網(wǎng),三星官網(wǎng),美光官網(wǎng),中銀證券整理

SK海力士于2013年率先推出HBM1,2017年推出HBM2,2018年JEDEC推出HBM2E規(guī)范。2021年10月, SK海力士首創(chuàng)于并于2022年6月量產(chǎn)HBM3,三星也將于2023年末至2024年初量產(chǎn)。SK海力士被認為是目前唯一可以實現(xiàn)HBM3量產(chǎn)的廠商。他們最新開發(fā)的HBM3E數(shù)據(jù)傳輸速率提升了25%。三星和美光也積極布局HBM新產(chǎn)品,加速推動12層HBM內(nèi)存的生產(chǎn)。美光的HBM3 Gen 2計劃于2024年初量產(chǎn),并在2022年宣布推出業(yè)界首款8層24GB HBM3 Gen2內(nèi)存芯片。

圖表, 瀑布圖 描述已自動生成

2024 年 HBM3 比重有望超越 HBM2e, 數(shù)據(jù)來源:TrendForce、開源證券研究所

根據(jù)TrendForce的數(shù)據(jù),2023年主流需求從HBM2E轉(zhuǎn)向HBM3,HBM3需求占比提升至39%,預計2024年市場需求占比將達60%。三星與SK海力士的HBM訂單在2023年快速增加,HBM3規(guī)格DRAM價格上漲了5倍。三星電子和SK海力士計劃明年大幅增加高端HBM芯片的產(chǎn)量,SK海力士還將在其清州工廠增加新的HBM生產(chǎn)線。

文本, 表格 中度可信度描述已自動生成

三大存儲廠商 HBM 產(chǎn)品規(guī)劃情況, 數(shù)據(jù)來源:公司官網(wǎng),東吳證券研究所

先進封裝的決勝時刻,HBM與chiplet技術(shù)融合

作為一種先進的存儲器技術(shù),HBM通過硅中介層與系統(tǒng)芯片(SoC)集成在一起。HBM技術(shù)的核心之一是TSV(硅通孔)技術(shù),它允許多個芯片(通常是4-8層)通過硅穿孔電極垂直堆疊,實現(xiàn)芯片間的連接。隨著市場對高容量存儲器產(chǎn)品需求的增加,預計未來可能需要采用更多層次的多芯片堆疊技術(shù),例如12-16層甚至更高的堆疊技術(shù)。這種堆疊技術(shù)可以進一步提高存儲器的容量和性能,滿足市場不斷增長的需求。

表格 描述已自動生成

應用于主流 GPU 的 HBM 內(nèi)存技術(shù)持續(xù)升級,資料來源:英偉達官網(wǎng),AMD 官網(wǎng),中銀證券整理

SK海力士是在HBM技術(shù)應用方面的先驅(qū)之一。2021年,海力士成功開發(fā)出全球首款12層堆疊HBM3 24GB產(chǎn)品,并在2022年實現(xiàn)量產(chǎn)。該產(chǎn)品采用了混合鍵合(HB)技術(shù),去除了芯片間的填充物,使其直接連接到銅電極上,實現(xiàn)了更高的堆疊層數(shù)。海力士還在與包括Nvidia在內(nèi)的多家無晶圓廠公司討論HBM4的集成設(shè)計方法,預計將在臺積電生產(chǎn),使用晶圓鍵合技術(shù)將HBM4器件安裝在邏輯芯片上。長江存儲也采用了混合鍵合HB技術(shù)。他們創(chuàng)新地在兩片晶圓上分別制造存儲陣列和外圍控制電路,然后通過HB技術(shù)將兩片晶圓鍵合在一起,這一關(guān)鍵技術(shù)的應用使得3D NAND閃存的生產(chǎn)成為可能。

目前,HBM技術(shù)與chiplet技術(shù)的發(fā)展路徑正逐漸擬合。SK 海力士正在與包括 Nvidia 在內(nèi)的多家無晶圓廠公司討論其 HBM4 集成設(shè)計方法。SK 海力士和 Nvidia 很可能會從一開始就共同設(shè)計該芯片,并在臺積電生產(chǎn),臺積電還將使用晶圓鍵合技術(shù)將 SK 海力士的 HBM4 器件安裝在邏輯芯片上。為了使存儲器和邏輯半導體在同一芯片上作為一個整體工作,聯(lián)合設(shè)計是不可避免的。

海力士提出的HBM4結(jié)構(gòu)將I/O直接構(gòu)建為die-to-die的接口,這正是chiplet的核心工藝。Die-to-die技術(shù)特別適合于存儲和邏輯電路的連接,目前可見的chiplet方案通常是SRAM和CPU的堆疊或是大芯片方案的分區(qū)應用。如果海力士能成功地將大容量堆疊應用到GPU上,這將是一個領(lǐng)先的嘗試,并可能成為chiplet技術(shù)發(fā)展的關(guān)鍵推動者。

日月光推出的VIPack?先進封裝平臺旨在提供高密度水平和垂直互連解決方案,適用于高效能運算、AI、機器學習等應用。此外,他們的FOCoS-Bridge平臺作為六大核心封裝技術(shù)支柱之一,能夠?qū)崿F(xiàn)高密度芯片對芯片連接、高I/O數(shù)量和高速信號傳輸。這些技術(shù)已在大型高效能封裝體中通過橋接連接整合多個ASIC和HBM元件,并且支持多種串列和平行接口標準,如XSR、BOW、OpenHBI、AIB和UCIe,實現(xiàn)晶片對晶片的高頻寬、低延遲互連。這些進展預示著日月光及其他先進封裝技術(shù)領(lǐng)導者將在市場上扮演越來越重要的角色,特別是在滿足全球AI高算力芯片應用需求方面。

表格 描述已自動生成

全球部分先進封裝解決方案(2D/2.5D/3D),來源:CEIA 電子智造,李楊《先進封裝與異構(gòu)集成》,信達證券研發(fā)中心

在先進封裝技術(shù)的決勝時刻,產(chǎn)業(yè)鏈的變化已經(jīng)非常明顯。例如,日月光最近在與Nvidia和TSMC討論CoWoS產(chǎn)能外移的問題,目標是增加同樣面積下的晶體管密度和數(shù)據(jù)傳輸量。這種合作可能使得日月光能夠避免后續(xù)成熟封裝工藝的重復建設(shè),同時幫助Nvidia解決CoWoS產(chǎn)能不足的問題,促進先進封裝技術(shù)的發(fā)展。

隨著HBM4的設(shè)計成熟,Chiplet技術(shù)的發(fā)展將更加順暢。Chiplet本質(zhì)是類似于SoC的復用IP模式,存儲廠和TSMC能找到共同點,例如,合作以免相互競爭。AMD的2.5D或3D主要堆疊SRAM,但現(xiàn)在海力士攜帶最好的DRAM和HBM與TSMC的最佳5nm工藝合作,預示著Chiplet技術(shù)的重大進步。如果HBM+Chiplet應用普及,對球鋁的需求可能會達到1000噸。封裝前道的散熱主要依賴材料和die堆疊,die越大、層數(shù)越多、體積越大,則材料使用量越多。HBM4方案可能會導致對球硅和球鋁的大量需求。

總結(jié):HBM比臺積電更重要?

在AI時代,HBM已成為一項關(guān)鍵技術(shù),它的出現(xiàn)和發(fā)展對傳統(tǒng)存儲技術(shù)構(gòu)成了重大挑戰(zhàn),同時為未來人工智能和深度學習應用的發(fā)展提供了強大的基礎(chǔ)支持。隨著數(shù)據(jù)量和計算量的不斷增長,超越現(xiàn)有DDR/GDDR帶寬瓶頸的HBM可能成為解決存儲問題的唯一方案。

11月14日,英偉達發(fā)布的NVDA H200顯卡進一步加強了這種趨勢。得益于HBM3e的搭載,H200顯卡擁有141GB的內(nèi)存和4.8TB/秒的帶寬。在GPU架構(gòu)無需調(diào)整的情況下,其推理速度達到了前代產(chǎn)品H100的兩倍。HBM3E是一種基于3D堆疊工藝的DRAM存儲芯片,AI服務器對其需求強烈。在摩爾定律放緩、GPU核心利用率不足的背景下,對高帶寬存儲的需求反而成為了性能提升的瓶頸,HBM因此成為破局的關(guān)鍵。當前H200搭載的HBM3e為海力士新一代產(chǎn)品,明年三星和美光也有望同步量產(chǎn),標志著新一輪行業(yè)趨勢的到來。

HBM的使用采用了Chiplet技術(shù),其中關(guān)鍵的材料包括TSV(穿透硅孔)和LMC(液態(tài)塑封料)。隨著HBM堆疊層數(shù)的增加,液態(tài)塑封料(LMC)、顆粒狀塑封料(GMC)、TSV電鍍液等材料的需求也隨之增長。同時,為了提高HBM的IO密度,需要增加每層芯片的TSV通孔數(shù)量,這也對電鍍液等材料提出了更高的要求。

筆者認為,從經(jīng)濟角度來看,HBM技術(shù)的發(fā)展和應用對于相關(guān)企業(yè)來說,意味著賣價的提升和利潤的增加。盡管生產(chǎn)成本變化不大,但賣價的提高使得利潤回到正值。海力士和三星等大型原廠正在對HBM的產(chǎn)能進行調(diào)整,以匹配當前AI領(lǐng)域的需求。這種產(chǎn)能調(diào)配也帶來了較高的毛利。由于各家企業(yè)現(xiàn)在都在減少普通產(chǎn)品的產(chǎn)能,轉(zhuǎn)而增加HBM等高性能產(chǎn)品的生產(chǎn),這導致供應量的減少,進而推動了產(chǎn)品價格的上升。因此,HBM技術(shù)不僅在技術(shù)層面上對AI和深度學習的發(fā)展起到了推動作用,也在經(jīng)濟層面為相關(guān)企業(yè)帶來了顯著的利益增長。

最后,NVDAH200的發(fā)布揭示了算力下一步提升路徑。某位存儲廠商高管對筆者表示,“H200證明HBM比臺積電更重要”。英偉達證明了就算不添加更多CUDA核或超頻,只增加更多的HBM和更快的IO,即便保持現(xiàn)有Hopper架構(gòu)不便,依然可以實現(xiàn)相當于架構(gòu)代際升級的性能提升。

推薦器件

更多器件
器件型號 數(shù)量 器件廠商 器件描述 數(shù)據(jù)手冊 ECAD模型 風險等級 參考價格 更多信息
STM32H743VIT6TR 1 STMicroelectronics High-performance and DSP with DP-FPU, Arm Cortex-M7 MCU with 2MBytes of Flash memory, 1MB RAM, 480 MHz CPU, Art Accelerator, L1 cache, external memory interface, large set of peripherals

ECAD模型

下載ECAD模型
暫無數(shù)據(jù) 查看
STM32F405RGT6W 1 STMicroelectronics High-performance foundation line, Arm Cortex-M4 core with DSP and FPU, 1 Mbyte of Flash memory, 168 MHz CPU, ART Accelerator

ECAD模型

下載ECAD模型
$14.1 查看
STM32H743XIH6TR 1 STMicroelectronics High-performance and DSP with DP-FPU, Arm Cortex-M7 MCU with 2MBytes of Flash memory, 1MB RAM, 480 MHz CPU, Art Accelerator, L1 cache, external memory interface, large set of peripherals

ECAD模型

下載ECAD模型
暫無數(shù)據(jù) 查看
SK海力士

SK海力士

SK海力士將通過全球科技領(lǐng)域的領(lǐng)導地位為客戶、合作伙伴、投資者、社區(qū)、成員等利益相關(guān)者創(chuàng)造更大價值。SK海力士將致力于與全球合作伙伴推進突破現(xiàn)有格局的超級合作,成為引領(lǐng)全球ICT生態(tài)的解決方案提供商。SK海力士將擺脫只聚焦經(jīng)濟利益的傳統(tǒng)經(jīng)營模式,加強“ESG經(jīng)營”積極探索社會價值和健全的企業(yè)治理結(jié)構(gòu),以創(chuàng)造更大價值。SK海力士將致力于成為全球科技的領(lǐng)先企業(yè),為人類與社會的發(fā)展做出貢獻。

SK海力士將通過全球科技領(lǐng)域的領(lǐng)導地位為客戶、合作伙伴、投資者、社區(qū)、成員等利益相關(guān)者創(chuàng)造更大價值。SK海力士將致力于與全球合作伙伴推進突破現(xiàn)有格局的超級合作,成為引領(lǐng)全球ICT生態(tài)的解決方案提供商。SK海力士將擺脫只聚焦經(jīng)濟利益的傳統(tǒng)經(jīng)營模式,加強“ESG經(jīng)營”積極探索社會價值和健全的企業(yè)治理結(jié)構(gòu),以創(chuàng)造更大價值。SK海力士將致力于成為全球科技的領(lǐng)先企業(yè),為人類與社會的發(fā)展做出貢獻。收起

查看更多

相關(guān)推薦

電子產(chǎn)業(yè)圖譜