別的內(nèi)存都在降價，為啥HBM漲了5倍？

作者：三分淺土

存儲的寒氣從去年吹到現(xiàn)在，雖然今年開年以來不時聽到觸底反彈的聲音，但市場仍未見明顯解凍現(xiàn)象。

TrendForce數(shù)據(jù)顯示，本季度，占據(jù)存儲市場一半以上的DRAM，已經(jīng)連續(xù)三個季度下跌。DRAM三巨頭三星、SK海力士和美光在出貨量方面僅美光有上升，其余均衰退；平均銷售單價三者均下跌，并且預計三巨頭在Q2還將繼續(xù)虧損。

以DRAM 4月的指標性產(chǎn)品DDR4 8Gb為例，批發(fā)價為每個1.48美元左右，環(huán)比下跌1%；4Gb產(chǎn)品價格為每個1.1美元左右，環(huán)比下跌8%。

在DRAM的整體頹勢之中，HBM（高帶寬內(nèi)存，High?Bandwidth?Memory）卻在逆勢增長。身為DRAM的一種，與大部隊背道而馳，價格一路水漲船高。據(jù)媒體報道，2023年開年后三星、SK海力士兩家存儲大廠HBM訂單快速增加，HBM3規(guī)格DRAM價格上漲5倍。HBM3原本價格大約30美元每GB，現(xiàn)在的價格怕是更加驚人。

一邊是總體DRAM跌到成本價，一邊是“尖子生”HBM價格漲5倍。

HBM到底是什么？用在什么地方？為什么和其他DRAM差別這么大，價格水漲船高？

01、什么是HBM

HBM（High Bandwidth Memory），意為高帶寬存儲器，是一種面向需要極高吞吐量的數(shù)據(jù)密集型應用程序的DRAM，HBM的作用類似于數(shù)據(jù)的“中轉(zhuǎn)站”，就是將使用的每一幀，每一幅圖像等圖像數(shù)據(jù)保存到幀緩存區(qū)中，等待GPU調(diào)用。

正如其名，HBM與其他DRAM最大的差別就是擁有超高的帶寬。最新的HBM3的帶寬最高可以達到819 GB/s，而最新的GDDR6的帶寬最高只有96GB/s，CPU和硬件處理單元的常用外掛存儲設備DDR4的帶寬更是只有HBM的1/10。

超高的帶寬讓HBM成為了高性能GPU的核心組件。自從去年ChatGPT出現(xiàn)以來，HBM作為AI服務器的“標配”，更是開始狠刷存在感。從“鮮有問津”的高嶺之花，變成了大廠們爭相搶奪的“香餑餑”。

HBM為什么可以擁有這么高的帶寬？它和其他DRAM的差別在哪？為什么會成為高端GPU的標配呢？

先說一下HBM是怎么發(fā)展而來的。

按照不同應用場景，JEDEC（固態(tài)技術(shù)協(xié)會）將DRAM分為三個類型：標準DDR、移動DDR以及圖形DDR，HBM屬于最后一種。

圖形DDR中，先出現(xiàn)的是GDDR（Graphics?DDR），它是為了設計高端顯卡而特別設計的高性能DDR存儲器規(guī)格，是打破“內(nèi)存墻”的有效方案。

由于處理器與存儲器的工藝、封裝、需求的不同，二者之間的性能差距越來越大，過去20年中，硬件的峰值計算能力增加了90,000倍，但是內(nèi)存/硬件互連帶寬卻只是提高了30倍。當存儲的性能跟不上處理器，對指令和數(shù)據(jù)的搬運（寫入和讀出）的時間將是處理器運算所消耗時間的幾十倍乃至幾百倍。

可以想象一下，數(shù)據(jù)傳輸就像處在一個巨大的漏斗之中，不管處理器灌進去多少，存儲器都只能“細水長流”。而數(shù)據(jù)交換通路窄以及其引發(fā)的高能耗，便是通常所說的“內(nèi)存墻”。

為了讓數(shù)據(jù)傳輸更快，就必須要提高內(nèi)存帶寬，內(nèi)存帶寬是處理器可以從內(nèi)存讀取數(shù)據(jù)或?qū)?a class="article-link" target="_blank" href="/tag/%E6%95%B0%E6%8D%AE%E5%AD%98%E5%82%A8/">數(shù)據(jù)存儲到內(nèi)存的速率。GDDR采用傳統(tǒng)的方法將標準PCB和測試的DRAMs與SoC連接在一起，旨在以較窄的通道提供更高的數(shù)據(jù)速率，進而實現(xiàn)必要的吞吐量，具有較高的帶寬和較好的能耗效率。

不過，隨著AI等新需求的出現(xiàn)以及風靡，對帶寬的要求更高了，GDDR也開始不夠用。但是按照GDDR現(xiàn)有的模式很難有突破性的帶寬進展，存儲廠商們望著現(xiàn)有的GDDR，終于頓悟：這樣“躺平”下去不行，得“疊”起來！于是，HBM出現(xiàn)了。

所以，HBM其實是GDDR的替代品，是將DDR芯片堆疊在一起后和GPU封裝在一起，實現(xiàn)大容量，高位寬的DDR組合陣列。聽起來有點復雜，看下面這張圖就一目了然了。

GDDR作為獨立封裝，在PCB上圍繞在處理器的周圍，而HBM則排布在硅中階層(Silicon Interposer)上并和GPU封裝在一起，面積一下子縮小了很多，舉個例子，HBM2比GDDR5直接省了94%的表面積。并且，HBM離GPU更近了，這樣數(shù)據(jù)傳輸也就更快了。

HBM之所以可以做到這樣的布局，是因為采用了3D堆疊技術(shù)。HBM將DRAM裸片像摩天大樓一樣垂直堆疊，并通過硅通孔（Through?Silicon?Via,?簡稱“TSV”）技術(shù)將“每層樓”連接在一起，貫通所有芯片層的柱狀通道傳輸信號、指令、電流，以增加吞吐量并克服單一封裝內(nèi)帶寬的限制。你可以將HBM想象成一個切的整整齊齊的三明治，TSV就是扎在里面的那根牙簽，將整個三明治固定并打通。

從側(cè)面來看HBM，來源：AMD

采用3D堆疊技術(shù)之后，其直接結(jié)果就是接口變得更寬，其下方互聯(lián)的觸點數(shù)量遠遠多于DDR內(nèi)存連接到CPU的線路數(shù)量。從傳輸位寬的角度來看，4層DRAM裸片高度的HBM內(nèi)存總共就是1024 bit位寬。很多GPU、CPU周圍都有4片這樣的HBM內(nèi)存，則總共位寬就是4096bit。

因此，與傳統(tǒng)內(nèi)存技術(shù)相比，HBM具有更高帶寬、更多I/O數(shù)量、更低功耗、更小尺寸。

HBM與其他幾種內(nèi)存方案的參數(shù)對比；來源：芯耀輝

HBM朝著不斷提高存儲容量、帶寬，減小功耗和封裝尺寸方向升級，目前已升級到HBM3。從最初的 1GB 存儲容量和 128GB/s 帶寬的HBM1發(fā)展到目前的 24GB 存儲容量和 819GB/s 帶寬。

來源：SK 海力士、Rambus

不過，雖然HBM擁有優(yōu)秀的帶寬，但也不是適用于所有應用，HBM也有自身的局限性：

首先，缺乏靈活性，由于HBM與主芯片封裝在一起，所以不存在容量擴展的可能；其次，容量小，雖說一片HBM封裝雖然可以堆8層DRAM裸片，但也僅有8G Byte；第三，訪問延遲高。HBM由于互聯(lián)寬度超寬，這就決定了HBM的傳輸頻率不能太高，否則總功耗和發(fā)熱撐不住，所以延遲高（延遲指從讀取指令發(fā)出，到數(shù)據(jù)準備就緒的過程，中間的一個等待時間）。

簡單概括一下，同一個GPU核心，往往低端顯卡用DDR內(nèi)存，高端用GDDR內(nèi)存，再高端用HBM2內(nèi)存。目前，HBM已經(jīng)可以算是高端GPU的標配了。

02、借AI東風HBM需求激增

2021年的時候，HBM位元需求占整體DRAM市場只有不到1%。主要是因為HBM高昂的成本以及當時服務器市場中搭載相關(guān)AI運算卡的比重仍小于1%，且多數(shù)存儲器仍使用GDDR5(x)、GDDR6來支持其算力。

而到了今年年初，HBM的需求激增，并且業(yè)內(nèi)人士稱，與最高性能的 DRAM 相比，HBM3 的價格上漲了五倍，HBM“逆襲”的主要原因，就是AI服務器需求的爆發(fā)。

在ChatGPT火了之后，一下子點燃了AIGC（生成式AI）的熱潮，誰不追，誰就要被拋下，于是大廠們紛紛開始推出自己的類ChatGPT的大模型。據(jù)不完全統(tǒng)計，自3月16日百度率先公布“文心一言”以來，國內(nèi)已有超過30項大模型產(chǎn)品亮相。

而AI大模型的基礎，就是靠海量數(shù)據(jù)和強大算力來支撐訓練和推理過程。AI服務器作為算力基礎設施單元服務器的一種類型也來到了臺前，備受追捧。TrendForce集邦咨詢預估，2023年AI服務器（包含搭載GPU、FPGA、ASIC等）出貨量近120萬臺，同步上修2022-2026年AI服務器出貨量年復合成長率至22%。

HBM成本在AI服務器成本中占比排名第三，約占9%，單機ASP（單機平均售價）高達18,000美元。所以，AI服務器是HBM目前最矚目的應用領(lǐng)域。

AI服務器需要在短時間內(nèi)處理大量數(shù)據(jù)，包括模型訓練數(shù)據(jù)、模型參數(shù)、模型輸出等。要想讓AI更加“智能”，AI大模型龐大的參數(shù)量少不了，比如ChatGPT基于的GPT3.5大模型的參數(shù)量就高達135B。數(shù)據(jù)處理量和傳輸速率的大幅提升，讓AI服務器對帶寬提出了更高的要求，而HBM基本是AI服務器的標配?。

AI服務器GPU市場以NVIDIA H100、A100、A800以及AMD MI250、MI250X系列為主，基本都配備了HBM。2023 GTC大會發(fā)布的ChatGPT專用最新H100 NVL GPU，也配置了188GB HBM3e內(nèi)存。HBM方案目前已演進為較為主流的高性能計算領(lǐng)域擴展高帶寬的方案。

目前推出的搭載HBM和GDDR的GPU產(chǎn)品；來源：奎芯科技

隨著高端GPU需求的逐步提升，TrendForce集邦咨詢預估2023年HBM需求量將年增58%，2024年有望再成長約30%。

除了AI服務器，汽車也是HBM值得關(guān)注的應用領(lǐng)域。汽車中的攝像頭數(shù)量，所有這些攝像頭的數(shù)據(jù)速率和處理所有信息的速度都是天文數(shù)字，想要在車輛周圍快速傳輸大量數(shù)據(jù)，HBM具有很大的帶寬優(yōu)勢。但是最新的HBM3目前還沒有取得汽車認證，外加高昂的成本，所以遲遲還沒有“上車”。不過，Rambus的高管曾提出，HBM 絕對會進入汽車應用領(lǐng)域。

AR和VR也是HBM未來將發(fā)力的領(lǐng)域。因為VR和AR系統(tǒng)需要高分辨率的顯示器，這些顯示器需要更多的帶寬來在 GPU 和內(nèi)存之間傳輸數(shù)據(jù)。而且，VR和AR也需要實時處理大量數(shù)據(jù)，這都需要HBM的超強帶寬來助力。

此外，智能手機、平板電腦、游戲機和可穿戴設備的需求也在不斷增長，這些設備需要更先進的內(nèi)存解決方案來支持其不斷增長的計算需求，HBM也有望在這些領(lǐng)域得到增長。并且，5G 和物聯(lián)網(wǎng)?(IoT)?等新技術(shù)的出現(xiàn)也進一步推動了對 HBM 的需求。

不過，目前來講，HBM還是主要應用于服務器、數(shù)據(jù)中心等領(lǐng)域，消費領(lǐng)域?qū)Τ杀颈容^敏感，因此HBM的使用較少。

可以肯定的是，對帶寬的要求將不斷提高，HBM也將持續(xù)發(fā)展。市場調(diào)研機構(gòu)Omdia預測，2025年HBM市場的總收入將達到25億美元。據(jù)新思界發(fā)布的分析報告顯示，預計2025年中國HBM需求量將超過100萬顆。

03、存儲巨頭爭霸HBM

HBM作為DRAM的一種，其市場也被三巨頭瓜分。目前技術(shù)走在最前面的是SK海力士，并且它也擁有第一的市占率，高達50%，緊隨其后的是三星，市占率約40%，美光約占10%。預計到2023年，SK 海力士市占率有望提升至 53%，而三星、美光市占率分別為38%及9%。

下游廠商主要是CPU/GPU廠商，如英特爾、英偉達以及AMD。因為HBM是于GPU封裝在一起的，所以HBM的封裝基本也由晶圓代工廠一同包攬完成，而晶圓代工廠商包括臺積電、格芯等也在發(fā)力HBM相關(guān)技術(shù)。國內(nèi)廠商布局不大，只有一些企業(yè)涉及封測，如國芯科技與深科技。

來源：財聯(lián)社

總的來說，HBM的競爭還是在SK 海力士、三星以及美光之間展開。

從技術(shù)上先來看，SK海力士是目前唯一實現(xiàn)HBM3量產(chǎn)的廠商，并向英偉達大量供貨，配置在英偉達高性能GPU H100之中，持續(xù)鞏固其市場領(lǐng)先地位。根據(jù)此前的資料介紹，SK海力士提供了兩種容量產(chǎn)品，一個是12層硅通孔技術(shù)垂直堆疊的24GB（196Gb），另一個則是8層堆疊的16GB（128Gb），均提供819 GB/s的帶寬，前者的芯片高度也僅為30微米。相比上一代HBM2E的460 GB/s帶寬，HBM3的帶寬提高了78%。此外，HBM3內(nèi)存還內(nèi)置了片上糾錯技術(shù)，提高了產(chǎn)品的可靠性。

三星在2022年技術(shù)發(fā)布會上發(fā)布的內(nèi)存技術(shù)發(fā)展路線圖中，顯示HBM3技術(shù)已經(jīng)量產(chǎn)，其單芯片接口寬度可達1024bit，接口傳輸速率可達6.4Gbps。2024年預計實現(xiàn)接口速度高達7.2Gbps的HBM3P，預計2025年在新一代面向AI的GPU中見到HBM3P的應用。

美光科技走得較慢，于2020年7月宣布大規(guī)模量產(chǎn)HBM2E，HBM3也仍作為其產(chǎn)品線在持續(xù)研發(fā)之中。

HBM之后的發(fā)力點在于打破速度、密度、功耗、占板空間等方面的極限。

為了打破速度極限，SK海力士正在評估提高引腳數(shù)據(jù)速率的傳統(tǒng)方法的利弊，以及超過1024個數(shù)據(jù)的I/O總線位寬，以實現(xiàn)更好的數(shù)據(jù)并行性和向后設計兼容性。簡單來講，即用最少的取舍獲得更高的帶寬性能。

另一方面廠商也在致力于提高功耗效率，通過評估從最低微結(jié)構(gòu)級別到最高Die堆疊概念的內(nèi)存結(jié)構(gòu)和操作方案，最大限度地降低每帶寬擴展的絕對功耗。

不過要想有上述突破，存儲廠商要與上下游生態(tài)系統(tǒng)合作伙伴攜手合作和開放協(xié)同，將HBM的使用范圍從現(xiàn)有系統(tǒng)擴展到潛在的下一代應用。

HBM的下游也在持續(xù)發(fā)力，英偉達歷代主流訓練芯片基本都配置HBM；英特爾Sapphire Rapids發(fā)布全球首款配備HBM的X86 CPU；AMD也在持續(xù)更新HBM產(chǎn)品線。

借著AI的東風，HBM最近熱度大幅上升，從原來的“小透明”變成了“網(wǎng)紅”。并且，AI的浪潮還在愈演愈烈，HBM今后的存在感或許會越來越強。集邦咨詢預計2023-2025年HBM 市場年復合增長率有望增長至40%-45%以上。而其他機構(gòu)預測DRAM5年內(nèi)（2022-2027）年復合增長率僅有6.1%。不過要清楚的是，與龐大的DRAM市場比起來，HBM還是“渺小的”，大約只占整個DRAM市場的1.5%。

參考資料：

[1]HBM高帶寬內(nèi)存：新一代DRAM解決方案，方正證券

[2]HBM 成高端 GPU 標配，充分受益于 AI 服務器需求增長，廣發(fā)證券

[3]HBM，增長速度迅猛！半導體行業(yè)觀察

[4]存儲巨頭競逐HBM，半導體行業(yè)觀察