2297
作者：湯之上隆，編譯：編輯部
自從2022年11月Open AI發(fā)布了ChatGPT以來，生成式AI（人工智能）在全球范圍內(nèi)迅速普及。這些生成式AI是在搭載了NVIDIA等AI半導體的AI服務器上運行的。
然而，根據(jù)TrendForce于去年2023年12月14日發(fā)布的預測，AI服務器的出貨數(shù)量并沒有如人們預期的那樣增長。AI服務器在所有服務器出貨數(shù)量中所占比例預測為：2022年為6％，2023年為9％，2024年為13％，2025年為14％，2026年為16％。
關于這個原因，筆者在此前的文章中進行了如下分析：
這個原因可以歸結(jié)為AI半導體的供應瓶頸。目前，約占AI半導體80％的NVIDIA GPU在臺積電進行前后工藝。后端工藝包括了所謂的CoWoS封裝，而這種CoWoS的產(chǎn)能成為了瓶頸。
此外，在CoWoS中，GPU周圍堆疊了多塊HBM（高帶寬存儲器）DRAM，這種HBM也被認為是瓶頸之一。
那么，為什么臺積電的CoWoS（Chip on Wafer on Substrate）產(chǎn)能一直不足呢？此外，盡管DRAM制造商有三家，即三星、SK海力士和美光，為什么HBM還是不足呢？
本文將對這些細節(jié)進行討論，并且將闡述為什么NVIDIA等AI半導體短缺將持續(xù)數(shù)年以上。
01、臺積電的中間工序是什么？
圖 2 顯示了 NVIDIA GPU 在臺積電的制造方式。首先，在前端過程中，GPU、CPU、內(nèi)存（DRAM）等是單獨制造的。在這里，由于臺積電不生產(chǎn)DRAM，因此它很可能從SK海力士等DRAM制造商那里獲得HBM。
圖2 ?2.5D-3D界面的中間工序，如NVIDIA GPU 資料來源：Tadashi Kamewada，“下一代半導體封裝和封裝技術趨勢與市場展望”，科技研討會，2024 年 2 月 6 日?幻燈片
接下來，將 GPU、CPU、HBM 等鍵合在“硅中介層”上，其中 12 英寸硅晶圓被切割成方形（晶圓上的芯片，即 CoW）。?硅中介層預制有連接芯片和硅通電極?（TSV）?的布線層。
這些工序被稱為?"中間工序"。筆者對其中原因的解釋是，中間工序被歸類為后端工序，但在硅插層上形成的布線層等是使用前端工序的制造設備制造的?！爸虚g工序”?一詞之所以被使用，可能就是因為這一中間含義。
中間工序完成后，將中介層連接到基板（基板上的晶圓，即WoS），并進行各種測試以完成CoWoS封裝。
圖3顯示了CoWoS的橫截面結(jié)構(gòu)。在形成布線層和 TSV 的硅中介層上，鍵合了兩個邏輯芯片，例如 GPU 和 CPU，以及堆疊了 DRAM 的 HBM。中介層通過C4（受控塌片連接）銅凸塊與封裝基板連接，基板通過封裝球與電路板連接。
圖3 CoWoS結(jié)構(gòu)與英偉達GPU等AI半導體的兩大瓶頸?資料來源：WikiChip
在這里，我們認為第一個瓶頸是中間工序中的硅中介層，第二個瓶頸是HBM。下面將解釋其基本原理。
02、中介層越來越大，HBM的數(shù)量也有所增加
圖 4 顯示了自 2011 年以來 CoWoS 如何經(jīng)歷代際變化。 首先，我們可以看到硅中介層每一代都在變得越來越大，HBM 的搭載數(shù)量也在不斷增加。
圖 4 封裝基板面積和HBM搭載數(shù)量不斷增長? 資料來源：K C Yee（TSMC），“Advanced 3D System Integration Technologies”，IEDM SC1,2020?年 12 月 13 日
圖 5 顯示了從 CoWoS Gen 1 到 Gen 6 的 12 英寸晶圓中安裝的邏輯芯片類型、HBM 標準和安裝數(shù)量、硅中介層面積以及可獲得的中介層數(shù)量。
圖?5?CoWoS?代次、HBM?安裝數(shù)量、12?英寸晶圓中介層數(shù)量
首先，可以看出，自第三代以來，HBM的搭載數(shù)量持續(xù)增長了1.5倍。?此外，HBM 的標準也發(fā)生了變化，性能也得到了提高（稍后會詳細介紹）。?此外，隨著中介層面積的增加，可以從 12 英寸晶圓獲得的中介層數(shù)量減少。
但是，該數(shù)值只是"12英寸晶圓的面積除以中介層的面積的值"，實際得到的數(shù)值會更少。
圖 6 舉例說明了這一點：2023 年發(fā)布的第 6 代 CoWoS 中介層面積為 3400?平方毫米，如果是正方形，則為 58 毫米 x 58 毫米（58 毫米正方形）。如果將這個 58 毫米的正方形鋪設在 12 英寸的晶圓上，晶圓邊緣的所有中介層都將有缺陷。因此，一個 12 英寸晶圓上最多只能獲得 9 個 58 平方毫米的中介層。
圖6 12英寸晶圓能獲得多少個中介層
資料來源：Tadashi Kamewada，“下一代半導體封裝和封裝技術趨勢和市場展望”，科學與技術研討會，2024年2月6日
此外，在中介層上形成布線層和TSV，但良率約為60-70%，因此從12英寸晶圓上可以獲得的良好中介層數(shù)量最多為6個。
順便提一下，采用這種58平方毫米的中介層制造的CoWoS 的代表性 GPU是英偉達的H100，該產(chǎn)品在市場上備受爭奪，售價高達 4 萬美元。
03、臺積電的CoWoS產(chǎn)能不足
那么，臺積電在CoWoS中間工序的產(chǎn)能有多大呢？產(chǎn)能足夠嗎？
在 2023 年 11 月 14 日舉行的 DIGITIMES 研討會“生成式 AI 浪潮中 2024 年全球服務器市場的機遇與挑戰(zhàn)”（Jim Hsiao）上，據(jù)估計，其產(chǎn)能將從 2023 年第二季度的每月 1.3 萬至 1.5 萬片晶圓翻番至 2024 年第二季度的每月 3 萬至 3.4 萬片晶圓，從而縮小英偉達GPU 的供需缺口。
然而，這種前景還很遙遠。?這是因為，截至 2024 年 4 月，NVIDIA 仍然沒有足夠的 GPU。?而TrendForce集邦咨詢在4月16日的新聞中表示，到2024年底，臺積電的CoWoS產(chǎn)能將達到每月40K左右，到2025年底將翻一番。畢竟，臺積電的中間工序產(chǎn)能是不夠的。
此外，TrendForce 的這則消息還提到，繼?"H100?"之后，臺積電還將推出下一代?"B100?"和?"B200"，而這些中介層的尺寸可能比 58 平方毫米的還要大。這意味著，從12英寸晶圓上可以獲得的優(yōu)質(zhì)中介層數(shù)量將進一步減少，因此即使臺積電拼命嘗試增加CoWoS產(chǎn)能，也無法擁有足夠的GPU來滿足需求?？梢哉f，這款GPU CoWoS中介層的巨大需求和臺積電產(chǎn)能的增加，無論走多遠都是一場“貓捉老鼠的游戲”，是一場永無止境的比賽。
為了結(jié)束這種“貓捉老鼠的游戲”，有人建議使用515×510毫米的方形基板代替12英寸晶圓作為中介層。此外，英特爾公司還提議使用矩形玻璃基板。當然，如果可以使用大型矩形基板，則可以比圓形12英寸晶圓更有效地獲得大量中介層。
然而，要在矩形基板上形成布線層和TSV，需要專門的制造設備和運輸系統(tǒng)?？紤]到這些準備工作耗時長、成本高、難度大，因此目前看來“貓捉老鼠的游戲”并沒有盡快解決的好辦法。
現(xiàn)在，我想解釋一下HBM的情況，這是另一個瓶頸。
04、HBM的路線圖和DRAM制造商的命運
如圖 4 和圖 5 所示，HBM 的數(shù)量隨著 CoWoS 的產(chǎn)生而增加，這也導致了中介層面積的擴張。DRAM 制造商僅僅按照相同的標準制造 HBM 是不夠的：隨著 CoWoS 的發(fā)展，他們必須提高 HBM 各方面的性能。HBM 路線圖如圖 7 所示。
圖 7：HBM 路線圖和 HBM 堆疊的 DRAM 數(shù)量
來源：報告“HBM 技術與容量發(fā)展”（2024 年 1 月），DIGI TIMES Research，“HBM 技術與容量發(fā)展”（2024 年 1 月）
首先，HBM 必須提高每秒交換數(shù)據(jù)的帶寬，以配合 GPU 性能的提高。具體來說，2016 年 HBM1 的帶寬為 128 GB/s，而 HBM3E 的帶寬將擴大約 10?倍，達到 1150 GB/s，將于 2024 年發(fā)布。
接下來，HBM 的內(nèi)存容量?（GB）?必須增加。?為此，有必要將堆疊在 HBM 中的 DRAM 芯片數(shù)量從 4 個增加到 12 個。下一代 HBM4 的 DRAM 層數(shù)預計將達到 16 層。
此外，HBM 的 I/O 速度?（GB/s）?也必須提高。為了同時實現(xiàn)所有這些目標，我們必須不惜一切代價實現(xiàn)DRAM的小型化。圖8顯示了按技術節(jié)點劃分的DRAM銷售比例的變化。2024 年將是從 1z （15.6 nm）?切換到 1α?（13.8 nm）?的一年。?之后，小型化將以 1 nm 的增量進行，例如 1β?（12.3 nm）、1γ?（11.2 nm）?和 1δ?（10 nm）。?這可能是DRAM廠商的命運。
圖8 按技術節(jié)點劃分的DRAM銷售額百分比（%）?來源：作者根據(jù)Yole Intelligence的數(shù)據(jù)創(chuàng)建
請注意，括號中的數(shù)值是該代 DRAM 芯片中實際存在的最小加工尺寸。如今，器件分離的半間距（hp）是最小的，因此該尺寸已成為技術節(jié)點。?另一方面，例如在邏輯芯片中，即使臺積電說它正在批量生產(chǎn) 3 納米的芯片，但在芯片的任何地方都找不到 3 納米的證據(jù)。換句話說，邏輯芯片的技術節(jié)點只是一個產(chǎn)品名稱。
05、EUV也開始應用于DRAM
話題有些偏離，但DRAM制造商為了實現(xiàn)高度集成和高速化，確實需要進行1納米級微細化。因此，為了形成微細圖案，已經(jīng)開始應用EUV（極紫外光）光刻技術（見圖9）。
圖9 各DRAM制造商應用EUV的層數(shù)?來源：基于Yole Intelligence的數(shù)據(jù)創(chuàng)作
最早開始在DRAM中使用EUV技術的是三星，他們在Gen 1z只應用了一層。然而，這只是三星的邏輯芯片廠為了進行EUV應用的練習而借用的一個巨大的DRAM生產(chǎn)線，最大產(chǎn)量為每月1萬塊。因此，三星真正意義上開始在DRAM中使用EUV是從1α開始的，那時他們使用了5層EUV。
接下來，擁有HBM市場份額領先地位的SK海力士在1α時期應用了一層EUV。而今年2024年，他們計劃轉(zhuǎn)向1β，似乎打算在3-4層上應用EUV。因此，此前只擁有幾臺EUV的SK海力士計劃在2024年引入10臺EUV。值得一提的是，由于三星還有邏輯芯片廠，他們可能擁有30臺以上的EUV。
最后，美光為了盡快推進技術節(jié)點，一直采取盡量不使用EUV的策略。實際上，他們在1β階段也不使用EUV。此外，在1γ開發(fā)階段，原計劃也不使用EUV，而是采用ArF液浸+多重曝光技術，但由于技術上的難度逐漸增加，同時生產(chǎn)率的提升也變得困難，因此預計從1γ開始引入EUV。
這三家DRAM制造商目前使用的（或計劃使用的）EUV的鏡頭開口數(shù)（NA）為0.33，但預計在2027年至2028年后期會考慮轉(zhuǎn)向High NA。這樣，DRAM制造商的微細化將持續(xù)不斷。
那么，使用這樣的最先進工藝，將能夠生產(chǎn)多少HBM呢？
06、DRAM出貨額和HBM出貨額
在圖10中，顯示了DRAM出貨額、HBM出貨額以及HBM占DRAM出貨額比例。正如前文所述，ChatGPT于2022年11月發(fā)布，并且結(jié)果是，2023年NVIDIA的GPU大獲成功。
圖10 DRAM出貨額、HBM出貨額、HBM比例（％）來源：基于Yole Intelligence數(shù)據(jù)，作者制作
與此同時，HBM出貨額也迅速增長。2022年HBM出貨額為27.5億美元（占3.4％），到了2023年增長了近兩倍，達到54.5億美元（占10.7％），2024年更是急劇增長到140.6億美元（占19.4％）以上（括號內(nèi)為HBM占DRAM出貨額比例）。
關注DRAM出貨額，可以看到在2021年因冠狀病毒特需而達到頂峰，但到了2023年，特需結(jié)束后出貨額大幅下降。之后，出貨額逐漸回升，預計到2025年將超過2021年的峰值。而在2026年后，盡管會有些許波動，但將持續(xù)增長，預計到2029年將超過1500億美元。
另一方面，預計HBM出貨額將在2025年后繼續(xù)增長，但HBM占DRAM出貨額比例在2027年后將飽和在24-25％。這是為什么呢？
07、各種HBM的出貨量和HBM的總出貨量
通過查看圖 11 所示的各種 HBM 的出貨量以及HBM出貨總量的變化，可以解開這個謎團。
圖11 各種HBM的出貨量以及HBM的出貨總量來源：基于Yole Intelligence數(shù)據(jù)，作者制作
首先，到2022年為止，主要出貨的是HBM2。接著，在NVIDIA的GPU于2023年大熱之后，HBM2E取代HBM2成為主角。然后，在2024年到2025年之間，HBM3將成為主流。再者，到2026年到2027年之間，HBM3E的出貨量最多，而2028年開始則由HBM4主導。
也就是說，HBM大致上以兩年為周期進行世代更替。這意味著DRAM制造商不僅需要在微細化方面以1納米為單位前進，還需要每兩年更新一次HBM的規(guī)格。
因此，從圖11可以明顯看出，HBM的出貨總量在2025年后幾乎沒有增長。這并不是DRAM制造商懈怠的結(jié)果，而是因為他們需要全力生產(chǎn)最先進的DRAM，同時還要制造最先進的HBM。
此外，導致HBM出貨總量在2025年后增長不大的原因之一是，堆疊在HBM內(nèi)的DRAM芯片數(shù)量增加了（見圖12）。隨著GPU性能的提升，HBM的內(nèi)存容量（GB）也必須增加，因此HBM內(nèi)的DRAM堆疊層數(shù)從HBM2和HBM2E的4至8層增加到HBM3和HBM3E的8至12層，最后到HBM4則為16層。
圖12 各種HBM的內(nèi)存容量（GB）以及HBM內(nèi)的DRAM芯片堆疊層數(shù)?來源：基于Yole Intelligence數(shù)據(jù)，作者制作
也就是說，HBM2只需要4至8層DRAM，但到了HBM4則需要2至4倍的16層DRAM。因此，DRAM制造商在HBM4時代可能會生產(chǎn)2至4倍于HBM2時代的DRAM，但HBM的出貨量可能會保持相同水平。
綜上所述，由于DRAM持續(xù)以1納米為單位進行微細化，HBM大約每兩年進行世代更替，以及HBM內(nèi)的DRAM隨著世代增加，預計2025年后HBM的出貨總量將達到飽和。
那么，HBM短缺會持續(xù)下去嗎？DRAM制造商不能進一步增加HBM的出貨量嗎？
08、DRAM制造商迫切希望大規(guī)模生產(chǎn)HBM
雖然已經(jīng)解釋了DRAM制造商無法迅速增加HBM出貨量的原因，但即便如此，DRAM制造商仍將挑戰(zhàn)其極限，全力以赴地量產(chǎn)HBM。這是因為HBM的價格非常高昂。
圖13展示了各種HBM和常規(guī)DRAM每GB平均價格的對比圖表。無論是常規(guī)DRAM還是HBM，它們在發(fā)布時的每GB價格都是最高的。雖然趨勢相同，但常規(guī)DRAM和HBM每GB的價格相差20倍以上。需要注意的是，在圖13中，為了比較常規(guī)DRAM和HBM每GB的平均價格，將常規(guī)DRAM的價格放大了10倍并標記在圖表上。
圖13 各種HBM和常規(guī)DRAM每GB平均價格的對比?來源：基于Yole Intelligence數(shù)據(jù)，作者制作
直接比較發(fā)布后價格最高的情況，常規(guī)DRAM每GB的價格為0.49美元，而HBM2為其約23倍的11.4美元，HBM2E為約28倍的13.6美元，HBM4則為30倍的14.7美元。
此外，圖14展示了各種HBM的平均價格圖表。在價格最高的情況下，HBM2為73美元，HBM2E為157美元，HBM3為233美元，HBM3E為372美元，而HBM4則高達560美元。
圖14 各種HBM和常規(guī)DRAM每GB平均價格的對比?來源：基于Yole Intelligence數(shù)據(jù)，作者制作
圖15顯示了HBM的價格有多昂貴。例如，DRAM制造商在1z工藝下生產(chǎn)的DDR5 16GB的DRAM的價格最多為3至4美元。然而，今年（2024年），SK 海力士發(fā)布的HBM3E卻高達其90至120倍的361美元。
需要說明的是，DDR（Double Data Rate）是內(nèi)存標準的一種。數(shù)據(jù)傳輸速度越來越快，DDR5比DDR4快2倍，DDR6比DDR5快2倍。2024年是從DDR4轉(zhuǎn)向DDR5的一年，DRAM制造商需要不斷更新DDR標準。
圖15?各種半導體的工藝、芯片尺寸、晶體管數(shù)量（位數(shù)）、平均價格的對比
回到HBM，HBM3E使用TSMC最先進的3nm工藝生產(chǎn)，與最新款“iPhone 15”用的“A17 Bionic” AP（應用處理器）幾乎相同的芯片尺寸，但價格高達其3.6倍。相比于先進的邏輯芯片，DRAM的HBM更昂貴，這令人震驚。因此，由于這種高昂的價格，DRAM制造商將全力以赴增加HBM的出貨量，以奪取HBM的主導地位。
讓我們來看看三家DRAM制造商的路線圖。
09、DRAM制造商爭奪HBM
圖16展示了在2015年至2024年期間，三家DRAM制造商是如何生產(chǎn)HBM的。
圖16 SK 海力士、Samsung、Micron的HBM路線圖?來源：DIGITIMES Research, ”HBM Technology and capacity development”（2024年1月）報告中的圖表
首先成功量產(chǎn)HBM1的是SK海力士。
然而，在HBM2時代，三星比SK海力士更早實現(xiàn)了量產(chǎn)。然后，在2023年NVIDIA的GPU大獲成功時，SK海力士恰巧比其他公司更早實現(xiàn)了HBM3的量產(chǎn)。這使得SK 海力士獲得了巨大利益。結(jié)果，DRAM冠軍三星落后了。
另一方面，另一家DRAM制造商美光最初開發(fā)的是與HBM不同的HMC（混合內(nèi)存立方體）標準。然而，美國半導體標準化推進組織JEDEC（聯(lián)合電子設備工程委員會）正式認證了HBM而非HMC的標準。因此，美光從2018年開始放棄了HMC的開發(fā)，并在大幅落后于韓國兩家制造商之后參與了HBM的開發(fā)。
根據(jù)2024年3月20日Bloomberg的報道，HBM的市場中，SK海力士占54％，三星占41％，美光占5％。
市場份額排名第一的SK海力士于2023年在NAND工廠M15開始生產(chǎn)HBM。此外，他們計劃在2024年上半年發(fā)布HBM3E。而在2025年，他們計劃將目前正在建設中的M15X工廠改造為專用的HBM工廠，用于生產(chǎn)HBM3E和HBM4。
另一方面，希望趕上SK海力士的三星于2023年開始在Samsung Display工廠生產(chǎn)HBM，并計劃在2024年將HBM產(chǎn)能擴大兩倍，在2025年比SK海力士更早開始量產(chǎn)HBM4。
落后的美光則跳過了HBM3，計劃在2024至2025年通過HBM3E競爭，并在2025年爭取獲得20％的市場份額。此外，在2027至2028年間，他們計劃通過量產(chǎn)HBM4和HBM4E來趕上領先的韓國兩家制造商。
通過三家DRAM制造商的激烈競爭，可能打破HBM出貨總量飽和的狀態(tài)，從而有望解決HBM短缺問題。
10、NVIDIA的GPU短缺會持續(xù)多久？
本文解釋了全球范圍內(nèi)NVIDIA GPU等AI半導體短缺的原因。這些原因可以總結(jié)為以下兩點：
1）NVIDIA的GPU采用臺積電的CoWoS封裝技術。然而，CoWoS的產(chǎn)能完全不足。原因在于，GPU、CPU、HBM等芯片所搭載的硅中介層隨著世代更新而變得越來越大。臺積電正試圖增加這種中間工藝的產(chǎn)能，但隨著GPU世代的更新，中介層也會變得更大，這可能導致一直處于“你追我趕”的狀態(tài)。
2）搭載在CoWoS中的HBM也存在短缺。原因是，DRAM制造商不僅需要以1nm的微細度進行持續(xù)縮小，還必須每兩年更新一次HBM的規(guī)格，同時隨著世代的變化，HBM中的DRAM芯片也在增加。DRAM制造商正在全力生產(chǎn)HBM，但據(jù)預測，到2025年后HBM的供應將達到飽和。然而，由于HBM價格極高，DRAM制造商正展開激烈的競爭，這可能有助于解決HBM短缺問題。
因此，導致NVIDIA的GPU短缺的瓶頸問題包括臺積電中間工藝產(chǎn)能不足和HBM短缺這兩點，但這些問題短時間內(nèi)很難解決。因此，預計NVIDIA的GPU短缺將持續(xù)數(shù)年（甚至更長時間？）。
下載ECAD模型
