國產AI芯片廠商如何打破英偉達CUDA生態(tài)壟斷？

2024年8月19日，“第四屆滴水湖中國RISC-V產業(yè)論壇”在上海滴水湖洲際酒店召開。北京大學講席教授、RISC-V國際基金會人工智能與機器學習專委會主席謝濤做了主題為《萬物智聯(lián)時代RISC-V+AI之路》，介紹了國產AI芯片產業(yè)如何打破英偉達CUDA生態(tài)的壟斷。

近年來隨著AI的爆發(fā)，國產AI芯片也獲得了快速的發(fā)展，但是同時國產AI芯片也面臨著美國對華先進制程技術封鎖。此外，在軟件生態(tài)方面，國產AI芯片的軟件生態(tài)的發(fā)展也面臨著英偉達CUDA生態(tài)的制約。

眾所周知，GPU多年前一直被用于圖形任務處理，直到2012年，英偉達為了推動GPU能夠用于AI計算加速而對于GPU進行改造，采用Tensor Core（張量計算單元），隨后推出了一種協(xié)助“CPU任務分發(fā)+GPU并行處理”的編程模型/平臺——CUDA。隨后經過10來年的市場培育與發(fā)展，CUDA已經成為了全球最大AI軟件開發(fā)平臺，目前已經擁有了近500萬名使用英偉達CUDA語言和接口的開發(fā)者，形成了一個非常龐大的生態(tài)系統(tǒng)，成為了英偉達統(tǒng)治AI芯片市場最為核心的“護城河”。為此，英偉達已累計為CUDA生態(tài)投入了高達120億美元的資金。

相比之下，不論是其他的國際AI芯片廠商，還是近年來迅速成長起來的國產AI芯片公司在軟件生態(tài)方面都是非常的薄弱。因此，這些公司本著“打不過就加入”的思路，選擇兼容CUDA軟件生態(tài)、特別是走GPGPU路線的做法來助力自身的發(fā)展。

謝濤指出，這樣的一個道路雖然能夠解燃眉之急，但是長遠來看它還是受制于人。當然，目前走非CUDA路線的AI芯片公司，整體上也是呈“小、散、弱”的局面。這主要是由于：1、指令集不統(tǒng)一，硬件架構分散；2、軟件棧不統(tǒng)一，用戶學習成本高；3、算子覆蓋度低，用戶遷移成本高；4、企業(yè)各自為戰(zhàn)，沒有足夠的生態(tài)競爭力。

那么，可否借鑒開源的安卓生態(tài)（ 多樣化的硬件選擇、開放源代碼的自由度、廣泛的應用和服務）或者封閉的iOS生態(tài)（高度整合協(xié)同的硬件和軟件、卓越的用戶體驗、安全性的保障）的模式，來突破英偉達CUDA生態(tài)的封鎖呢？

利用開源的RISC-V生態(tài)

對此，謝濤認為，我們可以利用開源的RISC-V生態(tài)來團結大家，一起本著開源、開放的原則去共建生態(tài)可能更有機會。

此前，中國科學院孫凝暉對信息技術新體系的思考（中國科學院院刊2022.37）當中，對于建立高水平自立自強的計算技術新體系，也有提到三種模式：

A體系（高鐵模式）：我國信息化的主流平臺被x86、ARM生態(tài)所占領，還光、海思等國產處理器的道路強調“全兼容”——“離了你，我不行?！?/p>

B體系（北斗模式）：強調全自主，以龍芯和申威為代表，因為不跟市場主流兼容，所以生態(tài)弱——“離了你、我勉強行?！?/p>

C體系（5G模式）：走全開放的道路，全世界一起來建生態(tài)，誰也不控制誰，誰也不能卡誰。比如：RISC-V——“你中有我、我中有你?！?/p>

目前，在CUDA相關的AI軟件生態(tài)壟斷下，其實國產AI芯片廠商“A體系”、“B體系”路線都有在做。

比如，A體系：加入CUDA陣營，比如壁仞、阿里平頭哥等。雖然能夠享受英偉達CUDA生態(tài)所帶來的各種資源加持，有助于自身的快速發(fā)展，但是這種研發(fā)永遠處于“跟隨”狀態(tài)，被人牽著鼻子走、難以繞過大量專利，只能靠開源的編譯器規(guī)避訴訟雖然容易獲得客戶，并且反而加強了CUDA生態(tài)。英偉達每發(fā)布新一代的新一版本CUDA的時候，會加進去會很好發(fā)揮新一代英偉達芯片特性特點的這些API，通過這個手段每次發(fā)布新的CUDA版本都能托其它的芯片公司幾年。這也是一個可能的風險，哪一天開源編譯器也不能用、不能編譯非英偉達的AI芯片，這個時候對采用這個路線的企業(yè)來說就是一個很大的沖擊了。

B體系：自定義編程語言，比如華為昇騰、寒武紀等。面臨著成本高昂：各公司需維護一整套軟件工程團隊，積累數(shù)十年研發(fā)投入；人才稀缺：系統(tǒng)軟件、編程語言、編譯器人才稀缺；力量分散：各公司各自為戰(zhàn)，難以形成有效合力與CUDA抗衡等眾多的挑戰(zhàn)。

那么，RISC-V作為一個開源、開放的CPU指令集，談AI芯片及軟件生態(tài)又與CPU指令集有什么關系呢？

在今年的世界人工智能大會上，RISC-V國際基金會理事長戴路就有指出：“RISC-V是最適合AI的指令集架構?！敝鸕ISC-V AI芯片廠商TenstorrentInc首席CPU構架師練維漢也表示：“RISC-V架構更適合做AI計算”。

謝濤總結認為，RISC-V AI芯片的兩種主要模式：

1、Integrated模式（緊耦合）：適合低功耗領域（RISC-V+AI），以CPU主干為骨架，集成在CPU內部，共享PC、寄存器堆等流水線單元，只是在執(zhí)行單元部分增加了矩陣或向量單元；

2、Attached模式（松耦合）：適合大算力領域（AI+RISC-V），外掛在CPU上的，會有自己獨立的流水線、寄存器堆、緩存等。它是“協(xié)處理器”，它可以接收來自一個或多個CPU的指令，異步地執(zhí)行不同CPU提交過來的任務。

那么基于RISC-V構建AI算力有什么優(yōu)勢呢？

1、開放與靈活性。AI工作負載變化快，需要特定的優(yōu)化才能達到最佳性能；RISC-V開放免費的特性為芯片設計者提供了極大的靈活性，可以根據(jù)具體需求定制AI加速器；

2、高度可擴展性。RISC-V的指令集精簡且高度擴展，設計者可以根據(jù)需要添加自定義指令集擴展，以增強AI計算的性能和效率。例如：可以增加向量擴展或其他專用于AI的指令集，從而提升計算速度和能效；

3、功耗和效率優(yōu)勢。RISC-V架構通過簡潔設計和定制化擴展，可實現(xiàn)高效的能量使用；RISC-V架構能夠通過小型且高效的處理單元，減少等待數(shù)據(jù)傳輸的時間，提升整體計算效率；

4、加速壯大的RISC-V生態(tài)系統(tǒng)和社區(qū)支持。根據(jù)RISC-V產業(yè)年鑒顯示：2023年全球RISC-V出貨量約200億顆，采用了RISC-V架構的SoC芯片出貨量超過了10億顆，RISC-V全球市場規(guī)模接近8億、預計今年將接近10億。截至2023年底，RISC-V國際基金會已經擁有了4423個成員，同比增長28%，遍布全球70多個國家?？梢哉f，RISC-V生態(tài)的多樣性和開放性吸引了全球大量開發(fā)者和企業(yè)加入，為RISC-V的發(fā)展提供了強大的推動力和豐富的軟件及IP資源，在RISC-V+AI領域具備了良好的發(fā)展前景。

對于國產RISC-V+AI生態(tài)來說，目前也是機遇與挑戰(zhàn)并存。謝濤指出，主要的挑戰(zhàn)包括：生態(tài)碎片化；資源投入嚴重不足；缺少組織統(tǒng)籌；產學研協(xié)同不緊。

那么，如何來應對這些挑戰(zhàn)呢？謝濤給出了自己的思路，將主要圍繞以下三點來進行創(chuàng)新：

1、自下而上。以RISC-V指令集擴展（推動成RISC-V國際基金會標準）+開源系統(tǒng)軟件棧為公共開源根去利用國際開放/開源社區(qū)去長葉（基于開源根的商業(yè)軟件/芯片），形成“根技術開源”與“葉技術競爭”的技術生態(tài)布局。

2、從端到云。聚焦邊緣/中斷側（多樣性、碎片化且大數(shù)量算力場景，比如：智能終端、AIPC等）來推動軟件生態(tài)的發(fā)展與應用，以帶動云上的軟件生態(tài)。
3、工具創(chuàng)新。依托日益強大的RISC-V軟硬件生態(tài)去聚焦全球開源工具創(chuàng)新。

“現(xiàn)在萬物智聯(lián)時代，大家在‘端’上可以作為出發(fā)點、最后再去以‘農村包圍城市’這樣的形式在‘云’上和英偉達進行抗衡。我們現(xiàn)在做的不是說像英偉達那樣人海戰(zhàn)術450萬開發(fā)者大軍做起來，我們是聚焦在系統(tǒng)軟件棧、編譯等組織全球力量一起去發(fā)展和建設。”謝濤進一步解釋道。

支持“國際標準”+共建“開源社區(qū)”兩手抓

除了自主創(chuàng)新之外，要想打破英偉達CUDA生態(tài)的壟斷，謝濤表示，我們需要堅持“國際標準+開源社區(qū)”兩抓手。

首先，我們應該以推動RISC-V國際標準為抓手，到國際上去借力。把握“根技術”從我國領軍企業(yè)共識出發(fā)，快速布局新時代的新市場（智能終端、AIPC等），以推動RISC-V國際基金會標準來依托上游國際開源社區(qū)來貢獻系統(tǒng)軟件棧。

RISC-V國際基金會推標準是“自下而上”的，需要重多的RISC-V企業(yè)共同來推動，雖然大家可能有競爭，但是也有“共同的目標”，所以我們不能只推中國國內的標準，我們也要繼續(xù)支持RISC-V國際基金會的標準，并積極參與標準的制定。而且推標準也不是目的，是手段，形成標準之后，這些各大的國際開源主流社區(qū)，就會自然的支持你的更新迭代，也會帶來第三方的維護。通常芯片公司要養(yǎng)2/3的工程師都是軟件工程師，現(xiàn)在這種方式極大的減負了，使得整個生態(tài)可以一起來分擔。

其次，我們可以以共建國際開源軟件生態(tài)為抓手，到國際上借力。因為CUDA這個生態(tài)在AI領域的壟斷地位，使得AMD、英特爾、谷歌、微軟等等廠商都不希望英偉達CUDA一家獨大。比如高通、谷歌和英特爾計劃聯(lián)手打造全新的AI軟件平臺，來替代CUDA。

另一方面，RISC-V也不是一個排他的思路，英偉達未來可能也會去擁抱它。英偉達開源的系統(tǒng)軟件棧Triton，雖然主要是支撐英偉達的GPGPU，（相當于它是一個“大煙囪”），但是現(xiàn)在也有一些國際公司很看好Triton生態(tài)，也是為它壯大生態(tài)、都做成了小煙囪。比如：寒武紀也針對Triton發(fā)布一些對寒武紀比較優(yōu)化的算子。所以，大家也可以通過RISC-V團結起來，形成另外一個平行的“大煙囪”，因為英偉達也是積極的支持Triton生態(tài)。為了同一個事情我們可以去借力，然后用RISC-V把大家團結起來。包括谷歌等其它廠商也會慢慢的擴展，也許又成為另外一個大煙囪，一起把開放開源的Triton生態(tài)做大。

另外就是英特爾主推的SYCL，它也是一個我們依托國際方興未艾、能夠很有生命力、發(fā)展很快的軟件生態(tài)之一。在這個場景下，北京開源芯片研究院今年成立了多個指令標準集工作組，團結全國的力量來在這方面推動。包括：在今年過年前也發(fā)起了一個“甲辰計劃”，呼吁大家一起來建設軟硬件的生態(tài)，目前也有超過40家的開源社區(qū)企業(yè)加入一起去推動RISC-V的開源生態(tài)。

編輯：芯智訊-浪客劍