Jim Keller規(guī)劃AI策略，旨在繞過Nvidia

在一個由Nvidia完全主導的AI市場中，要顛覆這個GPU巨頭對任何人來說都是極大的挑戰(zhàn)，即便是傳奇的CPU架構師也不例外。然而，Jim Keller的秘密武器并不是他的聲望，而是他堅信開源策略能加速創(chuàng)新。

Jim Keller是一位傳奇的CPU架構師，他的名字與一系列商業(yè)上成功的處理器緊密相連。在三十多年的職業(yè)生涯中，Keller在幾家組織中帶領團隊或參與工作，開發(fā)了從Digital Equipment Corporation的Alpha，到AMD的K8、K12和Zen，再到Apple的A4、A5等AP，以及特斯拉的FSD芯片等各種架構。

Keller是一位非常具有才華的工程師。然而，他是否能讓Tenstorrent（一家AI硬件初創(chuàng)公司，Keller從早期投資人晉升為今日的CEO）在不斷演變的AI競爭中勝出，仍有待觀察。

誰都無法打包票Tenstorrent一定會成功，其不確定的未來恰恰反映了AI技術和商業(yè)模式快速變化的狀態(tài)。

AI用戶（數(shù)據(jù)中心、云計算、消費類電子和汽車）一直在制定自己的AI策略。一種新興趨勢是，許多人選擇通過購買AI或CPU的chiplet IP來構建AI解決方案。大量購買新的AI處理器并不在他們的計劃中。

前不久，Keller在東京的RISC-V Day Tokyo活動上發(fā)表了主題演講。

談到Tenstorrent計劃如何顛覆由Nvidia主導的AI市場。Keller直截了當?shù)卣f：“我們并不試圖打敗Nvidia?！彼硎荆瑢τ谝患页鮿?chuàng)公司來說，挑戰(zhàn)年收入超過250億美元的巨人并不是一個好計劃。

然而，在AI世界中，AI模型的數(shù)學和操作規(guī)模總是在不斷變化。沒有什么是永恒不變的。Keller找出了一些機會，可能讓客戶選擇在Tenstorrent的芯片上對他們的AI模型進行編程，而不是在Nvidia的GPU上。

Keller分享了兩個可能預示Tenstorrent生存的基本理念。一個是編程的“開源”。另一個是讓那些需要的人可以得到使用AI/CPU IP的授權。

開源API

今年夏天，Tenstorrent計劃為其AI硬件引入一個開源的硬件堆棧。Keller解釋說，BudaM是基于純C++并帶有API的Tenstorrent內核，它允許直接寫入硬件。與CUDA相比，BudaM的優(yōu)勢在于，程序員可以完全控制Tenstorrent提供的每一個RISC-V內核，包括RISC-V處理器、NoC（Network on Chip）、矩陣和向量引擎以及SRAM。

Keller說：“有很多客戶告訴我，他們用PyTorch編寫測試程序，但在低級別的CUDA中編寫實際模型。”他了解到他們真正想要的是“一種在硬件上編程的方法”。

Keller說，例如，一些生物科學公司正在編寫大量迷你程序來分析數(shù)據(jù)。“對于這個，他們希望能寫入硬件。”他補充說，一個AI編譯器公司也想使用BudaM。

Tesla的FSD芯片與Tenstorrent的AI芯片在Tesla開發(fā)FSD芯片時，Keller的任務是構建一個非常高效的推理引擎。Keller說：“足夠好到能駕駛一輛汽車。”通過設計一個雙AI引擎，他的團隊“使FSD計算機有冗余，且足夠便宜，可以安裝在每輛車上”。

在那期間，Keller遇到了20到30家公司，包括向Tesla推銷他們的AI硬件的Tenstorrent。Keller將Tenstorrent視為“一個非常通用的AI處理器”，位于光譜的另一端。Keller預見到，當未來出現(xiàn)不運行在Tesla的FSD計算機上的AI模型時，“我們會在Tesla使用Tenstorrent”。

路線圖

當時，Tenstorrent已經(jīng)擁有了比競爭對手更強大、更靈活、可編程性更強的AI硬件。這種架構適用于推理和訓練。Tenstorrent的AI硬件涵蓋了CNN、LLM和NLP。

為了實現(xiàn)其產(chǎn)品路線圖，Tenstorrent首先提出了一個簡單的、嵌入式的用于AI的RISC-V處理器。接著，它提出了一個集成了16個通用目的RISC-V內核的標準ML計算機。Tenstorrent的信念是，AI需要RISC-V內核和AI加速器，緊密地集成在同一塊芯片上。在路線圖的最遠端，Tenstorrent的目標是異構高性能ML計算機。

Chiplet授權

那款高度集成的異構CPU/AI芯片仍在Tenstorrent的路線圖上。但Keller和他的團隊已經(jīng)看到，潛在的客戶正在走向一條不同的道路。他們更喜歡更模塊化的AI解決方案，以滿足他們的需求。

有些人對Keller說，“忘掉AI。我們只想要CPU授權?！?/p>

還有一些人回到Keller那里說，“嘿，我們喜歡你的CPU。讓我們談談AI。但我們可以獲得授權嗎？”

Keller說，“這有點讓我們吃驚，因為我原以為到那時，市場上會有一些好的AI IP?！笔聦崊s是沒有一個可以授權的。Keller的客戶已經(jīng)對Tenstorrent的AI引擎進行了測試，“他們發(fā)現(xiàn)它相當好，他們喜歡我們的編譯器。”

所以，就有了與LG達成的授權Tenstorrent chiplet的協(xié)議。

Keller說，“他們有一堆想法，他們想試試看。由于Tenstorrent能夠使用編譯器交付其硬件，LG在上面運行了他們的模型，他們喜歡它。然后我們授權給他們IP?！眱杉夜镜穆?lián)合新聞發(fā)布稿稱，他們已經(jīng)合作，“打造新一代的RISC-V、AI和視頻編碼chiplet，可能為LG的高端電視和未來的汽車產(chǎn)品，以及Tenstorrent的數(shù)據(jù)中心產(chǎn)品提供動力?！?/p>

Tenstorrent的chiplet授權交易并非僅限于LG。Keller說還有幾個也在pipeline中。

阻礙

盡管Tenstorrent在行業(yè)內被認為是一家AI芯片公司，但Keller正在將其定位為一家設計公司。“我們設計基于RISC-V的AI計算機，我們設計RISC-V處理器。我們愿意以你想要的方式銷售?！迸c潛在客戶的頻繁溝通促使Tenstorrent進行了轉變。

Keller說，新的玩家急于利用開源、可授權的技術來推出他們自己的解決方案，他們認為傳統(tǒng)的芯片公司阻礙了他們的道路。

凱勒親身體驗過這一點。他說：“作為一名CPU架構師，我想在CPU中添加適合AI的數(shù)據(jù)類型。但Intel或AMD當然不會這樣做，因為他們不會向任何人授權。”凱勒找到了Arm，他說，“他們靠授權處理器為生。但也說不行?！?/p>

“我認識Arm那邊的人。我告訴他們這里有一些數(shù)據(jù)類型……如果你們能加入就太好了。我不會收費?！?Arm仍然拒絕了。

于是，Keller轉向了RISC-V。他首先找到了SiFve，SiFve同意與Tenstorrent合作。不幸的是，SiFive并沒有與初創(chuàng)公司想要的兼容的路線圖。Keller說：“我認為他們正在努力使之變得更好……但在那個時候，我告訴我的投資者，我可以雇傭世界上最好的CPU團隊，我們可以打造一個非常有競爭力的RISC-V處理器。”于是就有了Ascalon，Tenstorrent可授權的RISC-V處理器。

GPU效果出奇的好

在Keller看來，“GPU實際上效果出奇的好”，原因有兩個。一是Nvidia在軟件上投入了大量的資金。另一個是滲透效應。“一旦Nvidia取得了領先，開發(fā)者傾向于構建在GPU上運行的模型。他們不會構建一些在例如Tenstorrent硬件上可能會運行更好的模型，因為硬件與他們所熟悉的不同。”

話雖如此，Keller說，有一些人“真正想要的東西與Nvidia提供的不同”。

在某種程度上，GPU的評價并不高，Keller說：“因為它非常昂貴，且功耗很高。編程GPU需要大量的程序員。成千上萬的程序員正在用CUDA編寫庫?！?/p>

Keller解釋說，當AI程序員在CUDA中編寫代碼并且出現(xiàn)問題時，他們會要求Nvidia進行編譯并返回一個可運行的二進制文件。這種關系（AI程序員和Nvidia之間的關系）形成了一個反饋循環(huán)。

但是這個循環(huán)并不能保證AI程序員能立即從Nvidia那里得到解決方案。

Keller說，“我在Tesla時使用過Nvidia的AI計算機。當出現(xiàn)問題時，我們無法弄清楚問題所在。”或者，“當它崩潰時，我們最后發(fā)現(xiàn)了Nvidia的一個bug。我們告訴他們，但有時從他們那里得到反饋需要幾周時間?！?/p>

這就是為什么Keller在推動開源?！叭绻浖情_源的，即使它出現(xiàn)問題，專家級的軟件人員可以進去閱讀代碼并找出問題所在。”

他總結說：“當多人紛紛進行改變時，會發(fā)生令人振奮的事。當它是開源的，他們就必須發(fā)布它。本質上，這加速了創(chuàng)新。”

Tenstorrent不太可能在短時間內在AI市場上取代Nvidia。然而，Keller的重點是去滿足那些從Nvidia那里無法得到真正所需的客戶。Tenstorrent有可能扭轉乾坤或趕超Nvidia的關鍵是，開源技術的發(fā)展趨勢，以及客戶對通過chiplet進行AI和CPU IP授權的無盡需求。