加入星計劃,您可以享受以下權益:

  • 創(chuàng)作內容快速變現
  • 行業(yè)影響力擴散
  • 作品版權保護
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質創(chuàng)作者
  • 5000+ 長期合作伙伴
立即加入
  • 正文
    • 基礎層是地基,應用層是高度
    • AI大模型從生產終將走向應用
    • 推理芯片將成國內大模型的入場券
  • 推薦器件
  • 相關推薦
  • 電子產業(yè)圖譜
申請入駐 產業(yè)圖譜

產業(yè)丨AI推理芯片,下一個[群模共舞]的入場券

2023/12/01
1982
閱讀需 8 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論

作者 | 方文三

生產大模型并不是終極目標,讓它在各行各業(yè)中大展拳腳、發(fā)揮出實用價值才是最終追求。

基礎層是地基,應用層是高度

人工智能產業(yè)鏈主要分為三個層次:基礎層、技術層和應用層。

基礎層包括AI芯片、智能傳感器云計算等,為人工智能提供數據和算力支持。

在AI產業(yè)初期,基礎層企業(yè)占比最大,達到83%,而技術層和應用層企業(yè)分別占5%和12%。

基礎層就像是人工智能大樓的地基,而應用層則決定大樓的高度。

在應用層面,智能機器人、無人機等智慧終端有很大潛力,智慧城市、智慧醫(yī)療等領域也有很多機會。

據灼識咨詢數據,2022年全球AI芯片市場規(guī)模達到960億美元,預計2027年將達到3089億美元,而中國AI市場規(guī)模預計將于2027年達到1150億美元。

此外,IDC數據顯示,到2025年,用于人工智能推理工作負載的芯片將達到60.8%。

AI大模型從生產終將走向應用

大模型就像一個超級智能的廚師,它改變了傳統(tǒng)的做飯方式,讓我們可以更快、更好、更靈活地品嘗到各種美食。

但是,從商業(yè)化的角度來看,它仍然需要面對AI落地應用的挑戰(zhàn)。

在過去的幾年里,有許多AI公司前仆后繼,像開拓一條充滿荊棘的道路一樣,尋找著AI落地的秘訣。

他們發(fā)現,對于許多多樣化、碎片化的場景來說,邊緣計算就像一把打開AI落地應用商業(yè)化大門的鑰匙。

大模型這種高級AI技術,得落到具體業(yè)務里才能發(fā)揮出它的價值。

現在,大模型已經成為了AI的新潮流,很多廠商在嘗試商業(yè)化時都提出了[行業(yè)大模型][一行一模]的觀點,也就是用大模型來解決這些碎片化場景中的業(yè)務痛點。

從這一點來看,邊緣計算這個以靈活調度著稱的強大助手,將會成為未來大模型廣泛落地到各個場景的重要一環(huán)。

而那些為邊緣計算提供算力的AI推理芯片,也會在這個過程中迎來一次市場擴容的機會。

就像一場盛大的派對即將開始,邊緣計算和AI推理芯片都將在這場派對中大放異彩。

推理芯片將成國內大模型的入場券

訓練芯片和推理芯片是AI芯片的兩大類,它們的功能各有側重。

訓練芯片主要用于訓練大模型,注重計算性能,而推理芯片則主要用于模型的推理運算,注重效率和時延、功耗。

現在,國內大模型正處于訓練階段,需要很強的算力支持,所以很多AI公司都把目光放在了訓練芯片上,購買大量的GPU算力來訓練算法模型。

這也讓英偉達成為了萬億市值的神話,他們的H100、H800等芯片非常受歡迎,國內也有華為、寒武紀等廠商在努力追趕。

現在推理芯片成為熱門話題,像機器人、無人駕駛汽車這些領域,都離不開推理芯片。

一旦大模型成熟,就會應用到邊端設備上,這時就會需要推理芯片。

但是,由于一些不可抗力的因素,現在訓練芯片和推理芯片都受到了管制。

所以,AI芯片的國產替代成為了重要議題。

咱們國內現階段中,得在國產工藝的基礎上,研發(fā)、流片和商用這些推理芯片,現在國內芯片的技術水平,大概就在14nm這個節(jié)點。

但那些千億級、萬億級別的大模型,推理芯片得有超強的計算能力,還得功耗超低、成本超低,這要求可就到了5nm、2nm的制程工藝了。

燧原科技早早地就在2020年12月發(fā)布了云端AI推理加速卡云燧i10,2021年12月又升級到了第二代云端AI推理加速卡云燧i20。

去年8月,商湯科技向港交所遞交的IPO文件里,第一次披露了他們自己研發(fā)的AI專用算力芯片STPU、邊緣端AI芯片、服務器AI推理芯片。

在2021年7月,瀚博半導體在世界人工智能大會上放出了通用云端推理AI芯片SV100系列和VA1通用推理加速卡。

國際環(huán)境變幻莫測,使得中國企業(yè)越來越難使用海外的先進芯片技術。

在邊緣計算場景里,也存在一些痛點,比如算力不集中、算法太長、產品不夠標準、規(guī)模也參差不齊。

這時候,就需要有更高算力,還要增加更多的內存容量和更大的內存帶寬,這樣就能存得下、搬得快足夠多的數據。

同時,邊緣計算對低功耗、低成本的要求更為嚴格。

除了支持大模型等AI計算任務,AI邊緣推理芯片還負責落地應用最后一公里的工作,需要具備強大的通用算力。

現在,云天勵飛在國產供應鏈的幫助下,通過多重創(chuàng)新技術的組合,證明了自主研發(fā)的AI芯片也能滿足高算力、大內存的大模型推理需求。

為了滿足這些要求,云天勵飛自主研發(fā)并推出了面向邊緣計算全場景、基于國產工藝的大模型推理芯片平臺DeepEdge10。

這是國內首創(chuàng)的國產14nm Chiplet大模型推理芯片,采用自主可控的國產工藝,內含國產RISC-V核,支持大模型推理部署。

依托自研芯片DeepEdge10創(chuàng)新的D2D chiplet架構打造的X5000推理卡,已適配并可承載SAM CV大模型、Llama2等百億級大模型運算,可廣泛應用于AIoT邊緣視頻、移動機器人等場景。

這顆芯片布局了邊緣計算的三大芯片平臺解決方案:感知計算、視頻高密、大模型推理。

結尾:

三年后,80%以上的企業(yè)將運行在大模型之上;五年后,機器人和數字人的數量將超過人類的數量;

七年后,大模型的智慧程度將超過人腦,可能擁有超過1萬億的參數體量。

這意味著我們正在進入第四次工業(yè)革命的開端。

而現在大家都知道,邊緣計算是個大趨勢。所以,想要讓大模型在未來更好地應用,就得先做好邊緣計算的推理芯片。

部分資料參考:

雷鋒網:《AI推理芯片,大模型「下半場」的入場券》,偲睿洞察:《國產AI芯片,玩家?guī)缀巍?,買方研選:《AI芯片訓練+推理芯片調研紀要》

推薦器件

更多器件
器件型號 數量 器件廠商 器件描述 數據手冊 ECAD模型 風險等級 參考價格 更多信息
FT232RQ-REEL 1 FTDI Chip USB Bus Controller, CMOS, 5 X 5 MM, GREEN, QFN-32

ECAD模型

下載ECAD模型
$4.95 查看
ATMEGA128A-MU 1 Atmel Corporation RISC Microcontroller, 8-Bit, FLASH, AVR RISC CPU, 16MHz, CMOS, 9 X 9 MM, 1 MM HEIGHT, 0.50 MM PITCH, GREEN, MO-220VMMD, QFN-64

ECAD模型

下載ECAD模型
$5.69 查看
PIC32MX795F512L-80I/BG 1 Microchip Technology Inc 32-BIT, FLASH, 80 MHz, RISC MICROCONTROLLER, PBGA121, 10 X 10 MM, 1.10 MM HEIGHT, LEAD FREE, PLASTIC, XBGA-121

ECAD模型

下載ECAD模型
$23.36 查看

相關推薦

電子產業(yè)圖譜

AI芯天下是智能芯片行業(yè)垂直自媒體。采用媒體+行業(yè)的模式,堅持從芯出發(fā),用心服務的理念,致力于豐富的網絡基礎資源建設。官網:http://www.world2078.com/ 公眾號:World_2078