推理芯片

• Groq芯片的創(chuàng)新意義

  前一陣子，Groq芯片刷屏了，據(jù)說(shuō)Groq芯片計(jì)算速度遠(yuǎn)遠(yuǎn)超過(guò)英偉達(dá)GPU，經(jīng)網(wǎng)友測(cè)試，Groq每秒生成速度接近500 tok/s，碾壓GPT-4的40 tok/s。Groq是一家成立于2016年的AI創(chuàng)企，據(jù)其官網(wǎng)介紹，LPU是一種專為AI推理所設(shè)計(jì)的芯片。LPU的工作原理與GPU截然不同。它采用了時(shí)序指令集計(jì)算機(jī)（Temporal Instruction Set Computer）架構(gòu)，這意味著它無(wú)需像使用高帶寬存儲(chǔ)器（HBM）的GPU那樣頻繁地從內(nèi)存中加載數(shù)據(jù)。

  土人觀芯

  3002

  2024/03/01

  推理芯片 LPU

  
• AI推理速度提升超10倍，Groq LPU能否取代英偉達(dá)GPU？

  2月20日消息，美國(guó)人工智能初創(chuàng)公司Groq最新推出的面向云端大模型的推理芯片引發(fā)了業(yè)內(nèi)的廣泛關(guān)注。其最具特色之處在于，采用了全新的Tensor Streaming Architecture (TSA) 架構(gòu)，以及擁有超高帶寬的SRAM，從而使得其對(duì)于大模型的推理速度提高了10倍以上，甚至超越了英偉達(dá)的GPU。

  芯智訊

  3270

  2024/02/21

  大模型 SRAM

  

正在努力加載...