加入星計(jì)劃,您可以享受以下權(quán)益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴(kuò)散
  • 作品版權(quán)保護(hù)
  • 300W+ 專(zhuān)業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長(zhǎng)期合作伙伴
立即加入
  • 正文
  • 推薦器件
  • 相關(guān)推薦
  • 電子產(chǎn)業(yè)圖譜
申請(qǐng)入駐 產(chǎn)業(yè)圖譜

性能新突破!媲美國(guó)際水準(zhǔn)!國(guó)產(chǎn)千卡智算集群助力國(guó)產(chǎn)大模型訓(xùn)推

06/14 07:29
1066
閱讀需 5 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點(diǎn)資訊討論

大模型為代表的新一代人工智能技術(shù)是引領(lǐng)新一輪科技革命和產(chǎn)業(yè)變革的戰(zhàn)略性技術(shù)和重要驅(qū)動(dòng)力量,隨著對(duì)算力需求的日益高漲,人工智能算力底座公司日益成為新一波人工智能技術(shù)浪潮重要組成部分。

2024年5月,摩爾線程與智譜AI開(kāi)展了新一輪GPU 大模型適配及性能測(cè)試,包括大模型推理以及基于夸娥(KUAE)千卡智算集群的大模型預(yù)訓(xùn)練。測(cè)試用相關(guān)大模型來(lái)自智譜AI基座大模型及其開(kāi)源版本。

測(cè)試結(jié)果表明,在推理方面,摩爾線程自研全功能GPU顯著優(yōu)于基準(zhǔn)對(duì)比產(chǎn)品RTX 3090和RTX 4090,在全部測(cè)試用例中優(yōu)于RTX 3090,在多batch下優(yōu)于RTX 4090;在訓(xùn)練方面,摩爾線程夸娥千卡智算集群訓(xùn)練精度與A100集群誤差在1%以?xún)?nèi),夸娥千卡智算集群性能擴(kuò)展系數(shù)超過(guò)90%,模型算力利用率(MFU)與A100集群相當(dāng)。

智譜AI致力于打造新一代認(rèn)知智能大模型,專(zhuān)注于做大模型的中國(guó)創(chuàng)新。早在2022年8月,智譜AI開(kāi)源了GLM-130B模型,2023 年,智譜 AI 推出千億基座對(duì)話模型ChatGLM,開(kāi)源版本的 ChatGLM-6B 讓大模型開(kāi)發(fā)者的本地微調(diào)和部署成為可能,在開(kāi)源社區(qū)受到廣泛歡迎。從自主開(kāi)發(fā)的原創(chuàng)GLM預(yù)訓(xùn)練框架搭建之初,智譜AI就十分注意算力利用率問(wèn)題。通過(guò)國(guó)產(chǎn)算力適配,智譜AI已支持10余種國(guó)產(chǎn)硬件生態(tài),努力推動(dòng)建設(shè)大模型軟硬件生態(tài)和與國(guó)產(chǎn)芯片企業(yè)的聯(lián)合創(chuàng)新與升級(jí)。

摩爾線程出色的測(cè)試結(jié)果對(duì)于更好建設(shè)中國(guó)大模型產(chǎn)品技術(shù)生態(tài)具有重要意義。

技術(shù)自主新突破:摩爾線程千卡智算集群成功應(yīng)用ChatGLM預(yù)訓(xùn)練,標(biāo)志著摩爾線程全功能GPU算力底座有能力支撐行業(yè)領(lǐng)先的大模型全鏈條研發(fā),有助于增強(qiáng)技術(shù)自主性,保障信息安全。大模型訓(xùn)練與推理將能夠在全國(guó)產(chǎn)可控的算力底座上運(yùn)行,在滿足信息安全的前提下服務(wù)于千行百業(yè),成為發(fā)展AI+新質(zhì)生產(chǎn)力的核心力量。

助力打破算力瓶頸:Scaling laws(尺度定律)已經(jīng)預(yù)示了AGI技術(shù)發(fā)展對(duì)算力日益增長(zhǎng)的需求規(guī)律,同時(shí)也表明有限的算力供應(yīng)可能成為制約大模型發(fā)展的關(guān)鍵瓶頸。本次測(cè)試結(jié)果顯示,國(guó)產(chǎn)GPU算力底座有能力助力中國(guó)人工智能技術(shù)發(fā)展。摩爾線程作為國(guó)產(chǎn)GPU的代表,將助力提高大模型迭代速度和自研水平,助推中國(guó)大模型更好發(fā)展。

開(kāi)拓創(chuàng)新空間:算法、算力、數(shù)據(jù)是AGI技術(shù)的核心要素,摩爾線程與智譜AI卓有成效的適配與測(cè)試合作,有利于推動(dòng)實(shí)現(xiàn)軟硬件的深度融合與協(xié)同創(chuàng)新,有利于助力中國(guó)大模型實(shí)現(xiàn)更好發(fā)展。

降低運(yùn)營(yíng)成本:摩爾線程憑借自研國(guó)產(chǎn)全功能GPU,致力于構(gòu)建先進(jìn)的AGI算力底座,不僅能夠兼容適配全球主流AI軟件生態(tài),節(jié)約軟件遷移成本,而且在單位算力總體擁有成本上擁有較為明顯優(yōu)勢(shì),能夠有效降低大模型產(chǎn)品研發(fā)成本。

智譜AI硬件適配與測(cè)試負(fù)責(zé)人表示:“摩爾線程夸娥千卡智算集群在計(jì)算精度和穩(wěn)定性等方面的表現(xiàn)令人印象深刻,智譜AI將與包括摩爾線程在內(nèi)的大模型產(chǎn)業(yè)生態(tài)合作伙伴攜手,共同推動(dòng)大模型產(chǎn)業(yè)生態(tài)繁榮發(fā)展?!?/p>

推薦器件

更多器件
器件型號(hào) 數(shù)量 器件廠商 器件描述 數(shù)據(jù)手冊(cè) ECAD模型 風(fēng)險(xiǎn)等級(jí) 參考價(jià)格 更多信息
MMBT2222A 1 Texas Instruments 1000mA, 40V, NPN, Si, SMALL SIGNAL TRANSISTOR, TO-236AB
$0.06 查看
4611H-701-121/560L 1 Bourns Inc RC Network, Terminator, 120ohm, 50V, 0.000056uF, Through Hole Mount, 11 Pins, SIP, ROHS COMPLIANT
暫無(wú)數(shù)據(jù) 查看
CRCW040222R0FKEDHP 1 Vishay Intertechnologies Fixed Resistor, Metal Glaze/thick Film, 0.2W, 22ohm, 50V, 1% +/-Tol, 100ppm/Cel, Surface Mount, 0402, CHIP, HALOGEN FREE AND ROHS COMPLIANT

ECAD模型

下載ECAD模型
$0.12 查看

相關(guān)推薦

電子產(chǎn)業(yè)圖譜