云端算力，如何帶ChatGPT狂飆？

ChatGPT有多強(qiáng)？

這取決于這個(gè)問題提出的時(shí)間。一個(gè)月以前，這可能還是個(gè)問題。但是，當(dāng)ChatGPT連續(xù)創(chuàng)造記錄、并不斷顛覆人們認(rèn)知的現(xiàn)在，這已經(jīng)不是個(gè)問題了。

真正的問題是，ChatGPT如何變的這么強(qiáng)？

2022年，谷歌和斯坦福的研究者發(fā)現(xiàn)，當(dāng)人工智能模型的參數(shù)量超過千億（100B）時(shí)，模型的精度會(huì)出現(xiàn)跳躍式增長(zhǎng)，他們把這個(gè)發(fā)現(xiàn)稱作人工智能「能力的涌現(xiàn)」。

說白了，就像我們說某個(gè)人哪根筋搭上了、開竅了。量變終于引發(fā)質(zhì)變。

質(zhì)變之后，OpenAI首席執(zhí)行官Sam Altman甚至還提出了自己的「奧特曼定律」：宇宙中的智能數(shù)量，每18個(gè)月翻一番 —— 并引發(fā)學(xué)術(shù)界的群嘲。

不管怎樣，煉一個(gè)千億參數(shù)的大模型、支撐指數(shù)級(jí)的「智能」增長(zhǎng)，談何容易？首當(dāng)其沖的，就是對(duì)算力的需求。有人做過統(tǒng)計(jì)，ChatGPT需要超過1萬顆A100 GPU提供算力支持，單次訓(xùn)練成本超過400萬美元，每天成本超過10萬美元。

「算力」，再一次被推到所有人眼前，但其實(shí)這并不是一個(gè)新概念。

顧名思義，算力指的就是計(jì)算的能力。如果你從來沒聽說過這個(gè)詞，或許可以把它等價(jià)成A100的數(shù)量。但很多人還沒意識(shí)到的是，算力已經(jīng)像水、電、氣一樣，成為了我們現(xiàn)代社會(huì)不可或缺的關(guān)鍵基礎(chǔ)資源。

我國(guó)在2022年正式啟動(dòng)「東數(shù)西算」工程，在全國(guó)規(guī)劃了8個(gè)國(guó)家算力樞紐節(jié)點(diǎn)、10個(gè)國(guó)家數(shù)據(jù)中心集群。就像「西氣東輸」、「南水北調(diào)」一樣，「東數(shù)西算」也成為了我們國(guó)家的戰(zhàn)略資源跨域調(diào)配工程，這也從非常高的高度，認(rèn)可了算力的重要意義。

也正是因?yàn)榭吹剿懔Φ闹匾裕▉嗰R遜微軟谷歌阿里騰訊在內(nèi)的這些國(guó)內(nèi)外的頂級(jí)科技巨頭，已經(jīng)早早的把業(yè)務(wù)重點(diǎn)轉(zhuǎn)向云計(jì)算了。而云計(jì)算的本質(zhì)，就是希望能像自來水一樣，為用戶提供源源不斷的算力。擰開水龍頭就會(huì)出水，插上電源就會(huì)有電，未來接上算力網(wǎng)絡(luò)，就能使用云端的大量算力。

我們用自來水的時(shí)候不會(huì)擔(dān)心水怎么來、也不關(guān)心中間經(jīng)過多少道處理工序。同理，有了云端算力之后，用戶就不用擔(dān)心算力怎么來，也不需要關(guān)心硬件實(shí)現(xiàn)的底層步驟，只需要專注于用算力的使用就可以了。

聽起來好像很簡(jiǎn)單，實(shí)際做起來其實(shí)非常復(fù)雜，更離不開云計(jì)算技術(shù)的不斷進(jìn)步與迭代。而自研芯片也已經(jīng)成了各大國(guó)內(nèi)外云計(jì)算大廠發(fā)力的重點(diǎn)，甚至是他們的「標(biāo)配」和「殺手锏」，并且成為各個(gè)云廠商的主要差異化所在。此外，云計(jì)算領(lǐng)域木桶效應(yīng)越來越明顯，軟件和硬件不能有短板；未來進(jìn)化方向，一定是軟硬件協(xié)同優(yōu)化。接下來我們就一個(gè)一個(gè)來說。

云廠商為何要自研芯片

云計(jì)算領(lǐng)域的一個(gè)重要趨勢(shì)，就是這些云計(jì)算和互聯(lián)網(wǎng)大廠都在紛紛自研芯片，包括亞馬遜云科技、微軟、阿里云都是如此。他們并不是在玩票，而是把自研芯片作為自己的核心競(jìng)爭(zhēng)優(yōu)勢(shì)和主要的差異化。

要說清楚為什么云廠商要自研芯片，就要首先看一下云計(jì)算里的一個(gè)「不可能三角」，也就是說在云計(jì)算里，性能、成本、安全性，這三點(diǎn)不可同時(shí)兼得。如果既要又要，就不能還要。比如，追求高性能和低成本，那安全性就要妥協(xié)；追求低成本和高安全，那就很難做到高性能；如果既要高性能又要高安全，那成本肯定低不了。

不可能三角出現(xiàn)的本質(zhì)原因，就是市面上的那些通用軟硬件并沒有針對(duì)特定場(chǎng)景做優(yōu)化。比如CPU廠商提供的處理器芯片，并不是專門為了某個(gè)云廠商的實(shí)際應(yīng)用專門設(shè)計(jì)的，那么在核心數(shù)量、主頻、緩存大小，以及軟件的并行性支持和應(yīng)用開發(fā)上，肯定不會(huì)優(yōu)化的那么深入。這就像去商店買的公版的衣服或許也不錯(cuò)，但肯定不如裁縫量體裁衣來的合適。

于是，這些財(cái)大氣粗的互聯(lián)網(wǎng)和云計(jì)算大廠，就紛紛開始下水自己做芯片了，而亞馬遜云科技，應(yīng)該算是最早吃螃蟹的那個(gè)。

Nitro：亞馬遜云科技的基石芯片

Nitro是亞馬遜云科技自研芯片的起點(diǎn)，從2013年推出首顆Nitro芯片起，它已經(jīng)經(jīng)歷了4代迭代，并且已經(jīng)成為驅(qū)動(dòng)當(dāng)今所有EC2實(shí)例的基礎(chǔ)性技術(shù)。我們先介紹下Nitro的技術(shù)特點(diǎn)，然后來看看這次大會(huì)上發(fā)布的最新一代Nitro v5芯片。

從廣義上來說，Nitro并不是單獨(dú)的芯片本身，而是由多個(gè)芯片和板卡組成的基礎(chǔ)架構(gòu)，可以實(shí)現(xiàn)存儲(chǔ)訪問、加密、監(jiān)控、實(shí)例配置等等幾乎所有的工作。對(duì)于云計(jì)算、特別是公有云來說，Nitro最重要的意義就是幫助CPU減負(fù)。也就是說，它能把數(shù)據(jù)中心里的「網(wǎng)絡(luò)」「計(jì)算」「存儲(chǔ)」這些基本功能都從CPU里卸載出來，從而釋放CPU寶貴的內(nèi)核資源。專用的Nitro卡可以實(shí)現(xiàn)高速網(wǎng)絡(luò)、高速EBS和I/O加速，不需要在CPU上運(yùn)行額外的管理軟件。

同時(shí)，Nitro系統(tǒng)還能虛擬出來一個(gè)統(tǒng)一的用戶接口，不管底層硬件用的是x86 CPU、ARM CPU，甚至是蘋果的Mac硬件，對(duì)于用戶來說都沒有區(qū)別。這種軟硬件的解耦，就極大地釋放了軟硬件設(shè)計(jì)的靈活性，讓二者不會(huì)相互掣肘，這也是亞馬遜云科技能大規(guī)模部署基于ARM架構(gòu)處理器的本質(zhì)原因。

當(dāng)然，Nitro出現(xiàn)的本質(zhì)原因還是基于安全性的考慮，這也一直是Nitro的核心功能之一。比如它會(huì)阻止主機(jī)之外的任何系統(tǒng)登錄或讀取基于Nitro的實(shí)例內(nèi)存，從而在硬件層面直接保障安全性。

也就是說，Nitro的核心設(shè)計(jì)理念，就是為了很好的平衡前面說到的那個(gè)云計(jì)算「不可能三角」，它并不是為了追求單個(gè)領(lǐng)域的極致，而追求的是三個(gè)重要因素很好的平衡。

去年底，亞馬遜云科技召開了一年一度的re:Invent大會(huì)，并發(fā)布了最新的Nitro v5芯片，重點(diǎn)聚焦在通信帶寬的提升：PCIe帶寬提升2倍、DRAM速度提升50%、數(shù)據(jù)包處理速度提升60%、通信延時(shí)降低30%。和前一代相比，Nitro v5的晶體管數(shù)量增加一倍，并由此帶來每瓦性能40%的提升。

事實(shí)上，大會(huì)上并未公布Nitro v5的架構(gòu)細(xì)節(jié)和制造工藝，但這對(duì)于用戶來說可能并不重要，畢竟用戶不會(huì)單獨(dú)購(gòu)買或者使用Nitro本身，它已經(jīng)作為每臺(tái)EC2服務(wù)器的基礎(chǔ)設(shè)施而存在了。有了Nitro的高性能和虛擬化功能的加持，也給用戶提供了更多的計(jì)算實(shí)例。在2022年初，EC2實(shí)例有400多款；經(jīng)過一年的發(fā)展，已經(jīng)超過600款。這就讓算力的供給更加快速和靈活。

Graviton3E：一切為了高算力

除了Nitro，亞馬遜云科技還有一個(gè)看家芯片，那就是基于ARM架構(gòu)的服務(wù)器CPU芯片Graviton。

很多人認(rèn)為，和x86架構(gòu)相比，ARM架構(gòu)不適合用于數(shù)據(jù)中心或者高性能計(jì)算領(lǐng)域。但事實(shí)上，決定性能的并不是指令集，而是微架構(gòu)。Graviton系列處理器不僅能取得高性能、更能兼顧ARM架構(gòu)低功耗的優(yōu)勢(shì)，從而實(shí)現(xiàn)更好的「性能功耗比」。和x86實(shí)例相比，基于Graviton3的實(shí)例能取得高達(dá)60%的每瓦功耗提升。

在去年的re：Invent大會(huì)上，并沒有發(fā)布第四代Graviton芯片，但在第三代的基礎(chǔ)上增加了對(duì)高性能計(jì)算的優(yōu)化。具體來說，就是特別優(yōu)化了對(duì)向量計(jì)算和浮點(diǎn)計(jì)算的支持。這也是ARM架構(gòu)進(jìn)一步進(jìn)軍HPC的重要嘗試。要知道，性能在HPC領(lǐng)域只是重要因素之一，同樣重要的還有功耗、成本、性價(jià)比。在這些方面，ARM架構(gòu)無疑有著更大優(yōu)勢(shì)。再加上自研芯片的加持，通過大規(guī)模部署進(jìn)一步攤薄成本，就會(huì)讓性價(jià)比進(jìn)一步提升。這些才是這些云廠商自研處理器芯片的本質(zhì)動(dòng)力。

除了硬件，軟件同樣重要

云計(jì)算未來的發(fā)展方向，肯定是軟硬件協(xié)同優(yōu)化。就像木桶里不能存在短板一樣，芯片和算力上去了，軟件也不能拉胯。所以對(duì)于云廠商來說，芯片和硬件只是一小部分，剩下的主要部分，都集中在軟件和系統(tǒng)層面的創(chuàng)新。

比如在協(xié)議層面，亞馬遜云科技提出了新的網(wǎng)絡(luò)協(xié)議SRD（Scalable Reliable Datagram），和TCP的但路徑相比采用了多路徑路由，并且可以亂序傳輸數(shù)據(jù)包，從而達(dá)到更高的吞吐量。

在服務(wù)層面，他們繼續(xù)加碼serverless，這也是全球云計(jì)算領(lǐng)域最近的最大熱點(diǎn)。這個(gè)可以稍微展開說說。

Serverless「無服務(wù)器」這個(gè)概念最早出現(xiàn)在2012年左右，它的核心思想就是讓開發(fā)人員不需要關(guān)注服務(wù)器的物理限制和資源管理這些底層細(xì)節(jié)，而是把重點(diǎn)放在服務(wù)和任務(wù)本身的開發(fā)，專注于構(gòu)建產(chǎn)品和應(yīng)用，讓整個(gè)開發(fā)過程更加敏捷、成本更低。

Serverless給開發(fā)人員提供極大便利，但勢(shì)必需要底層的硬件和基礎(chǔ)設(shè)施的更好配合與支撐，這就極大考驗(yàn)云服務(wù)提供商的能力。亞馬遜云科技在2006年就搭建了類似思路的Amazon S3存儲(chǔ)服務(wù)。然后在2014年，發(fā)布了著名的Serverless計(jì)算服務(wù)Amazon Lambda，直到目前已經(jīng)有超過百萬用戶、每月的調(diào)用請(qǐng)求量超過100萬億次。

在他們最新的產(chǎn)品中，針對(duì)erverless的冷啟動(dòng)問題推出一個(gè)名叫Lambda SnapStart的新功能。它在首次啟動(dòng)時(shí)會(huì)執(zhí)行標(biāo)準(zhǔn)初始化，并且將內(nèi)存和磁盤狀態(tài)進(jìn)行快照并緩存。當(dāng)面對(duì)大量服務(wù)要進(jìn)行初始化和擴(kuò)展的時(shí)候，可以用SnapStart的快照機(jī)制實(shí)現(xiàn)直接啟動(dòng)，從而跳過初始化的過程，這樣就極大提高了冷啟動(dòng)延時(shí)。根據(jù)大會(huì)上的數(shù)據(jù)，Lambda Snapshot可以將啟動(dòng)延時(shí)降低90%以上。

云計(jì)算的未來發(fā)展

云計(jì)算的未來發(fā)展，有兩個(gè)大概率的趨勢(shì)，一個(gè)是自研芯片仍然會(huì)是這些云計(jì)算大廠未來發(fā)力的重點(diǎn)，另一個(gè)是軟硬件的協(xié)同優(yōu)化也將不斷獲得更多關(guān)注。這些趨勢(shì)的本質(zhì)目的，就是為云計(jì)算的客戶提供更強(qiáng)、更靈活的算力。

事實(shí)上，算力的「基礎(chǔ)設(shè)施化」，也已經(jīng)成為了未來發(fā)展的必然趨勢(shì)。開頭提到的「東數(shù)西算」，就是要建立全國(guó)一體化的算力網(wǎng)絡(luò)，就像水網(wǎng)、電網(wǎng)一樣，讓算力網(wǎng)變的更加普及。

農(nóng)業(yè)時(shí)代的標(biāo)志是水的合理使用；工業(yè)時(shí)代的標(biāo)志是電的廣泛應(yīng)用。現(xiàn)在通過云計(jì)算，已經(jīng)在一定程度上實(shí)現(xiàn)了算力能像水和電一樣能隨用隨取。但是如何獲得性能更高、更安全、更節(jié)能的算力，仍然是云計(jì)算廠商和學(xué)術(shù)界不斷探索的課題，一旦解決，或許就會(huì)開啟人類社會(huì)的新時(shí)代。

用中國(guó)工程院院士孫凝暉的話說，算力時(shí)代是算力的基礎(chǔ)設(shè)施化時(shí)代，是走向智能時(shí)代的必由之路。