1423
第四屆中國超級算力大會ChinaSC2022期間，中國科學(xué)院錢德沛院士作了題為《從網(wǎng)格到東數(shù)西算：構(gòu)建國家計算基礎(chǔ)設(shè)施》的演講報告。
該報告回顧了計算應(yīng)用模式的變遷，國家高性能計算環(huán)境的變遷，以及高瞻遠(yuǎn)矚指出了東數(shù)西算背景下的三個趨勢：算力需求不斷上升、計算機(jī)異構(gòu)化、算力中心多樣化，和八大待解決的問題： 異構(gòu)算力中心的透明調(diào)度、異構(gòu)并行編程、數(shù)據(jù)在分布算力中心的合理放置、公共算力中心的數(shù)據(jù)安全和隱私、適應(yīng)異構(gòu)的新型并行算法、應(yīng)用生態(tài)環(huán)境、新的運(yùn)行模式、應(yīng)用軟件開發(fā)新機(jī)制。
本文先聚焦到其中的2大趨勢和2個待解決問題上“計算機(jī)異構(gòu)化趨勢和異構(gòu)并行編程問題”，并結(jié)合澎峰科技的戰(zhàn)略方向分享一些我的理解和看法。
錢院士的演講
我們的觀察是：
異構(gòu)的趨勢，包含片內(nèi)異構(gòu)和整機(jī)系統(tǒng)異構(gòu)兩大類，可以簡單描述為“CPU + 加速卡（GPU、TPU、NPU...）”，CPU指令集架構(gòu)主要也就是x86、ARM、RISC-V三種和其他小眾化方向，各自生態(tài)圈相對統(tǒng)一。但各加速卡芯片企業(yè)設(shè)計的指令集和微架構(gòu)(Micro Architecture)基本都不同，也存在一些內(nèi)在近似性情況，原因是：基于同一供應(yīng)商提供的IP（Intellectual Property）；或借鑒自NVIDIA，也是為了軟件生態(tài)便于向CUDA兼容；或借鑒自TPU（Google，Tensor Processing Unit）等成熟架構(gòu)的總體設(shè)計思想。
異構(gòu)計算單看理論算力的提升很令人振奮，但CPU通用算力、GPU算力和AI算力的運(yùn)用存在巨大的差異。在具體的圖像渲染領(lǐng)域得益于DirectX、OpenCL和Vulkan的開放API標(biāo)準(zhǔn)，后來者的基本還有據(jù)可循；但涉及科學(xué)計算、AI加速、物理仿真等領(lǐng)域的計算需求，開放/開源的標(biāo)準(zhǔn)化推廣一直較為缺乏，類似OpenCL標(biāo)準(zhǔn)缺乏強(qiáng)力的推動者和建設(shè)者，還包括技術(shù)實(shí)現(xiàn)能力和投入。于是使得加速計算的異構(gòu)并行編程和應(yīng)用遷移的情況很復(fù)雜，這也是NVIDIA早年推動CUDA生態(tài)發(fā)展的原因，也成就了今天CUDA生態(tài)令人嘆畏的結(jié)果。具體到我國，如何建立統(tǒng)一的計算中間層、統(tǒng)一的編程環(huán)境，以及培養(yǎng)優(yōu)秀的并行優(yōu)化工程師，對于我國自主算力生態(tài)建設(shè)和整個計算行業(yè)的繁榮是一個迫切需要解決的問題，越早進(jìn)行成本越低。
在整機(jī)異構(gòu)層面，CPU和GPU/DSA多數(shù)情況不是同一企業(yè)設(shè)計，那么誰來主導(dǎo)異構(gòu)計算的軟件集成呢？歷史上，GPU企業(yè)NVIDIA憑一己之力已經(jīng)構(gòu)建起了一個加速計算生態(tài)并且持續(xù)進(jìn)化，Intel正在通過推動OneAPI開源項(xiàng)目來構(gòu)建一個圍繞Intel CPU的加速計算生態(tài)。那么在我國，如何以更低成本、更高效率、更快速度構(gòu)建起一個我國算力行業(yè)的加速計算生態(tài)呢？對于這個問題，顯而易見難以實(shí)現(xiàn)的是每家企業(yè)各自發(fā)起一個異構(gòu)計算生態(tài)！澎峰科技的PerfXAPI給了行業(yè)另外一種選擇：獨(dú)立第三方的異構(gòu)計算軟件棧企業(yè)，如果能獲得政府的支持則更佳。這里要強(qiáng)調(diào)一點(diǎn)的是，標(biāo)準(zhǔn)是標(biāo)準(zhǔn)，標(biāo)準(zhǔn)需要具有前瞻性和國際化眼光；技術(shù)實(shí)現(xiàn)是技術(shù)實(shí)現(xiàn)，技術(shù)需要領(lǐng)域各層次高水平人才和研發(fā)投入。
國內(nèi)當(dāng)前參與高性能處理器設(shè)計的CPU、GPU、NPU企業(yè)總共超過30家，如果按照“CPU+加速卡”的全組合計算，將達(dá)到上百種組合。在最底層計算基礎(chǔ)軟件層面無法統(tǒng)一的情況，整個行業(yè)將需要投入大量資源，也將造成不公平的競爭，從而導(dǎo)致巨大浪費(fèi)。PerfMPL數(shù)學(xué)計算庫基礎(chǔ)軟件將實(shí)現(xiàn)底層的統(tǒng)一，為建立中國算力軟件生態(tài)奠定基礎(chǔ)。
錢院士的演講
錢院士明確指出我國的算力中心已經(jīng)呈現(xiàn)出多樣化趨勢。背后原因既有因?yàn)楦餍酒?a class="article-link" target="_blank" href="/tag/%E7%A1%AC%E4%BB%B6/">硬件企業(yè)的區(qū)域銷售渠道優(yōu)勢原因而形成各“區(qū)域算力中心多樣性”，也有因?yàn)閼?yīng)用多樣性需求造成的算力中心多樣性。我們提出了大致的總體思路，實(shí)現(xiàn)的難度具有挑戰(zhàn)性：
需要建立一套高效和自動化工具軟件體系，提升存量軟件遷移的可能性和作業(yè)效率，包括遷移依賴庫、自動代碼生成、優(yōu)化、正確性測試、性能測試等工具。在這方面澎峰科技已經(jīng)有了自己較為豐富的技術(shù)儲備，例如：如何支持x86應(yīng)用軟件往ARM或RISC-V生態(tài)遷移。
如何讓科學(xué)家、算法工程師在進(jìn)行科研和算法設(shè)計階段就使用統(tǒng)一的國產(chǎn)自主的科學(xué)計算工具軟件，由此直接打通從算法模型-->算法設(shè)計-->算法部署的全流程體系，以及支撐AI for Science這種新研究范式的需求。PerfXPy懷有這樣的愿景，由此PerfXPy將具有三大特性：1. 追求極致優(yōu)化的計算性能。2. 強(qiáng)調(diào)支持科學(xué)計算和AI計算的易用性。3. 支持異構(gòu)計算，尤其是國產(chǎn)算力平臺。4. 采用Python語言。
實(shí)際上，Intel、AMD這樣的國際巨頭和中國芯，都面臨著如下圖所示的問題。（下圖為本次大會張先軼博士的《異構(gòu)計算軟件棧的國產(chǎn)自主和國際化愿景》主題演講截圖）
澎峰科技創(chuàng)始人兼CEO張先軼
在這里，我想簡單評論一下在我國缺乏統(tǒng)一算力軟件生態(tài)的情況下，“中國芯”企業(yè)的實(shí)踐方法：
借力NVIDIA CUDA。短期而言這無疑是最高效的，并且從商業(yè)邏輯而言也無可厚非。但從長期來看，這也同樣助長了CUDA應(yīng)用生態(tài)的發(fā)展。弊端還在于可能永遠(yuǎn)落后于NVIDIA至少一代，也無法借力CUDA-X構(gòu)建的更深垂直生態(tài)，同時兼容風(fēng)險永遠(yuǎn)存在，包括NVIDIA埋雷的不公平手段。
企業(yè)各自建獨(dú)立的軟件生態(tài)。姑且不論我國是否有存在如此實(shí)力的企業(yè)，但從AMD和Intel近年的戰(zhàn)略布局來看，作為追趕者的傳統(tǒng)巨頭都已經(jīng)發(fā)現(xiàn)只有通過推動開源生態(tài)，才可能挑戰(zhàn)NVIDIA的壟斷地位。
最后一個問題，我國的計算生態(tài)應(yīng)該如何建立國際化影響力呢？中國的計算機(jī)產(chǎn)品和技術(shù)是否需要通過出口為國家創(chuàng)造財富呢？
本人給行業(yè)的建議是：既要短期實(shí)現(xiàn)計算芯片的技術(shù)突破，也需要參與中國自主可控算力軟件生態(tài)的構(gòu)建，共同建設(shè)長期和未來的競爭力。由此，澎峰科技的PerfXAPI發(fā)展理念是“開源成就你我，生態(tài)釋放算力”，PefXAPI追蹤ONNX RT、OneAPI、OpenCL/Sycl這種國際開源標(biāo)準(zhǔn)并進(jìn)行技術(shù)實(shí)現(xiàn)，強(qiáng)調(diào)開源基礎(chǔ)上的創(chuàng)新，并以參與國際化競爭為最終目標(biāo)。
綜上所述，我們給出了解決這兩個關(guān)鍵問題的方案選項(xiàng)，也正在通過商業(yè)化方式進(jìn)行了積極實(shí)踐。澎峰科技在本次大會獲得了“算力軟件基建領(lǐng)軍企業(yè)”和“中國智能計算卓越貢獻(xiàn)獎”雙項(xiàng)殊榮！榮譽(yù)是肯定，更是一種動力。澎峰科技通過不斷的自主研發(fā)與科技創(chuàng)新，為推動我國自主算力軟件生態(tài)建設(shè)貢獻(xiàn)力量。
澎峰科技成立六年以來，靈活的合作方式使我們獲得一些國內(nèi)知名芯片企業(yè)、算法企業(yè)、工業(yè)軟件企業(yè)、科研院所的大力支持，在這里表示誠摯的感謝和敬意。我們期待未來能與更多行業(yè)伙伴加強(qiáng)技術(shù)交流，攜手開啟屬于中國的算力時代，并參與到國際化競爭中去。
