2269
抵達(dá)極限的視覺體驗(yàn)是人們不變的追求，體驗(yàn)越好，視覺產(chǎn)業(yè)越是剛需。
從石壁作畫開始，提升畫面感和信息傳遞效率就是人們不變的追求，在現(xiàn)代科技趨勢下，視覺產(chǎn)業(yè)更是在迅速地升級(jí)和擴(kuò)大中。近年來，一個(gè)非常典型的應(yīng)用就是手機(jī)游戲，沉浸式和高度視覺化的游戲體驗(yàn)迅速風(fēng)靡，手機(jī)已經(jīng)成為全球最大的游戲平臺(tái)。
手機(jī)游戲的高速增長與普及，一方面歸功于手機(jī)已成為人們?nèi)粘Ｉ畹闹匾M成；另一方面也因?yàn)槭謾C(jī)所提供的用戶體驗(yàn)，足以讓玩家能隨時(shí)隨地盡興暢玩。
隨著顯示技術(shù)日趨逼近人眼可察覺的極限，隨著VR、更為沉浸的3D顯示、更高級(jí)的光場顯示技術(shù)走向多元應(yīng)用，移動(dòng)視覺產(chǎn)業(yè)將迎來大變局。那么，從手機(jī)游戲開始的視覺顛覆，可以帶給我們哪些思考？背后有哪些關(guān)鍵技術(shù)需要關(guān)注？哪些應(yīng)用又將成為未來的主流？
手機(jī)游戲拿下半壁江山背后
根據(jù)Newzoo《2022年全球游戲市場報(bào)告》的最新更新，手機(jī)游戲在2022年首次突破1000億美元大關(guān)，占整個(gè)游戲市場的51%。這一組數(shù)字的意義不僅在于手機(jī)游戲本身的規(guī)模擴(kuò)張，更意味著，伴隨手機(jī)游戲市場規(guī)模的逐年擴(kuò)張，“分水嶺”已經(jīng)產(chǎn)生了。
對(duì)比PC與手機(jī)的游戲體驗(yàn)，處理能力更強(qiáng)、視覺體驗(yàn)更好的PC一度占據(jù)更大優(yōu)勢。不過，隨著手機(jī)自身硬件素質(zhì)的提升，這一局面發(fā)生了反轉(zhuǎn)，包括手機(jī)內(nèi)存容量、電池電量，特別是GPU的性能提升，使得手機(jī)游戲體驗(yàn)產(chǎn)生了質(zhì)的變化。
從整個(gè)系統(tǒng)層面來看，對(duì)手機(jī)游戲體驗(yàn)非常關(guān)鍵的硬件產(chǎn)品就是GPU了。移動(dòng)GPU經(jīng)過多年的發(fā)展，早已不局限于把一款游戲達(dá)到流暢及格線的程度，而是致力于實(shí)現(xiàn)“更快更強(qiáng)更沉浸”的游戲場景，甚至支撐跨平臺(tái)的游戲體驗(yàn)獲得持續(xù)發(fā)展。從目前高端移動(dòng)GPU的應(yīng)用情況來看，將自今年年底開始逐漸在旗艦手機(jī)上量，移動(dòng)視覺產(chǎn)業(yè)也將進(jìn)一步迎來顛覆。
移動(dòng)GPU“卷”出新高度
本周，MediaTek推出了天璣9200旗艦5G移動(dòng)芯片，在手機(jī)游戲方面的突破值得特別關(guān)注。
據(jù)了解，天璣9200搭載了Arm的新一代Immortalis-G715，11核架構(gòu)，性能較上一代提升32%，支持移動(dòng)端的硬件光線追蹤和可變速率渲染技術(shù)，能夠釋放圖形性能提升游戲體驗(yàn)。據(jù)了解，采用天璣9200旗艦5G移動(dòng)芯片的智能手機(jī)預(yù)計(jì)將于2022年底上市。
Immortalis是Arm今年6月推出的一條全新的旗艦級(jí)GPU產(chǎn)品線，首個(gè)產(chǎn)品是Immortalis-G715。在Mali GPU出貨量已超過80億顆，并成為全球出貨量最高的GPU產(chǎn)品時(shí)，Arm推出一條全新GPU產(chǎn)品線的動(dòng)力是什么？
根據(jù)Arm當(dāng)時(shí)所做的說明，新GPU設(shè)計(jì)考慮到了游戲的未來。新的復(fù)雜和沉浸式AAA移動(dòng)游戲體驗(yàn)將對(duì)移動(dòng)設(shè)備提出越來越高的要求，Immortalis-G715旨在為未來的旗艦手機(jī)提供更好的視覺體驗(yàn)。
與前一代 Arm GPU 相比，這款產(chǎn)品性能提升了15%，節(jié)能15%，并且實(shí)現(xiàn)了兩倍的機(jī)器學(xué)習(xí)性能提升，在處理機(jī)器學(xué)習(xí)工作負(fù)載（例如圖像處理和精度靈活性等）更有余力。
移動(dòng)應(yīng)用包括游戲在內(nèi)的最新用例，對(duì)硬件與性能正在提出更多新需求；更復(fù)雜、更具沉浸感的AAA游戲體驗(yàn)在手機(jī)上越來越常見，領(lǐng)先的AAA級(jí)PC和控制臺(tái)游戲都有了移動(dòng)版本；此外，新一代用戶越來越多地選擇手機(jī)作為他們的游戲平臺(tái)。Arm在新GPU中添加的功能，反映了對(duì)終極移動(dòng)游戲體驗(yàn)的追求，也代表了當(dāng)前的技術(shù)趨勢。
移動(dòng)光線追蹤
Immortalis-G715提供了基于硬件的光線追蹤，這也是當(dāng)前移動(dòng)終端關(guān)注的重點(diǎn)之一。“光線追蹤”技術(shù)并不陌生，它作為一種計(jì)算機(jī)圖形技術(shù)，通過建模單個(gè)光線在場景周圍的路徑來生成逼真的照明和陰影，可以使圖形真實(shí)感達(dá)到躍升式變化。通過模擬真實(shí)世界中光線的表現(xiàn)，創(chuàng)造出與現(xiàn)實(shí)生活幾乎無異的3D場景。
在“光線追蹤”技術(shù)問世之前，游戲中的畫面主要采用“光柵化”進(jìn)行渲染，可以實(shí)現(xiàn)一些局部照亮的光線效果，畫面細(xì)節(jié)則主要靠貼圖。在當(dāng)時(shí)，光線追蹤技術(shù)如果想要實(shí)現(xiàn)更真實(shí)的畫面，需要顯卡具備較高的圖形運(yùn)算能力。
2018年，NVIDIA發(fā)布了十多年來在計(jì)算機(jī)圖形領(lǐng)域的重要?jiǎng)?chuàng)新——圖靈GPU架構(gòu)，首次將光線追蹤帶入桌面級(jí)市場，當(dāng)時(shí)剛體驗(yàn)過的玩家就認(rèn)為，“未來的游戲必然需要光線追蹤，那種擬真的質(zhì)感將俘獲大多數(shù)玩家。”
如今，隨著手機(jī)游戲玩家越來越注重畫質(zhì)表現(xiàn)，除了傳統(tǒng)的提升分辨率，手機(jī)游戲也在逐漸“PC化”，光線追蹤自然也就成為手機(jī)游戲復(fù)刻甚至超越桌面游戲體驗(yàn)的關(guān)鍵。
在一些跨平臺(tái)的AAA大作中，移動(dòng)游戲在畫質(zhì)上給予了玩家更高的自由度。他們可以根據(jù)設(shè)備本身的性能水平，除了游戲的特效等級(jí)、分辨率、抗鋸齒等設(shè)置，還可以對(duì)陰影、反射、環(huán)境光等細(xì)節(jié)參數(shù)做出改動(dòng)。在這些高端游戲中廣泛應(yīng)用的正是光線追蹤技術(shù)。如今，MediaTek搶先在天璣系列的旗艦平臺(tái)上支持了光線追蹤功能。
Arm方面介紹，光線追蹤代表了移動(dòng)游戲內(nèi)容的范式轉(zhuǎn)變，之所以在Immortalis-G715上引入基于硬件的光線追蹤支持，是因?yàn)楹献骰锇橐呀?jīng)準(zhǔn)備好了，硬件已經(jīng)準(zhǔn)備好，開發(fā)者生態(tài)系統(tǒng)也即將準(zhǔn)備好。
據(jù)Arm當(dāng)時(shí)透露，Immortalis-G715將在明年年初出現(xiàn)在旗艦智能手機(jī)中，這是生態(tài)系統(tǒng)開始探索游戲內(nèi)容光線追蹤技術(shù)的基礎(chǔ)，且這一技術(shù)未來幾年將繼續(xù)得到發(fā)展。不過，從目前MediaTek的市場動(dòng)作來看，已經(jīng)搶先推出了首款基于Immortalis-G715的移動(dòng)端芯片，且內(nèi)置這一芯片的智能手機(jī)預(yù)計(jì)將于今年底上市，進(jìn)一步加速了移動(dòng)端硬件光線追蹤技術(shù)的商用化進(jìn)程。
Imagination方面也曾表示，光線追蹤是改變游戲規(guī)則的3D圖形技術(shù)。多年前由于整個(gè)生態(tài)還未準(zhǔn)備好，也缺乏相對(duì)完善的API標(biāo)準(zhǔn)，因此這項(xiàng)技術(shù)在移動(dòng)端的應(yīng)用一直沒有得到推進(jìn)。從2018年桌面級(jí)GPU公司推出PC光線追蹤開始，整個(gè)業(yè)界開始有了生態(tài)投入，并且在2020年Khronos圖形標(biāo)準(zhǔn)化組織推出了Vulkan API的光線追蹤Extension，現(xiàn)在推出具有光線追蹤功能芯片的時(shí)機(jī)已經(jīng)到來。
如上文所提到，除了IP廠商的推進(jìn)，全球?qū)τ诠饩€追蹤的標(biāo)準(zhǔn)也在不斷完善。特別是今年1月，Vulkan 1.3標(biāo)準(zhǔn)正式發(fā)布，已經(jīng)支持了Vulkan Raytracing API，這便于開發(fā)者通過 Vulkan標(biāo)準(zhǔn)的API，對(duì)光線追蹤支持加以利用。這也標(biāo)志著——移動(dòng)GPU光追技術(shù)將繼續(xù)加速普及，并覆蓋更廣泛的內(nèi)容類型。
渲染優(yōu)化、執(zhí)行引擎優(yōu)化
除了光線追蹤這一核心亮點(diǎn)，移動(dòng)GPU在優(yōu)化渲染效率、執(zhí)行引擎、PPA等方面也有了不小的改進(jìn)。
Arm最新的GPU中新增了可變比率著色功能，在圖形和視覺效果方面，通過優(yōu)化渲染提供了顯著的節(jié)能和性能提升。本質(zhì)上，它獲取一個(gè)場景，比如在游戲動(dòng)作發(fā)生的地方，會(huì)以精細(xì)的像素粒度將渲染集中在需要它的部分；而需要較少關(guān)注的區(qū)域，比如背景風(fēng)景，則以更粗的像素粒度進(jìn)行渲染。這樣就使得游戲場景在保持視覺質(zhì)感的同時(shí)，能夠節(jié)約系統(tǒng)功耗。其次還有執(zhí)行引擎的創(chuàng)新等，也是以提高計(jì)算能力和能效的關(guān)鍵。
Imagination的分塊延遲渲染（TBDR）技術(shù)，總體的思路也是提高像素渲染的效率。通過分塊，可以把一個(gè)個(gè)小塊上的圖形數(shù)據(jù)挪到GPU的Cache上，只做一次性的搬移，從而節(jié)省帶寬。此外，分塊技術(shù)能對(duì)負(fù)載在GPU上進(jìn)行高效分布，更加善于利用系統(tǒng)內(nèi)存，通過只渲染可見像素，放棄被覆蓋或遮擋像素來大幅提高整體效率。此外還有硬件壓縮技術(shù)，通過對(duì)像素不同等級(jí)的壓縮，在保證圖像質(zhì)感的同時(shí)，達(dá)到節(jié)約帶寬的目的。
始于游戲，但不止于游戲
高端游戲技術(shù)由桌面向手機(jī)遷移的必然趨勢下，視覺體驗(yàn)的顛覆式躍進(jìn)在加速。追求極致體驗(yàn)的手機(jī)游戲，真正駛向的藍(lán)海難以估量?；蛘哒f，游戲帶來的技術(shù)沉淀與革新將在更廣泛深遠(yuǎn)的范圍內(nèi)被應(yīng)用，一切始于游戲而不止于游戲。
首先，硬件設(shè)備方面，大體量高度沉浸的手機(jī)游戲推動(dòng)了高效硬件設(shè)備和通信網(wǎng)絡(luò)的落地;軟件技術(shù)方面，游戲引擎技術(shù)帶來的云能力，也提升了云計(jì)算、云原生引擎的落地動(dòng)力，這都為視覺應(yīng)用的普及和升級(jí)打下了基礎(chǔ)。
其次，游戲引擎優(yōu)化帶來的沉浸感技術(shù)，將持續(xù)向各行業(yè)滲透，并帶來交互體驗(yàn)的提升。在此基礎(chǔ)上進(jìn)行的數(shù)字重建、數(shù)字孿生，也可以讓虛擬世界更加真實(shí)，為AR/VR、虛擬購物、自動(dòng)駕駛汽車及先進(jìn)駕駛輔助系統(tǒng)等領(lǐng)域帶來大規(guī)模落地的希望。
第三，移動(dòng)游戲也正在助推實(shí)時(shí)3D技術(shù)的發(fā)展，這是一個(gè)價(jià)值1035億美元的龐大產(chǎn)業(yè)，其規(guī)模已超過了游戲機(jī)和電腦游戲市場的總和。移動(dòng)設(shè)備的基礎(chǔ)計(jì)算和圖形處理能力正在提高，這意味著游戲?qū)⑼ㄟ^實(shí)時(shí)3D變得更加真實(shí)，令人感到身臨其境。
不僅如此，實(shí)時(shí)3D也在助力移動(dòng)應(yīng)用創(chuàng)造出更多可能。比如3D導(dǎo)航、3D建模、實(shí)時(shí)3D虛擬體驗(yàn)等，走向更逼真、更具沉浸感的視覺應(yīng)用。
第四，目前業(yè)內(nèi)很多人看好游戲作為元宇宙的切入點(diǎn)，從構(gòu)建元宇宙的環(huán)境來看，很多都是由影視素材和游戲素材搭建起來的；并且用戶在手機(jī)游戲中的虛擬身份，也便于他們暢游元宇宙；以上所有這些基于游戲而創(chuàng)新的視覺技術(shù)、設(shè)備，都有望在元宇宙煥發(fā)新生。
還有哪些挑戰(zhàn)？
對(duì)于有志于在未來視覺產(chǎn)業(yè)中大干一番的廠商來說，技術(shù)實(shí)力是一項(xiàng)硬性指標(biāo)，此外，還需要與相關(guān)技術(shù)的有機(jī)結(jié)合，以及產(chǎn)業(yè)生態(tài)之間的合縱連橫。
舉個(gè)例子，如果要將游戲應(yīng)用從智能手機(jī)轉(zhuǎn)移到 AR、VR等其他領(lǐng)域，首先需要游戲開發(fā)者和創(chuàng)作者將他們的經(jīng)驗(yàn)應(yīng)用其中，這必然需要強(qiáng)大的產(chǎn)業(yè)對(duì)話能力和生態(tài)構(gòu)建能力，特別是生態(tài)，將會(huì)是移動(dòng)視覺產(chǎn)業(yè)進(jìn)一步升級(jí)的必經(jīng)之路。
Arm方面就表示，接下來的GPU新品（代號(hào)：Titan和Krake）將持續(xù)提升性能，在系統(tǒng)層面優(yōu)化用例性能，賦能各類消費(fèi)級(jí)設(shè)備實(shí)現(xiàn)高質(zhì)量的視覺體驗(yàn)。為了實(shí)現(xiàn)這一點(diǎn)，他們正在和頂級(jí)游戲發(fā)行商、游戲開發(fā)工作室合作，通過軟件、工具等，最大限度地提高游戲應(yīng)用程序的性能。例如，動(dòng)視暴雪 (Activision Blizzard)、拳頭游戲 (Riot Games)、King 和 Wargaming 等；同時(shí)與Unity開展戰(zhàn)略合作，將Arm技術(shù)預(yù)集成到Unity工具鏈中，使Unity開發(fā)者能夠在其原生開發(fā)環(huán)境中獲取Arm技術(shù)的性能，為創(chuàng)作者提供更好的體驗(yàn)。
芯片廠商也在積極推進(jìn)生態(tài)布局。面向開發(fā)者和硬件廠商，MediaTek與評(píng)測工具廠商展開合作。并且，MediaTek基于移動(dòng)端游戲等應(yīng)用的發(fā)展特征，提出了移動(dòng)GPU增效方案，實(shí)現(xiàn)保持系統(tǒng)資源平衡的基礎(chǔ)上，滿足高復(fù)雜度內(nèi)容的計(jì)算需求。此外，MediaTek與騰訊《暗區(qū)突圍》游戲制作團(tuán)隊(duì)合作，開發(fā)移動(dòng)端光線追蹤技術(shù)在游戲上的應(yīng)用，包括游戲引擎優(yōu)化、管線優(yōu)化、光追內(nèi)容特效的呈現(xiàn)等。
對(duì)于游戲開發(fā)者來說，他們也在思考如何突破移動(dòng)平臺(tái)視覺效果界限，讓用戶體驗(yàn)再度升級(jí)？當(dāng)前，照明是業(yè)內(nèi)備受關(guān)注的一個(gè)主題，即：如何在有限的熱預(yù)算限制下，實(shí)現(xiàn)與日益增長的場景復(fù)雜性相匹配的間接照明。
被譽(yù)為“皇冠上的珍珠”的全局照明 (Global Illumination, GI) 就是對(duì)逼真照明這一游戲中最重要視覺組件的終極模擬。據(jù)了解，騰訊游戲已經(jīng)和Arm圍繞實(shí)時(shí)照明進(jìn)行了深度合作，包括基于Arm Immortalis-G715 ?GPU硬件加速的極致光追性能，到高度優(yōu)化的預(yù)計(jì)算軟件實(shí)現(xiàn)，通過匯聚多種方案的優(yōu)勢讓全局照明進(jìn)一步得到提升。
寫在最后
綜合來看移動(dòng)GPU近年來的創(chuàng)新，是架構(gòu)、算法、工具、生態(tài)等齊頭并進(jìn)發(fā)展的結(jié)果。這其中包括了架構(gòu)的可擴(kuò)展性、靈活性、效能、效率、可編程性，以及和行業(yè)標(biāo)準(zhǔn)API的協(xié)同發(fā)展，從而能夠針對(duì)更為多樣化的場景和終端進(jìn)行開發(fā)部署。
事實(shí)上，在移動(dòng)GPU現(xiàn)有的應(yīng)用場景中，絕不止于手機(jī)游戲。例如手機(jī)的美顏軟件、短視頻特效、相機(jī)中AR的應(yīng)用或影像算法，其實(shí)都需要用到GPU的算力。只不過在游戲這個(gè)品類中，我們看到了發(fā)揮GPU巔峰算力時(shí)的應(yīng)用狀態(tài)，以及未來的更多可能性。
手機(jī)游戲最終駛向哪里？一切正處在變革時(shí)刻，性能、效率或?qū)⑹且曈X體驗(yàn)應(yīng)用到各處的關(guān)鍵，同時(shí)，強(qiáng)大的生態(tài)也有助于更多視覺應(yīng)用快速落地。平衡好硬幣的兩面，實(shí)現(xiàn)性能、功耗、品質(zhì)、開發(fā)成本的完美平衡，移動(dòng)視覺產(chǎn)業(yè)將駛向更廣闊的藍(lán)海。
下載ECAD模型
