多媒體產(chǎn)業(yè)開辟新航道，國(guó)產(chǎn)DPU與VPU IP加速落地

多媒體產(chǎn)業(yè)歷久彌新。從粗糙像素畫面到超高清視覺盛宴，從有限色彩到廣色域、高動(dòng)態(tài)范圍的精準(zhǔn)呈現(xiàn)，從單一影像記錄到沉浸式虛擬現(xiàn)實(shí)體驗(yàn)……多媒體技術(shù)的每一次進(jìn)步都在重塑我們感知世界的方式。

如今，多媒體產(chǎn)業(yè)正處在技術(shù)的關(guān)鍵交匯點(diǎn)，傳統(tǒng)應(yīng)用生命力不減，又迎來(lái)了5G、AI等創(chuàng)新技術(shù)驅(qū)動(dòng)的變革浪潮。在云、邊、端全場(chǎng)景覆蓋下，多媒體技術(shù)深度融入可穿戴設(shè)備、手機(jī)、平板、汽車、家居、機(jī)器視覺、服務(wù)器等領(lǐng)域，走向更加智能化、高效化和沉浸式的未來(lái)。

在這個(gè)快速發(fā)展的領(lǐng)域，圖像顯示處理器（DPU）和視頻處理器（VPU）的作用愈加突出，它們不僅是實(shí)現(xiàn)高清晰度、高幀率視頻的關(guān)鍵，也是推動(dòng)沉浸式體驗(yàn)和實(shí)時(shí)互動(dòng)技術(shù)發(fā)展的核心驅(qū)動(dòng)力；它們不僅決定了內(nèi)容的顯示效果，還直接影響著用戶體驗(yàn)和多媒體應(yīng)用的發(fā)展，對(duì)多媒體產(chǎn)業(yè)的未來(lái)至關(guān)重要。針對(duì)產(chǎn)業(yè)需求，安謀科技日前推出了旗下首款本土自研的圖像顯示處理器——“玲瓏”D8/D6/D2 DPU，以及新一代高效視頻處理器——“玲瓏”V510/V710 VPU。

“卷”起來(lái)的多媒體市場(chǎng)，前景如何？

在多媒體應(yīng)用這個(gè)越來(lái)越“卷”、甚至有些領(lǐng)域已經(jīng)廝殺成一片紅海的市場(chǎng)，現(xiàn)在推新品是不是一個(gè)好時(shí)機(jī)？例如在安防監(jiān)控等領(lǐng)域，由于市場(chǎng)相對(duì)成熟、玩家眾多、利潤(rùn)空間較為有限，“卷”就體現(xiàn)得更為突出。

安謀科技DPU高級(jí)產(chǎn)品經(jīng)理柴衛(wèi)華認(rèn)為，這首先和產(chǎn)品形態(tài)本身有關(guān)，因?yàn)閳D像視頻應(yīng)用通常是直接面對(duì)用戶的，為了實(shí)現(xiàn)更好的用戶體驗(yàn)，必須要從整體系統(tǒng)優(yōu)化的角度來(lái)進(jìn)行設(shè)計(jì)，這是讓從業(yè)者覺得“卷”的一個(gè)因素。第二，不同場(chǎng)景的需求確實(shí)不同，這就非?？简?yàn)IP的場(chǎng)景化能力。

安謀科技VPU高級(jí)產(chǎn)品經(jīng)理董峰談到了不同場(chǎng)景的差異化挑戰(zhàn)：比如端側(cè)的共性邏輯是盡可能降低成本，同時(shí)還要保持甚至提升質(zhì)量；而云端市場(chǎng)，VPU的設(shè)計(jì)重點(diǎn)在于提高效率和降低主CPU的工作負(fù)載，同時(shí)支持虛擬化和軟件生態(tài)的一體化；再看汽車領(lǐng)域，VPU還需要滿足功能安全要求等等……這些多種多樣的要求都要求VPU 的IP架構(gòu)足夠靈活，能夠適應(yīng)不同場(chǎng)景的需求。

安謀科技多媒體處理器研發(fā)負(fù)責(zé)人周華分享道，“‘極致性價(jià)比’是端側(cè)市場(chǎng)必須要面對(duì)的一個(gè)挑戰(zhàn)，我們和監(jiān)控領(lǐng)域的客戶一起摳畫質(zhì)細(xì)節(jié)好幾年，來(lái)來(lái)回回兩千多封郵件，全都是關(guān)于細(xì)節(jié)的溝通和優(yōu)化討論，包括內(nèi)存空間、DDR空間、帶寬等等。但如果能省出來(lái)一顆DDR芯片，成本馬上會(huì)下降很多，這對(duì)于應(yīng)用很關(guān)鍵，客戶和我們都非常重視這些過(guò)程?！?/p>

“不過(guò)，這并不是多媒體市場(chǎng)的全貌，隨著技術(shù)的不斷進(jìn)步和應(yīng)用場(chǎng)景的擴(kuò)展，整個(gè)行業(yè)充滿了新的機(jī)遇和增長(zhǎng)點(diǎn)”，他強(qiáng)調(diào)。

僅以汽車電子為例，第三方數(shù)據(jù)顯示，2022年國(guó)內(nèi)車載攝像頭的搭載量為5046萬(wàn)顆，預(yù)計(jì)2025年將超過(guò)1億顆，年復(fù)合增長(zhǎng)率為25.7%。此外，大屏化、多屏化、高清化將帶動(dòng)車載顯示市場(chǎng)規(guī)模穩(wěn)固上升，其中HUD和電子后視鏡將貢獻(xiàn)主要增量市場(chǎng)，預(yù)計(jì)2025 年車載顯示市場(chǎng)規(guī)?？蛇_(dá)1208.3億元。

此外，產(chǎn)業(yè)正處于向8K升級(jí)的關(guān)鍵時(shí)期，隨著8K內(nèi)容的逐漸豐富和8K顯示設(shè)備的普及，對(duì)能夠處理更大數(shù)據(jù)量的高性能圖像視頻處理器的需求也在增加，行業(yè)正在開啟新一輪發(fā)展周期。

本土自研首款DPU，單一IP滿足多元需求

圖像顯示處理器（Display Processing Unit, DPU）是影像設(shè)備和視覺系統(tǒng)的核心組件，隨著圖像顯示技術(shù)的應(yīng)用邊界不斷拓寬，超高清、大屏、跨屏聯(lián)動(dòng)、多視頻流/多圖形界面顯示、數(shù)據(jù)安全等，給DPU帶來(lái)了新的技術(shù)挑戰(zhàn)。

此外，還有廣泛應(yīng)用覆蓋下所面臨的碎片化問(wèn)題，給芯片IP開發(fā)帶來(lái)了不小的挑戰(zhàn)。因?yàn)镮P是一個(gè)極度強(qiáng)調(diào)規(guī)模效應(yīng)的領(lǐng)域，只有需求量足夠大的時(shí)候，才能體現(xiàn)出經(jīng)濟(jì)效應(yīng)。這也意味著DPU需要“以一當(dāng)百”，在單一IP中平衡好通用性和差異化。

柴衛(wèi)華介紹說(shuō)，“‘玲瓏’DPU產(chǎn)品架構(gòu)是基于標(biāo)準(zhǔn)化、模塊化的設(shè)計(jì)，我們?cè)陂_發(fā)時(shí)保持了優(yōu)良架構(gòu)的延續(xù)性，對(duì)微架構(gòu)進(jìn)行了細(xì)調(diào)，以適配更多的場(chǎng)景化因素，保證了高效性和差異化的同時(shí)，實(shí)現(xiàn)了架構(gòu)的靈活可配置?！?/p>

“玲瓏”D8/D6/D2 DPU單核性能可達(dá)每秒8K60幀，如果客戶需要比較復(fù)雜的多顯示輸出，可以通過(guò)軟件驅(qū)動(dòng)讓4個(gè)每秒4K60幀的顯示處理并行工作，從而達(dá)到4個(gè)顯示同時(shí)輸出。除了架構(gòu)本身，安謀科技也充分考慮了各類場(chǎng)景的豐富應(yīng)用，最多可以支持16層的內(nèi)容輸入，有效促進(jìn)系統(tǒng)資源的利用和管理。

此外，“玲瓏”DPU實(shí)現(xiàn)了完整的系統(tǒng)支持，內(nèi)置Arm AFBC幀壓縮和解壓縮模塊，這使得它在確保整體系統(tǒng)方案的高性能和高畫質(zhì)的前提下，最大限度地節(jié)省了帶寬及功耗；集成的MMU-600/700中的轉(zhuǎn)換緩沖單元（TBU）模塊，可針對(duì)不同顯示場(chǎng)景進(jìn)行專門優(yōu)化，以進(jìn)一步降低系統(tǒng)訪問(wèn)延時(shí)。此外，“玲瓏”D8/D6/D2 DPU還支持Arm TrustZone媒體保護(hù)（TZMP）架構(gòu)，實(shí)現(xiàn)了軟硬一體化設(shè)計(jì)，能夠?yàn)轱@示數(shù)據(jù)的安全性提供強(qiáng)力保障。

為了確?？蓴U(kuò)展性，“玲瓏”DPU架構(gòu)中還預(yù)留了一個(gè)接口（Coprocessor Interface），用于給客戶做接入。

“玲瓏”DPU架構(gòu)圖

基于靈活可配置的架構(gòu)，“玲瓏”DPU系列實(shí)現(xiàn)了從高性能到低能耗應(yīng)用的廣泛覆蓋，同時(shí)在性能、面積和功耗等維度上實(shí)現(xiàn)了較好的平衡。其中，“玲瓏”D8系列主要面向高性能顯示的應(yīng)用場(chǎng)景，可實(shí)現(xiàn)每秒8K60幀的實(shí)時(shí)顯示處理，或者單IP核支持4個(gè)每秒4K60幀的實(shí)時(shí)顯示輸出；D6系列則針對(duì)性能能效優(yōu)化顯示的應(yīng)用場(chǎng)景，可實(shí)現(xiàn)每秒8K30幀或者4K120幀的實(shí)時(shí)顯示處理，或者單IP核支持2個(gè)每秒4K60幀的實(shí)時(shí)顯示輸出；D2系列則用于注重能效比顯示的物聯(lián)網(wǎng)場(chǎng)景，可實(shí)現(xiàn)每秒2K60幀的實(shí)時(shí)顯示處理。

“DPU使我們的多媒體產(chǎn)品線拼圖更加完整，能夠給客戶帶來(lái)更好、更完整的解決方案”，周華表示，“DPU未來(lái)的優(yōu)化方向之一是利用AI來(lái)提升畫質(zhì)，比如超分辨率和畫質(zhì)增強(qiáng)等技術(shù)。同時(shí)，AI技術(shù)產(chǎn)生的大量數(shù)據(jù)對(duì)顯示設(shè)備的實(shí)時(shí)性和連貫性提出了更高要求，DPU設(shè)計(jì)需要考慮如何在帶寬方面提供對(duì)AI的支持。簡(jiǎn)言之，AI技術(shù)的融合將是DPU產(chǎn)品性能提升的關(guān)鍵，智能化將成為圖像顯示芯片一個(gè)重要的發(fā)展方向?！?/p>

編解碼融合，國(guó)內(nèi)首批包含H.266的VPU

隨著視頻應(yīng)用越來(lái)越廣泛，更高清的視頻分辨率、更高效的視頻壓縮技術(shù)、更先進(jìn)的視頻編解碼算法成為了主流趨勢(shì)。與此同時(shí)，視頻標(biāo)準(zhǔn)也在不斷地迭代升級(jí)。最新的國(guó)際視頻編碼標(biāo)準(zhǔn)H.266能夠提高4K和8K超高清視頻的壓縮效率，且在同等畫質(zhì)下，比上一代標(biāo)準(zhǔn)節(jié)省約50%的流量，使得高清視頻的傳輸和存儲(chǔ)成本得以顯著降低。

“玲瓏”V510/V710 VPU是國(guó)內(nèi)首批同時(shí)包含H.266編碼和解碼的VPU產(chǎn)品。相較于前代， “玲瓏”V510/V710 VPU的編解碼性能均實(shí)現(xiàn)了翻倍提升，并且在4K/8K應(yīng)用場(chǎng)景中的編碼質(zhì)量可提高25%以上，新增了屏幕顯示菜單OSD前處理功能，能夠更好地兼顧主流市場(chǎng)和新興應(yīng)用的實(shí)時(shí)編解碼需求。

其中，V510系列主要面向4K及以下視頻的應(yīng)用場(chǎng)景，最多可支持4核配置；V710系列則針對(duì)高端的8K視頻應(yīng)用場(chǎng)景，最多可支持8核配置。

據(jù)董峰介紹，“‘玲瓏’V510/V710 VPU采用了多核多格式編解碼融合的可編程處理架構(gòu)，單核的編碼或解碼性能可達(dá)到每秒4K60幀，能夠根據(jù)端、邊、云等不同場(chǎng)景需求，分別提供1-4核、4-8核等多種配置?！?/p>

他強(qiáng)調(diào)，傳統(tǒng)的編解碼分離架構(gòu)，編、解碼過(guò)程各自需要內(nèi)存資源。安謀科技在“玲瓏”VPU中采用了融合架構(gòu)，旨在通過(guò)內(nèi)部復(fù)用pipeline來(lái)減少資源消耗。在技術(shù)層面，通過(guò)加速器和數(shù)據(jù)流層級(jí)的優(yōu)化，并結(jié)合MCU控制而非純硬件控制的方式，可以適應(yīng)不同的數(shù)據(jù)流控制需求。

以“玲瓏”V710為例，架構(gòu)中集成有5個(gè)MCU，MCU上運(yùn)行的固件是架構(gòu)實(shí)現(xiàn)靈活性的重要原因。這相當(dāng)于不同的MCU對(duì)應(yīng)控制不同的硬件加速器，在spec分析階段，考慮哪些可以固化、哪些可以通過(guò)靈活的軟件配置實(shí)現(xiàn)。正因如此，“玲瓏”V510/V710 VPU在大幅節(jié)省存儲(chǔ)空間及帶寬成本的同時(shí)，還能按需配置，確保系統(tǒng)性能、功耗和面積的最佳平衡。

“玲瓏”V710架構(gòu)圖

在周華看來(lái)，芯片一旦流片后，改動(dòng)的代價(jià)非常大。而固件可以在流片后繼續(xù)進(jìn)行調(diào)整優(yōu)化，比如碼率控制、編碼質(zhì)量的優(yōu)化等，甚至一些硬件bug都可以通過(guò)固件來(lái)解決，且調(diào)優(yōu)效率更高。此外，固件負(fù)擔(dān)了和硬件交互的一些工作，也極大地緩解了主CPU的工作量。

不過(guò)，MCU固件在帶來(lái)靈活性的同時(shí)，也增加了大量的驗(yàn)證工作，需要投入的資源非常多，這也是該架構(gòu)的門檻所在?！癡PU在某種程度上類似于SoC，專注于業(yè)務(wù)場(chǎng)景的數(shù)據(jù)流管理。安謀科技在這方面擁有強(qiáng)大的系統(tǒng)級(jí)架構(gòu)設(shè)計(jì)能力，尤其在IP層面的系統(tǒng)化設(shè)計(jì)上具有優(yōu)勢(shì)”，董峰強(qiáng)調(diào)。

為了實(shí)現(xiàn)多核并行和性能的線性提升，“玲瓏”V510/V710 VPU還創(chuàng)新性地在數(shù)據(jù)處理任務(wù)中實(shí)施條帶級(jí)劃分，從而更細(xì)致地分解和考量架構(gòu)，實(shí)現(xiàn)了多核并行處理和性能的線性提升，同時(shí)顯著提高了面積效率。在實(shí)際應(yīng)用中，“玲瓏”V510/V710 VPU可以根據(jù)客戶需求進(jìn)行靈活配置，快速響應(yīng)需求。

為幫助開發(fā)者基于各種視頻編解碼標(biāo)準(zhǔn)進(jìn)行快速部署，“玲瓏”V510/V710 VPU還提供了一整套完備的固件工具及軟件支持，憑借軟硬件交互的架構(gòu)設(shè)計(jì)，開發(fā)者后續(xù)還可通過(guò)軟件升級(jí)對(duì)既有硬件進(jìn)行靈活擴(kuò)展和優(yōu)化。

目前，國(guó)內(nèi)頭部的互聯(lián)網(wǎng)內(nèi)容商已經(jīng)開始在H.266標(biāo)準(zhǔn)層面上展開相應(yīng)的部署，包括H.266數(shù)據(jù)流、從端側(cè)到云端的轉(zhuǎn)碼等，主要是在低碼率以及帶寬變化比較頻繁的場(chǎng)景下，通過(guò)H.266技術(shù)帶給用戶更好的實(shí)際場(chǎng)景感受?！癏.266很可能會(huì)成為我們的抓手，明年在客戶產(chǎn)品布局上會(huì)發(fā)揮更大的作用“，周華表示。

據(jù)了解，“玲瓏”VPU系列面世超過(guò)三年，目前已授權(quán)30多家國(guó)內(nèi)合作伙伴，并應(yīng)用于手機(jī)終端、PC、智能汽車、智能安防等主流場(chǎng)景。此外，2023年推出的Arm智能視覺參考設(shè)計(jì)也集成了“玲瓏”VPU，支持緊湊的、多格式且高效能的視頻編解碼處理。

承擔(dān)多媒體產(chǎn)品的“歷史包袱”，賦能本土應(yīng)用創(chuàng)新

回顧從業(yè)經(jīng)歷，周華不無(wú)感慨地說(shuō)，“我在十二三年前成為了一名VPU工程師，應(yīng)該是國(guó)內(nèi)首批VPU工程師，對(duì)多媒體產(chǎn)品的‘歷史包袱’深有體會(huì)。這主要體現(xiàn)在視頻格式和視頻標(biāo)準(zhǔn)的持續(xù)演進(jìn)，為了實(shí)現(xiàn)更小的芯片面積，一個(gè)IP往往需要兼容以往的十幾、二十幾種格式，并且每新增一種格式，編、解碼都要重新驗(yàn)一遍，這個(gè)工作量非常龐大，對(duì)設(shè)計(jì)能力有較大的挑戰(zhàn)?！?/p>

理解并應(yīng)對(duì)這些“歷史包袱”對(duì)于多媒體產(chǎn)品的持續(xù)發(fā)展至關(guān)重要，“玲瓏”多媒體產(chǎn)品線就在這樣承前啟后的布局中不斷實(shí)現(xiàn)了迭代、升級(jí)。

周華表示，“‘玲瓏’的成長(zhǎng)，其實(shí)也是安謀科技自研業(yè)務(wù)持續(xù)進(jìn)化的一個(gè)縮影。通過(guò)立足本土市場(chǎng)和客戶需求進(jìn)行針對(duì)性布局，全面發(fā)揮Arm技術(shù)體系的技術(shù)基因和生態(tài)優(yōu)勢(shì)，我們能夠從IP上游視角和系統(tǒng)化思維出發(fā)進(jìn)行全局考量和協(xié)同創(chuàng)新，這是我們不斷成長(zhǎng)的關(guān)鍵。要解決歷史遺留問(wèn)題，這決不是任何一個(gè)廠商能依靠單一技術(shù)實(shí)力做到的，我們始終在打造基于技術(shù)標(biāo)準(zhǔn)的多樣性和歷史性的技術(shù)生態(tài)。如今，多媒體產(chǎn)業(yè)迎來(lái)新的窗口期，作為IP廠商，我們希望賦能更多場(chǎng)景的客戶。”

談及在中國(guó)龐大的多媒體市場(chǎng)中的定位，周華認(rèn)為安謀科技既是“學(xué)徒”，又是“標(biāo)兵”。從行業(yè)特點(diǎn)看，多媒體業(yè)務(wù)面向的是一個(gè)高度碎片化的市場(chǎng)，客戶既要求標(biāo)準(zhǔn)化和適用性，便于快速研發(fā)和靈活擴(kuò)展；同時(shí)也要求一定的差異性，針對(duì)特定的市場(chǎng)進(jìn)行創(chuàng)新。這就需要與客戶密切溝通，可以說(shuō)客戶是“師傅”，安謀科技是“學(xué)徒”，將客戶的行業(yè)實(shí)踐積累和自身IP技術(shù)積累進(jìn)行疊加，實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)。

另一方面，AI、智駕智艙等新技術(shù)，為本土產(chǎn)業(yè)鏈打開了新的增長(zhǎng)空間。同時(shí)，基于圖像和視頻的數(shù)字多媒體技術(shù)也在不斷發(fā)展和普及，成為終端智能化升級(jí)的“加速器”?！熬薮蟮臋C(jī)遇面前，安謀科技希望能夠做好‘標(biāo)兵’，為本土客戶提供多元化且符合本土產(chǎn)業(yè)需求的產(chǎn)品和解決方案，助力國(guó)產(chǎn)芯片廠商在多媒體技術(shù)領(lǐng)域?qū)崿F(xiàn)創(chuàng)新發(fā)展”，周華強(qiáng)調(diào)。