移動(dòng)音頻三大挑戰(zhàn)下，OPPO自研芯片“破冰”

音頻需求正在強(qiáng)勢(shì)上漲，Luminate 2022年上半年報(bào)告顯示，全球流媒體音樂(lè)同比增長(zhǎng)了24.7%，而視頻流媒體播放增長(zhǎng)28.1%。QuestMobile 2022上半年報(bào)告顯示，中國(guó)移動(dòng)音樂(lè)用戶規(guī)模已達(dá)到龐大的7.06億。

龐大的用戶需求，也推動(dòng)了在線音樂(lè)平臺(tái)曲庫(kù)數(shù)量持續(xù)增長(zhǎng)。如網(wǎng)易云音樂(lè)和騰訊音樂(lè)，2021年第一季度的曲庫(kù)數(shù)量為5500萬(wàn)，到2021年底就達(dá)到了1.4億，增速達(dá)到150%以上。

移動(dòng)音頻的快速發(fā)展趨勢(shì)下，一些創(chuàng)新需求也浮出水面：產(chǎn)品同質(zhì)化、用戶需求高端化、體驗(yàn)精細(xì)化——成為行業(yè)需要共同面對(duì)的三大問(wèn)題。如何通過(guò)底層技術(shù)創(chuàng)新打破僵局，用關(guān)鍵技術(shù)解決用戶痛點(diǎn)？成為未來(lái)創(chuàng)新的關(guān)鍵。

在OPPO看來(lái)，無(wú)損音質(zhì)與個(gè)性化體驗(yàn)將推動(dòng)音頻體驗(yàn)走向高質(zhì)量發(fā)展。也正是基于這一洞察，OPPO今日宣布推出第二顆自研芯片馬里亞納 MariSilicon Y。

它具有三大關(guān)鍵技術(shù)突破：第一，12Mbps全球最快藍(lán)牙速率，突破傳統(tǒng)藍(lán)牙連接質(zhì)量；第二，590 GOPS最強(qiáng)算力NPU，用AI突破傳統(tǒng)音頻的計(jì)算范式；第三，領(lǐng)先二代的N6RF制程工藝，突破藍(lán)牙音頻設(shè)備的能效標(biāo)準(zhǔn)，首次將192kHz/24bit無(wú)損音頻帶入藍(lán)牙設(shè)備，帶來(lái)母帶級(jí)的高品質(zhì)音質(zhì)的同時(shí)，也提供了更先鋒的個(gè)性化音頻體驗(yàn)。

堅(jiān)持自研芯片的必經(jīng)之路

OPPO為什么堅(jiān)持自研芯片？并且涉足藍(lán)牙音頻這種高度細(xì)分的芯片領(lǐng)域？

OPPO芯片產(chǎn)品高級(jí)總監(jiān)姜波表示，OPPO認(rèn)為端對(duì)端的連接技術(shù)，是硬件能力重特別重要的基礎(chǔ)性技術(shù)。OPPO強(qiáng)調(diào)萬(wàn)物互融，未來(lái)一定會(huì)在短距通信、端到端的體驗(yàn)上做很多探索和改進(jìn)。這顆芯片雖然小，但是OPPO首次在端到端，通過(guò)私有協(xié)議實(shí)現(xiàn)了連接，這個(gè)連接的基礎(chǔ)能力是OPPO一定要建立的。

其次，盡管這顆芯片無(wú)論是成本投入，還是市場(chǎng)ROI，從商業(yè)角度看似乎都非常不劃算的。但是，N6RF工藝是未來(lái)必然要掌握的。在前代6nm的基礎(chǔ)上，馬里亞納MariSilicon Y更進(jìn)一步拓展至N6RF工藝制程，代表OPPO掌握了將先進(jìn)制程工藝應(yīng)用于射頻系統(tǒng)的能力，拓展了先進(jìn)制程下的芯片設(shè)計(jì)專長(zhǎng)。

OPPO芯片產(chǎn)品高級(jí)總監(jiān) 姜波

也就是說(shuō)，第一是連接能力的掌握，第二是先進(jìn)射頻工藝的掌握，都是OPPO自研芯片必須探索的方向。姜波補(bǔ)充，從整個(gè)商業(yè)角度看，采用第三方方案的確更節(jié)約成本，但馬里亞納MariSilicon Y所代表的自研能力是無(wú)法通過(guò)第三方芯片獲得的。

馬里亞納 MariSilicon Y作為OPPO 首個(gè)SoC芯片解決方案，可以完整地負(fù)責(zé)一個(gè)藍(lán)牙音頻設(shè)備的所有功能。這不僅標(biāo)志著OPPO首次打開了連接芯片設(shè)計(jì)的新領(lǐng)域，具備了藍(lán)牙連接的軟硬件全套能力，也意味著OPPO首次具備了計(jì)算+連接能力的藍(lán)牙SoC平臺(tái)設(shè)計(jì)能力，在前一代自研芯片影像整合的基礎(chǔ)上，增加了藍(lán)牙連接的整合，為萬(wàn)物互融奠定必備的底層連接能力。

高質(zhì)量音頻核心創(chuàng)新點(diǎn)：無(wú)損音頻和個(gè)性化

根據(jù)《2022音頻產(chǎn)品使用現(xiàn)狀調(diào)研報(bào)告》顯示，超過(guò)58%的受訪者表示希望獲得高解析度或無(wú)損音質(zhì)。61%的消費(fèi)者希望獲得比MP3更好的音質(zhì)，包括CD音質(zhì)（44.1KHz/16bit）、高解析音質(zhì)（高于96KHz/24bit）、無(wú)損音質(zhì)。此外，有66%消費(fèi)者認(rèn)為無(wú)損音質(zhì)會(huì)決定他們是否購(gòu)買設(shè)備。

無(wú)損音頻開始逐漸走進(jìn)主流消費(fèi)者，不再是只限于發(fā)燒友群體的稀有體驗(yàn)。隨著近年來(lái)全球流媒體音樂(lè)在線平臺(tái)加速升級(jí)曲庫(kù)質(zhì)量，毫無(wú)HiFi經(jīng)驗(yàn)的普通消費(fèi)者，也可以輕松地獲得世界每個(gè)角落的高品質(zhì)音樂(lè)。

除了無(wú)損音頻的高清晰度和高保真度體驗(yàn)，高品質(zhì)音頻還包括了個(gè)性化的體驗(yàn)，在這方面，計(jì)算音頻在邁入個(gè)性化的第二階段。

計(jì)算音頻這一概念自2019年興起，隨著蘋果公司推出H1芯片與AirPods Pro開始獲得更大關(guān)注。目前以主動(dòng)降噪和空間音頻為代表的智能計(jì)算音頻體驗(yàn)，正在為用戶創(chuàng)造良好的聲音體驗(yàn)。如主動(dòng)降噪功能，讓用戶可以完全根據(jù)自己所處的環(huán)境，選擇自己的聲音體驗(yàn)是隔離外界還是開放通透；空間音頻創(chuàng)造的沉浸式體驗(yàn)，可以讓用戶在轉(zhuǎn)動(dòng)頭部的時(shí)候，聲音獲得跟隨的效果，實(shí)現(xiàn)用戶與內(nèi)容的獨(dú)特交互。

隨著消費(fèi)者市場(chǎng)的成熟和技術(shù)的發(fā)展，計(jì)算音頻開始邁入第二階段。這一階段的最大特征便是個(gè)性化。如空間音頻，傳統(tǒng)上虛擬空間的渲染是基于一套預(yù)設(shè)模型，就像購(gòu)買成衣西服，雖然精致，但細(xì)節(jié)處難免還會(huì)有不合身。

而新一代的空間音頻，可以根據(jù)用戶個(gè)人的頭型和耳廓形狀，定制HRTF模型（Head Related Transfer Function，頭部相關(guān)傳遞函數(shù)），獲得最符合個(gè)人的聽(tīng)感，就像高級(jí)定制的西服，每一處細(xì)節(jié)都為用戶的獨(dú)特身材量身定制。

此外，隨著AI技術(shù)、環(huán)境感知、自然語(yǔ)義處理等諸多先進(jìn)技術(shù)融入計(jì)算音頻領(lǐng)域，更具個(gè)性化的聲音體驗(yàn)呼之欲出。

解決藍(lán)牙音質(zhì)難題

馬里亞納MariSilicon Y通過(guò)首創(chuàng)的超高速藍(lán)牙解決方案，集成了比傳統(tǒng)藍(lán)牙快400%，據(jù)稱是行業(yè)最快的12Mbps藍(lán)牙速率，再加上定制研發(fā)性能領(lǐng)先的URLC無(wú)損編解碼，首次實(shí)現(xiàn)了192kHz/24bit無(wú)損音頻的無(wú)線傳輸。

姜波介紹，由于藍(lán)牙速率不足，導(dǎo)致無(wú)損音質(zhì)被困在有線中。即使最新的藍(lán)牙5.3標(biāo)準(zhǔn)中，EDR（Enhanced Data Rate）支持的最大速率為3Mbps。而在真實(shí)場(chǎng)景的應(yīng)用中，因?yàn)楝F(xiàn)實(shí)信號(hào)環(huán)境等復(fù)雜因素的影像，理論值最高3Mbps的速率，往往只能發(fā)揮一半，也就是實(shí)際速率僅為1.5Mbps。

這種量級(jí)的速度，是無(wú)法承載無(wú)損音頻傳輸?shù)臄?shù)據(jù)量的。

以下三種無(wú)損音頻：48kHz/24bit無(wú)損音頻數(shù)據(jù)量=2.25Mbps, 96kHz/24bit無(wú)損音頻數(shù)據(jù)量=4.5Mbps, 192kHz/24bit無(wú)損音頻數(shù)據(jù)量=9Mbps。其中，192KHz/24bit是目前主流音樂(lè)平臺(tái)能提供的最高規(guī)格。不過(guò)，即使經(jīng)過(guò)優(yōu)秀的編解碼技術(shù)壓縮至一半的體積，目前藍(lán)牙標(biāo)準(zhǔn)速率最多也只能傳輸48kHz/24bit的無(wú)損音頻，對(duì)于更高品質(zhì)的音樂(lè)無(wú)能為力。

為了解決藍(lán)牙速率不足的核心問(wèn)題，馬里亞納MariSilicon Y自研了12Mbps的超高速藍(lán)牙，能夠覆蓋目前最高規(guī)格的192kHz/24bit無(wú)損音頻的超大數(shù)據(jù)量，被“限高”的無(wú)損音頻終于實(shí)現(xiàn)了傳輸“自由”。

具體而言，馬里亞納MariSilicon Y的速率達(dá)到了標(biāo)準(zhǔn)藍(lán)牙的4倍。即使和2022年通用旗艦芯片的8Mbps藍(lán)牙速率相比，馬里亞納 MariSilicon Y也達(dá)到了1.5倍的更快速率。

12Mbps藍(lán)牙速率意味著什么？姜波表示，不僅可以從容傳輸192kHz/24bit無(wú)損音頻的數(shù)據(jù)量，還有充足的速率冗余可以承載數(shù)據(jù)重傳、系統(tǒng)開銷（system overhead），承載信號(hào)控制等，實(shí)現(xiàn)整體藍(lán)牙連接質(zhì)量的大幅提升。

如果說(shuō)更快的傳輸速率，代表為音頻傳輸提供一條“快速路”，那么將大體積音頻壓縮，以更小的體積傳輸，則進(jìn)一步提升了無(wú)損音頻的傳輸效率。URLC編解碼協(xié)議，就是OPPO給出的又一個(gè)技術(shù)解決方案。

URLC（Ultra-Resolution Lossless Codec）是OPPO定制的音頻編解碼技術(shù)，將無(wú)損壓縮率首次提升至50%，意味著同樣的無(wú)損音頻內(nèi)容，URLC可以壓縮至更小體積傳輸。URLC編解碼協(xié)議配合12Mbps超高速藍(lán)牙的設(shè)計(jì)，讓物理硬件和軟件編解碼技術(shù)真正的合二為一，共同服務(wù)于無(wú)損音頻的傳輸。

并且，URLC編解碼支持80Kbps～10Mbps動(dòng)態(tài)碼率，相比通用方案，有更大的調(diào)節(jié)區(qū)間，這意味著在充滿不確定性的外部環(huán)境中，馬里亞納MariSilicon Y可以更精細(xì)地調(diào)節(jié)碼率，確保音頻傳輸?shù)牧鲿承?，既不?huì)斷連和卡頓，也不會(huì)大幅傷害音質(zhì)。

可以說(shuō)，192kHz/24bit無(wú)損音頻是馬里亞納MariSilicon Y芯片所帶來(lái)的獨(dú)享體驗(yàn)，代表目前無(wú)線藍(lán)牙耳機(jī)中高規(guī)格的音頻質(zhì)量（目前其他藍(lán)牙耳機(jī)最高僅支持48/24無(wú)損）。此外，馬里亞納MariSilicon Y在跨平臺(tái)設(shè)備連接時(shí)，依然能夠提供出色的音質(zhì)。

正是因?yàn)檫@顆芯片具備高兼容性，支持藍(lán)牙5.3和LE Audio的LC3編解碼，可以很好地兼容下一代所有支持LE Audio的設(shè)備。同時(shí)，馬里亞納MariSilicon Y還支持LHDC、LDAC高清編解碼，兼容傳統(tǒng)OPPO產(chǎn)品和其他品牌產(chǎn)品，此外還兼容傳統(tǒng)的SBC和AAC編解碼，能夠?qū)崿F(xiàn)對(duì)傳統(tǒng)藍(lán)牙設(shè)備的的全面覆蓋。

強(qiáng)勁AI動(dòng)力支持個(gè)性化音頻體驗(yàn)

馬里亞納MariSilicon Y 也是是音頻體驗(yàn)邁入全新 AI 時(shí)代的重要里程碑。

相比于目前芯片普遍采用傳統(tǒng) DSP（數(shù)字信號(hào)處理器）單元處理音頻數(shù)據(jù)，馬里亞納MariSilicon Y首次集成專用的NPU計(jì)算單元，以 590 GOPS 的AI算力為音頻計(jì)算提供強(qiáng)大動(dòng)力。

相比于目前最先進(jìn)的DSP單元，馬里亞納 MariSilicon Y 通過(guò)高性能NPU單元，可以提供23倍以上的算力，以及16倍以上的計(jì)算能效，可以高效運(yùn)行此前DSP單元甚至無(wú)法執(zhí)行的先進(jìn) AI 音頻算法。

在音頻領(lǐng)域，目前的AI處理基本上是通過(guò)DSP去處理的，但算力或網(wǎng)絡(luò)復(fù)雜度其實(shí)相對(duì)有限的?！半S著算法復(fù)雜度要求更高，對(duì)音頻的處理能力要求更高，DSP+NPU就可能成為一個(gè)主流的趨勢(shì)”，姜波表示。

他進(jìn)一步解釋，隨著算力復(fù)雜度的提升，如果只用DSP，沒(méi)有NPU，很難達(dá)到好的效果。以環(huán)境聲降噪為例，現(xiàn)在有很多基于DSP的方案，當(dāng)追求不同的效果時(shí)，要求的算力會(huì)越來(lái)越高。這其中涉及兩點(diǎn)：第一是絕對(duì)算力，第二是在滿足算力要求下功耗的要求。

因此，NPU就成為行業(yè)持續(xù)的趨勢(shì)。目前第三方算法在傳統(tǒng)的細(xì)分領(lǐng)域，已經(jīng)用DSP+NPU進(jìn)行聲音的處理，效果比純DSP的方案更好，這在未來(lái)會(huì)是一個(gè)循序漸進(jìn)的過(guò)程。

通過(guò)強(qiáng)大的AI算力，馬里亞納MariSilicon Y具備了聽(tīng)懂聲音的能力，也首次在音頻端側(cè)實(shí)現(xiàn)了聲音分離技術(shù)，開啟下一代個(gè)性化音頻體驗(yàn)。

通過(guò)聲音分離技術(shù)，馬里亞納MariSilicon Y支持自定義全景聲的特性，可以智能識(shí)別和分離音樂(lè)中的人聲和樂(lè)器組，幫助用戶可自定義控制人聲、鼓聲、貝斯等每一個(gè)音軌的音量和空間位置，比如將人聲放大且拉近到自己耳邊，或?qū)⒐穆曌笥覍?duì)調(diào)，創(chuàng)造屬于自己的獨(dú)特聽(tīng)感。

此外，馬里亞納 MariSilicon Y還支持萬(wàn)能全景聲的特性，可以將傳統(tǒng)雙聲道音樂(lè)，轉(zhuǎn)化升級(jí)為全景聲的全新效果，將這一高級(jí)聽(tīng)感的選擇權(quán)從制作端交給用戶端。傳統(tǒng)上，如果音樂(lè)在制作時(shí)沒(méi)有采用全景聲格式，用戶則無(wú)法體驗(yàn)到這一效果。萬(wàn)能全景聲則可以讓用戶更靈活地匹配自己喜愛(ài)的音樂(lè)與全景聲效果，實(shí)現(xiàn)更具沉浸感的聽(tīng)覺(jué)感受。

N6RF射頻工藝制程，收獲超前性能與旗艦續(xù)航

面對(duì)傳統(tǒng)低功耗藍(lán)牙音頻芯片存在性能與功耗的矛盾，馬里亞納MariSilicon Y應(yīng)用了全球目前最先進(jìn)的N6RF射頻工藝制程，實(shí)現(xiàn)了全新的能效表現(xiàn)。

據(jù)了解，N6RF 是迄今為止最先進(jìn)的射頻工藝制造技術(shù)，相比于目前主流射頻芯片采用的16nm工藝，N6RF技術(shù)領(lǐng)先2代，幫助射頻晶體管能效提升66%，同時(shí)減小33%的射頻晶體管尺寸。

通過(guò)行業(yè)領(lǐng)先工藝，馬里亞納 MariSilicon Y在實(shí)現(xiàn)192kHz/24bit無(wú)損音頻以及先進(jìn)AI 音頻能力的同時(shí)，實(shí)現(xiàn)旗艦水平的續(xù)航表現(xiàn)。

自研芯片的“價(jià)值觀”

姜波表示，系統(tǒng)廠商做自研芯片，好處是對(duì)用戶場(chǎng)景的理解比較深刻，更容易把控技術(shù)方向，做性能取舍時(shí)清晰地知道優(yōu)先級(jí)。同時(shí)，OPPO作為系統(tǒng)廠商，非常注重垂直整合價(jià)值，同時(shí)也兼顧用戶價(jià)值，即這個(gè)價(jià)值是用戶認(rèn)可和能夠感知的。

他指出，端側(cè)產(chǎn)品尤其是手機(jī)相關(guān)產(chǎn)品，最大的挑戰(zhàn)仍是能效比。為了解決能效問(wèn)題，自研芯片要注重以下三方面能力：

第一，工藝制程本身是基礎(chǔ)，如果工藝制程底子不好，能達(dá)到的水準(zhǔn)相對(duì)有限，即使芯片設(shè)計(jì)能力再?gòu)?qiáng)，12nm變成4nm的能效，肯定是一件不太現(xiàn)實(shí)的事情。特別是手機(jī)主芯片和射頻連接性方面，追逐先進(jìn)工藝的掌握非常重要。

第二，從芯片架構(gòu)上，PPA（Power Performance Aera）的設(shè)計(jì)更重要的，怎么樣通過(guò)更好的架構(gòu)來(lái)支撐低功耗，譬如針對(duì)某些IP，通過(guò)調(diào)壓節(jié)省功耗。

以MariSilicon Y采用的NPU為例，由于是專門針對(duì)音頻的NPU，跟以往影像應(yīng)用中的NPU，架構(gòu)設(shè)計(jì)是完全不一樣的。對(duì)影像來(lái)說(shuō)，要做很多像素級(jí)的降噪和影像算法；但從音頻結(jié)構(gòu)來(lái)看，比較側(cè)重于時(shí)域的處理，可以根據(jù)時(shí)序信息做AI推算，所以從這個(gè)視角來(lái)看，對(duì)音頻NPU的內(nèi)存設(shè)計(jì)是很重要的?？偠灾?，針對(duì)不同應(yīng)用，架構(gòu)設(shè)計(jì)是需要著重考慮的。

第三，IP層面的優(yōu)化。因?yàn)槊款w芯片都有基礎(chǔ)IP，基于制程工藝的基礎(chǔ)IP的優(yōu)化，包括核心的NPU等，都需要通過(guò)設(shè)計(jì)考量來(lái)進(jìn)行優(yōu)化。

對(duì)于馬里亞納MariSilicon Y當(dāng)前的商用場(chǎng)景，姜波表示，首先是用在耳機(jī)端。其次，也可以放在手機(jī)端，這包括兩種場(chǎng)景：手機(jī)端沒(méi)有、而耳機(jī)端采用了這個(gè)芯片，也可以實(shí)現(xiàn)互聯(lián)，因?yàn)樗С謽?biāo)準(zhǔn)藍(lán)牙協(xié)議；但是，要獲得最旗艦的功能，比如192kHz/24bit這樣的功能，耳機(jī)和手機(jī)都要具備這顆芯片，打通無(wú)損音頻的高品質(zhì)體驗(yàn)。