不久前,我和vivo的三個專家聊了將近10個小時,整理了幾千字的筆記,主題只有一個:芯片。
7月30日,vivo三年來打造的第四個自研影像芯片——V3終于亮相。在芯片的制程工藝上,它是藍(lán)廠第一個6nm制程的自研芯片。在影像功能領(lǐng)域,V3讓手機拍攝4K電影人像視頻變成實打?qū)嵉墓δ?,同時在安卓平臺首次實現(xiàn)4K級的拍后編輯。用簡單的話來概括,有了芯片V3,手機拍攝電影不再成技術(shù)上的問題。
而這一切,vivo只用了三年。
vivo是怎么做到的?我準(zhǔn)備了五個問題,跳過了vivo的市場和公關(guān),找到了負(fù)責(zé)研發(fā)芯片和算法的一線專家,一起聊了聊vivo的“芯”路歷程。
問題1:為何自研芯片,買現(xiàn)成的不香嗎?
五年前,手機廠商自研芯片可能還是“天方夜譚”,但現(xiàn)在卻幾乎成了各家手機大廠的共識。強大如蘋果和iPhone,也在始終堅持自研芯片之路,即使在基帶芯片等領(lǐng)域的進度不如人意,也絲毫沒有放棄默默前行的研發(fā)規(guī)劃。很好理解,只有自己擁有了技術(shù),才不會受制于人。
不過對于vivo來說,邏輯卻并沒有這么簡單。
手機廠商的核心訴求就是要賣出去更多的手機,為了賣更多的手機就需要有特別突出的優(yōu)勢,這就是對差異化的需求。但另一方面,現(xiàn)成的芯片并不是專門給你設(shè)計的,所以很可能解決不了你的痛點。這就好像我們買衣服的時候,雖然能買到大小號、穿起來可能也不錯,但肯定不如量體裁衣來的合體和精確。
所以,當(dāng)需求和供給出現(xiàn)不匹配,問題就來了。買大廠的soc是很香,但它們并不是針對4k電影人像、夜景增強和ai降噪這些功能研發(fā)的。那你肯定會說,大家不都是靠軟件算法去實現(xiàn)這些功能的么?軟件能實現(xiàn)功能,但受到芯片硬件的制約,這樣性能和功耗就會很差。就好像你用王剛的大鍋寬油去做蛋糕,或許真能做出來,但肯定不如來個烤箱方便。
所以對于vivo來說,自研芯片是一個很自然的選擇,買不如造,關(guān)鍵是造哪種芯片。
問題2:為何做影像芯片,做SoC不牛嗎?
面對這個問題,vivo的專家回答地特別干脆:vivo目前不會去做大型SoC。
我的理解是這背后有兩個原因:一個是做SoC比較難,另外一個就是沒必要。說白了,SoC并不是vivo造芯的差異化所在。
先說技術(shù)難度,SoC或者AP芯片可以說是手機芯片里皇冠上的明珠,它和影像或者音頻芯片不一樣,SoC是一種通用芯片,要適用于各種使用場景,這就對芯片設(shè)計能力和技術(shù)積累有非常高的要求,技術(shù)門檻很高,涉及到處理器架構(gòu)、性能和功耗的極致優(yōu)化等等。設(shè)計出來一個“能用”的SoC芯片只是萬里長征的第一步,還需要通過大量實際場景的測試和驗證,不斷修復(fù)問題,才能讓“能用”變成“好用”。
所以,放眼全球能做好手機SoC的公司也沒有幾個,用一只手就能數(shù)得過來。這些大廠能經(jīng)過大浪淘沙存活下來,都是經(jīng)歷了好幾代產(chǎn)品的不斷迭代,幾十萬甚至上百萬臺手機的不斷反饋測試,才一點一點打磨出來的。要做出有差異化的SoC芯片,vivo或許可以做,但難度極高,付出的巨大成本也很難換得快速的回報。
不過除了技術(shù)上的難度,vivo不做大型SoC芯片的另外一個原因就是沒必要。vivo的優(yōu)勢有兩點,一個是作為整機廠商,離用戶最近,能最快聽到用戶的需求和反饋。
這一點我自己也深有體會。我在大廠做研發(fā)的時候,就離一線用戶的反饋非常遠(yuǎn)。一個國內(nèi)大廠的需求要從國內(nèi)的FAE、一級級傳達到歐洲再到英國,更不用說語言的障礙;當(dāng)我們拿到需求做了研發(fā)和優(yōu)化,還要再反向傳播回去。這樣反饋的鏈條一長,最容易出現(xiàn)的問題就是研發(fā)出來一堆沒用的功能,白白錯失了機會。
在訪談中我能感受到,vivo也很清楚的意識到了這個事情,從而把有限的資源和精力放在他們認(rèn)為最重要的地方上。比如他們根據(jù)自己用戶的對影像和游戲的需求做了很多自研算法和優(yōu)化,而這些都是通用SoC芯片廠家不會專門去做優(yōu)化的。于是vivo才決定做一顆SoC的外掛芯片,專門用來加速處理各種影像算法,比如插幀、多幀降噪、夜視增強等等。
和SoC芯片廠商合作,各自取長補短,才能更好的達到1+1=2甚至大于2的效果。就像開黑的時候不能全都是輸出,要搭配輔助是一個道理。之前介紹過的vivo的v1+和聯(lián)發(fā)科天璣9000芯片的協(xié)同也是很好的例子。
一方面, SoC廠商能提供很多基礎(chǔ)應(yīng)用的需求,比如 Android 操作系統(tǒng)運行,Panel-Touch 人機交互,應(yīng)用 App 中的亂序中斷處理等等,另一方面,vivo則從自身產(chǎn)品的需求場景出發(fā),在算法、IP轉(zhuǎn)化和芯片架構(gòu)設(shè)計上加大投入,讓自研芯片和SoC能夠?qū)崿F(xiàn)協(xié)同互補,打造用戶所需的差異化體驗。
問題3:V系列三年四芯,到底提升了什么?
先說結(jié)論:工藝、架構(gòu)、算法都在提升,不變的是對影像賽道的持續(xù)專注。
在手機領(lǐng)域vivo有四條細(xì)分長賽道,分別是設(shè)計、影像、系統(tǒng)、性能,基本所有手機廠商都在這四條賽道里競爭。但同時做好四條賽道的廠商太少了,這個時候就看誰的長板足夠長,能夠在這個賽道里做到不可替代。
2021年9月至今,vivo已經(jīng)連續(xù)三年先后推出V1、V1+、V2、V3四款自研芯片,主要專注在影像這條賽道,在拍攝、游戲、追劇這些日常生活的細(xì)分場景發(fā)力,滿足用戶的個性化需求。
作為第一代產(chǎn)品,V1采取了傳統(tǒng)的ISP架構(gòu),專注于影像能力的提升。2022年,上半年發(fā)布V1+,打造“專業(yè)影像+顯示性能”的雙芯產(chǎn)品,持續(xù)推動算法硬件化。下半年發(fā)布的V2主打“AI”,從傳統(tǒng)ISP架構(gòu)升級為AI-ISP架構(gòu),新增AI計算單元,同時大幅升級內(nèi)存單元、圖像處理單元,優(yōu)化協(xié)調(diào)與高速協(xié)數(shù)據(jù)和算力,滿足用戶AI高算力的需求。
而最新的V3芯片,又把整個影像芯片的基礎(chǔ)水平提升到了一個新的高度。
首先是制程工藝,V3直接使用了臺積電的6納米工藝制造,把能效比提升了20%~30%。同樣10個功能,但由于功耗的限制,之前的V1和V2芯片只能同時開啟6個,而采用了新工藝的V3就能全部開啟,還不會帶來額外的功耗和發(fā)熱。這就是先進工藝帶來的最大好處。
架構(gòu)層面V3也做了大量的優(yōu)化,比如V3和SoC芯片的互聯(lián)通信。和很多外掛芯片不一樣的是,V3位于SoC和屏幕的數(shù)據(jù)通路中間,影像傳感器的數(shù)據(jù)要先進入SoC、再傳到V3,所以要額外設(shè)計一個回傳通路,讓V3處理完的結(jié)果傳回SoC。
這樣問題就來了,一方面要保證這個回傳通路的低延時,一方面要保證數(shù)據(jù)的同步和一致性。vivo提出了一個叫FiT(Frame info Tunnelling)的互聯(lián)架構(gòu),它可以把影像數(shù)據(jù)和一些輔助運算的旁路數(shù)據(jù)封裝組合在一起進行同步傳輸,增加了傳輸帶寬,也能保證SoC和外掛芯片的同步。FiT這個雙芯互聯(lián)技術(shù)在V2提出,在V3采用先進工藝之后用在了更多算法和應(yīng)用里。
架構(gòu)升級再比如V3的AI算力提升,主要有兩部分,一部分是為特定應(yīng)用設(shè)計的純定制算力,還有一部分是根據(jù)某些特定網(wǎng)絡(luò)結(jié)構(gòu)做的半定制算力。再結(jié)合SoC里NPU和GPU的通用算力,就組成了一個非常復(fù)雜的“雙芯”異構(gòu)算力系統(tǒng)。在訪談里vivo的專家專門提到,V3里內(nèi)存的利用率幾乎可以達到100%。
簡單以影像這塊舉例,以往所有的算法都是以軟件的形式在SoC、NPU、DSP上面跑,不是說跑不了,但是功耗會扛不住,發(fā)熱也扛不住。而vivo現(xiàn)在的做法是把很吃軟件資源的這部分AI算法,硬化進了V3當(dāng)中,然后把SoC、NPU、DSP解放出來做它們更擅長的語義類算法,合理分工,讓大家都跑在自己最擅長的賽道上,讓SoC和V3協(xié)同作戰(zhàn)。效果層面,因為能同時開啟更多的功能,可以實現(xiàn)1+1>2,而功耗層面則實現(xiàn)了1+1<2。vivo在發(fā)布會上展示的4K電影人像視頻及拍后編輯功能就是基于這套玩法實現(xiàn)的。
問題4:老實做影像芯片不行嗎,為何還做傳感器芯片?
芯片領(lǐng)域有幾個非常有名的國際學(xué)術(shù)會議,其中有一個叫VLSI電路與技術(shù)研討會,它被稱作全球微電子技術(shù)領(lǐng)域的“奧林匹克”,這也是從事芯片研究的人一定會跟蹤的頂尖會議。不過我很意外的發(fā)現(xiàn),今年的VLSI研討會上,vivo竟然發(fā)了一篇文章,講的是影像傳感器芯片的技術(shù)。這也是本屆VLSI大會上唯一一家發(fā)表論文的中國手機廠商。
這次我也和這篇文章的作者——vivo的羅軼博士深入探討了一下。他們做的是一個名叫自適應(yīng)DCG-HDR的技術(shù),聽起來有點科幻,但其實原理并不難。原本拍攝HDR的時候基本都是調(diào)節(jié)ISO或曝光時間的方式,也就是對一幀圖像用不同ISO多次提取信息,然后合成在一起;或者拍幾張不同曝光的照片,再合成在一起。不過這兩種方法對算力和功耗的要求很高,所以如果我們開HDR拍視頻的話可能拍一會兒手機就會發(fā)燙。
為了解決這個問題,vivo就提出了這個新的方法,它讓傳感器每個像素點的敏感度(ISO)都可以單獨調(diào)節(jié),然后用一個單獨的電路去控制,提前決定是要高敏感度還是低敏感度,這樣就不用多次合成了,從而把功耗降低了38%。
這個技術(shù)有啥用呢?本質(zhì)上就是提升視頻拍攝時的動態(tài)范圍、豐富了圖像細(xì)節(jié),特別適合在夜景、背光/夜光人像這種極端場景里使用,同時還能在功耗、發(fā)熱可控的情況下長時間的拍攝HDR視頻。
看出來了吧,還是影像。只不過影像這個賽道很長,從傳感器到處理器到顯示,整條路徑上有太多能優(yōu)化的技術(shù)了。比如這個工作,之后可能就會通過定制傳感器的方式落地到未來的vivo手機上。照一張好照片,拍一段好視頻,離不開這一個個點技術(shù)匯總在一起,這個應(yīng)該也是vivo自研芯片在積累的核心競爭力。
問題5:vivo自研芯片,能做多久?
最后我給vivo來了一波靈魂拷問。背景不用多說,當(dāng)前復(fù)雜多變的國際形勢,風(fēng)云變幻;加上技術(shù)研發(fā)的高額成本和市場激烈競爭的多重挑戰(zhàn);特別是之前友商那檔子事兒,讓人遺憾。所以,如何跑通自研芯片之路,仍然是當(dāng)下手機廠家必須要面對的焦點問題。
國內(nèi)頭部手機廠商自研芯片的不少,vivo算不上最早的那家,不過走的卻非常謹(jǐn)慎。面對自研芯片的汪洋大海,vivo的最終目標(biāo)肯定是進入技術(shù)的深水區(qū),不過他們選擇了一種三條腿走路的方式,既有對芯片公司和供應(yīng)商的投資、又有和國際芯片大廠的合作,也有自研芯片的持續(xù)布局。
前面說了很多合作和自研芯片的東西,但vivo在芯片領(lǐng)域的投資可能是很多人并不清楚的。vivo投資的都是自己的供應(yīng)鏈公司,涉及到射頻前端、電池和電源管理,還有顯示芯片。通過投資布局供應(yīng)鏈,也幫vivo把整個手機上下游的關(guān)鍵資源做了整合,鋪平了造芯的道路。
此外,對于vivo而言,他們已經(jīng)在自研芯片的道路上邁出了重要一步——先不碰高投資、高難度、高壁壘的SoC芯片,專攻體驗差異化又能對口市場的影像芯片,已經(jīng)在市場上取得了不俗的效果。
根據(jù)國際數(shù)據(jù)公司IDC公布的中國2022年手機季度跟蹤報告,盡管去年整體消費電子市場較為機密,但是vivo手機以18.6%占據(jù)2022年中國智能手機市場份額榜首。而在618促銷季智能手機銷量中,Counterpoint的報告顯示,vivo市場份額達18.2%,排名第一。
究竟是芯片造的好、帶來業(yè)績提升,還是收入增加帶來更多研發(fā)投入,從而造出更好的芯片,有點雞生蛋蛋生雞的關(guān)系。不過業(yè)績與研發(fā)投入會形成一個正向反饋的飛輪,會讓vivo自研芯片之路在未來走得更寬。在智能手機同質(zhì)化高度同化的時下,手機大廠商自研芯片呈現(xiàn)的差異化體驗,或?qū)⒊蔀檫@片藍(lán)海市場競爭的決定性砝碼。
造芯從來就不是簡單的事情,從小領(lǐng)域切入,做難而正確的事情,就像我們自己不斷學(xué)習(xí)提升的過程。涓涓細(xì)流,相信總有一天會匯成汪洋大海。
(注:本文不代表老石任職單位的觀點。)