ISP技術(shù)將在未來幾年內(nèi)有較大的演進,因此現(xiàn)在是手機廠商開始自研ISP的一個很好時間節(jié)點。
自研ISP與否影響最終圖像質(zhì)量
ISP(Image Signal Processor,圖像處理器)是手機芯片系統(tǒng)中的重要組成部分,負責(zé)圖像處理部分。
具體來說,在手機的照相系統(tǒng)中,圖像傳感器(CIS)負責(zé)提供原始圖像,但和用戶看到的最終圖像相差甚遠,而需要大量的后續(xù)處理,這些處理通常包括自動白平衡、去噪等,而不同的ISP將直接決定最終圖像質(zhì)量。
一般來說,無論是使用自研的ISP還是使用第三方提供的ISP,在使用在手機上的時候都需要經(jīng)過大量的參數(shù)調(diào)整。
通俗來理解就是,ISP 所要做到的就是將“數(shù)字眼睛”的視力水平提高到“人類眼睛”的水平,讓人眼看到數(shù)字圖像時的效果盡可能接近人眼看到實景時的效果。
一顆優(yōu)秀的ISP芯片再加上優(yōu)秀的相機模組才能帶來優(yōu)秀的成像效果。
顯然,如果是手機廠商自研ISP,則可以更好地根據(jù)手機的目標(biāo)應(yīng)用場景和CIS等來實現(xiàn)協(xié)同設(shè)計,其最終的圖像質(zhì)量效果往往會好過使用第三方ISP然后再去調(diào)整ISP參數(shù)。
手機廠商自研ISP的最根本原因還是照相系統(tǒng)在手機中是一個極其重要的組成部分,同時拍照質(zhì)量也是決定手機消費者體驗的一個極重要的參數(shù)。
主流手機廠商加入自研ISP行列
隨著智能手機市場的發(fā)展,我們正在看到越來越多的手機廠商在自研ISP。
蘋果和三星一直在使用自研的ISP芯片模組;
谷歌再其Pixel系列手機中也用上了帶有眾多實驗特性的自研ISP;
華為自研ISP早已落地在自己的手機系列中;
此外,近些年來積極開發(fā)芯片的Oppo和Vivo也有消息正在自研ISP。
最近,小米也加入了自研ISP的行列,可見無論是在國外還是國內(nèi),手機廠商自研ISP正在成為主流。
小米自研算法的澎湃C1正式發(fā)布
此次發(fā)布的澎湃C1,采用了自研ISP+自研算法,并具備了更精細且更先進的3A處理能力。
澎湃C1具備雙濾波器,能夠進行高低頻并行處理,數(shù)字信號處理效率提升100%。
這讓澎湃C1具備了三大優(yōu)勢:
①能夠?qū)崿F(xiàn)更快且更精準(zhǔn)的AF對焦性能,大幅提升暗光、小物件及平坦區(qū)域?qū)鼓芰Γ?/p>
②更精準(zhǔn)的AWB白平衡算法,復(fù)雜混合環(huán)境光源精準(zhǔn)還原;
③更準(zhǔn)確的AE曝光策略,更佳的夜景對比度以及高動態(tài)場景表現(xiàn)。
簡單來理解,就是小米把ISP中關(guān)于對焦、白平衡、曝光的三部分單獨拿出來自己做了提升,并放在了澎湃C1里。
對焦其實一直以來都是安卓手機的一個痛點,澎湃C1的加入,就可以讓手機可以更高效的對焦,隨時都可以拍的清楚。
而曝光方面的提升則是讓相機在不同光線環(huán)境下可以拍的更清楚,白平衡則主要負責(zé)讓相機在不同的燈光環(huán)境下都能呈現(xiàn)出正確的顏色。
有了一個好的硬件基礎(chǔ),小米自己的算法就可以更好的應(yīng)用。用自己的硬件芯片,加上自己的自研拍照算法,打造世界第一的影像能力,這就是小米澎湃C1芯片最初的目標(biāo)。
小米目前在全球有5個國際研發(fā)中心,在國內(nèi)還有5個研發(fā)中心,相機的研發(fā)團隊超過1000人,包括幾十人的核心專家團隊。
自研ISP芯片對小米意義
照相卻是大多數(shù)手機用戶最在意的功能,在5G時代,這一趨勢將繼續(xù)得到加強,這也是小米如此重視ISP芯片的原因所在。
對于智能手機廠商而言,能夠手握所有的IP,那自然是最好不過。如若不能,逐步實現(xiàn)單點突破也不失為一種策略。
雖然ISP芯片的重要性不如SoC,但也是智能手機中的關(guān)鍵部分,而且面對其他同行競爭對手時,可出的牌也多了一手。
在小米自研ISP之前,一直采用高通的 ISP 芯片,后者一年一更新,跟不上小米影像進步的速度。
如果小米擁有了自主研發(fā)的ISP,那么就不用顧忌不同品牌芯片的ISP差異,能夠保證不同平臺產(chǎn)品都能擁有接近甚至是相同的成像表現(xiàn),無形中也降低了人力和研發(fā)的成本。
另外,相比于研發(fā)SoC,研發(fā)ISP的難度相對要低得多,對小米的半導(dǎo)體業(yè)務(wù)來說更容易勝任。
從長遠來看,小米完全可以從ISP切入,逐步過渡到更多的自研芯片領(lǐng)域,進一步提升芯片的自主化。
小米的自研芯片之路已過七年
2014年,小米開始籌備“自研芯片”。同年,松果電子成立,作為小米全資子公司,主要從事半導(dǎo)體芯片研發(fā)。
彼時小米手機一方面因?qū)@妥陨砘A(chǔ)不足出海受阻,另一方面又看著蘋果、三星、華為等廠商憑借自研處理器在手機市場遙遙領(lǐng)先,于是在2014年10注冊全資子公司松果電子。
經(jīng)過三年的時間,2017年2月28日,小米正式發(fā)布了自主研發(fā)芯片松果“澎湃S1”和首款搭載該處理器的智能手機小米5c,同時推出了低端機紅米4X。
然而,即使發(fā)布會上澎湃S1的各項性能看起來很不錯,澎湃S1最終的市場反應(yīng)并不佳。最終,小米5C這款手機也更是在短短不到半年的時間就被下架。
2017年,小米成立了湖北小米長江產(chǎn)業(yè)基金,規(guī)模約人民幣120億元,用于支持小米及小米生態(tài)鏈企業(yè)的業(yè)務(wù)拓展,主要投資半導(dǎo)體與智能制造等相關(guān)產(chǎn)業(yè)。
時隔四年,小米再次推出自研芯片,這一次小米選擇了相比SoC難度更小,但在智能手機紅海大戰(zhàn)中同樣重要的ISP。
獨立ISP會成為移動影像的趨勢嗎
小米 11 Ultra 用上了接近一英寸的大底,倘若后續(xù)沒有光學(xué)突破的話,這已幾乎是物理極限。
而目前的 CMOS 的像素數(shù)也處于軍備競賽的狀態(tài),應(yīng)該很快就看到智能手機邁入兩億像素的門檻。
在移動影像上,只要物理光學(xué)的鐵律還在,影響最終成像的其實還是傳感器素質(zhì)、ISP 處理能力以及鏡頭素質(zhì)這些傳統(tǒng)的方面,其他的只不過是錦上添花罷了。
于是乎,手機廠商們會定制 CMOS以求獲得更好的成像基礎(chǔ),去在算法上精進,讓最終成像更為自然,在鏡頭搭配上下功夫,求得適應(yīng)更多的場景。
而獨立 ISP,想要跟上述情形類似成為一大趨勢,現(xiàn)在來看,為時尚早,準(zhǔn)確的說應(yīng)該是一個未來的大方向。
ISP仍然存在著較大的技術(shù)壁壘
現(xiàn)在,主要的智能移動設(shè)備的芯片廠商、IP提供商以及智能手機制造商都在推出自己的ISP芯片,但是ISP仍然存在著較大的技術(shù)壁壘。
首先,ISP中大量模塊的算法是相互影響的,其眾多算法需要諸多的調(diào)校工作在其中,這需要大量而長期的經(jīng)驗積累。
其次,作為商用的ISP,需要眾多的新功能模塊,比如X-talk串?dāng)_,VSM等模塊的加入,這也增加了ISP的技術(shù)壁壘。
另外,ISP的技術(shù)需要長期積累,需求少、學(xué)習(xí)周期長,人才匱乏。因此ISP人才團隊組建也是一個考驗公司投入力度、技術(shù)積累的剛性條件。
自研芯片這條路從來都不是一件容易的事情,其涉及到資金、技術(shù)、市場等各個方面。
華為麒麟芯片也經(jīng)歷了十幾年才有今天的市場地位,而小米作為芯片新人,澎湃項目更需要一步一腳印去實現(xiàn)。
結(jié)尾:
正如雷軍發(fā)布會上提到:“澎湃C1芯片是小米自研芯片道路的一小步,也是小米影像實力的里程碑,更是小米對于未來科技的熱愛。”
雖然回歸的澎湃C1只是一款獨立ISP芯片,但它承載著小米對技術(shù)的追求和夢想,這條路固然漫長,而如果能堅持積累和研發(fā),澎湃S1和澎湃C1不會是小米的唯二自研芯片。