?
引言
大家發(fā)現(xiàn)沒(méi)有,有了智能手機(jī),用單反的人都少了,為啥,像素越來(lái)越高且如此小巧輕便隨時(shí)可拍照、可分享的神器,還有各種美圖秀秀的幫忙,愛(ài)美的攝影達(dá)人和愛(ài)臭美的自拍達(dá)人們自然愛(ài)不釋手。
但是各家手機(jī)大牌標(biāo)榜的各種拍照、成像功能到底是真的假的?有多強(qiáng)大?數(shù)碼粉、技術(shù)控們一定想弄個(gè)明白吧,《機(jī)友都“好色”》這個(gè)系列中,與非網(wǎng)邀請(qǐng)資深、專(zhuān)業(yè)的手機(jī)評(píng)測(cè)人士釣寒江雪對(duì)市面上的經(jīng)典機(jī)型逐一抽絲剝繭,來(lái)看看它們的成像效果到底是虛胖還是真的strong。
華為榮耀6+成像效果大起底
雙攝像頭現(xiàn)在已經(jīng)基本成了智能手機(jī)的標(biāo)配,與非網(wǎng)《機(jī)友都“好色”》的第一期我們就對(duì)華為的經(jīng)典機(jī)型榮耀6+的雙攝像頭成像效果來(lái)個(gè)大起底。
全聚焦(EDOF)
智能手機(jī)存在同一個(gè)深度清晰度不同的問(wèn)題,單反不存在這樣的問(wèn)題。多幀聚焦位置不同的普通圖形合成EDOF圖像,不同圖像貢獻(xiàn)的權(quán)重不同。顯然下圖中模糊的區(qū)域來(lái)源于權(quán)重計(jì)算的錯(cuò)誤,釣寒江雪估計(jì),榮耀6+拼接權(quán)重的計(jì)算可能使用了飽和度作為依據(jù),通常離焦圖像飽和度稍低,對(duì)于大面積艷麗區(qū)域來(lái)說(shuō)就不一定了,看來(lái)還是邊緣強(qiáng)度比較可靠。
圖1
圖2
虛化與先拍照后聚焦
雙攝的好處在于能夠稀稀拉拉估計(jì)出一些有一定可靠性的特征點(diǎn)的深度,然后利用類(lèi)似GRABCUT的方法進(jìn)行摳圖。然后對(duì)摳出的背景進(jìn)行模糊。下圖中模糊算法顯然出了嚴(yán)重的問(wèn)題,類(lèi)似的問(wèn)題也在安卓手機(jī)QQ上出現(xiàn)過(guò)。釣寒江雪猜測(cè),這個(gè)問(wèn)題可能是壓縮導(dǎo)致的,但是也可能是平滑算法導(dǎo)致的。
色階問(wèn)題為啥和華為如影隨形呢?根據(jù)專(zhuān)業(yè)的分析,雙邊濾波在顏色平緩過(guò)渡且顏色的2階梯微分不為0的區(qū)域容易出現(xiàn)色階,理由是,一階微分小的區(qū)域顏色比較接近,濾波權(quán)重也比較大,反之權(quán)重較小,顏色的緩變?cè)跒V波之后變成了突變,這種差異化的權(quán)重可能導(dǎo)致色階。高斯模糊的話(huà),一般不會(huì)引入這種色階。釣寒江雪猜測(cè),榮耀6+的算法工程做高斯濾波時(shí)定點(diǎn)化處理的時(shí)候忘記了4舍5入,或者模糊算法模糊度參考來(lái)的鄰域亮度差異。
- 聚焦近景時(shí)近景邊緣(與遠(yuǎn)景交界處)存在不自然的虛邊,而單反長(zhǎng)焦則不會(huì)
- 聚焦近景時(shí)近景邊緣(與遠(yuǎn)景交界處)存在錯(cuò)誤:重影,鋸齒,鬼影
- 預(yù)覽時(shí)沒(méi)有根據(jù)深度信息進(jìn)行摳圖虛化,只是簡(jiǎn)單將圖像四周模糊,或者模糊遠(yuǎn)離觸點(diǎn)的區(qū)域
圖3 虛化算法存在嚴(yán)重的色階
圖4 安卓版手機(jī)QQ效果(白紙區(qū)域有嚴(yán)重色階)
圖5 安卓圖庫(kù)效果
下圖中的鋸齒問(wèn)題,和光影魔術(shù)手的效果類(lèi)似,感興趣的朋友也可以試試OPENCV的GRABCUT,真的很像。
圖6 近景外輪廓存在嚴(yán)重鋸齒
圖7 近景外輪廓存在嚴(yán)重重影
圖8 聚焦近景時(shí),近景的外輪廓存在虛化,這在單反長(zhǎng)焦特寫(xiě)中不存在這樣的虛邊
這是個(gè)很有意思的問(wèn)題,單反長(zhǎng)焦大光圈時(shí),前景清晰背景虛化,光圈更大時(shí),近景的外輪廓是會(huì)更清晰些的。釣寒江雪認(rèn)為,理由是近景發(fā)出的光都規(guī)規(guī)矩矩聚焦在感光芯片上,而背景上的光則擴(kuò)散在傳感器上,光圈越大,擴(kuò)散越大,擴(kuò)散越大,反而不容易使近景外輪廓糊掉,反而在擴(kuò)散不是特別大的時(shí)候,會(huì)糊得厲害些。釣寒江雪認(rèn)為,軟件模擬的方式,要做到這一點(diǎn)比較難,但是不做到這一點(diǎn),看上去會(huì)很假。
圖9 聚焦近景時(shí),近景的外輪廓存在遮擋錯(cuò)位,出現(xiàn)鬼影
?
?
當(dāng)立體匹配算法出現(xiàn)錯(cuò)誤,或者摳圖不準(zhǔn)時(shí),就容易出現(xiàn)上述鬼影,釣寒江雪認(rèn)為,這是個(gè)技術(shù)上的難點(diǎn)和痛點(diǎn),并且雙攝像頭方案會(huì)一直這么痛下去。
圖10 景深估計(jì)高概率錯(cuò)誤
圖11 背景常常被誤認(rèn)為是近景,上圖中遠(yuǎn)景的一部分被錯(cuò)誤地虛化
圖12 實(shí)驗(yàn)表明,雙攝像頭對(duì)靜止場(chǎng)景HDR沒(méi)有任何改進(jìn)
?
釣寒江雪認(rèn)為,榮耀6+的HDR還是很不錯(cuò)的,但是真沒(méi)看出來(lái)和雙目有啥關(guān)系。
HDR
圖13 HDR運(yùn)動(dòng)鬼影并沒(méi)有因?yàn)殡p攝而消除
運(yùn)動(dòng)鬼影的出現(xiàn),表示榮耀6+的HDR仍然是基于連拍多張的原理實(shí)現(xiàn)的,而并非用兩張同時(shí)拍攝的圖片實(shí)現(xiàn)的。釣寒江雪認(rèn)為,榮耀6+的HDR真的很不錯(cuò)的,要拍攝出上述鬼影,并不容易,華為的HDR鬼影控制還是上了一個(gè)大臺(tái)階的,可以秒殺高通。
圖14 華為沒(méi)有實(shí)現(xiàn)雙攝像頭超分辨率(但實(shí)現(xiàn)了單攝像頭(8M-13M)單張超分辨率)
常規(guī)預(yù)覽、拍攝及超分辨率(Super Resolution)
實(shí)驗(yàn)表明,雙攝像頭對(duì)分辨率沒(méi)有任何改進(jìn),常規(guī)拍攝沒(méi)有發(fā)現(xiàn)過(guò)景深估計(jì)錯(cuò)誤導(dǎo)致的鬼影,說(shuō)明常規(guī)拍攝并沒(méi)有使用多幀超分辨率。理由:如果華為擁有完美無(wú)暇的景深估計(jì)算法,榮耀6+沒(méi)有理由在背景虛化時(shí)掉鏈子。既然景深估計(jì)有瑕疵,用雙攝做超分辨率時(shí)就必然也會(huì)出現(xiàn)瑕疵。
圖15 榮耀6+單幀超分辨率副作用:2-4個(gè)像素的黑邊
?
超級(jí)夜景
圖16 超級(jí)夜景(有燈)需要長(zhǎng)曝光時(shí)間(5S以上)有嚴(yán)重鬼影
- 降噪有一定效果
- 需要三腳架
- 運(yùn)動(dòng)物體會(huì)有鬼影
- 不涉及雙攝像頭
?
三腳架主要應(yīng)對(duì)長(zhǎng)曝光時(shí)間的運(yùn)動(dòng)模糊,及省略多幀連拍圖像之間的配準(zhǔn)計(jì)算過(guò)程。
增大曝光補(bǔ)償EV時(shí),榮耀6+的問(wèn)題比較大,畫(huà)面霧蒙蒙的,甚至EV值改變后,曝光時(shí)間居然沒(méi)變。第二天我測(cè)了金立E7,發(fā)現(xiàn)EV值改變后,并不會(huì)霧蒙蒙 的。釣寒江雪大膽猜測(cè),榮耀6+,調(diào)整EV值的時(shí)候,沒(méi)有改變曝光值,甚至連Gamma或者OB(optical black)都沒(méi)有正兒八經(jīng)去調(diào)一調(diào),弄得霧蒙蒙的?!?/p>
圖17 EV=-2
圖18 EV=-1
圖19 EV=0
圖20 EV=1,霧感嚴(yán)重
圖21 EV=2,霧感嚴(yán)重
?
榮耀6+超級(jí)夜景總體來(lái)說(shuō)有一定效果,但一旦畫(huà)面中有運(yùn)動(dòng)物體就不行了,如果要拍攝晚霞,如果云彩有輕微飛動(dòng),云就很模糊。
圖22 榮耀6+三腳架固定拍攝的超級(jí)夜景
?
超級(jí)夜景的一個(gè)亮點(diǎn)是加入了HDR,這使燈光不會(huì)變胖。不過(guò)要拍出這個(gè)效果,需要三腳架,不能有行人,如果拍云,拍樹(shù)葉,連微風(fēng)都不能有,拍噴泉的話(huà),肯定也不行了,肯定會(huì)糊。
拍完這張圖像,釣寒江雪立馬有一種想去拍晚霞或者日出的沖動(dòng),日出或者日落,沒(méi)有風(fēng),身邊恰好有個(gè)能裝榮耀6+的三角架的時(shí)候,搞不好能拍出驚艷的效果。但是,不知道要猴年馬月了,還不如用單反輕便。
圖23 金立E7大眼睛手持夜景模式拍攝效果
E7夜景看上去沒(méi)有榮耀6那么艷,但是非常實(shí)用,很貼心,隨手就能拍到珍貴的景色。
圖24 金立E7大眼睛拍攝,EV=2,完全沒(méi)有榮耀6+那種霧感
常規(guī)夜景
圖25 常規(guī)夜景
?
測(cè)試:
捂住邊上攝像頭拍攝與不捂住沒(méi)有區(qū)別
沒(méi)有出現(xiàn)深度不連續(xù)導(dǎo)致的鬼影
結(jié)論
常規(guī)夜景只是用了單個(gè)攝像頭
?
暗光(極暗)預(yù)覽與拍攝
暗光下,榮耀6+邊上攝像頭用于拍攝,中間攝像頭用于預(yù)覽,測(cè)試方法如下:
捂住邊上攝像頭,可以預(yù)覽但是排除的照片全黑,捂住中間攝像頭預(yù)覽全黑,但可以正常拍攝
?
圖26
聚焦
釣寒江雪沒(méi)看出榮耀6+用雙眼對(duì)AF的改善,大白天聚焦失敗的情況也時(shí)有發(fā)生,更別說(shuō)夜景了。話(huà)說(shuō)特征點(diǎn)匹配本來(lái)就耗時(shí),而聚焦又是毫秒級(jí)的應(yīng)用,大膽地猜測(cè),這純屬扯淡。
不過(guò)話(huà)說(shuō)回來(lái),聚焦一直是手機(jī)的痛,單反其實(shí)也一樣。常常興高采烈地拍了一堆照片,拷到電腦上一看,一半糊的,心中那個(gè)痛啊。有人說(shuō)我用iphone 6,其實(shí)也就糊少點(diǎn)點(diǎn),沒(méi)有本質(zhì)區(qū)別。釣寒江雪號(hào)召各大手機(jī)廠商,加油把AF這個(gè)問(wèn)題搞好點(diǎn),少吹牛?!?/p>
預(yù)覽曝光時(shí)間 65毫秒
拍攝曝光時(shí)間 85毫秒
圖27 低光下曝光時(shí)間測(cè)試,一個(gè)LED燈亮5毫秒
?
雙攝到底有沒(méi)有起作用
- 背景虛化,EDOF,全聚焦拍照時(shí)可能使用了雙攝像頭,預(yù)覽時(shí)沒(méi)有使用
- 極暗場(chǎng)景才使用雙攝像頭,一個(gè)預(yù)覽一個(gè)拍照,增加預(yù)覽幀率
- 常規(guī)場(chǎng)景沒(méi)有使用雙攝像頭
- HDR與夜景(非極暗)沒(méi)有使用雙攝像頭
- 雙攝像頭對(duì)AF起到的改進(jìn)難以感覺(jué),或者說(shuō)沒(méi)有改進(jìn)
榮耀6+總結(jié)
- 華為的采用的8M的SENSOR在低照度下具有較好感光度,加上其多幀降噪技術(shù),其低照度性能得到了明顯提升。但這些和雙攝像頭都無(wú)關(guān)
- 華為的超分辨率算法處理時(shí)間大概2-3秒,但是巧妙地使用了UI在后臺(tái)處理,這讓人覺(jué)得處理速度非???。
- 背景虛化,先拍照后聚焦,以及全聚焦會(huì)增加一些趣味性,但同時(shí)也較大概率地帶來(lái)副作用,使圖像質(zhì)量大打折扣。
- 華為的虛化算法處理時(shí)間大概2-3秒,但是巧妙地分解在不同的UI操作步驟中,這讓人覺(jué)得處理速度非???。
- 超分辨率與HDR 合成都由單攝像頭完成,但HDR運(yùn)動(dòng)鬼影抑制比高通好,手抖也幾乎不會(huì)導(dǎo)致鬼影。
- 超級(jí)夜景有一定效果,使用了HDR,燈光不會(huì)長(zhǎng)胖,多幀降噪也還可以,但需要使用三腳架,這限制了使用范圍。
雙目立體攝像頭面臨的配準(zhǔn)算法的挑戰(zhàn)
- AF問(wèn)題的影響:AF不可避免帶來(lái)焦距的輕微變化,從而帶來(lái)圖像輕微縮放甚至中心點(diǎn)漂移,這種復(fù)雜變化幾乎無(wú)法標(biāo)定,也就是說(shuō)縮放本身會(huì)增大配準(zhǔn)難度,即使配準(zhǔn)了,深度信息也會(huì)因?yàn)橹行狞c(diǎn)漂移而計(jì)算不準(zhǔn)。IDC分析認(rèn)為如果采用同步AF的方式,需要增加通信的成本,導(dǎo)致系統(tǒng)變得異常復(fù)雜,如果只控制一個(gè)攝像頭AF,另外一個(gè)跟著動(dòng)也可以,但前提是模組一致性要很好,而且高溫高濕度撞擊振動(dòng)等情況發(fā)生時(shí),模組一致性還是要很好才行;
- 視頻:視頻模式下一邊AF,一邊配準(zhǔn),系統(tǒng)會(huì)非常復(fù)雜;
- 景深不連續(xù):景深不連續(xù)的場(chǎng)景下實(shí)現(xiàn)圖像配準(zhǔn)算法,時(shí)至今日仍然是一個(gè)難題,難度遠(yuǎn)遠(yuǎn)超過(guò)了遙感配準(zhǔn),全景拼接配準(zhǔn),及手抖配準(zhǔn)。遮擋問(wèn)題本身就更難解決;
- 全局的單應(yīng)矩陣轉(zhuǎn)換模型:在深度不連續(xù)的場(chǎng)合下,全局的單應(yīng)矩陣轉(zhuǎn)換模型并不適合兩幅圖像之間的幾何變換關(guān)系;
- 卷簾式快門(mén)與非剛性:HDR拍攝時(shí),曝光時(shí)間不同,果凍效應(yīng)導(dǎo)致的形變量不一致可能導(dǎo)致圖像局部形變不一致。這個(gè)問(wèn)題可能會(huì)將剛性配準(zhǔn)問(wèn)題轉(zhuǎn)變?yōu)榉莿傂耘錅?zhǔn)問(wèn)題;
- 全局一致漂移算法配準(zhǔn):全局一致性漂移算法假設(shè)越靠近的像素偏移量越接近,可以用于配準(zhǔn)非剛性物體,但是深度不連續(xù)本身就是一種全局不一致,漂移量全局一致性不成立;
- 多模態(tài)圖像配準(zhǔn):如果采用非對(duì)稱(chēng)攝像頭,兩個(gè)攝像頭不相同,例如黑白和彩色攝像頭的SENSOR的光譜曲線(xiàn)差異大,配準(zhǔn)難度可能增大。
?
圖28
?
對(duì)這里面的技術(shù)原理感興趣的,可以參考 雙目攝像技術(shù)分析--突破光學(xué)與尺寸的極限
與非網(wǎng)原創(chuàng)內(nèi)容,謝絕轉(zhuǎn)載!