966
ToF相機(jī)在車內(nèi)應(yīng)用主要有三處，一是汽車B柱上的人臉識(shí)別或者說Face ID，二是汽車中控的手勢(shì)識(shí)別Gesture，三是駕駛員狀態(tài)監(jiān)控DMS。未來可能再增加車內(nèi)人員存在監(jiān)測(cè)Occupant Detection。
圖片來源：佐思汽研
2D平面相機(jī)主要做車內(nèi)的DMS，典型代表是凱迪拉克CT6，2017年初研發(fā)，通用凡搭配Super Cruise都是此類設(shè)計(jì)，供應(yīng)商為中國(guó)寧波均勝旗下的均勝安全系統(tǒng)，算法由澳大利亞上市公司SeeMachine提供，硬件為Xilinx的 Zynq-7000 FPGA。福特的Blue Cruise也是類似的設(shè)計(jì)，包括了F-150，MustangMach-E 和 Evos車型，算法由See Machine提供，硬件為Xilinx的 Zynq-7000 FPGA。寶馬早期的DMS由安波福提供，算法是Smart Eye，核心芯片則是英偉達(dá)。英偉達(dá)的東西自然不便宜。不過自ix、i4開始，寶馬轉(zhuǎn)向ToF。
2D平面相機(jī)自然不能做Face ID和手勢(shì)控制，從手機(jī)領(lǐng)域就能看出，沒有人敢這樣做，沒有深度數(shù)據(jù)，2D平面相機(jī)很容易被欺騙。手勢(shì)控制也自不必多言。在DMS領(lǐng)域，2D平面相機(jī)也面臨諸多挑戰(zhàn)，一是強(qiáng)光或快速光線變化，如陽光照射攝像頭、林蔭大道等場(chǎng)景，2D平面相機(jī)會(huì)致盲或者反應(yīng)不過來。二是算法，深度學(xué)習(xí)模型越來越大，消耗的算法資源越來越多，意味著硬件處理器的成本越來越高。三是準(zhǔn)確度，沒有深度數(shù)據(jù)，或者用深度學(xué)習(xí)推測(cè)的深度數(shù)據(jù)不僅精度很低且耗費(fèi)大量運(yùn)算資源。2D平面相機(jī)通常只能計(jì)算眨眼次數(shù)，眼簾開合程度這種平面信息，對(duì)歐美人種，大眼還能湊合，亞洲人眼小，瞇成一條縫很常見，準(zhǔn)確度非常低，可能頻繁誤報(bào)，駕駛員一上車就會(huì)關(guān)掉DMS。眼球追蹤，頭部姿態(tài)算法是未來DMS的主流，用2D平面相機(jī)來做，準(zhǔn)確度低且消耗運(yùn)算資源多，成本高。
為了解決陽光問題，廠家們推出了NIR紅外，940nm處的太陽光能量比850nm處的要少得多，因此將光路的工作波長(zhǎng)改為940nm基本上消除了致盲問題。
圖片來源：互聯(lián)網(wǎng)
然而問題來了，CMOS圖像傳感器的量子效率在940nm遠(yuǎn)低于850nm，這意味著必須使用更強(qiáng)大的LED來照亮駕駛員的臉。由于距離很近，且是一直開啟，這不像激光雷達(dá)，只會(huì)偶爾掃到，可能百分之一秒，這是一上車就開啟的，很難做到人眼安全，駕駛員有失明的風(fēng)險(xiǎn)。所以只能降低功率，結(jié)果就是效果很差，準(zhǔn)確度很低，尤其是夜間，最需要DMS的時(shí)候。
還有一個(gè)隱私問題，4月7日，工信部發(fā)布了《智能網(wǎng)聯(lián)汽車生產(chǎn)企業(yè)及產(chǎn)品準(zhǔn)入管理指南（試行）》（征求意見稿），對(duì)智能網(wǎng)聯(lián)汽車網(wǎng)絡(luò)安全提出了多項(xiàng)要求?！墩髑笠庖姼濉凤@然針對(duì)未來車載數(shù)據(jù)隱私問題，提出了新的明確要求，“智能網(wǎng)聯(lián)汽車生產(chǎn)企業(yè)應(yīng)依法收集、使用和保護(hù)個(gè)人信息，實(shí)施數(shù)據(jù)分類分級(jí)管理，制定重要數(shù)據(jù)目錄，不得泄露涉及國(guó)家安全的敏感信息。”2D平面相機(jī)無法根本上解決隱私問題。
還有一個(gè)小麻煩，2D平面攝像頭都是在轉(zhuǎn)向柱上的，這就意味著你要轉(zhuǎn)向柱廠家與你配合，成本自然要增加了，小廠家估計(jì)就沒有轉(zhuǎn)向柱廠家為你訂做此類產(chǎn)品。
結(jié)構(gòu)光主要還是用在手機(jī)上，因?yàn)樗嚯x有限，很難超過1米，車內(nèi)應(yīng)用幾乎沒見過。結(jié)構(gòu)光要依賴光源投影的pattern。結(jié)構(gòu)光最大的缺點(diǎn)是無法應(yīng)對(duì)動(dòng)態(tài)環(huán)境，也就是室外環(huán)境，光線環(huán)境的快速變化讓結(jié)構(gòu)光很容易受到干擾。其次是材料成本高，再次是響應(yīng)速度慢，需要消耗比較多的運(yùn)算資源。再次是尺寸大，無法做到水滴屏，必須是大劉海。理論上結(jié)構(gòu)光可以縮小尺寸，但有效距離也會(huì)大幅度縮小，必須臉緊貼屏幕，顯然這是不實(shí)用的。
立體雙目在車內(nèi)應(yīng)用只有最新的奔馳S級(jí)，奔馳在立體雙目領(lǐng)域耕耘超過25年，即便是在整個(gè)計(jì)算機(jī)視覺領(lǐng)域，奔馳都是立體雙目技術(shù)的最頂尖公司。立體雙目利用視差圖提供深度信息，對(duì)光線變換敏感度降低，但仍有標(biāo)定復(fù)雜，消耗運(yùn)算資源多，成本高的缺點(diǎn)。也只有奔馳這種將立體雙目爛熟于心的廠家才能玩得好。
ToF相機(jī)具備一切優(yōu)勢(shì)，包括陽光干擾、光線變化干擾、隱私、有效距離、深度精度、體積方面。dToF相機(jī)就是Flash激光雷達(dá)，iToF就是FMCW激光雷達(dá)。其物理重建3D過程包括點(diǎn)云數(shù)據(jù)生成和點(diǎn)云配準(zhǔn)，點(diǎn)云數(shù)據(jù)生成主要是坐標(biāo)變換，點(diǎn)云匹配最常見的是ICP算法（ICP算法由Besl and McKay 1992, Method for registration of 3-D shapes文章提出，該算法已經(jīng)在PCL庫(kù)中實(shí)現(xiàn)）。ICP算法本質(zhì)上是基于最小二乘法的最優(yōu)配準(zhǔn)方法。通過選擇對(duì)應(yīng)兩個(gè)點(diǎn)云的關(guān)系點(diǎn)，然后重復(fù)計(jì)算最優(yōu)變換，直到滿足正確配準(zhǔn)條件。
3D人臉識(shí)別處理的是3D的數(shù)據(jù)，如點(diǎn)云、體素等，這些數(shù)據(jù)是完整的，立體的，準(zhǔn)確度高，且無需深度學(xué)習(xí)的卷積加入，算法簡(jiǎn)潔可靠，魯棒性高具備可解釋性，消耗運(yùn)算資源很少。中控CPU（如常見的高通665）的運(yùn)算資源就足以覆蓋，無需單獨(dú)外加運(yùn)算SoC，這是ToF相機(jī)最強(qiáng)大的地方。此外，因?yàn)闇y(cè)距精度高，F(xiàn)OV寬，能夠監(jiān)測(cè)大范圍的頭部運(yùn)動(dòng)，同時(shí)也更容易集成到車內(nèi)后視鏡，而不是集成到轉(zhuǎn)向柱上。
那為什么很少聽說ToF相機(jī)在車上的應(yīng)用呢？原因有兩點(diǎn)，一是B柱上的人臉識(shí)別Face ID剛剛出現(xiàn)，這個(gè)應(yīng)用場(chǎng)合，非ToF相機(jī)莫屬。眾多新興造車將在明年開始上這個(gè)功能，人臉車鑰匙。二是，早期的ToF的光源也是近紅外，近期才改用VCSEL，只有VCSEL才能發(fā)揮ToF的潛力。
圖片來源：互聯(lián)網(wǎng)
LED的功率密度低，脈沖速度低，效率低，波長(zhǎng)穩(wěn)定性低，用于消費(fèi)類電子尚可。最大缺點(diǎn)是FOV窄，用于手持設(shè)備尚可，用于車內(nèi)不行。
圖片來源：互聯(lián)網(wǎng)
不過VCSEL進(jìn)步很快，ToF終修成正果。
ToF又可以分為iToF（間接飛行時(shí)間）和dToF（直接飛行時(shí)間）兩類。dToF和iToF的原理區(qū)別主要在于發(fā)射和反射光的區(qū)別。dToF的原理比較直接，即直接發(fā)射一個(gè)光脈沖，之后測(cè)量反射光脈沖和發(fā)射光脈沖之間的時(shí)間間隔，就可以得到光的飛行時(shí)間。而iToF的原理則要復(fù)雜一些。在iToF中，發(fā)射的并非一個(gè)光脈沖，而是調(diào)制過的光。接收到的反射調(diào)制光和發(fā)射的調(diào)制光之間存在一個(gè)相位差，通過檢測(cè)該相位差就能測(cè)量出飛行時(shí)間，從而估計(jì)出距離。iToF的最大問題就在于最大測(cè)距距離和測(cè)距精度之間的矛盾。舉例來說，當(dāng)調(diào)制頻率為100MHz時(shí)，那么無論飛行時(shí)間是1ns還是11ns反應(yīng)在調(diào)制相位差上都是36度，因此其最大測(cè)距距離就被調(diào)制周期所限制了；iToF有效距離通常不超過2米，但在車內(nèi)應(yīng)用足夠了。另一個(gè)小缺點(diǎn)，iToF由于在檢測(cè)相位差的時(shí)候使用了積分，所以環(huán)境光也會(huì)在積分過程中對(duì)于iToF電路造成干擾，因此iToF在明亮環(huán)境下的性能會(huì)受到影響。但仍比2D相機(jī)要好得多。iToF的測(cè)距精度也比dToF高，制造難度也比dToF低。
dToF 深度算法相對(duì)簡(jiǎn)單，但是因?yàn)橐獧z測(cè)光脈沖信號(hào)（納秒甚至皮秒級(jí)），對(duì)光的敏感度要求很高，因此接收端通常選擇 SPAD即單光子陣列，早期SPAD成本高，良率低，像素低，目前隨著松下、佳能、索尼和三星的大力研發(fā)，這些缺點(diǎn)都已不存在。當(dāng)然同樣成本下，iToF的分辨率會(huì)高一點(diǎn)。dToF則完全不受環(huán)境光的影響。全球范圍內(nèi)可以提供3D ToF圖像傳感器的供應(yīng)商，包括松下、佳能、索尼、英飛凌、Melexis、ADI、EPC Photonics、三星以及Artilux等多家公司。目前能過車規(guī)的主要是Melexis和松下。日本廠家技術(shù)能力強(qiáng)，畢竟CCD時(shí)代，日本廠家是壟斷的，CCD時(shí)代的經(jīng)驗(yàn)累積讓日本廠家以dToF為方向，歐美廠家則以難度低的iToF為主。
圖片來源：互聯(lián)網(wǎng)
上圖為Melexis的產(chǎn)品特性簡(jiǎn)介，顯然這是iToF，調(diào)制頻率是100MHz，絕大部分iToF都是這個(gè)頻率，高調(diào)制頻率大約是200MHz。FOV高達(dá)110°，波長(zhǎng)選擇940納米，也是因?yàn)檫@個(gè)波長(zhǎng)，量子效率最高。
圖片來源：互聯(lián)網(wǎng)
Melexis達(dá)到了最高的車規(guī)級(jí)，運(yùn)行溫度范圍高達(dá)105℃，而一般是85℃。2020年8月Melexis宣稱其車載ToF傳感器出貨量已達(dá)到100萬片。英飛凌則有REAL3傳感器，分辨率略低為352*288，也達(dá)到了105℃溫度上限。
國(guó)內(nèi)因?yàn)樗上聦?a class="article-link" target="_blank" href="/tag/%E5%8D%8A%E5%AF%BC%E4%BD%93/">半導(dǎo)體業(yè)務(wù)專賣給中國(guó)臺(tái)灣新唐半導(dǎo)體，并且蘇州松下半導(dǎo)體也轉(zhuǎn)至新唐名下，因此國(guó)內(nèi)方案就近選擇松下的CCD ToF傳感器比較多，通常與之配合是ADI的控制IC。
圖片來源：互聯(lián)網(wǎng)
ADI ToF系統(tǒng)框架圖，ToF傳感器一般都是松下的MN34906，控制IC也可以用ADDI9043。高通的Robotics RB3平臺(tái)就是這種設(shè)計(jì)。分辨率是VGA級(jí)，90*70的FOV。
圖片來源：互聯(lián)網(wǎng)
ADI更多考慮戶外應(yīng)用，特別適合放在B柱子上的Face ID應(yīng)用。
對(duì)于dToF，其有效距離更遠(yuǎn)，像素也可以更高，因此更適合做激光雷達(dá)，車內(nèi)應(yīng)用有些浪費(fèi)了。ToF吸引了全球所有光電大廠，傳統(tǒng)2D相機(jī)是被動(dòng)傳感器，已無潛力可挖，而ToF是主動(dòng)傳感器，潛力無限，ToF傳感器飛速發(fā)展，ToF相機(jī)將在DMS和Face ID領(lǐng)域取代傳統(tǒng)2D相機(jī)。
