Xperi的單攝像頭艙內(nèi)監(jiān)控系統(tǒng)

乘員狀態(tài)監(jiān)控技術(shù)是車輛安全系統(tǒng)的發(fā)展方向。許多商業(yè)車隊(duì)已經(jīng)采用了乘員狀態(tài)監(jiān)控，乘員監(jiān)測(cè)（如兒童）是進(jìn)入一個(gè)新領(lǐng)域的合理的步驟。

事實(shí)上，它已經(jīng)獲得了監(jiān)管部門的青睞和行業(yè)的采用。Euro NCAP將鼓勵(lì)在2022年搭載該系統(tǒng)的車廠，而大部分車廠也愿意在2025年之前將乘員監(jiān)控作為一項(xiàng)標(biāo)準(zhǔn)功能。

是什么推動(dòng)了這種變化？為什么乘員監(jiān)測(cè)對(duì)未來(lái)的移動(dòng)出行如此關(guān)鍵？簡(jiǎn)單的答案是車輛的自動(dòng)駕駛程度越來(lái)越高。像乘員狀態(tài)系統(tǒng)這樣的監(jiān)測(cè)技術(shù)在識(shí)別從乘員行為和狀態(tài)到緊急情況、專注度等一切方面的能力上具有支持作用。

乘客的安全（包括寵物）必須考慮到更多的自動(dòng)化，以及自動(dòng)駕駛及其體驗(yàn)。Xperi的DTS AutoSense正是為此而開發(fā)設(shè)計(jì)的，原因如下：

變化環(huán)境中的安全性：乘員狀態(tài)技術(shù)需要實(shí)時(shí)處理各種變化，如乘客控制、自動(dòng)駕駛環(huán)境、部分自動(dòng)駕駛、緊急乘客控制等。為此，它應(yīng)該提供整個(gè)艙內(nèi)的概況，并能以框架的精度進(jìn)行分析。

乘員定位：雖然乘客應(yīng)該在車內(nèi)安全地坐好，但實(shí)際上他們往往不這樣做，特別是兒童。乘員狀態(tài)技術(shù)可以分析并發(fā)出警告，安全氣囊可以根據(jù)每個(gè)乘客的姿勢(shì)和暴露在事故中的情況來(lái)部署。這項(xiàng)技術(shù)可以以與乘客ID相一致的可控方式部署安全氣囊，還可以提供定制的旅行體驗(yàn)（針對(duì)負(fù)載的設(shè)置、溫度、照明、聲音等）。

乘員行為：在一個(gè)更加自動(dòng)駕駛的未來(lái)，安全監(jiān)管機(jī)構(gòu)需要了解的遠(yuǎn)不止是座位中的乘員情況。通過(guò)開發(fā)后視鏡攝像頭流，并通過(guò)各種基于神經(jīng)網(wǎng)絡(luò)的算法進(jìn)行分析，我們已經(jīng)實(shí)現(xiàn)了一個(gè)整體的艙內(nèi)傳感系統(tǒng)，可由任何監(jiān)管機(jī)構(gòu)對(duì)更多的行為上下文進(jìn)行評(píng)分。

乘員體驗(yàn)：不僅僅是安全問(wèn)題，乘員狀態(tài)監(jiān)測(cè)將通過(guò)個(gè)性化的音樂(lè)、照明方案、座椅調(diào)整等實(shí)現(xiàn)更好的旅程體驗(yàn)，所有這些都基于乘客的ID/位置/行為和活動(dòng)。想象一下，通過(guò)活動(dòng)和分析，根據(jù)你的情緒為你選擇播放列表。

實(shí)現(xiàn)這一目標(biāo)是一項(xiàng)重大挑戰(zhàn)。當(dāng)時(shí)，業(yè)界的看法是，不可能通過(guò)一個(gè)攝像頭同時(shí)對(duì)司機(jī)和乘客進(jìn)行感知。最大問(wèn)題是后視鏡的角度，這個(gè)位置攝像頭不是正面對(duì)著駕駛員，直接影響了駕駛員感知技術(shù)的效果。

該技術(shù)是如何開發(fā)的？

DTS AutoSense乘員監(jiān)控系統(tǒng)（OMS）背后的核心技術(shù)利用了計(jì)算機(jī)視覺中的機(jī)器學(xué)習(xí)和神經(jīng)處理技術(shù)的進(jìn)步，將質(zhì)量和性能提高到新的水平。通過(guò)對(duì)數(shù)據(jù)的精心使用，檢測(cè)、分類和識(shí)別的KPI達(dá)到了90%以上的水平。

具有高質(zhì)量標(biāo)注的相關(guān)數(shù)據(jù)的可用性是性能的關(guān)鍵，這就是為什么DTS在數(shù)據(jù)基礎(chǔ)設(shè)施的各方面進(jìn)行了大量投資，從采集和生成、驗(yàn)證、評(píng)估、存儲(chǔ)、檢索和計(jì)算能力，到專門用于使用和管理的熟練勞動(dòng)力。在確保數(shù)據(jù)流安全的情況下，DTS AutoSense利用AI的進(jìn)步，繼續(xù)創(chuàng)新開發(fā)。

結(jié)果是該乘員監(jiān)測(cè)系統(tǒng)解決方案是完全神經(jīng)性的，以定制的CNN為基礎(chǔ)，結(jié)合身體、面部和一般物體的級(jí)聯(lián)檢測(cè)器，生成艙內(nèi)上下文，并對(duì)其進(jìn)行操作。Xperi還部署了一個(gè)復(fù)雜的鏡頭畸變校正過(guò)程，然后是一個(gè)定制的圖像處理序列，對(duì)乘客進(jìn)行艙內(nèi)三維空間定位。

該解決方案與攝像頭無(wú)關(guān)，因此Xperi認(rèn)為有能力應(yīng)對(duì)現(xiàn)有艙內(nèi)空間的任何攝像頭和鏡頭系統(tǒng)。該解決方案在RGB-IR/IR傳感器上運(yùn)行，無(wú)論是單一的RGB流、RGB-IR，還是純IR傳感器。

該解決方案可在任何車輛艙內(nèi)實(shí)時(shí)運(yùn)行，可以提供反饋和/或直接報(bào)告乘客狀態(tài)。如果車輛中的一個(gè)座位被占用，這個(gè)位置將被實(shí)時(shí)檢測(cè)、記錄、報(bào)告。

開發(fā)的挑戰(zhàn)開發(fā)新的技術(shù)和創(chuàng)建新的、未定義的用例帶來(lái)了一些重大挑戰(zhàn)。當(dāng)建立一個(gè)關(guān)鍵功能所需的核心技術(shù)時(shí)，Xperi遇到了未曾預(yù)見的副作用。每一個(gè)副作用都必須得到處理、解決、編目和分類，才能繼續(xù)推進(jìn)。

最終，它需要一個(gè)新的技術(shù)水平，包括開發(fā)新的采集系統(tǒng)、數(shù)據(jù)標(biāo)注、額外的符號(hào)要求和流程，以及神經(jīng)訓(xùn)練方法的完整的精煉。以下是列舉的一些挑戰(zhàn)以及Xperi如何解決這些挑戰(zhàn)的。

保持DMS的準(zhǔn)確性

有些人可能會(huì)認(rèn)為，單攝像頭解決方案（后視鏡DMS和OMS）與駕駛員正面的攝像頭相比，會(huì)影響準(zhǔn)確性。然而，從后視鏡可以獲得更廣泛的上下文，這意味著通過(guò)分析駕駛員的擴(kuò)展景觀，即身體姿勢(shì)分析、行為、活動(dòng)檢測(cè)等，可以獲得相同甚至更高的準(zhǔn)確性。

后座的遮擋率

另一個(gè)巨大的挑戰(zhàn)涉及到處理后座乘客的遮擋率（前座總是在一定程度上遮擋后方物體）。我們通過(guò)對(duì)乘客的活動(dòng)和行為進(jìn)行時(shí)間分析來(lái)克服這些問(wèn)題。這種分析產(chǎn)生了一個(gè)復(fù)雜的算法，在一段時(shí)間內(nèi)跟蹤每個(gè)乘員的活動(dòng)（睡覺、說(shuō)話、使用小工具、身體運(yùn)動(dòng)、姿勢(shì)、物體的出現(xiàn)/消失等），然后保存它的歷史。

基于這些信息，Xperi計(jì)算出物體（被遮擋或不被遮擋）的概率以及由此產(chǎn)生的具體行為（可觀察或不可觀察）。只有在對(duì)這些活動(dòng)和行為的歷史進(jìn)行整體分析后，才能發(fā)出有效的決策/預(yù)警。

檢測(cè)乘員

檢測(cè)艙內(nèi)空間區(qū)域外的乘員是一個(gè)獨(dú)特的挑戰(zhàn)。Xperi的OMS僅通過(guò)計(jì)算機(jī)視覺和RGB-IR或IR傳感器就能cover艙內(nèi)的乘員。然而，這需要超越目前座椅壓力傳感器的限制，以便系統(tǒng)能夠始終檢測(cè)到車內(nèi)的人員數(shù)量和他們的位置。

該檢測(cè)技術(shù)的一個(gè)副作用是它能同時(shí)檢測(cè)到車外和車內(nèi)的人，影響了解決方案的有效性。因此，他們想出了具體的幾何計(jì)算技術(shù)，只檢測(cè)艙內(nèi)的情況。

總的來(lái)說(shuō)，在應(yīng)對(duì)這些挑戰(zhàn)的過(guò)程中，Xperi開發(fā)了特定的數(shù)據(jù)采集方案，并完善了一個(gè)定制的基礎(chǔ)設(shè)施，能夠?yàn)檫@項(xiàng)技術(shù)的特殊問(wèn)題設(shè)計(jì)解決方案。

測(cè)試

這些挑戰(zhàn)的復(fù)雜性需要嚴(yán)格的分析和測(cè)試，包括評(píng)估上下文、特定場(chǎng)景、姿勢(shì)行為和遮擋。Xperi表示他們涉及到了各種因素，從車廂大小和形狀，到白天與夜間的光線，再到高遮擋率。然后，從不同的車輛上收集了各種乘客（最多5人）的真實(shí)旅行場(chǎng)景，以及多種旅行長(zhǎng)度和景觀。

傳感器和圖像質(zhì)量是至關(guān)重要的。必須解決主要由噪聲、曝光過(guò)度（極端陽(yáng)光）、曝光不足（低光照條件）引起的問(wèn)題，這些問(wèn)題由混合IR和可見光域、快速環(huán)境光轉(zhuǎn)換（進(jìn)入隧道）、車內(nèi)和乘客身上的陰影，以及不同的環(huán)境照明、顏色和強(qiáng)度引起。

在這些不同的照明情況下，乘客進(jìn)行了各種活動(dòng)和姿勢(shì)，這些活動(dòng)和姿勢(shì)由特定的硬件系統(tǒng)進(jìn)行驗(yàn)證/標(biāo)注，并由一個(gè)熟練的數(shù)據(jù)團(tuán)隊(duì)進(jìn)一步分析。

Xperi表示，他們的團(tuán)隊(duì)花了數(shù)年的構(gòu)思、開發(fā)、測(cè)試和更多的測(cè)試，為乘用車創(chuàng)造了一個(gè)真正準(zhǔn)確的乘員監(jiān)測(cè)系統(tǒng)。

顯然，車廠的艙內(nèi)功能數(shù)量會(huì)增加，因此，他們需要有相應(yīng)數(shù)量的安全元素和用例，這將是至關(guān)重要的。DTS AutoSense的設(shè)計(jì)、開發(fā)、測(cè)試，已經(jīng)為全球市場(chǎng)的挑戰(zhàn)做好了準(zhǔn)備。

[參考文章]

Occupancy Status Technology: Is It the Future of Vehicle Safety? — Szabolcs Fulop