基于瑞芯微的RK1808處理器的"兩客一危"AI視覺(jué)監(jiān)控系統(tǒng)

1.方案背景

在2018年年底下發(fā)關(guān)于《交通運(yùn)輸部辦公廳關(guān)于推廣應(yīng)用智能視頻監(jiān)控報(bào)警技術(shù)的通知》文件中對(duì)智能視頻監(jiān)控報(bào)警技術(shù)提出了詳細(xì)的技術(shù)要求，主要包括駕駛員駕駛行為檢測(cè)：疲勞駕駛、接打電話、長(zhǎng)時(shí)間分神、駕駛員不在駕駛位置、抽煙報(bào)警。目前在湖北省、浙江省、甘肅省、重慶、河北、福建等區(qū)域逐漸開(kāi)始要求兩客一危強(qiáng)制執(zhí)行，配套智能監(jiān)控設(shè)備。根據(jù)相關(guān)資料查詢，國(guó)內(nèi)客車保有量100萬(wàn)輛以上，我們的潛在市場(chǎng)機(jī)會(huì)規(guī)模在億級(jí)以上。

2.方案簡(jiǎn)介

本司機(jī)狀態(tài)監(jiān)控系統(tǒng)（Driver Status Monitor）為廣州靈眸科技自主研發(fā)，利用DSM攝像頭獲取圖像，通過(guò)視覺(jué)跟蹤、目標(biāo)檢測(cè)、動(dòng)作識(shí)別等技術(shù)對(duì)駕駛員的駕駛行為及生理狀態(tài)進(jìn)行檢測(cè)，當(dāng)駕駛員發(fā)生疲勞、分心、打電話、抽煙等危險(xiǎn)情況時(shí)在系統(tǒng)設(shè)定時(shí)間內(nèi)報(bào)警以避免事故發(fā)生。DSM系統(tǒng)能有效規(guī)范駕駛員的駕駛行為、大大降低交通事故發(fā)生的幾率?？赏ㄟ^(guò)算法模塊的形式集成到已有產(chǎn)品中，以極低門(mén)檻輕松實(shí)現(xiàn)原產(chǎn)品的升級(jí)。并且也可以以算法模塊為主控進(jìn)行二次開(kāi)發(fā)。

3.應(yīng)用場(chǎng)景

交通運(yùn)輸部辦公廳對(duì)”兩客一危“的車輛強(qiáng)制執(zhí)行，配套智能監(jiān)控設(shè)備。“兩客一危”的 車輛是指從事旅游的包車、三類以上班線客車和運(yùn)輸危險(xiǎn)化學(xué)品、煙花爆竹、民用爆炸物品的道路專用車輛。而且現(xiàn)在有向的士與滴滴等社會(huì)運(yùn)營(yíng)車輛擴(kuò)張的趨勢(shì)，市場(chǎng)規(guī)模極大。

4.功能簡(jiǎn)介

（1）正常駕駛狀態(tài)

使用人臉檢測(cè)、人臉關(guān)鍵點(diǎn)、目標(biāo)檢測(cè)等識(shí)別技術(shù)進(jìn)行神態(tài)分析，司機(jī)正常駕駛時(shí)系統(tǒng)顯示一切正常。

（2）司機(jī)核驗(yàn)

使用人臉識(shí)別技術(shù)識(shí)別司機(jī)的身份，確保司機(jī)車輛不會(huì)被其他人員非法操作，而且也能記錄司機(jī)的實(shí)際出勤情況。本司人臉識(shí)別算法準(zhǔn)確率達(dá)99.8%，99.7@0.001 far。

（3）打哈欠監(jiān)測(cè)

通過(guò)高精度人臉關(guān)鍵點(diǎn)技術(shù)進(jìn)行檢測(cè)，當(dāng)檢測(cè)到司機(jī)嘴巴張大到一定程度，且張大嘴巴且持續(xù)3秒時(shí)系統(tǒng)需要記錄起來(lái)，如果司機(jī)一個(gè)時(shí)間段內(nèi)都如此，則認(rèn)為司機(jī)一直在打哈欠，這時(shí)候需要給予司機(jī)溫馨提示，建議司機(jī)進(jìn)行休息調(diào)整。

（4）打電話監(jiān)測(cè)

通過(guò)目標(biāo)檢測(cè)算法進(jìn)行實(shí)時(shí)檢測(cè)，當(dāng)檢測(cè)到司機(jī)開(kāi)車打電話，則認(rèn)為司機(jī)駕駛行為不當(dāng)，可給予溫馨提示，如果司機(jī)繼續(xù)持續(xù)電話則進(jìn)行警報(bào)提醒。

（5）分心駕駛監(jiān)測(cè)

通過(guò)高精度人臉關(guān)鍵點(diǎn)算法進(jìn)行實(shí)時(shí)檢測(cè)。當(dāng)司機(jī)持續(xù)的低頭看手機(jī)或左顧右盼，則認(rèn)為司機(jī)駕駛分神，可對(duì)司機(jī)給予溫馨提示，如果現(xiàn)象持續(xù)則給予警報(bào)提醒。

（6）吸煙監(jiān)測(cè)

通過(guò)目標(biāo)檢測(cè)算法進(jìn)行實(shí)時(shí)檢測(cè)，當(dāng)檢測(cè)到司機(jī)開(kāi)車抽煙，則認(rèn)為司機(jī)駕駛行為不當(dāng)，可對(duì)司機(jī)給予溫馨提示，如果現(xiàn)象持續(xù)則給予警報(bào)提醒。

（7）偏離駕駛

當(dāng)駕駛員處于離崗狀態(tài)或者駕駛員面部被擋住時(shí)，會(huì)觸發(fā)系統(tǒng)報(bào)警，當(dāng)車輛處于前進(jìn)檔時(shí)，攝像頭沒(méi)有探測(cè)駕駛員即報(bào)警。

（8）長(zhǎng)時(shí)間閉眼監(jiān)測(cè)

通過(guò)高精度人臉關(guān)鍵點(diǎn)技術(shù)進(jìn)行檢測(cè)，當(dāng)檢測(cè)到司機(jī)閉眼睛超過(guò)1.5秒則需要立即進(jìn)行報(bào)警，以免造成嚴(yán)重的安全事故。

5.方案搭建

AIoT1808是廣州靈眸科技研發(fā)的一款應(yīng)用于AIoT領(lǐng)域的核心板。核心板基于瑞芯微的RK1808處理器開(kāi)發(fā)，處理器采用1.6GHz雙核Cortex-A35架構(gòu)，內(nèi)置的NPU峰值算力高達(dá)3.0TOPs，支持INT8/INT16/FP16混合運(yùn)算，并支持TensorFlow/MXNet/PyTorch/Caffe等一系列框架的網(wǎng)絡(luò)模型轉(zhuǎn)換，兼容性強(qiáng)。VPU 視頻處理單元支持1080P視頻編解碼，內(nèi)置ISP，支持麥克風(fēng)陣列，硬件VAD功能，支持低功耗偵聽(tīng)遠(yuǎn)場(chǎng)喚醒。核心板內(nèi)置人臉識(shí)別、火焰識(shí)別、危險(xiǎn)駕駛、智能餐桌等各類算法，并提供完整的Linux開(kāi)發(fā)包供客戶二次開(kāi)發(fā)。

AIoT1808參數(shù)描述：

• 內(nèi)核：雙核64位Cortex-A35
• NPU：最大算力為3.0TOPs
• 主頻：1.6GHz
• 操作系統(tǒng)：Linux
• 內(nèi)存：1GB DDR3
• 電子硬盤(pán)：4GB EMMC
• 觸摸屏：支持I2C觸摸接口
• 最高顯示分辨率（RGB-LCD接口）：1280*800
• 最高顯示分辨率（MIPI-DSI接口）：1920*1080
• MIPI DSI接口：支持4Lane
• LCD接口（RGB）：支持18bit(與以太網(wǎng)復(fù)用)
• 音頻Codec：集成聲卡,集成1.3W@8ohm功放
• Wi-Fi：可提供方案支持
• 藍(lán)牙：可提供方案支持
• UART：8路（含1路調(diào)試串口）
• 以太網(wǎng)：1路千兆
• USB：1路USB3.0、1路USB2.0 Host、1路USB2.0 OTG
• PCIE2.1：支持（與USB3.0復(fù)用）
• I2C：2路(最多)
• SPI：2路(最多）
• MIPI CSI：支持4Lane
• DVP接口：與以太網(wǎng)接口復(fù)用
• TF/SD卡：1路
• RTC時(shí)鐘：支持
• 供電電壓：5V
• 機(jī)械尺寸：60mm * 51mm
• 對(duì)外物理接口：廣瀨連接器（2*80Pin 0.5mm間距）
• 運(yùn)行環(huán)境溫度：-20℃ ~ +70℃
• 評(píng)估底板：AIoT1808-EV-Board

AIoT1808開(kāi)發(fā)方式

AIoT1808核心板內(nèi)置各類算法，并提供完整的Linux SDK開(kāi)發(fā)包，既可以作為一個(gè)主控核心板，也可以作為算法模塊。下面是對(duì)兩種開(kāi)發(fā)方式的介紹。

（1）算法模塊

客戶可以通過(guò)串口通信的方式，在原有硬件平臺(tái)的基礎(chǔ)上搭載司機(jī)狀態(tài)監(jiān)控系統(tǒng)。使產(chǎn)品能夠快速落地，不需要招聘大批研發(fā)人員，能夠大大減少時(shí)間成本與研發(fā)成本的投入。

（2）算法核心板

如果客戶有比較強(qiáng)的嵌入式與算法應(yīng)用開(kāi)發(fā)能力，可以通過(guò)我們的算法SDK和嵌入式平臺(tái)BSP進(jìn)行二次開(kāi)發(fā)。

聯(lián)系方式：
劉先生：18617322361
郵箱：liuweiwen@easy-eai.com