機器視覺：從1D到3D，如何提升它的“視力”？

機器視覺

從科學(xué)上講，人眼可以感知390到770nm的電磁波長范圍。機器視覺是將圖像轉(zhuǎn)換成數(shù)字信號進(jìn)行分析處理的技術(shù)，并讓機器擁有了人眼無法企及的視覺功能，非常適用于那些不適合人工作的危險任務(wù)或是人眼難以滿足要求的場合。

什么是機器視覺？

理解機器視覺系統(tǒng)最簡單的方法之一是把它看作機器的眼睛。從專業(yè)角度看，機器視覺是一種通過圖像處理實現(xiàn)自動檢測和分析應(yīng)用的技術(shù)?？梢哉f，機器視覺是一種技術(shù)能力，它以新的方式與現(xiàn)有技術(shù)集成，并將其應(yīng)用于解決現(xiàn)實問題。

機器視覺是一門系統(tǒng)工程學(xué)科，有時也會被人拿來與計算機視覺進(jìn)行比較。其實，計算機視覺和機器視覺是相互重疊的技術(shù)。機器視覺系統(tǒng)需要計算機和特定的軟硬件才能工作，而計算機視覺不需要借助有形的硬件來完成，比如連接到機器人上的視覺箱或攝像機等，這是二者最顯著的區(qū)別。機器視覺可以看作是計算機視覺的一個子類，計算機視覺是其大腦，沒有計算機視覺，機器視覺就無法工作。

具體來看，計算機視覺可以在線分析圖像或視頻，以及來自運動探測器、紅外傳感器或其他來源的圖像。隨著邊緣AI的發(fā)展，計算機視覺開始從云端移到邊緣，更加靠近收集數(shù)據(jù)的傳感器。

機器視覺系統(tǒng)始于20世紀(jì)50年代。從1980年到1990年，這項技術(shù)才真正開始起步并日益普及。值得注意的是，隨著計算機視覺技術(shù)的發(fā)展，機器視覺潛在應(yīng)用的可能性也相應(yīng)增加，并從主要的應(yīng)用領(lǐng)域——工業(yè)自動化環(huán)境——向著安全、自動駕駛車輛、食品生產(chǎn)、包裝和物流，甚至包括機器人和無人機等行業(yè)擴(kuò)展?，F(xiàn)在，機器視覺系統(tǒng)可以檢查和分類各個行業(yè)的各種物體和物品，包括汽車、電子和半導(dǎo)體、食品和飲料、道路和車輛交通或智能運輸系統(tǒng)（ITS）、醫(yī)療成像、包裝、標(biāo)簽和印刷、制藥等。

圖1：機器視覺市場增長情況（圖源：MarketsandMarkets）

Markets and Markets報告稱，機器視覺的市場規(guī)模預(yù)計將從2020年的107億美元增長到2025年的147億美元，復(fù)合年增長率為6.5%。對質(zhì)量檢測和自動化的需求不斷增長、非傳統(tǒng)和新興應(yīng)用對機器視覺系統(tǒng)需求的不斷增長，以及對視覺引導(dǎo)機器人需求的不斷增長，這些都是推動機器視覺市場增長的關(guān)鍵因素。

哪些行業(yè)從中受益？

機器視覺應(yīng)用的優(yōu)勢主要體現(xiàn)在五個方面：

一是在檢驗、測量、計量和裝配驗證方面具有更高性能和質(zhì)量。

二是能提高重復(fù)性任務(wù)的生產(chǎn)率，還能有效減少機器停機時間并縮短安裝時間。

三是在測量和計量上有較大的靈活性，還可保證更嚴(yán)格的過程控制。

四是能降低生產(chǎn)成本，及早發(fā)現(xiàn)缺陷，降低廢品率。

五是占地面積小，降低了生產(chǎn)成本。

當(dāng)前，工業(yè)領(lǐng)域中的機器視覺應(yīng)用比重很大，同時這一領(lǐng)域也從中收益頗多。通過與深度學(xué)習(xí)和機器學(xué)習(xí)等技術(shù)的深度結(jié)合，機器視覺能幫助使用該技術(shù)的企業(yè)更好地理解數(shù)據(jù)，并優(yōu)化業(yè)務(wù)以獲得更高的效率，例如寶馬就將該技術(shù)與人工智能和機器學(xué)習(xí)結(jié)合使用以提高效率。隨著各類技術(shù)的不斷完善，機器視覺應(yīng)用領(lǐng)域也不斷拓寬，應(yīng)用范圍包括對象辨識、產(chǎn)品檢測、外觀尺寸、甚至3D建模存貨清點。在實際中，機器視覺系統(tǒng)還能夠以定制的方式設(shè)計和實現(xiàn)到系統(tǒng)中，來滿足更多應(yīng)用需求。

根據(jù)最終用途劃分，機器視覺市場分為汽車、醫(yī)藥和化學(xué)品、電子和半導(dǎo)體、紙漿和紙張、印刷和標(biāo)簽、食品和飲料（包裝和裝瓶）、玻璃和金屬、郵政和物流等。目前，汽車行業(yè)是重要的機器視覺系統(tǒng)采用者。2020年，汽車行業(yè)的占比達(dá)到19.38%，預(yù)計從2021年到2028年將有可觀的增長。在汽車工業(yè)中，機器視覺被廣泛用于檢查目的，包括有無檢查、防錯、裝配驗證和最終檢查。此外，機器視覺系統(tǒng)用于尺寸測量、機器人引導(dǎo)和測試自動化，屬于測量和引導(dǎo)應(yīng)用。因此，整個汽車行業(yè)對機械化成像的需求很大，預(yù)計未來幾年將繼續(xù)穩(wěn)步增長。

機器視覺的“眼睛”

所有機器視覺方法都受到人類視覺系統(tǒng)的啟發(fā)，從二維圖像中提取概念信息——它們有基于2D圖像的捕獲系統(tǒng)和模擬人類視覺感知的計算機視覺算法。人類通過3D感知周圍的世界。在機器視覺系統(tǒng)的三個分類中，1D視覺系統(tǒng)不是一次查看整張圖片，而是一次分析一行信號。它們通常檢測并分類連續(xù)過程中制造的產(chǎn)品的缺陷，如金屬、塑料、紙張、無紡布薄板或卷制品。

在標(biāo)準(zhǔn)照明條件下，機器視覺系統(tǒng)通常使用常規(guī)2D成像。有時物體需要特定照明來記錄缺陷——例如，機器視覺系統(tǒng)可以使用多光譜成像、高光譜成像、紅外波段、線掃描成像、3D成像和X射線成像。與更復(fù)雜的照明相比，通常的2D可見光照明圖像是單色的，而更復(fù)雜的照明考慮了顏色、幀速率、分辨率等因素，以及成像過程是否在整個圖像上同步，從而使其適用于需要技術(shù)跟蹤特定移動項目的系統(tǒng)。

目前，尚沒有典型的機器視覺系統(tǒng)可以作為其他設(shè)計的參考，因為機器視覺是一種能力，而不是一種產(chǎn)品或特定類型的設(shè)計。在實際應(yīng)用中，它們是將不同的組件集成在一起來實現(xiàn)。機器視覺系統(tǒng)的主要組成部分包括照明系統(tǒng)、鏡頭、圖像傳感器、視覺處理和通信系統(tǒng)。燈光照亮要檢查的零件，使其特征突出，以便攝像頭可以看到它們。鏡頭捕捉圖像，以光的形式呈現(xiàn)給傳感器。傳感器將該光線轉(zhuǎn)換為數(shù)字圖像，發(fā)送至視頻處理器進(jìn)行分析。視覺處理包括檢查圖像和提取必要檢查和決策所需信息的算法。

如果說機器視覺讓機器增加了一雙眼睛，按字面和實際意義來理解，圖像傳感器就是機器視覺系統(tǒng)的那個“視”，相當(dāng)于系統(tǒng)的“眼睛”，它的優(yōu)劣直接關(guān)系到整個系統(tǒng)的“視力”能達(dá)到何種水平。隨著機器視覺的應(yīng)用日益廣泛，圖像傳感器也迎來了發(fā)展的良機。根據(jù)安森美公司提供的數(shù)據(jù)，2018年至2022年期間，機器視覺傳感器市場將以14% CAGR的速度增長。

圖2：機器視覺傳感器的市場規(guī)模，單位：百萬美元（圖源：廣發(fā)證券）

CMOS圖像傳感器是機器視覺中應(yīng)用最普遍的一種傳感器。與CCD傳感器一樣，它可以是單色的，也可以是彩色的。安森美MT9P031I12STC-DR1是用于高分辨率機器視覺應(yīng)用的彩色CMOS傳感器，它屬于CMOS數(shù)字圖像傳感器MT9P031家族。該產(chǎn)品系列具有2592 H x 1944 V的有源成像像素陣列，為可編程的、高集成度產(chǎn)品，具有低功耗特性，既有CCD的圖像質(zhì)量，同時還保持了CMOS圖像傳感器在尺寸和成本上的優(yōu)勢。MT9P031傳感器既能在默認(rèn)模式下工作，也可以由用戶針對幀大小、曝光、增益設(shè)置和其他參數(shù)進(jìn)行編程。默認(rèn)模式是以每秒14幀（fps）的速度輸出全分辨率圖像。

圖3 ：MT9P031傳感器方框圖（圖源：貿(mào)澤官網(wǎng)）

當(dāng)然，一些機器視覺應(yīng)用也有特定的分辨率需求。與傳統(tǒng)的由顯示標(biāo)準(zhǔn)（16:9或4:3）驅(qū)動的RGB觀看應(yīng)用程序不同，許多機器人和機器視覺方案可通過使用不同的分辨率進(jìn)行優(yōu)化。如安森美的200萬像素AR0234在X方向給出了更優(yōu)的條形碼方案的額外像素。在XGS系列圖像傳感器中，800萬像素、900萬像素、1200萬像素產(chǎn)品分別提供了2:1、1:1、4:3的圖像比例，XGS的3000萬像素、32000萬像素產(chǎn)品分別提供了1:1和4:3的圖像比例——1:1可用在半導(dǎo)體檢測，而4:3可用在屏檢。

3D機器視覺解決方案

3D機器視覺的圖像檢測更接近于人類的眼睛。借助數(shù)字化3D掃描數(shù)據(jù)，可以提取一個物體的尺寸，包括表面積、體積和形體尺寸。3D視覺傳感技術(shù)是一種深度傳感技術(shù)，它增強了攝像機進(jìn)行面部和目標(biāo)識別的能力。目前市場上主流的3D光學(xué)視覺方案有三種，即：雙目立體視覺法（Stereo Vision）、結(jié)構(gòu)光法（Structured Light）以及飛行時間法（Time of Flight, ToF）。在這些方法中，結(jié)構(gòu)光技術(shù)最成熟，已經(jīng)在工業(yè)3D機器視覺中大規(guī)模應(yīng)用。在結(jié)構(gòu)光方法中，一系列圖形被投射到一個物體上，然后攝像頭或傳感器檢測這些圖形的扭曲與變形。接下來，圖像處理和三角剖分算法將這些扭曲與變形轉(zhuǎn)換為3D點云數(shù)據(jù)，這些點云數(shù)據(jù)可直接用來進(jìn)行分析或?qū)С鰹槎喾NCAD建模格式。比如，Texas Instruments (TI)  DLP系統(tǒng)可以實時產(chǎn)生非接觸、高精度的3D數(shù)據(jù)，使3D機器視覺更加容易實現(xiàn)。在這個方案中，DLP芯片組可提供不同的DMD（數(shù)字微鏡器件）尺寸、像素間距、分辨率以及波長范圍。

表1：針對3D機器視覺的DLP芯片組（圖源：TI官網(wǎng)）

隨著技術(shù)的發(fā)展，采用飛行時間技術(shù)重建3D信息已成為機器視覺最重要的方法。飛行時間技術(shù)使用激光掃描儀根據(jù)光線到達(dá)目標(biāo)并返回所需的時間來估計光源和目標(biāo)之間的距離。Analog Devices (ADI) 的ADSD3100是一款基于CMOS 3D飛行時間的3D深度和2D可視光成像器，可集成到3D傳感器系統(tǒng)中。其所需的功能模塊包括模數(shù)轉(zhuǎn)換器（ADC）、像素偏置電路和傳感器控制邏輯，這些都內(nèi)置在芯片中以便在系統(tǒng)中實現(xiàn)簡單、經(jīng)濟(jì)高效的方案。ADSD3100通過MIPI、攝像頭串行接口2（CSI-2）接口與主機系統(tǒng)進(jìn)行電氣接口。

圖4：CMOS 3D ToF傳感器ADSD3100框圖（圖源：ADI官網(wǎng)）

結(jié)語 

與自動化、機器學(xué)習(xí)、深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)等其他能力一樣，機器視覺也是一種能力，而不是一個行業(yè)。它是一種可以集成到其他技術(shù)和流程中的能力，可以使行業(yè)受益并提高業(yè)務(wù)效率。邊緣智能或邊緣人工智能是機器視覺技術(shù)發(fā)展的下一個大趨勢，它們將機器學(xué)習(xí)從云端移到物理設(shè)備的邊緣。這一切與機器視覺的未來密切相關(guān)，邊緣計算的進(jìn)步使得在傳統(tǒng)機器視覺任務(wù)中應(yīng)用深度學(xué)習(xí)能力成為可能。

從研究機構(gòu)的預(yù)測中可以看出，機器視覺市場正在快速增長，企業(yè)越來越希望通過引入機器視覺和機器人等自動化功能來實現(xiàn)業(yè)務(wù)流程的自動化，這個趨勢不會很快放緩。