3D機器視覺技術作為現(xiàn)代工業(yè)和智能化的重要組成部分,其發(fā)展歷程可以追溯到1969年美國貝爾實驗室開發(fā)的第一片CCD圖像傳感器。從那時起,機器視覺技術經歷了從黑白到彩色、從低分辨率到高分辨率的發(fā)展,直至今天的3D機器視覺,被稱為“第四次視覺革命”。如今,3D機器視覺技術已在刷臉支付、智能機器人等多個應用場景中得到應用,與工業(yè)互聯(lián)網的融合進一步提升了其商業(yè)價值。
3D機器視覺是通過傳感器獲取三維空間信息,并對其進行處理和分析的技術。主要方法包括雙目立體視覺、結構光和飛行時間法(TOF)。雙目立體視覺利用兩個攝像頭從不同角度拍攝同一物體,通過視差計算出物體的三維坐標。結構光則通過投射已知結構的光線,并分析光線在物體表面的變形情況來獲取三維信息。飛行時間法通過測量光線從發(fā)射到反射回傳感器的時間差來計算距離。
雙目立體視覺方案利用兩臺攝像機從不同視角拍攝同一物體,通過計算圖像間的視差獲得三維信息。這種方法具備成本低、易于實現(xiàn)等優(yōu)點,但對于紋理較少或光照變化較大的場景,精度較低。結構光方案通過投射已知結構的光線(如條紋、網格)到物體表面,攝像機捕捉變形后的光線圖案,結合投射圖案的已知信息來重建物體的三維形狀。這種方法精度高、抗干擾能力強,適用于多種復雜環(huán)境。飛行時間法(TOF)通過發(fā)射光脈沖到物體表面并接收反射光,計算光脈沖往返時間來測量距離。這種方法速度快、適應性強,但受限于環(huán)境光和反射率的影響。
3D機器視覺技術最早用于工業(yè)自動化和智能化進程中,廣泛應用于工業(yè)、醫(yī)療、軍工、物流和商業(yè)等領域??v觀當下最受關注的幾大領域,智能機器人、自動駕駛汽車、XR(包含VR、AR、MR),還有元宇宙,都需要3D感知。相比傳統(tǒng)2D視覺系統(tǒng),3D機器視覺提供更精準的三維點云數(shù)據(jù),顯著提升機器人作業(yè)的靈活性和精度,滿足現(xiàn)代工業(yè)對高精度和高效率的需求。隨著人工智能、大數(shù)據(jù)和云計算等技術的發(fā)展,3D機器視覺將與這些技術深度融合,進一步提升其應用潛力。
3D機器視覺應用表,來源:與非研究院整理
通過不斷的技術創(chuàng)新和應用拓展,3D視覺將為工業(yè)自動化、物流、無人機、增強現(xiàn)實和智能家居等領域帶來深遠的影響,成為未來科技發(fā)展的重要推動力量。在工作和生產中,3D視覺感知技術廣泛應用于工業(yè)機器人和特種機器人,替代人類在高風險、高強度的工作環(huán)境中完成任務,降低了職業(yè)傷害風險。這項技術的應用不僅提高了國家的科技研發(fā)能力,也推動了傳統(tǒng)產業(yè)的智能化和數(shù)字化升級。
在工業(yè)領域,3D機器視覺技術尤為關鍵。在工業(yè)自動化領域,3D機器視覺系統(tǒng)可以進行精確的尺寸測量和缺陷檢測,特別是在汽車制造和電子制造業(yè)中,確保產品符合設計要求和生產質量。在生產線應用中,3D機器視覺技術已從單一場景(如質檢)拓展到全產線,涵蓋上下料、焊接、噴涂等環(huán)節(jié),尤其在柔性制造中,為機器人和自動化設備提供了極高的靈活性和準確性。智慧物流也受益于3D機器視覺的高度柔性和精準性,通過與AI結合,實現(xiàn)對海量SKU貨品的精準識別和分揀,突破智慧物流增長的瓶頸,拓展其應用范圍。
此外,3D視覺技術在機器人領域用于識別和定位物體,實現(xiàn)高效抓取和操作,提高生產線的自動化程度和靈活性。根據(jù)預測,未來幾年內傳感器需求的復合增長率預計超過30%,其中3D機器視覺傳感器占比將接近80%。2D機器視覺雖然已廣泛應用且年銷售量高達百萬臺,但3D機器視覺技術盡管成本較高,具備巨大潛力和應用前景。在無人駕駛汽車領域,3D空間計算芯片通過集成RGB攝像頭、深度傳感器和慣性測量單元,實時捕獲車輛周圍的三維空間信息,為無人駕駛汽車提供高精度的導航和控制信息。在無人機領域,3D空間計算芯片能夠在復雜環(huán)境中實現(xiàn)高精度的定位和地圖構建,提高無人機的自主飛行能力。在智能家居領域,高端的掃地機器人和智能門鎖都可以用到3D機器視覺芯片。在消費領域,3D視覺感知行業(yè)屬于新興行業(yè),目前尚未形成穩(wěn)定的競爭格局,企業(yè)之間既有競爭關系也有合作關系。例如,蘋果和華為擁有智能手機等終端產品,采用自研的3D視覺感知技術方案,但不排除未來會同步采用外部企業(yè)的產品。
3D機器視覺市場應用空間,來源:圖漾科技
機器視覺市場規(guī)模多大?
隨著人工智能技術的不斷進步,3D視覺感知行業(yè)正在全球范圍內迅速崛起。根據(jù)法國市場研究公司Yole發(fā)布的報告,全球3D視覺感知市場預計在2028年將達到172億美元。主要的市場參與者包括蘋果、微軟、索尼、英特爾、華為、三星和奧比中光等企業(yè)。這些公司在技術創(chuàng)新和市場拓展方面展開了激烈的競爭,共同推動了行業(yè)的發(fā)展。
根據(jù)高工機器人產業(yè)研究所的數(shù)據(jù),2022年中國機器視覺市場規(guī)模為170.5億元 (該數(shù)據(jù)未包含自動化集成設備規(guī)模),同比增長23.6%。 其中,2D視覺市場規(guī)模約為152.0億元,3D視覺市場約為18.5億元。 前瞻初步測算,2023年我國機器視覺市場規(guī)模達到215億元左右。根據(jù)Markets and Markets預測顯示,到2027年,中國機器視覺市場的總規(guī)模將達到560億元人民幣,其中3D機器視覺市場規(guī)模將近160億元。
全球市場方面,預計2022至2025年間,全球機器視覺市場的復合年增長率將達到13%,到2025年市場規(guī)??赡苓_到1276億元人民幣。這一增長主要得益于人工智能和邊緣計算能力的提升。根據(jù)GGII的數(shù)據(jù),2021年中國機器視覺市場規(guī)模為138.16億元,其中2D視覺市場規(guī)模為126.65億元,3D視覺市場為11.51億元。預計到2025年,中國機器視覺市場規(guī)模將達到469億元,2021-2025年復合增速為36%。
中國機器視覺市場規(guī)模,來源:Markets and Markets
3D機器視覺產業(yè)鏈介紹
3D機器視覺市場的參與者主要分為四類:國際自動化公司、國際機器視覺專業(yè)公司、國內機器視覺專業(yè)公司和國內自動化設備公司。盡管底層開發(fā)仍然由國際企業(yè)主導,但國內公司在二次開發(fā)和系統(tǒng)集成方面表現(xiàn)出色,并正逐漸向上游核心環(huán)節(jié)擴展。國際市場的主要參與者包括蘋果、微軟、索尼、英特爾、三星和華為等科技巨頭。這些公司在3D視覺感知技術方面投入了大量資源,開發(fā)出先進的視覺傳感器和處理芯片。國內市場的主要參與者則包括??禉C器人、華??萍?、大恒圖像等,它們在鏡頭、光源和相機方面逐漸超越外資品牌。目前國內3D機器視覺廠商數(shù)量已達60-70家,并仍在增長。新興公司如庫柏特、靈西機器人等也在3D機器視覺領域嶄露頭角,并獲得了大量融資支持。傳統(tǒng)企業(yè)巨頭如ABB、安川、發(fā)那科和庫卡也紛紛進入這一市場,與AI視覺企業(yè)??低暫蜁缫曔M行合作,共同推動技術進步。
3D機器視覺產業(yè)鏈(部分),來源:華西證券研究所
上游:3D視覺傳感器硬件
上游產業(yè)鏈主要包括感光芯片、圖像傳感器、光源和鏡頭等核心元器件供應商。這些廠商提供高精度、高性能的硬件,以滿足3D機器視覺系統(tǒng)的需求。例如,恩智浦和三星等知名半導體廠商提供CMOS圖像傳感器和圖像信號處理器,舜宇光學科技和歐菲光等中國企業(yè)也在這一領域表現(xiàn)出色。舜宇光學科技為科沃斯旗下的掃地機器人品牌Yeedi提供3D面陣TOF傳感器,而歐菲光則研發(fā)出RGB+ToF系統(tǒng)級產品,具備較高的雙體融合精度。舜宇智能光學與石頭科技合作多年,提供小型化3D線性結構光傳感器及AI傳感器,為掃地機器人提供深度距離信息和彩色圖像信息。歐菲光在機器人業(yè)務領域的主要產品包括掃地機器人、仿生機器人和服務機器人等。其研發(fā)的RGB+ToF系統(tǒng)級產品,具有完全自主的ToF標定方案,并能實現(xiàn)RGB+ToF的雙體標定和融合,測距精度較高。
中游:3D視覺感知方案商
中游產業(yè)鏈主要由3D視覺感知方案商組成,這些公司基于深度引擎算法,設計和開發(fā)3D視覺傳感器解決方案,并負責對接上下游企業(yè)。它們在系統(tǒng)級理解能力方面非常強,是整個產業(yè)鏈的關鍵環(huán)節(jié)。例如,一微半導體的AM680芯片采用AI+VSLAM定位導航技術,為掃地機器人提供高精度的導航和避障功能。該公司的芯片支持慣性導航、激光導航到視覺導航多種方案,全面覆蓋從入門級到高端級別的掃地機器人產品。
下游:應用開發(fā)
機器視覺行業(yè)下游場景分布,來源:中國機器視覺產業(yè)聯(lián)盟
下游產業(yè)鏈包括各種終端應用開發(fā)商,涉及消費電子、汽車、工業(yè)自動化、醫(yī)療等領域。這些企業(yè)基于3D視覺傳感器和解決方案,開發(fā)出針對不同應用場景的算法和系統(tǒng)。例如,奧比中光在服務機器人領域的3D機器視覺傳感市場市占率超過70%,為多家頭部服務機器人品牌提供技術和產品服務。奧比中光在3D機器視覺傳感技術方面有著深厚的技術積累和廣泛的市場應用,具有明確的業(yè)務定位和強大的市場潛力。
3D視覺芯片主要玩家
近年來,3D機器視覺技術取得了顯著突破,推動了高端機器人應用的發(fā)展。相比2D視覺,3D視覺具備測量速度快、精度高、抗干擾能力強、操作簡便等優(yōu)勢,能夠解決2D視覺在高度、厚度、體積、平面度等測量方面的不足。然而,3D視覺的應用復雜度更高,涉及數(shù)據(jù)存儲、計算和算法的提升,需要更強的計算能力。因此,其中的3D機器視覺芯片成為了核心部件。與非研究院整理了一部分國內的3D機器視覺芯片玩家:
肇觀電子:
肇觀電子的NE-D163A SoC芯片能夠實時輸出深度圖像和計算機視覺特征處理,具備AI計算能力。該公司開發(fā)的N系列、D系列和V系列芯片廣泛應用于安防、智能駕駛、工業(yè)機器視覺和消費領域。其3D感知和視覺實時定位與構圖方面的獨特引擎應用于機器人定位與環(huán)境感知等場景。
銀牛微電子:
銀牛微電子的NU4100視覺AI處理器采用芯原的雙通道ISP IP,具備3D深度感知、AI處理和片上實時定位與建圖(VSLAM)功能,能夠低功耗、低延遲地處理多個4K攝像頭的數(shù)據(jù)。2024年,銀牛微電子推出了NU4500芯片,集成了3D視覺感知、AI和SLAM技術,是全球唯一一款單芯片集成這些技術的系統(tǒng)級芯片。
中科融合:
中科融合基于自主研發(fā)的MEMS微振鏡芯片和3D AI VDPU SoC芯片提供3D視覺解決方案,應用于機器人和醫(yī)療等領域。其3D智能相機模組在生物識別、機器視覺和智能家居等領域表現(xiàn)出色。
神頂科技:
神頂科技的3D智能感知融合SoC芯片平臺基于Smart Fusion技術,應用于移動機器人、AR/VR和自動駕駛等場景。其VC6801芯片在消費級和工業(yè)級市場中表現(xiàn)出色,并在AR/VR應用中顯示出廣闊前景。
為旌科技:
為旌科技的海山VS839系列芯片具備4TOPS的NPU算力,能夠接入多路攝像頭和激光雷達等感知數(shù)據(jù),實現(xiàn)融合感知。該系列芯片在雙光融合感知、熱成像感知和多模態(tài)感知方面具有創(chuàng)新應用,廣泛應用于智能安防、智慧城市和自動駕駛領域。
奧比中光:
奧比中光自研的深度引擎芯片和專用感光芯片應用于消費電子、刷臉支付和服務機器人等領域。其Femto系列iToF相機和結構光產品在國際市場上取得成功,與微軟和英偉達的合作進一步提升了其技術和市場地位。
聚芯微電子:
聚芯微電子的背照式飛行時間(ToF)傳感器芯片SIF2310具備高精度和低功耗特點,廣泛應用于人臉識別、手勢控制和機器視覺等領域。其產品組合包括iToF、dToF和車載激光雷達產品,滿足多樣化需求。
愛芯元智:
愛芯元智專注于高性能、低功耗的AI視覺處理器芯片,支持多種AI視覺任務。其最新的AX650N SoC芯片具備43.2TOPs的NPU算力,適用于智慧城市、智慧交通等領域。
埃瓦科技:
埃瓦科技以“3D AI視覺,賦能智慧終端”為發(fā)展使命,構建了從芯片、算法到系統(tǒng)方案的產品矩陣。其3D視覺解決方案應用于商用機器人、掃地機和AR/VR等智能場景,提供高效易用的3D視覺AI計算平臺。
靈明光子:
靈明光子的高性能光電3D傳感芯片(dToF)應用于手機3D模組、激光雷達和其他高性能深度傳感系統(tǒng)。其ADS6401系列SPAD dToF芯片在消費電子設備中表現(xiàn)出色,并與高通和虹軟合作實現(xiàn)了全球首款dToF電影模式。
元橡科技:
元橡科技的雙目立體視覺芯片及解決方案在自動駕駛技術中具有重要應用。其雙目相機產品搭載自研芯片,內置避障和跟隨功能,應用于L1-L2級別自動駕駛解決方案。
視海芯圖:
視海芯圖的多模態(tài)AI芯片SH1580具備4TOPS算力,支持CNN、Transformer和點云神經網絡。其產品在智能門鎖、金融支付和服務機器人等領域廣泛應用。
國產3D機器視覺芯片廠商(部分),來源:與非研究院整理
總結:3D機器視覺發(fā)展面臨的趨勢和挑戰(zhàn)
3D機器視覺技術相比2D視覺技術更為復雜,涉及高度和深度的信息處理,需要多核CPU和GPU的強大計算能力以及復雜的光學和結構設計。這使得3D機器視覺能夠捕捉三維空間的完整幾何信息,識別物體的平面信息,并獲取高度、深度等空間信息。盡管3D機器視覺技術在多個領域有廣泛應用,其市場規(guī)模目前相對較小,但增長潛力巨大。預計未來五年內,3D機器視覺領域將有至少50倍的增長空間,尤其在物流科技領域,增長空間可能超過一百倍。然而,高成本仍然是其普及的一大障礙。目前國內3D相機價格一般在5-7萬元人民幣,進口相機價格則在10萬元以上。這一高成本導致批量應用困難,從而減緩了市場拓展速度。盡管3D機器視覺技術的優(yōu)勢明顯,2D視覺系統(tǒng)并未被完全淘汰。實際上,3D機器視覺通常作為2D視覺的補充,在需要高精度和復雜處理的場合發(fā)揮作用。因此,2D和3D視覺系統(tǒng)在工業(yè)應用中相輔相成,共同推動視覺技術的發(fā)展。
3D機器視覺技術趨勢,來源:與非研究院整理
3D機器視覺在中國的崛起以傳統(tǒng)機器視覺技術為基礎,正在迎來爆發(fā)期。越來越多的國產芯片廠商開始推出集3D視覺感知、人工智能及SLAM于一體的高級集成度3D視覺芯片,通過高精度傳感器技術、數(shù)據(jù)融合算法、人工智能算法和SLAM技術,實現(xiàn)對三維空間信息的高效、精準計算和分析。
筆者認為,雖然目前3D機器視覺技術在多個領域擁有廣闊前景,但仍存在不同的挑戰(zhàn)。一方面是市場需求,目前用量最多的領域仍然集中在掃地機器人、智能門鎖等消費類領域,其余細分市場單一用量太小。另一方面是供應鏈問題,過往產業(yè)鏈中的大多數(shù)公司從低維度切入3D相機硬件集成和機器視覺算法優(yōu)化,未能解決國產3D視覺芯片“缺芯少魂”的困境,依賴于國外芯片供貨周期長和供應鏈不可控問題。第三是競爭激烈,資本涌入加劇了內卷和盲目擴張問題,改變了公司之間的合作與競爭格局。芯片廠商面臨激烈競爭不得不也下場去做模塊和方案,業(yè)務模式越來越重,也給中小企業(yè)和集成商帶來壓力。
展望未來,隨著低空經濟、服務/人形機器人產業(yè)的爆發(fā),3D機器視覺芯片的需求還將面臨新的增長,而國產芯片廠商則需要找準自己的定位,深耕某一個細分市場,才能構筑起自己的護城河,避免“內卷”和資源浪費。