加入星計劃,您可以享受以下權益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴散
  • 作品版權保護
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質創(chuàng)作者
  • 5000+ 長期合作伙伴
立即加入
  • 正文
  • 相關推薦
  • 電子產(chǎn)業(yè)圖譜
申請入駐 產(chǎn)業(yè)圖譜

【虹科】了解實時成像系統(tǒng)中的時延

2022/12/02
2166
閱讀需 10 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論

成像系統(tǒng)設計人員根據(jù)時延性能數(shù)據(jù)來幫助確定系統(tǒng)可以多快地處理、分析及在某些應用中顯示圖像。低時延能夠實現(xiàn)更高速的質量檢測,對于在最終用戶需要實時成像數(shù)據(jù)進行決策的領域的應用,如圖像引導手術和軍用車載電子系統(tǒng),至關重要。

當成像系統(tǒng)最初被認為是一種網(wǎng)絡技術時,以秒計的時延被認為可以接受。例如,在閉路電視監(jiān)控系統(tǒng)(CCTV)安全應用中,因為需要時間來壓縮視頻,所以2-3秒的時延很常見。隨著以太網(wǎng)已經(jīng)遷移到實時成像應用中,時延或不準確的傳輸問題不能被容忍。

對實時未壓縮視頻的需求給網(wǎng)絡帶來了巨大的負擔。在工業(yè)視覺系統(tǒng)中,端到端時延閾值約為130毫秒 (ms) 或更少。對于圖像引導手術或軍用封閉艙驅動應用,設計人員的目標是端到端時延為85毫秒或更少。

本文概述了時延的組成要素,并提供了通過GigE Vision鏈路進行圖像傳輸?shù)臅r延測試結果。

系統(tǒng)時延

在視覺應用中,有幾個因素影響時延,包括網(wǎng)絡和協(xié)議架構、主計算機、資源共享和I/O機制。當系統(tǒng)有一個從觸發(fā)事件到輸出信號的整體活動時,系統(tǒng)本身由許多通常串行的內(nèi)部事件組成。在端到端的應用中,時延不僅受到曝光和讀出時間的影響,而且受到顯示器刷新時間、將顏色空間從捕捉到的轉換為可在PC監(jiān)視器上顯示的所需的處理時間,甚至桌面主題的影響。

高性能GigE Vision的實現(xiàn)通過優(yōu)化鏈路發(fā)送和接收端的數(shù)據(jù)包處理過程來彌補以太網(wǎng)固有的時延和抖動。在成像源和計算端口之間具有專用連接的點對點應用應該專門配置為具有相對較低的時延和抖動。相比之下,依賴交換機來互連多個成像源和端點的復雜視覺應用引入了各種延遲機會。

當一個設備使用公共資源(例如一根以太網(wǎng)電纜)時,其它設備必須等待資源釋放。了解此時延鏈非常重要,因為此等待時間會增加事件完成所需時延的抖動量。這種增加是以太網(wǎng)架構的直接反映,并與成像網(wǎng)絡上存在的設備數(shù)量成正比。

協(xié)議架構也影響時延。通過標準的互聯(lián)網(wǎng)流量,TCP確保數(shù)據(jù)在傳輸過程中不會錯誤排序或丟失。由于數(shù)據(jù)經(jīng)常在核心互聯(lián)網(wǎng)路由器上丟失,因此TCP規(guī)定接收者必須正面確認數(shù)據(jù)的每個片段。 這造成了完成數(shù)據(jù)傳輸事件所需的時間顯著增加。

相比之下,GigE Vision是在UDP協(xié)議之上實現(xiàn)的,只有異常情況(數(shù)據(jù)丟失)被接收者所注意。這種輕量級的數(shù)據(jù)傳輸方法可減少時延和抖動,并允許對短的最大保證響應時間有更好的確定性。主計算機和資源共享對視覺系統(tǒng)時延的影響最大。

主計算機上的進程共享多種資源,包括總線、內(nèi)存、CPU、操作系統(tǒng),以及核心成像和圖形庫。在考慮系統(tǒng)時延時,軟件任務所需的CPU使用量常常被忽略。從聯(lián)網(wǎng)成像設備接收圖像的主計算平臺必須在該PC上的所有服務之間共享處理時間。在CPU上進行高處理量的設備和軟件可以很容易地引入時延。

端到端時延的測量在人們根據(jù)他們在顯示器上所看到的內(nèi)容而采取行動的任何應用中都是至關重要的。這包括圖像引導手術和軍用局部態(tài)勢感知應用。這個值與沒有顯示的圖像處理無關,因為顯示管道是端到端時延的重要因素。

時延測試系統(tǒng)概述

虹科的內(nèi)部時延測試系統(tǒng)由一臺專用工作站PC、一臺示波器、一個由嵌入式處理器驅動的LED燈,以及一個光電二極管組成。

為了測量端到端時延,示波器捕捉到打開攝像機前面的LED燈與光電二極管在PC監(jiān)視器上檢測到此光之間的時間延遲。除了時延之外,該捕捉重復數(shù)百個周期以了解系統(tǒng)抖動。

“引入時延”描述所選視頻接口的時延測量 — 在本測試中,該接口為千兆以太網(wǎng)上的GigE Vision。假設通過LVDS(例如Camera Link等)和PCIe將圖像傳輸?shù)絇C內(nèi)存所需的時間接近零時延,則這些結果突出顯示了GigE Vision接口的引入時延。

Fig.1 GigE Vision成像系統(tǒng)中潛在端到端時延元素

引入時延”描述所選視頻接口的時延測量 — 在本測試中,該接口為千兆以太網(wǎng)上的GigE Vision。假設通過LVDS(例如Camera Link等)和PCIe將圖像傳輸?shù)絇C內(nèi)存所需的時間接近零時延,則這些結果突出顯示了GigE Vision接口的引入時延。

為了測量這種時延,我們只評估至少部分在Pleora產(chǎn)品控制范圍內(nèi)并且不與其它時延元素重疊的元素??紤]到時延元素(圖1),這意味著時延“時鐘”在傳感器讀數(shù)結束時開始,并在圖像可供用戶的應用程序分析或顯示時結束。

引入時延測量包括GigE Vision接收器解封GVSP(GigE Vision流協(xié)議)有效載荷數(shù)據(jù)、將數(shù)據(jù)插入在圖像中適當坐標位置的內(nèi)存中,以及將完整圖像的內(nèi)存復制到用戶應用程序所需的時間。

“引入時延”測量提供了使用LVDS傳輸技術和GigE Vision的系統(tǒng)之間有價值的比較。

場景一

在本測試中,我們評估了HK iPORT CL-GigE外置式采集卡的引入時延。CL-GigE將來自Camera Link相機的視頻數(shù)據(jù)轉換為數(shù)據(jù)包并通過GigE鏈路傳輸。GigE支持使用標準的CAT5e/ 6線纜布線距離長達100米。使用現(xiàn)成的以太網(wǎng)交換機,距離可以不受限制。

Camera Link Base相機

  • 15.897毫秒曝光時間
  • 1920 x 1080, mono8
  • 40 MHz 像素時鐘

CL-GigE

  • 巨型幀(每個以太網(wǎng)幀8k字節(jié))
  • 通過千兆以太網(wǎng)直接連接到PC

PC

  • Windows 7 Professional,64位
  • HP Z230塔式工作站(雙核英特爾酷睿?i5-4590 CPU @ 3.3 GHz,8 GB RAM)
  • 60 Hz刷新頻率的1080p監(jiān)視器在約15分鐘內(nèi)的500個數(shù)據(jù)采樣

端到端時延

  • 平均(包括曝光時間)= 69.604毫秒
  • 最小 = 60.400 毫秒
  • 最大 = 78.800 毫秒
  • 標準差 = 4.910 毫秒

引入時延

  • 平均 = 336 微秒
  • 標準差 = 38 微秒

場景二

在本測試中,我們用HK vDisplay外外置式采集卡取代了用于上述場景1中測試的PC;這是一款基于FPGA的GigE Vision接收器。

Camera Link Base相機

  • 15.897毫秒曝光時間
  • 1920 x 1080, mono8
  • 40 MHz 像素時鐘 — 51 毫秒傳感器讀出時間

CL-GigE

  • 巨型幀(每個以太網(wǎng)幀8k字節(jié))
  • 通過千兆以太網(wǎng)直接連接到PC

vDisplay外部圖像采集卡

  • 單緩存模式

在約15分鐘內(nèi)的500個數(shù)據(jù)采樣

端到端時延

  • 平均(包括曝光時間)= 59.92 毫秒
  • 最小 = 50.4 毫秒
  • 最大 = 69.6 毫秒
  • 標準差 = 4.746 毫秒

虹科產(chǎn)品:

外置式圖像采集卡HK-CL-GigE

關鍵特點:

  • 通過低延時可預測的GigE傳輸Camera Link Base模式像機的數(shù)據(jù)
  • 較寬的操作溫度范圍(40°C至+60°C)
  • 無需PCI圖像采集卡即可插入各種計算平臺
  • 結構緊湊和功耗低
  • 行掃描和面掃描模式
  • 板載內(nèi)存120MB,可適應數(shù)百萬像素傳感器尺寸
  • 支持錄像和重放功能
  • 支持IEEE 1588,允許用戶準確地控制、觸發(fā)和同步外部設備和多臺像機,系統(tǒng)的GPIO則將電子噪聲的影響降到最低
  • PoE、PoCL和外部供電可選
  • 可編程邏輯控制器(PLC)允許用戶準確地測量、同步、觸發(fā)和控制其他視覺系統(tǒng)部件
  • 由Pleora功能齊全的eBUS? SDK支持
  • GenICam集成開發(fā)包(包含iPORT AutoGen XML生成工具和固件參考設計組成)提供一個高效簡潔的GenICam交互界面

 

相關推薦

電子產(chǎn)業(yè)圖譜

虹科是一家資源整合及技術服務落地供應商,與全球頂尖公司深度技術合作,專注于制造業(yè)、汽車、生物、醫(yī)藥、測試與測量、廣播電視與媒體、通信、網(wǎng)絡安全、光電等領域,為客戶提供:智能自動化、工業(yè)物聯(lián)網(wǎng)、智能感知、數(shù)字化+AR、光電、網(wǎng)絡安全、測試測量、衛(wèi)星與無線通信、醫(yī)藥環(huán)境監(jiān)測與驗證、生命科學、汽車電子、汽車維修診斷、云科技等解決方案。虹科始終致力于為行業(yè)客戶提供創(chuàng)新及前端的產(chǎn)品和技術解決方案,為科技社會發(fā)展助力加碼。