高性能標準CMOS傳感器應用于3D視覺、感測和度量

Ha Lan DO THU 易博（譯）

Teledyne e2v

0 引言

3D成像技術早在數十年前已經出現，但是民用化產品卻是在2000年左右才推出市場，如主流電影企業發布利用高清攝影機拍攝的3D電影。從那時開始，這一應用不論在速度、精度和3D圖像分辨率等方面都有飛躍進展，并且獲得從消費性市場到機器視覺工業的廣泛應用。隨著工業4.0變革來臨，面對諸如復雜的物件辨識和尺寸量度任務，以及人機交互所需的復雜互動，2D視覺在精度和距離測量方面均出現技術限制，市場對3D視覺的需求因而與日俱增。

3D視覺能提高機器人/機器系統在工業自動化應用的自主性和效率，提供2D視覺不能比擬的高精度質量檢測、反向工程和物件度量等關鍵能力；另一方面，視覺系統導向機器人的應用正在增長中，這一技術需要3D視覺來實現更好的遙距導向、障礙物辨識和精確移動。

3D視覺也能保護需要大量人機互動的工廠工人，在系統級別預防和排除危險狀況，通過監控系統點算工廠工人數目，并把工人和機器人或物件分辨出來[1]。

3D視覺能夠實現更安全、性能更好和更高效的終端用戶輔助系統，正在對社會帶來影響力，已成為無人駕駛車輛的先進自動駕駛者輔助系統和人機合作機器人等應用的關鍵技術。

1 主流3D視覺成像技術

3D圖像的生成有多種技術[2]，主流技術有：

（1）立體視覺： 使用兩部相機從不同角度對準主體，并使用校準技術把相機和具體深度信息之間的像素信息對齊，類似于人類腦部及目測距離的工作；

（2）結構光線：把一個已知的光線圖案投射到主體上，根據圖案在主體上的扭曲狀況計算深度信息；

（3）激光三角測量：通過將一部相機和一個激光光源配對，實現三維測量。系統根據激光光源和相機之間已知的角度偏距，以三角幾何理論量度出激光線的幾何抵銷（數值與主體的高度成比例），這是一項基于掃描主體的技術；

（4）飛行時間：一個光源與一個圖像傳感器同步，根據發出脈沖光線和光線反射回饋到傳感器的時間計算出距離。

以上幾種技術各有優缺點，所以技術的適用程度取決于應用類型，其中距離范圍和精度要求是重點。表1列出了相對不同條件的技術比較。

3D系統目前占工業自動化和倉庫應用視覺系統的一小部分，越來越多基于3D立體視覺、結構光線或激光技術的3D系統正在引進中。這些系統有固定的工作距離，需要大量校準工作以實現特定的檢測范圍。而飛行距離系統則能解決這些問題，并從應用角度提供更高靈活性，不過圖像分辨率仍然是大部分這類技術目前所面對的制肘。

Teledyne e2v用于3D成像的專用平臺將支持最新的工業應用，包括視覺導引機器人、物流應用自動化無人車輛、工廠監控和安全、手持式掃描儀以及戶外應用。

2 3D 視覺實現高速準確檢測提高產能

越來越多的工廠進入自動化時代，以在提高產能和產品查驗、庫存的方方面面節省時間和成本（如圖1所示）。要優化這些因素，擁有視覺系統的機器需要更高效地工作。三角測量技術正在這些應用中獲得大量使用，鑒于3D圖像要求高分辨率，因而需要非常高效的傳感器[3]。

2019年，Teledyne e2v發布了能配合高速尺寸測量和查驗技術挑戰的標準傳感器，以滿足高速生產線的要求。這一快閃CMOS傳感器系列很好地組合了一個4,096×1,024像素和一個2,048×1,024像素傳感器，二者的幀率分別為1800 fps 和 1500 fps（8位），兼容標準光學格式（APS兼容和C-Mount），讀出速度分別為61.4 Gbps和25.6 Gbps。

新型的傳感器提供一系列片上功能：

●高達100 dB高動態范圍（HDR）模式，實現對同一影像里的高反光表面和陰暗范圍進行測量和查驗；

●多重取景窗口模式，兼顧高測量速度和范圍/分辨率；

●個別參數提供幀間“熱”配置模式，有助于實現靈活性和對環境條件的實時適配 ；

●多種曝光觸發模式能夠完全配合生產線速度。優勢：

表 1 3D 成像技術比較

●以2 K或4 K分辨率實現高速率，提高產能；

● Flash產品系列提供高性價比；

●允許對實時環境條件和生產線速度作出適應，實現高靈活性應用。

3 3D 視覺提高工廠自主性和效率

隨著工廠和倉庫自動化程度越來越高，車間出現人機密集工作，因而防止事故和提高安全度成為至關重要的任務。在日益多變的工作環境里，因為擁有實時3D信息和決策能力，以及能夠在快速移動的場景中偵測出物件或人員，飛行時間（time of flight，ToF）系統成為理想的解決方案。

飛行時間技術可分為兩大類：直接飛行時間和間接飛行時間[4]。直接飛行時間是指系統通過直接計算光線從物件反射的時間量度出距離；間接飛行時間則是系統通過計算光波發射到物件以及反射后返回光的相位差異而得出距離，從而建立3D圖，其優缺點如圖2所示。

Teledyne e2v提供采用訂制化傳感器的直接飛行時間系統，以及使用完整標準產品的間接飛行時間系統。

飛行時間傳感器特點：

●高空間分辨率，實現大視場范圍和高角度分辨率；

●快速實時無運動模糊3D測定，在全分辨率下實現超過30 fps深度圖；

●提供近、中、遠距離偵測和管理；

●能在任何環境條件下實現高可靠測距，具有在環境光條件下的高精度和強大功能，以及多系統工作。

4 飛行時間技術處理復雜環境工作

相較其他3D技術，飛行時間技術具有快速、簡單、低成本，以及在中遠距離提供出色的3D成像性能的特點。再者，飛行時間技術具有高靈活性，由于它無需按設定校準（如工廠校準），因而可以固定在活動機器人上。系統也可以適應各種工作設定，使得飛行時間系統能夠很好地配合復雜的環境和工作條件。

圖3是飛行時間技術在工廠或倉庫應用的范例：

●量度箱子或包裝的外形尺寸和體積：飛行時間成像系統能夠量度箱子或包裝的尺寸和體積，以便于有效裝盤、集運（優化裝箱和貨車載荷）或提高生產線效率；

●用于智能高效倉存管理的貨件識別：相較于2D傳統成像處理系統，飛行時間成像系統能夠以更短的時間檢測貨件或包裝尺寸；

●抓取與放置：飛行時間系統檢測和識別合適的物件進行抓取，并放置到合適的位置，相較使用2D傳統成像處理系統，可實現更高準確性和更短時間。

與市場現有產品相比，Teledyne e2v去年發布的BoraTM傳感器在需要對固定物件進行分析的應用方面具有獨特的優勢。這款傳感器具有1.3 MP高分辨率，能夠以2D和3D擷取具有寬廣視角的大面積現場，實現高性價比的優化系統。Teledyne e2v所有飛行時間傳感器均設計用于高靈活性應用，可適應不同的工作條件并提供具有深度圖的實時3D影像擷取，并在全分辨率下以四相工作實現超過30 fps的高速度[5]。

BoraTM傳感器的特點：

●創新10 μm 像素設計；

● 1,280×1,024像素空間分辨率；

●高靈敏度和獨有的片上門控全局快門模式，實現最快42 ns門控時間。

飛行時間系統助力機器人在工廠環境以及其他無人操控應用下的安全工作（如圖4所示），比其他3D技術具有更多的優勢。

目前，導向系統大多使用傳統激光雷達（Lidar）掃描和偵測物件，但已有越來越多使用如間接飛行時間等其他技術的解決方案。相較于傳統激光雷達（Lidar）掃描儀，間接飛行時間系統能提供實時影像信息，并有快速響應時間和無運動模糊的特點，如表2所示。由于它們不含機械部件，因而性能強大、尺寸緊湊，并且具有更低功耗和更少計算的特點，從而實現低成本。

在上述的應用中，飛行時間系統能解決不少挑戰。系統需要處理從10 m起的短、中、長距離測量，速度也要足夠快，以避免產生瑕疵（目前大部分飛行時間解決方案均集中于最大5～6 m的短距離范圍）。另外，系統有可能需要在不同光線變化的條件下工作，例如機器人在工廠或倉庫到處移動工作，但不對區域內的其他機器人構成障礙。

2020年7月，Teledyne e2v發布了Hydra 3D傳感器，Hydra 3D具有832×600像素分辨率，10 μm三內存節點像素，允許高3D性能水平，包括高深度分辨率、高速度和靈活工作條件，其功能及優勢如圖5所示。

表2 傳統Lidar 與間接飛行時間比較

Hydra 3D的創新多內存節點像素能夠提供重建3D圖像所需的三個相位，有助于在快速移動場景中擷取無運動模糊的精準3D信息。三內存節點像素提供在單幀中建構3D圖所需的多相位信息擷取和存儲能力，無需像其他間接飛行時間技術般使用多幀技術。這一技術在快速移動場景應用避免任何運動模糊是非常強大的功能。這類似于2D視覺技術中全局快門和卷閘快門的差異。三內存節點像素能夠以單個光脈沖擷取所有相位，實現光能優化使用。在圖6的應用實例中，幀率保持不變，使得平均功耗大大減小，不過光能取決于高幀率或高精度（配合多重捕獲）。

Hydra 3D傳感器的其他優勢包括配置靈活性和多重片上功能。例如強大的片上高動態范圍（HDR）功能配合高幀率和靈活配置，允許用戶對距離范圍、物件反光度、幀率等進行權衡，以及面向環境光的強大效能，而用于多重飛行時間系統工作的獨特片上功能則讓異步系統同步工作而不互相干擾。

5 CCD 年代的時間飛行

時間飛行的影像處理是相較傳統2D視覺系統更復雜的技術。它涉及光學和照明系統，取決于多個參數（如傳感器或視場、工廠校準、專有傳感器配置）以便于完全配合應用需求。我們經常把時間飛行傳感器和CCD傳感器比較，因為復雜的設定需要在系統級投放大量力量以集成傳感器，應用設定的控制因而成為關鍵因素。

Teledyne e2v提供從CMOS影像傳感器到訂制相機模式等一系列技術解決方案，涵蓋完整系統到系統集成支持。這包括了一個使用評估平臺的參考設計、照明和光學評估、肉眼安全考慮、建模和仿真、算法和校準。

6 總結

隨著工廠和物流倉庫進入自動化年代，帶動了高效無人操作工業系統的需求，特別是用于導向機器人和機器（用于物件辨識、導向、高速和精準度）的3D視覺技術。市場上存在多種3D技術，每種各有優缺點和配合技術，大部分取決于應用需求。所有的這些技術都需要具有精密功能的高效傳感器。Teledyne e2v包括3D視覺的解決方案系列，以服務諸如工廠自動化、物流和測量。