物體檢測技術(shù)開發(fā)框架的應(yīng)用

祝裕璞 李梓 邵國強 張百順

（大慶師范學(xué)院 黑龍江省大慶市 163712）

物體檢測技術(shù)，通常是指在一張圖像中檢測出物體出現(xiàn)的位置及對應(yīng)的類別。

在計算機視覺眾多的技術(shù)領(lǐng)域中，物體檢測是一項非常基礎(chǔ)的任務(wù)，圖像分割、物體追蹤、關(guān)鍵點檢測等通常都要依賴于物體檢測。此外，由于每張圖像中物體的數(shù)量、大小及姿態(tài)各不相同，也就是非結(jié)構(gòu)化的輸出，這是與圖像分類非常不同的一點，并且物體時常會有遮擋截斷，物體檢測技術(shù)也極富挑戰(zhàn)性，從誕生以來始終是研究學(xué)者最為關(guān)注的焦點領(lǐng)域之一。工欲善其事，必先利其器。對于物體檢測的學(xué)習(xí)，選擇一個優(yōu)秀的開發(fā)框架是一件十分重要的事情。下面對目前流行的幾種開發(fā)框架進行介紹。

1 OpenCV

OpenCV（Open Source Computer Vision Library）即開放源代碼計算機視覺庫，目前它已經(jīng)包含了2500 多個算法，主要算法涉及圖像處理、計算機視覺和機器學(xué)習(xí)相關(guān)方法。應(yīng)用領(lǐng)域覆蓋了工業(yè)產(chǎn)品檢測、醫(yī)學(xué)成像、無人機飛行、無人駕駛、安防、 衛(wèi)星地圖與電子地圖拼接、信息安全、用戶界面、攝像機標(biāo)定、立體視覺和機器人等。它可以運行在Linux、Windows、Android 和Mac OS 操作系統(tǒng)上，支持的高級語言包括：C、C++、Python、JS、Ruby、MATLAB 等。

OpenCV 主要特點：

（1）OpenCV使用了兩步PR審核。當(dāng)開發(fā)者提交pull request后，PR 首先需要通過OpenCV Buildbot 的自動測試，包括18 種測試配置。當(dāng)PR 通過了自動測試后，OpenCV 核心團隊的成員將會對PR進行審核，若通過則此PR 將會被集成進OpenCV 主版本中。

（2）OpenCV 實現(xiàn)不同平臺加速的思想是：寫一份代碼，則可在不同操作系統(tǒng)平臺上運行。對于CPU，OpenCV 使用了parallel_for() 和universal intrinsics API 來實現(xiàn)這個目標(biāo)；對于GPU，OpenCV 則使用了T-API。用戶不需要針對不同的平臺編寫不同的加速代碼，只需使用OpenCV 提供的這些函數(shù)和API 則可實現(xiàn)一份代碼在不同的平臺上運行。OpenCV 內(nèi)部替用戶實現(xiàn)了不同平臺上的加速代碼。

（3）OpenCV_DNN 模 塊在2017年3.4.x 版本中 從OpenCV contrib 進入主干部分，并且隨后不斷得到改進和更新。DNN 模塊實現(xiàn)了深度學(xué)習(xí)的前向推理計算，它支持Caffe、Tensoflow、Torch、Darknet 模型，無需用戶安裝對應(yīng)的深度學(xué)習(xí)框架，也無需進行模型格式轉(zhuǎn)換。DNN 模塊包含了大量的單元測試。在進行推理計算時，后端有多種加速方式可以選擇，例如OpenVINO、Vulkan、Tegine、cuDNN 等。DNN 提供了C++/Python 調(diào)用接口以及調(diào)用實例，比如分類、目標(biāo)檢測、圖像分割、定制layer等典型應(yīng)用。

2 SLAM

SLAM 是 Simultaneous Localization and Mapping 的縮寫，中文譯作“同時定位與地圖構(gòu)建”。它是指搭載特定傳感器的主體，在沒有環(huán)境先驗信息的情況下，于運動過程中建立環(huán)境的模型，同時估計自己的運動。如果這里的傳感器主要為相機，那么這種SLAM被稱為“視覺 SLAM”。

周圍的人七嘴八舌給他出主意給他提醒他都充耳不聞，徑直朝池塘邊走去。突然看見一個和他年紀(jì)差不多的中年男人，手握一把菜刀朝他齒牙咧嘴比劃著什么。還看見在那人背后的池塘水中，有一個小女孩水已經(jīng)淹到了胸口，邊哭邊舉起雙臂，一頭拴在女孩手臂上，一頭被持刀人逮在手上的繩子正在不斷搖晃。

視覺 SLAM 流程分為以下幾步：

（1）傳感器信息讀取。在視覺 SLAM 中主要為相機圖像信息的讀取和預(yù)處理。如果在機器人中，還可能有碼盤、慣性傳感器等信息的讀取和同步。

（2）視覺里程計 (Visual Odometry, VO)。視覺里程計任務(wù)是估算相鄰圖像間相機的運動，以及局部地圖的樣子，VO 又稱為前端（Front End）。

（3）后端優(yōu)化（Optimization）。后端接受不同時刻視覺里程計測量的相機位姿，以及回環(huán)檢測的信息，對它們進行優(yōu)化，得到全局一致的軌跡和地圖。由于接在 VO 之后，又稱為后端（Back End）。

（4）回環(huán)檢測（Loop Closing）。回環(huán)檢測判斷機器人是否曾經(jīng)到達過先前的位置。如果檢測到回環(huán)，它會把信息提供給后端進行處理。

（5）建圖（Mapping）。它根據(jù)估計的軌跡，建立與任務(wù)要求對應(yīng)的地圖。

某些使用場合中，我們只截取SLAM 的部分功能應(yīng)用到實際場景中。舉例來說只使用VO 部分我們可以得到連續(xù)的相機相對運動信息，雖然該運動信息存在累計誤差，但應(yīng)用中對此要求不高甚至不做要求，譬如VR 頭顯中計算頭顯設(shè)備運動時的位姿。

3 PyTorch

在2018年NeurIPS 大會上，F(xiàn)acebook 推出了PyTorch 1.0 版本，該版本吸收了Caffe 2 和ONNX 模塊化及面向生產(chǎn)的特點，使得算法可以從原型快速無縫對接到生產(chǎn)部署中。這意味著，PyTorch 的生態(tài)將更加完備，在進行算法原型研究、移動部署時將更加便利。

表1：幾種流行的開發(fā)框架的對比

PyTorch 以它良好的擴展性和超高的實現(xiàn)速度，近年來已贏得了不少開發(fā)者的喜愛和贊賞。首先，PyTorch 支持 GPU，這就能夠顯著提升代碼的運行效率。同時，相比 TensorFlow 和 Caffe，PyTorch 擁有反向自動求導(dǎo)技術(shù)，讓你在調(diào)整自定義模型的時候不必從頭開始，幫助你節(jié)省不少的開發(fā)時間。

此外，PyTorch 的代碼還比 TensorFlow 的代碼更加簡潔直觀、友好易懂，堪稱是非常優(yōu)質(zhì)的學(xué)習(xí)案例，這也能幫助許多開發(fā)者更深度地理解機器學(xué)習(xí)。

幾乎涵蓋所有主流的物體檢測算法，包括VGGNet、ResNet、 FPN、DenseNet 和DetNet 等卷積基礎(chǔ)網(wǎng)絡(luò)，以及從Faster RCNN、 HyperNet、Mask RCNN、SSD、RefineDet、YOLO v1 到Y(jié)OLO v3、 RetinaNet、CornerNet 和CenterNet 等物體檢測算法，呈現(xiàn)給讀者一個完整的知識體系。

2020年，F(xiàn)acebook 開源了PyTorch 3D 計算機視覺庫，這個框架將3D 計算機視覺和深度學(xué)習(xí)結(jié)合，用于對三維數(shù)據(jù)的預(yù)測和計算。PyTorch 3D 實現(xiàn)了以下新特性：

（1）一個可微分的網(wǎng)格生成器。

（2）高效處理三角網(wǎng)格的算子，如投影變換、圖卷積、采樣、損失函數(shù)等。

（3）他們提出了新的3D 數(shù)據(jù)結(jié)構(gòu)——Meshes，這種數(shù)據(jù)結(jié)構(gòu)可以更好地存儲和修改三角網(wǎng)格的數(shù)據(jù)。

4 TensorFlow

2015年，谷歌大腦（Google Brain）團隊推出了深度學(xué)習(xí)開源框架TensorFlow，其前身是谷歌的DistBelief 框架。憑借其優(yōu)越的性能與谷歌在深度學(xué)習(xí)領(lǐng)域的巨大影響力，TensorFlow 一經(jīng)推出就引起了廣泛的關(guān)注，逐漸成為用戶最多的深度學(xué)習(xí)框架。

Tensorflow 實現(xiàn)了“Openpose”人體姿勢估計算法。它還提供了幾種變體，這些變體對網(wǎng)絡(luò)結(jié)構(gòu)進行了一些更改，以便在CPU或低功耗嵌入式設(shè)備上進行實時處理。

2020年，谷歌AI 推出了 TensorFlow 3D（TF 3D），它是一個開源的、高度模塊化和高效的處理庫，將3D 深度學(xué)習(xí)能力引入到了TensorFlow 框架中。TF 3D 庫基于 TensorFlow 2 和Keras 構(gòu)建，使得更易于構(gòu)建、訓(xùn)練和部署3D 語義分割、3D 實例分割和3D 目標(biāo)檢測模型。TF 3D 提供了一系列流行的運算、損失函數(shù)、數(shù)據(jù)處理工具、模型和指標(biāo)，使得開發(fā)、訓(xùn)練、部署3D 場景模型更加地方便和高效。TF 3D 還包含用于SOTA 3D 語義分割、3D 目標(biāo)檢測和3D 實例分割的訓(xùn)練和評估 pipeline，并支持分布式訓(xùn)練。該庫還支持3D 物體形狀預(yù)測、點云配準(zhǔn)和點云加密等潛在應(yīng)用。此外，TF 3D 提供了用于訓(xùn)練和評估標(biāo)準(zhǔn)3D 場景理解數(shù)據(jù)集的統(tǒng)一數(shù)據(jù)集規(guī)劃和配置，目前支持Waymo Open、ScanNet 和Rio 三個數(shù)據(jù)集。

5 總結(jié)

隨著深度學(xué)習(xí)的快速發(fā)展，計算機視覺在多個領(lǐng)域都取得了令人矚目的成就。同時，日新月異的深度學(xué)習(xí)技術(shù)也推動了許多開發(fā)框架的快速更新，表1 對幾種流行的開發(fā)框架做簡單的對比。

支持物體檢測的開發(fā)框架還有很多，例如，MXNet、Keras、Caffe 等，每個框架都有自身的優(yōu)勢和不足，開發(fā)時選擇哪一個框架也沒有一個統(tǒng)一的標(biāo)準(zhǔn)，很多應(yīng)用往往需要使用2 個或2 個以上框架共同完成開發(fā)任務(wù)。所以開始一個新項目時，可以根據(jù)需要選擇更適合的開發(fā)框架。