TensorFlow在多模態目標檢測中的應用

高思晗　陳萬順　馬書香

【摘 要】TensorFlow是Google開發的深度學習框架。本文通過在Windows系統下搭建環境，針對霧霾，雨雪等惡劣天氣下目標檢測效果較差，從而結合多模態視覺角度，利用TensorFlow深度學習框架進行多模態目標檢測，從而實現TensorFlow在多模態目標檢測中的應用。

【關鍵字】TensorFlow;深度學習;多模態;目標檢測

中圖分類號： TP391.41文獻標識碼： A文章編號： 2095-2457（2019）16-0093-002

DOI：10.19694/j.cnki.issn2095-2457.2019.16.040

Application of TensorFlow in Multi-modal Object Detection

GAO Si-han CHEN Wan-shun MA Shu-xiang

（Wuhu Institute of Technology， Wuhu Anhui 241000， China）

【Abstract】TensorFlow is an open source deep learning framework of Google company. In this article， the environment is built under the Windows system， and the object detection effect is poor for bad weather such as smog， rain and snow. Combining the multi-modal vision angle， the TensorFlow deep learning framework is used for multi-modal object detection， which realizes the application of TensorFlow in multi-modal object detection.

【Key words】TensorFlow; Deep learning; Multi-modal; Object detection

0 引言

我們正處在一個日新月異、飛速變革的時代，層出不窮的新技術每天都在沖擊和改變我們的生活。人工智能無疑是其中最受關注、也是影響最深遠的技術領域。它為計算機插上了翅膀，演變出許多從前根本無法想象的新技術、新應用。有關人臉識別、自動駕駛等新技術的應用也紛紛開始落地[1]。

目標檢測是計算機視覺的基本任務之一，目標檢測是將目標定位和目標分類結合起來，利用圖像處理技術、機器學習等多方向的知識，從圖像（視頻）中定位感興趣的對象[2]。目前大多數的目標檢測實驗都是基于可見光圖像，但是在惡劣天氣下例如雨雪、霧霾以及遮擋的情況下，就可以結合熱紅外圖像進行目標檢測。

Tensorflow作為最新的、應用范圍最為廣泛的深度學習開源框架自然引起了廣泛的關注，Tensorflow雖然被谷歌開源公布只有不到兩年的時間，但是其在工業、商業以及科學研究上的應用量很大，使之成為時下最熱門的深度學習框架。

1 目標檢測的研究現狀

傳統的目標檢測有提取目標的低層特征，訓練SVM分類器進行檢測，首先在給定圖像上采 用不同大小的滑動窗口對整幅圖像進行遍歷選擇候選區域;然后對這些區域提取特征;最后使用分類器進行分類。雖然這種方法取得了不錯的結果，但是采用滑動窗口進行區域選擇時沒 有針對性導致時間復雜度高且窗口冗余;另外手工設計的特征沒有很好的魯棒性[3]。這類方法的準確率早已被深度學習超過。隨著深度學習在目標檢測技術上的應用，越來越多的深度模型框架被提出。

TensorFlow 提供良好的圖像分類模型和處理接口， 可以實現拍照搜題、圖像自動批注等功能，故增強了學習系統的智能化。人工智能技術是解決海量視頻資源分析的關鍵技術，TensorFlow具有視頻分析的各類 API，能夠有效地實現視頻中的物體識別、視頻分類、視頻檢索、視頻自動標簽等功能。由于目前的目標檢測應用大部分是基于單模態環境，當遇到雨雪，霧霾等惡劣天氣以及有遮擋的情況，很難去解決，所以本文針對傳統單模態目標檢測進行補充，使用谷歌提供的開源深度學習框架結合多模態環境進行目標檢測。

2 Tensorflow在多模態目標檢測中的應用

2.1 Windows下Tensorflow平臺搭建

2015年11月Google將TensorFlow開源，并在Github上進行開源，當時只發行了Linux和MAC系統運行的版本， 2016年年底Google正式發行了Windows版本（支持Python，c++等語言），TensorFlow 可以部署于 64 位Linux、macOS和Windows以及移動平臺。此外， TensorFlow提供了Python、C++等API，可以實現多語言開發。Python語言的簡潔性和與TensorFlow的無縫結合，本文研究的目標檢測所使用的語言為Python，使用的版本為Python3.5，考慮使用Tensorflow安裝的普及性我們安裝Tensorflow CPU版本。配置環境的具體步驟：

（1）首先安裝python3.5;

（2）Python安裝完成后，在開始搜索里打開cmd，搜索python，確認安裝成功;

（3）升級自帶的pip版本pip3;

（4）安裝numpy、pillow、lxml、jupyter、matplotib組件;

（5）下載并安裝Tensorflow Object Detection API

（6）通過cmd命令行運行notebook demo;

（7）運行Tensorflow Object Detection API，測試其自帶的示例。

測試運行結果如圖1所示。

2.2 基于Tensorflow的多模態目標檢測實驗

目前大多數的目標檢測實驗都是基于可見光圖像，但是在惡劣天氣下例如雨雪、霧霾以及遮擋的情況下，就可以結合熱紅外圖像進行目標檢測。關于TensorFlow部署在文中3.1部分已經詳細介紹。谷歌開源的Object Detection API提供了五種網絡結構的訓練權重，本文中采用了第一種模型ssd-mobilenet_v1_coco進行目標檢測。具體步驟如下。

a）訓練數據準備，手工標記分類圖片，標注信息會保存為xml文件，使用腳本文件將所有xml文件轉換為csv文件

b）使用腳本文件生成TFRecord文件

c）創建label映射文件，id需要從1開始，class-N便是自己需要識別的物體類別名，文件后綴為.pbtxt

item{

id：1

name： 'class-1'

}

item{

id：2

name： 'class-2'

}

d）下載模型并配置文件，

e）訓練模型

f）導出模型

g）使用新模型進行實驗

下圖為雨雪天氣，使用可見光相機和紅外相機拍攝的同一場景，可見TensorFlow在熱紅外圖像上對于目標的檢測精度更高。

3 總結

TensorFlow是一個很好的深度學習框架，它的優勢在于深度學習系統的構建，相比傳統的目標檢測方法效果更為理想，本文采用TensorFlow深度學習框架進行多模態目標檢測，實驗結果證明，結合多種模態進行目標檢測是可行有效的。

【參考文獻】

[1]李東，張貝貝.人工智能背景下的高職院校實踐教學創新研究[J].電腦迷，2018（07）：55.

[2]方路平，何杭江，周國民.目標檢測算法研究綜述[J].計算機工程與應用，2018，54（13）：11-18.

[3]李丹.基于深度學習的目標檢測綜述[J].科技經濟導刊，2019，27（13）：1-2

[4]賀洪煜.基于Python的科技情報智能化識別檢索系統的研究與設計[J].科技視界，2019（11）：72-74.

[5]章敏敏，徐和平，王曉潔，周夢昀，洪淑月.谷歌TensorFlow機器學習框架及應用[J].微型機與應用，2017，36（10）：58-60.

[6]徐胤，袁浩巍，李智.基于卷積神經網絡和TensorFlow的手寫數字識別研究[J].上海電氣技術，2018，39（1）：31-34，61.

[7]李林，李小舜，吳少智.基于遷移學習和顯著性檢測的盲道識別[J].計算機工程與應用，2018，54（11）：8-15

[8]曹大有，胥帥.基于TensorFlow預訓練模型快速、精準的圖像分類器[J].漢江師范學院學報，2017，37（3）：27-32