一種基于智能相機的WEB服務軟件

劉兵 關騰騰 曾健波 李慶飛

背景

工業智能相機可以通過WEB管理軟件實現在工業現場端與控制室端的遠程跨平臺快速部署及查看的功能，進一步實現數據融合及大數據分析。通過WEB端實現本地端與云端數據互聯互享，互通互用。通過多機組網共同管理實現多工位智能聯控管理及實時任務跟蹤，進一步為智能工廠實現工業4.0的柔性性。

為了跨平臺實現MVX201智能相機在工業現場的遠程部署工作，設計一款用于配置MVX201智能相機的WEB服務軟件。WEB服務軟件主要用于智能相機圖像處理算子、工程配置，實現工業自動化場景下的條碼識別、物體的分類檢測，識別等應用，代替人眼做檢查、定位、測量、識別等功能，給機器賦予“眼睛”的新定義。

硬件平臺

MVX201型智能相機平臺上，采用軟件和硬件高度結合的嵌入式系統。

配合相機其他軟硬件的設計，可以方便的對復雜應用場景進行算法編制，實現視覺項目快速實施落地。

系統概述

此平臺為 MVX201智能相機提供可視化方案，包含圖像采集、提供可供選擇的OpenCV算子、算法模塊、深度學習推理算子配置功能。可配置通信模塊包括Ethernet、CAN、UART、GPIO等等。具有操作簡易、實時采集圖像、穩定可靠、功能完備等特點，集合了大量的算子及通信方式選擇。在平臺上可建立工程，大大的提高了視覺開發人員的效率。

方案設計

設計流程

使用WEB平臺化實現并簡化視覺深度學習的相關工作，是通過WEB配置深度學習相關算法模型及參數并使用WEB驅動后端相關進程的運行。在這個過程中，需要對WEB相關功能進行設計開發，以滿足功能的實現;在WEB設計完整的情況下，加入前后端數據交互功能以實現平臺通過WEB平臺化實現圖像采集分析的目的。

WEB設計包括前端界面設計和后端設計。前端界面包括：用戶界面、相機主頁、相機管理界面;后端包括經過WEB的各種邏輯和數據庫操作等。WEB設計如圖2。

用戶管理

1.創建用戶模型表并存入密碼。

2.初始化用戶模型的SQL：

CREATE TABLE `aeye_user` （

`id` int（11） NOT NULL AUTO_INCREMENT，

`user` varchar（200） DEFAULT NULL，

`password` varchar（100） DEFAULT NULL，

PRIMARY KEY （`id`），

UNIQUE KEY `name_UNIQUE` （`user`）

） ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8

3.配置數據庫的代碼：

DATABASES = {

'default'： {

'ENGINE'： 'django.db.backends.mysql'，

'NAME'： 'smart_camera'，

'USER'： 'root'，

'PASSWORD'： '123456'，

'HOST'： 'localhost'，

'PORT'： 3306，

}

}

創建登錄頁面

系統啟動后，瀏覽器訪問相機IP：8000，瀏覽器將渲染出登錄頁面。

用戶管理界面

用戶管理界面主要用于用戶的注冊與密碼管理。如下圖所示：

相機主頁

相機監控其主要包含以下幾個功能區域：相機信息、圖像顯示區、工程列表運行控制、工程配置。WEB界面如圖5。

相機信息

相機信息包括序列號、用戶ID、物理地址、IP地址、子網掩碼、固件版本號。

圖像顯示區

可選擇工程的流程中的相關輸出圖像作為顯示圖像，默認為流程最終輸出圖像（原圖加結果的復合）。

工程列表

顯示所有工程及其狀態及相關備注信息，可編輯工程、刪除工程、運行工程。

運行控制

運行控制包括3種模式，即單步模式、循環模式停止模式。

工程配置

將相機參數按類別分為不同條目，選擇相應的條目進行參數配置。相機參數配置WEB界面如圖6。

添加相機圖像CV算子（相機原圖、上傳圖像、相機本地圖像、圖像相加、圖像相減、圖像相乘、圖像相除、圖像對比、通道分割、色彩轉換、加權相加、閾值分割、自適應分割、均值平滑、中值平滑、高斯平滑、雙邊平滑、膨脹圖像、腐蝕圖像、形態學處理、上下采樣、圖像梯度、提取邊緣、霍夫線變換、霍夫圓變換、掃描條碼、直方圖均衡、對齊圖像、圖像清晰度、圖像縮放）并配置。

添加AI神經網絡模型（儀表檢測模型、汽車零部件缺陷模型、超市貨架商品分類模型、人臉識別模型等）。

點擊某一算子圖標，在“流程管控區”生成一條帶序號的記錄，并在“流程單元配置區”顯示該算子的配置詳情。該處的算子分為兩個部分：一是為工程流程使用的圖像處理和深度學習推理算子，二是輸出信息配置算子。

顯示及管理工程中的流程算子，包括流程算子的刪除、修改、移動操作。刪除：用戶可通過刪除圖標對流程進行刪除;修改：點擊“流程管控區”中的某一條流程記錄，在“流程單元配置區”中顯示其配置詳情;移動：對于流程記錄可通過鼠標左鍵進行拖拽移動改變流程順序。注意：移動、修改、刪除后，流程的序列標號應連續有序;如圖7。

提供相關通信模塊，當前主要通信協議支持Ethernet、CAN、UART、GPIO。用戶可直接選擇相應模塊進行相關的參數配置，完成后在通信流程管控區生產相關記錄，界面如圖8。

在對工程進行相機配置、運行配置、外部配置后保存，如圖9。

相機管理

工程管理

工程管理包含“相機運行狀態監控--工程運行信息”的功能，額外增加導入、新建工程操作。導入：可使用工業智能相機導出的工程進行導入;新建工程：可點擊“新建工程”后，界面跳轉到“相機運行工程配置”界面。

模型管理

模型管理以列表的形式顯示相機中所有導入的模型的狀態（序號、導入時間、最后使用時間、當前使用情況，模型描述;按使用的最新時間進行排序），提供相關操作（導入、導出、刪除;導入：可通過點擊“導入”、選擇要導入的模型、選擇模型的分類實現模型的導入;導出：在模型列表中找到要導出的模型，在其操作項中點擊“導出”、選擇外部保存路徑實現模型導出;刪除：在確保模型未被工程使用的情況下，通過點擊模型的操作項中“刪除”實現模型的刪除操作）

圖像管理

圖像管理是顯示相機中所有導入、本機保存到指定目錄的圖像的狀態（序號、導入時間、最后使用時間，使用情況，圖像描述），按最后使用時間進行排序;對該區域圖像提供相關操作（導入、導出、刪除、查看）;導入：可通過點擊“導入”、選擇要導入的圖像并修改圖像文件名，將其保存到固定目錄下;導出：在圖像列表中找到要導出的圖像，在其操作項中點擊“導出”、選擇外部保存路徑實現圖像的導出;刪除：在確認圖像未被工程使用時可直接通過點擊“刪除”執行刪除操作，若圖像已被使用將彈出提示窗口詢問用戶“是否刪除、刪除后相應工程功能可能會受影響”，是否執行刪除操作根據用戶選擇。

如圖10。

前后端數據交互設計

前后端數據交互主要是以前端與數據庫進行信息交互，后端通過消息訂閱和發布的形式從json文件或者數據庫中提取或傳遞消息。前后端數據交互設計如圖11。

總結

在工業視覺的應用場景下，采用WEB配置MVX201智能相機進行CV算子、深度學習模型適配，形成新的多層深度學習神經網絡組合，可以模擬人類識別任務時的判斷能力，從而使視覺系統能夠識別圖像、感知趨勢和理解表面缺陷的能力，智能相機賦予了機器人眼的能力。