結合智能硬件技術與云管理平臺開發的證件招領系統＊

靳麒平，鐘 玲，李 達，魯玉龍

(沈陽工業大學軟件學院，遼寧 沈陽 110072)

0 引言

在校學生經常發生證件遺失，如校園一卡通、身份證、學生證等證件。這些證件與學生的生活、學習息息相關，而且有的證件集成了多種功能，遺失會造成諸多不便或經濟損失。目前高校的丟失證件招領以人工為主，從全國范圍看，也存在一些丟失證件招領系統，但需要人工錄入丟失證件信息，工作量大，信息錄入嚴重滯后，影響了招領效率和人們查詢丟失證件信息的積極性。絕大部分網站功能為將丟失證件簡單的分類，缺少智能地將丟失證件與失主信息匹配功能，在失主尋找丟失證件的人工成本上沒有做到實質性的改善。即使建立了丟失證件招領系統，從目前檢索的資料看，也缺少把人工智能技術與丟失證件招領系統互相結合的實際應用案例。

基于人工智能技術和學校管理實際，研究開發智能識別失主信息的智能證件招領箱和基于云服務的校園證件招領一體化平臺有著積極的現實意義。通過智能硬件、圖像識別、GIS、網站開發、遠程數據傳輸等技術，智能獲取丟失證件上的信息，自動與失主信息匹配并且將丟失信息實時發布到網上，失主可以第一時間知道自己證件的丟失情況并且精確獲得丟失證件存放地點，自助領取丟失的證件，減少管理丟失證件的人工成本，及失主各處尋找丟失證件的不便。對于一些重要證件，智能證件招領箱也降低了多人接觸丟失證件造成的信息泄漏問題。

1 系統總體設計

系統由智能證件招領箱和云管理平臺兩部分構成。智能證件招領箱放置于教學樓、寢室樓、食堂等場所，若有人撿到丟失的證件，則存入招領箱。存儲過程為拾取人在招領箱可視化控制界面選擇存儲功能，按照語音提示，將證件對準招領箱上的攝像頭，招領箱獲取圖像信息并傳給云平臺，云平臺提取圖像及文字信息，經過校驗的信息將存入云平臺丟失證件管理系統，云平臺選擇對應招領箱空閑柜號，發送開鎖指令，對應智能鎖開啟，丟失證件存入。招領者可以登錄云平臺（為保障丟失證件安全，招領者需填寫個人必要信息，成為注冊用戶），在丟失證件大廳搜索丟失證件相關姓名及證件上人臉圖像信息，若已存入招領箱，則根據地圖模塊給出的位置，找到對應招領箱，選擇招領功能，智能招領箱獲取認領者人臉信息并傳送給云平臺，云平臺通過人臉圖像分析與比對，如果當前認領者與證件上人臉為同一人，則發送對應箱號柜號開鎖指令，失主自助領取丟失證件，相關領取信息存入云平臺備查。

2 智能證件招領箱設計

2.1 智能證件招領箱硬件設計

招領箱選用了基于ARM 的raspiberry model 4B+微型電腦主板作為微控制單元，圖像采集模塊通過調取微控制單元的攝像功能進行拍攝，智能門鎖則是以微控制單元為核心通過控制繼電器的高低電平給電磁閥所發送電信號，電磁閥所接收到電信號后，完成鎖的打開與關閉。GPS則通過調取預先編譯好的上位機程序實時讀取當前智能證件招領箱的地理位置并上傳。箱體內嵌了一塊高清觸摸屏以便于用戶進行丟失證件的存取操作。圖1為智能證件招領箱的硬件框圖。

圖1 智能證件招領箱硬件框圖

2.2 智能證件招領箱功能模塊設計

智能證件招領箱包括模式選擇、圖像信息采集、通訊校驗與上傳、智能鎖控制、語音提示幾個模塊。用戶在圖形化界面上通過模式選擇模塊選取對應操作，后臺根據選擇調用不同功能模塊后進行下一步處理，語音提示模塊在各步操作前給用戶語音提示，有效指導用戶操作，方便用戶。

⑴圖像采集模塊

在調取攝像頭時，基于安全考慮，網站并不被允許直接調用本地文件，故本項目在微控制單元預留一個HTTP 接口用于在攝像頭需要被調用的時候訪問，當本地接口被調用的時候，微控制單元將發送一個cmd 命令來啟動相關的程序，這樣就可以實現攝像頭調用的效果。

⑵通訊校驗與上傳模塊

從智能證件招領箱向云管理平臺進行數據傳輸時，采用Socket 通訊方式。當圖像采集模塊獲取到用戶的人臉或者證件照片之后，將圖像解析為base 流并清空磁盤，若解析成功后，通過Socket嘗試訪問云管理平臺的指定接收端口，當端口成功連通之后，開始進行數據上傳，上傳成功后在服務器解析對應數據轉換成jpg 格式文件，并存入磁盤，確認收到目標圖片后在服務器端斷開該連接并開啟新的監聽窗口。

⑶智能鎖控制模塊

為了控制多路電磁鎖并節省成本，本項目采用9路12v繼電器模塊。默認狀態下繼電器與電磁鎖電路為常開狀態，電磁鎖閉合。當繼電器IN 口檢測到高電平時，電路為閉合狀態，電磁鎖打開。當繼電器IN 口檢測到外界低電平時，開關斷開。當繼電器IN 口檢測到外界高電平時，開關閉合。由一個繼電器控制多個智能鎖的工作，當云平臺判定為可以開鎖時，會下發開鎖指令，經微控制單元編譯后發送高低電平電流給繼電器轉換后，發送微電流到特定編號的電磁閥鎖，控制它的開鎖，圖2為繼電器控制各個鎖的總體電路圖。

圖2 繼電器總體電路圖

3 云管理平臺設計

當云管理平臺處于時，通過Socket 通訊接收到由智能證件招領箱采集到的證件圖片后，提取并綁定證件上的姓名等文字信息和人臉圖像，待操作成功之后，云管理平臺將提取出來的文字信息、智能證件招領箱位置、證件存儲的柜號、存入時間等信息，存儲到mysql 數據庫中，同時將提取出來的人臉圖像存儲到HDFS 數據倉庫中，以便后續的信息查詢，同時云管理平臺通過遠程交互模塊發送開鎖及語音指令，打開智能證件招領箱的柜門，并發出語音操作提示，同時證件招領網站發布新拾取到的證件信息。

當云管理平臺處于時，通過Socket 通訊接收到由智能證件招領箱采集到的招領者人臉圖片及準備開鎖的柜號ID，云管理平臺通過此ID 查找HDFS 預先存入的證件人臉圖像，并與收到的招領者真實人臉圖像進行比對，若相似度超過設定閾值，則認定為同一個人，云管理平臺通過遠程交互模塊發送開鎖及語音指令，智能證件招領箱的柜門打開并發出語音提示，同時將數據庫中對應的數據標記為“歷史記錄”，招領者取回丟失證件。

4 系統實現

4.1 證件信息提取

對于采集上來的證件圖片，云平臺提取出其中文字信息和人臉圖像。

⑴OCR技術提取證件文字信息

對于如圖3(a)所示的證件圖像，先運用CTPN 模型檢測出文本行的位置，其效果如圖3(b)，而后采用CRNN 模型對檢測出的文本行內容進行翻譯，其結果作為最終提取出的證件文字信息，其效果如圖3(c)所示。

圖3 圖像文本信息提取

⑵證件人臉圖像識別與剪裁

本項目采用Yolov5 目標檢測模型，當準確檢測出人臉圖像后，利用OpenCV 庫完成對檢測后人臉圖像的提取，具體效果如圖4 所示，其中圖4(a)展示了原始證件的圖像，圖4(b)展示了檢測出的人臉圖像效果圖，圖4(c)展示了剪裁出的失主人臉圖像。

圖4 證件人臉圖片提取

4.2 人臉比對模塊

將招領者通過智能證件招領箱傳上來的人臉圖像，進行人臉圖像的裁剪，同時查詢出預先存入HDFS中的證件人臉圖像，而后利用人臉特征檢測模型分別找出招領者和證件上人臉圖像的64 個特征點位矩陣進行分析比對。其中圖5(a)展示了系統分析出的招領者人臉的64 個特征點位，圖5(b)展示了證件失主人臉的64個特征點位。

圖5 人臉比對

實驗結果表明，對于攝像頭接收的人臉圖像，在不同位置，或有一定角度偏轉，系統均能有效識別。

4.3 軟硬件實現效果

智能證件招領箱主體利用CAD 制圖的方式確定其初貌，而后結合3D 打印技術，對所需的原材料進行精準切割與制作，同時為方便與用戶交互，采用可觸控的高清屏。圖6 展示了智能證件招領箱的整體效果。

圖6 智能證件招領箱正面效果圖

當用戶進行操作之前，要預先登錄同時進行存取模式選擇。圖7給出了招領箱觸屏顯示的模式選擇頁面效果，包含證件存儲模式與證件招領模式。

圖7 存取模式選擇功能頁面

云管理平臺的招領網站進行相應信息的展示與管理。已存入的失物信息集中展示在招領大廳，包括從證件中提取的文字信息和圖像信息，如丟失證件的失主姓名、失主人臉照片、存入時間、智能證件招領箱的位置以及證件存儲的柜號信息等，失主可登錄網站進行查詢，其實現效果如圖8 所示。同時為了方便失主盡快找到自己的證件，本項目加入了地圖模塊，以展示智能證件招領箱的具體位置。

圖8 云平臺實現效果

5 結束語

實現了一款軟硬件結合的智能證件招領系統，智能證件招領箱以微控制單元為核心控制帶有校驗機制的網絡遠程控制智能鎖，以及完成證件或者招領者人臉圖像的采集和上傳，云管理平臺分為兩種模式，當平臺處于證件存儲模式時，能夠對不同證件信息進行自動識別，提取信息精準，識別效果良好。當平臺處于證件招領模式時，運用人臉比對技術判定招領者是否為證件本人，保障系統的安全性和方便性，減少了管理人員投入。同時利用網站實時進行丟失信息展示的方式，方便失主查找并提高證件招領的時效性。后續本系統將不斷改進圖像算法的準確率及精度，同時提高招領箱的安全性能。