基于OCR 技術(shù)的岸橋智能視覺識別系統(tǒng)設(shè)計(jì)

姜雙慶

（上海振華重工（集團(tuán)）股份有限公司，上海 200125）

0 引言

港口擁堵，集裝箱無法及時(shí)轉(zhuǎn)運(yùn)導(dǎo)致積壓嚴(yán)重，因此設(shè)計(jì)一套智能視覺識別系統(tǒng)十分必要。

STS AI-VRS（Artificial Intelligent Vision Recognition System for STS，岸橋智能視覺識別系統(tǒng)），采用目前最先進(jìn)的OCR（Optical Character Recognition，光學(xué)字符識別）人工識別技術(shù)，能準(zhǔn)確識別箱號、箱門朝向、危標(biāo)有無、鉛封有無、集裝箱殘損、集卡車號等信息，同時(shí)與TOS（Termial Opration System，碼頭管理系統(tǒng)）進(jìn)行無縫結(jié)合，實(shí)現(xiàn)自動化、智能化作業(yè)，可有效降低人工查驗(yàn)操作的勞動強(qiáng)度，規(guī)避安全隱患，節(jié)省人工成本，助力港口行業(yè)轉(zhuǎn)型升級。

1 岸橋智能視覺識別系統(tǒng)設(shè)計(jì)方案

1.1 系統(tǒng)硬件設(shè)計(jì)

岸橋智能視覺識別系統(tǒng)硬件部分包括高清攝像機(jī)、通信機(jī)箱、控制柜、中心服務(wù)器（一般用戶提供）等，其中通信機(jī)箱由交換機(jī)、光纖模塊、電源模塊等集成，負(fù)責(zé)前端攝像機(jī)的供電和通信；控制柜內(nèi)放置控制器、交換機(jī)、光纖模塊和電源模塊，擺放在電氣房指定位置；中心服務(wù)器，安裝在碼頭中控室內(nèi)。硬件系統(tǒng)拓?fù)浣Y(jié)構(gòu)如圖1 所示。

圖1 硬件系統(tǒng)拓?fù)浣Y(jié)構(gòu)

系統(tǒng)選用12 個(gè)iDS-2DF84321XR-AFW 高清球機(jī)，每臺攝像機(jī)都自帶紅外補(bǔ)光燈和雨刷，保證集裝箱號字符區(qū)域達(dá)到系統(tǒng)要求的光照度。高清攝像機(jī)整體布局如圖2 所示。

圖2 高清攝像機(jī)整體布局

（1）1～3 號和4～6 號攝像機(jī)分別安裝在陸側(cè)和海側(cè)下橫梁，分別拍攝集裝箱陸側(cè)面和海側(cè)面箱號。2 號、5 號攝像機(jī)安裝在吊具中心點(diǎn)位置。

（2）7～9 號和10～12 號攝像機(jī)分別安裝在左、右側(cè)聯(lián)系梁下邊沿外側(cè)，實(shí)現(xiàn)對集裝箱前后兩側(cè)的圖像采集功能。聯(lián)系梁左、右兩側(cè)對稱攝像機(jī)為一組，6 條作業(yè)車道分為3 組：7 號和10號為一組，8 號和11 號為一組，9 號和12 號為一組，每組攝像機(jī)負(fù)責(zé)兩條作業(yè)車道的圖像采集工作，用于拍攝集裝箱前后箱門圖像，為驗(yàn)殘、鉛封、箱門朝向識別提供完整圖像數(shù)據(jù)。

1.2 系統(tǒng)軟件設(shè)計(jì)

軟件系統(tǒng)工作原理：系統(tǒng)與PLC 聯(lián)動，精準(zhǔn)觸發(fā)高清攝像機(jī)抓拍集裝箱和集卡車特定位置圖像數(shù)據(jù)，并對數(shù)據(jù)分析處理自動識別集裝箱號碼、箱門朝向、集卡車號碼以及作業(yè)狀態(tài)等信息，將識別結(jié)果信息借助光纖通信方式，上傳至服務(wù)器并通過新加入的圖像數(shù)據(jù)樣本進(jìn)行訓(xùn)練學(xué)習(xí)來持續(xù)完善算法模型。同時(shí)上傳識別結(jié)果到TOS 系統(tǒng)，完成作業(yè)確認(rèn)等業(yè)務(wù)邏輯處理，最后通過配備的顯示器可視化顯示本次識別信息。

軟件系統(tǒng)邏輯如圖3 所示，軟件系統(tǒng)主要由以下5 部分組成：

圖3 軟件系統(tǒng)邏輯結(jié)構(gòu)

（1）IARS（Image Acquisition and Recording System，圖像采集系統(tǒng)）。主要實(shí)現(xiàn)控制攝像機(jī)對集裝箱箱體或集卡車特定位置的圖像采集。

（2）CRS（Container Recognition System，集裝箱識別系統(tǒng)）。主要實(shí)現(xiàn)集裝箱特征檢測與識別功能。識別算法采用最先進(jìn)的深度學(xué)習(xí)算法，可持續(xù)不斷地訓(xùn)練迭代并完善算法模型，是一種識別精度高的有監(jiān)督深度特征的識別與分類系統(tǒng)。

（3）PMRS（PM Recognition System，集卡車識別系統(tǒng)）。主要實(shí)現(xiàn)集卡車車頂號碼識別功能?；诙说蕉说纳疃葘W(xué)習(xí)方法，可快速定位車頂號碼位置并準(zhǔn)確識別車頂號碼。

（4）RRIS（Recognition Result Interface System，識別結(jié)果接口系統(tǒng)）。主要實(shí)現(xiàn)對集裝箱多個(gè)箱面識別結(jié)果進(jìn)行高度復(fù)核校驗(yàn)，得到高識別率的識別結(jié)果，并與TOS 等外部系統(tǒng)接口對接并上傳識別結(jié)果。

（5）OCRVS（OCR Visualization System，智能視覺識別可視化系統(tǒng)）。主要實(shí)現(xiàn)識別過程和識別結(jié)果、作業(yè)狀態(tài)和設(shè)備的運(yùn)行狀態(tài)等信息數(shù)據(jù)可視化，供操作人員查看歷史數(shù)據(jù)和故障記錄。

2 岸橋智能視覺識別系統(tǒng)在碼頭的應(yīng)用

2.1 集裝箱箱號識別

圖像采集系統(tǒng)根據(jù)PLC 信息中吊具模式的不同，分為3 個(gè)觸發(fā)組，單20 尺觸發(fā)組、單40 尺、45 尺觸發(fā)組和雙20 尺觸發(fā)組，每個(gè)觸發(fā)組拍攝集裝箱海側(cè)和陸側(cè)兩個(gè)箱面圖像，對兩個(gè)箱面識別結(jié)果進(jìn)行高度復(fù)核校驗(yàn)得到高識別率的識別結(jié)果信息，有效規(guī)避集裝箱單側(cè)面箱號殘損無法識別情況。

（1）單20 尺觸發(fā)組使用2 號、5 號攝像機(jī)拍攝集裝箱兩側(cè)箱面。

（2）單40 尺、45 尺觸發(fā)組使用3 號、4 號攝像機(jī)拍攝集裝箱兩側(cè)箱面。

（3）雙20 尺觸發(fā)組使用2 號、4 號攝像機(jī)拍攝前集裝箱兩側(cè)箱面，使用3 號、5 號攝像機(jī)拍攝后集裝箱兩側(cè)箱面。

2.2 箱門朝向識別

通過聯(lián)系梁8 號、10 號攝像機(jī)拍攝的集裝箱前后門圖像，利用前后門特征點(diǎn)檢測，進(jìn)行智能識別，在兩組圖像中檢測出箱門圖像，同時(shí)結(jié)合攝像機(jī)安裝位置判斷出箱門朝向。

2.3 集裝箱危標(biāo)識別

利用拍攝的集裝箱側(cè)面圖像和前后門圖像，基于神經(jīng)網(wǎng)絡(luò)的圖像識別技術(shù)，根據(jù)危標(biāo)品特征信息，從箱面圖片中定位得到危險(xiǎn)品標(biāo)識區(qū)域，檢測出集裝箱上是否存在危險(xiǎn)品標(biāo)識或危險(xiǎn)性標(biāo)記。

2.4 集裝箱鉛封識別

通過對聯(lián)系梁攝像機(jī)拍攝的集裝箱前后門圖像進(jìn)行智能識別，檢測鉛封區(qū)域，識別鉛封有無。

2.5 集裝箱殘損識別

利用下橫梁1～6 號攝像機(jī)對集裝箱側(cè)面箱體進(jìn)行拍攝，每臺攝像機(jī)拍攝4 m 的箱體范圍的集裝箱側(cè)面圖像，對于單20尺集裝箱，系統(tǒng)每面采集2 張集裝箱側(cè)面圖像，對于雙20 尺、40尺、45 尺集裝箱，系統(tǒng)采集6 張集裝箱側(cè)面圖像，并對集裝箱側(cè)面圖片拼接，得到集裝箱側(cè)面完整圖像；利用聯(lián)系梁攝像機(jī)拍攝的前后門圖像和集裝箱頂部圖像，提供前、后、左、右、上5 個(gè)集裝箱圖像，為集裝箱殘損檢測提供輔助圖像憑證，供操作人員進(jìn)行查看和判斷，根據(jù)檢驗(yàn)情況在屏幕的復(fù)選框上記錄集裝箱箱損信息，并將作業(yè)時(shí)間、箱號、箱損檢驗(yàn)結(jié)果等信息存儲到指定的服務(wù)器中。

2.6 集卡車車頂號碼識別

利用聯(lián)系梁攝像機(jī)對集卡車車頂號碼進(jìn)行拍攝，圖像采集系統(tǒng)根據(jù)PLC 輸出的集卡車車頭位置信息或者車行進(jìn)方向等信息，控制攝像機(jī)云臺角度調(diào)整和觸發(fā)圖像采集，拍攝集卡車車頂號碼圖像，并將拍攝圖像上傳至集卡車識別系統(tǒng)。

以上6 個(gè)功能需要通過采集前、后、左、右、上5 個(gè)集裝箱圖像來實(shí)現(xiàn)，智能視覺識別可視化系統(tǒng)OCRVS 軟件可以集合這5個(gè)面在同一個(gè)可視化的顯示器界面內(nèi)。把識別過程和識別結(jié)果、作業(yè)狀態(tài)和設(shè)備的運(yùn)行狀態(tài)等信息數(shù)據(jù)可視化；同時(shí)提供靈活的歷史數(shù)據(jù)查詢，可按時(shí)間、設(shè)備號、箱號、集卡號、作業(yè)類型等多種方式查詢圖像、識別結(jié)果、異常事件、作業(yè)數(shù)量等歷史數(shù)據(jù)；識別結(jié)果查驗(yàn)，操作人員可以使用可視化系統(tǒng)查驗(yàn)、修改錯(cuò)誤識別信息。

3 結(jié)語

基于OCR 技術(shù)設(shè)計(jì)的智能視覺識別系統(tǒng)，能智能識別集裝箱箱號、箱門朝向、集裝箱危標(biāo)、鉛封檢測、集裝箱殘損和集卡車車頂號碼。配備的高清攝像機(jī)可以在全天候條件下工作，適用于碼頭上各類高溫、潮濕、大風(fēng)、腐蝕等惡劣環(huán)境。