基于人工智能技術的多媒體記錄工藝裝備的研究

， ，富成，

(桂林航天電子有限公司，廣西桂林，541002)

1 引言

“型號元器件多媒體記錄作為產品質量與可靠性的客觀實證，保證了元器件研制生產的可追溯性，在元器件固有質量問題歸零與質量復查工作中發揮了巨大作用，多媒體記錄是九院型號元器件質量保證過程中的一項重要工作。”

以上內容摘自九院相關文件，根據文件精神和公司實際情況出發，多媒體記錄系統實施的目的應能夠反映現場工件制造的實際情況，做好生產和質量管理的預控工作，確保各工序作業質量符合設計要求，為生產和質量管理工作提供圖片和影像資料，也為可能發生的歸零活動提供有力證據。在生產制造活動中，提供和拍攝現場工件的圖片資料，將是公司現場生產和質量管理的一項重要工作。本文以我廠某型號用固體繼電器產品的印制板來件檢查工序的拍攝為例來闡述基于人工智能技術的多媒體記錄工藝裝備(以下簡稱“智能工藝裝備”)的主要開發內容。

2 傳統多媒體記錄過程介紹

傳統的拍攝手段有數碼相機拍攝和高拍儀等形式，在用數碼相機拍攝照片時，需尋找到合適光照和位置后才能拍攝，拍攝后照片存儲在SD卡中，SD卡要到PC機上導入，人工預覽照片后做出清晰度是否滿足要求、涂膠周長是否合格、圖片是否拍攝完整和讀取編號等繁復的人工操作，然后按照命名規范編輯照片的檔案名稱存到指定磁盤路徑，并將該操作步驟記錄到相應記錄介質上。我們經過統計，平均每張照片操作要1分鐘以上，這個過程還沒有包括上傳圖片到服務器和數據庫中所需要的時間。

圖1 傳統拍攝方式

上述傳統多媒體記錄操作方法雖然可以滿足拍攝要求，但在提高拍攝效率、智能防錯、自動歸檔、危情預警和實現信息化管理要求上卻很難實現，只能通過人工的方式來進行預判、傳遞、錄入和示警，而這樣的記錄方式可能出現人為的錯漏情況，產生質量隱患。

3 智能工藝裝備要滿足的要求

根據車間生產實際，結合九院和公司信息化建設的要求，該裝置應滿足以下要求：

?拍攝照片不僅要能全面反映涂膠關鍵部位的情況，而且單位面積像素數應不少于200 萬/平方分米；

?應能滿足車間生產工程化要求，作業效率高；

?與公司服務器互聯，拍攝的照片檔案實現物理異地存儲，便于智能管理需要和數據的災難恢復；

?人工智能識別單元運行可靠、穩定；

?照片存儲唯一性，保證無異名同文件的情況；

?拍攝的照片畸變小，便于辨識和視覺算法的處理。

4 智能工藝裝備設計方案

針對上述要求，我們提出了本文智能工藝裝備的設計方案，如圖2所示，智能工藝裝備由光學成像模塊、數據運算處理模塊、數據存儲模塊以及顯示管理模塊組成，各模塊聯動完成各自功能，從而實現智能工藝裝備的整體功能。

圖2 智能工藝裝備系統構成

5 多媒體記錄的作業過程

?作業步驟1：打開計算機，用自己的賬號登錄公司局域網，打開多媒體記錄系統進入照片采集軟件界面，軟件自檢服務器和數據庫鏈接是否正常；

?作業步驟2：打開光學系統光源，將工件放入定位座，在軟件中編輯工號、批號；點擊軟件中的“拍照”按鈕，軟件的人工智能模塊開始運行，模擬人工操作步驟自動對圖片進行清晰度是否達標、圖片拍攝是否完整和涂膠面積是否合格等進行相關計算，并給出量化依據以及合格與否的判定結果。如出現涂膠面積低于警戒水平，軟件將自動發送報警信息給相關人員。

?作業步驟3：點擊軟件中“保存”按鈕，軟件自動將照片命名后保存在本機，同時上傳照片到服務器，再將本次拍攝的時間、記錄人、生產信息錄入到公司數據庫。這時，公司網站管理平臺可同步查看到該照片和相關記錄。拍攝操作結束。

?定期工作：軟件定時對存儲的照片文件進行掃描，尋找異名同文件的圖片并剔除，避免同一個文件的多次使用。

圖3 現場操作過程

以上步驟由于大部分工作都是計算機和網絡在進行處理和傳遞，整個過程最快可以在10～20秒內可以完成。

6 人工智能防錯的實現

本文中的人工智能防錯功能有照片完整性檢查、清晰度檢查、涂膠面積檢查、自動讀取編號和重復照片剔除等，這些功能主要是基于圖像處理技術和圖像的模式識別。機器視覺系統中，視覺信息的處理主要是對圖像數據的處理，包括圖像增強、平滑、邊緣銳化、分割、特征抽取、圖像識別、模板匹配等步驟。上述處理過程，達到了改善了圖像質量，便于計算機對圖像進行分析、處理和識別的目的。本文的圖像處理核心算法流程見下圖。

圖4 核心算法流程圖

下面就實現的主要函數進行說明。

6.1 OnCheckGlue()-涂膠區域周長檢查

該過程的關鍵是將涂膠區域完整地從原圖中分割出來。為避免算法在自動分割圖像劃分區域時出現噪聲的影響，先對圖像進行了降噪和濾波處理。另外，在很多情況下，由于光照的影響，物體和背景的對比度很難保證每張照片都會一樣。因此在進行分割時，采用了自適應閾值的方式，雖然比全局閾值耗時，但分割出來的區域較可靠。下圖為經過預處理后的涂膠區域圖片。經過計算區域，得出區域周長，實現自動判斷涂膠區域是否滿足工藝要求的功能。

圖5 涂膠區域的矢量圖

6.2 OnLapLace()-清晰度檢查

照片進行清晰度計算，不僅可以成為評價照片質量的量化標準，而且也是調整相機物距和焦距的重要依據。考慮到圖片像素值較高，運用傳統的邊緣檢測方法計算清晰度將比較耗時。光學成像方式因為有著穩定的光源和比較高的對比度，適合運用拉普拉斯方程式轉換后進行圖像清晰度計算。

拉普拉斯算子是一個微分算子，具有旋轉不變性。一個二維圖像函數的拉普拉斯變換是各向同性的二階導數，定義為：

為了更適合于數字圖像軟件處理，將該方程表示為離散形式：

▽2f=[f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)]-4f(x,y)

算法基于以上方程實現原理：如果圖片具有較高方差，那么它就有較廣的頻響范圍，代表著正常、聚焦準確的圖片。但是如果圖片具有較小方差，那么它就有較窄的頻響范圍，意味著圖片中的邊緣數量很少。正如我們所知道的，圖片越模糊，其邊緣就越少。只需要將圖片中的某一通道(但一般用灰度值)用拉普拉斯算法做卷積運算，然后計算方差。如果某圖片方差低于預先定義的閾值，那么該圖片就可以被認為是模糊的。高于閾值，就不是模糊的。

根據上面的理論，軟件中CImgProcess類的成員函數OnLapLace ()實現拉普拉斯清晰度評估數值的計算操作，在對圖像計算清晰度時時直接調用OnLapLace ()函數即可。以下是OnLapLace ()函數的部分代碼實現。

……

//列處理

for (j= inputX0; j

inputW + inputX0 + 1; j++)

{

//指向第i行第j列像素的指針

pDst = m_pImgDataOut + lineByte *(m_imgHeight -1 - i) + j;

value=0;

//計算

for (k = 0; k < inputH; k++)

{

for (l = 0; l < inputW; l++)

{

……

//計算平均數

value += (*pSrc) * pTemplate[k * inputW + l];

}

}

//取結果的絕對值

value = (float)fabs(value);

圖6 清晰度評估：5300 圖7 清晰度評估：1200

7 應用情況

系統配備專業工業相機和鏡頭，配套智能防錯信息化軟件，不僅做到了拍照清晰完整，并且還做到了以下幾點。

1)存儲可靠安全。由于實現了異地存儲，無論哪一方出現存儲故障，都能夠快速還原，滿足了災難恢復的要求。增加的垃圾文件掃描機制，保證了照片的唯一性和準確性。

2)人工智能算法模塊按照專業軟件測試規程進行調試，運行穩定。

3)車間投入使用后，效率較原來操作有大幅提升，并降低了操作者工作強度，滿意度較高。

4)信息化功能實現了數據的同步傳輸，縮短了基層與管理者之間的距離。

8 技術遠景

在該設備軟硬件基礎上，進一步拓展通用能力，開發適合各類工件防錯記錄特性的算法，作為插件的形式部署在軟件中，使軟件具備“膠水”特性。在使用時，只需調整軟件插件庫，就可完成其它各類型工件的智能防錯多媒體記錄工作。

本文的這種實現方法可以廣泛應用在公司繼電器生產中需要進行多媒體記錄的各個環節。

9 結束語

系統雖然完成的是一個軟硬件結合的拍照裝置，但也可以構架出一類新的工藝管理環境，它將現場實時的工件影像信息與操作者、工藝管理系統、車間管理者、質量管理者、公司主管領導和用戶聯動起來，并為公司的ERP、MES和決策系統提供量化依據，使得職能管理和生產工藝現場之間的聯系更加緊密。

通過將信息化技術、物理異地存儲技術、圖示化使用界面、人工智能技術、數據同步更新架構等相關領域的融合，該系統能將生產、工藝和質量管理所需的各類角色整合在一起，將這些影像信息以圖文并茂的形式用 Web 或其他通知方式及時準確地傳送給上述各類使用者監看，這樣的環境不僅使得各相關職能監管模式從技術上得到了加強，而且當發生緊急情況時，還能實時提供現場緊急狀態的信息，并以最快速度通知相關使用者。這樣的模式將會降低沒有附加價值的活動對營運的影響，進而提高生產效益，改善職能監管環境。