機(jī)器視覺(jué)在COB LED顯示模組墨色采集、分類、排序中的應(yīng)用

李百松，曹 慧*，徐子程，程宏斌,2，汪 洋,2，鄭喜鳳,2

(1.長(zhǎng)春希達(dá)電子技術(shù)有限公司，吉林 長(zhǎng)春 130103；2.中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，吉林 長(zhǎng)春 130033)

1 引 言

LED顯示屏通用規(guī)范SJ/T 11141-2017中規(guī)定最高對(duì)比度為：在一定環(huán)境照度下，LED顯示屏最大亮度和背景亮度的比。因此為了提高對(duì)比度，行業(yè)內(nèi)針對(duì)LED顯示屏的底色通常采用多種工藝處理，使黑屏狀態(tài)時(shí)顯示為黑色，即墨色。常規(guī)的一面集成封裝(Chip on Board，COB)LED顯示屏是由多塊同一生產(chǎn)批次的COB LED顯示模組拼裝而成，由于原材料和生產(chǎn)工藝不能做到絕對(duì)的一致性，會(huì)造成COB LED顯示模組間墨色不一致的現(xiàn)象。進(jìn)一步研究發(fā)現(xiàn)，陣列模組的墨色一致性是由印刷線路板(Printed circuit board，PCB)的鍍金厚度、鍍層均勻性、內(nèi)層線路映射、阻焊層墨色以及后續(xù)LED顯示模組銑平面、模壓封裝及封裝層摻雜材料等交叉影響造成的。

續(xù) 表

在發(fā)射中心、指揮大廳等高端應(yīng)用場(chǎng)所，對(duì)COB LED顯示屏的質(zhì)量和主觀感受要求很高，因此確保一面COB LED顯示屏的墨色效果非常重要。根據(jù)COB LED陣列模組產(chǎn)生墨色不均勻的原因，在提出產(chǎn)品高對(duì)比度的設(shè)計(jì)方案與工藝技術(shù)的有效控制方案，降低陣列模組黑場(chǎng)時(shí)表面亮度的同時(shí)，需要提高陣列模組表面顏色的一致性。

2 墨色采集、分類、排序的原理

COB LED顯示模組的墨色并非單一顏色而是多種材料或者工藝影響的混合顏色，如果分離出墨色中各種肉眼清晰分辨的單一顏色，即可通過(guò)不同COB LED顯示模組之間對(duì)應(yīng)單一顏色的濃度差異表示墨色差異。單一顏色在混合顏色中的占比稱為顏色濃度。而通過(guò)利用單一顏色物質(zhì)只能反射對(duì)應(yīng)顏色的原理，即可分離出單一顏色濃度值。

如圖1所示，通過(guò)不同顏色光源進(jìn)行打光反射至相機(jī)采集，即可分離出COB LED顯示模組內(nèi)墨色的各種單一顏色濃度。根據(jù)多種單一顏色的濃度進(jìn)一步進(jìn)行顯示模組墨色分類或者排序，通過(guò)這種原理進(jìn)行墨色采集可有效實(shí)現(xiàn)墨色的分析與處理。

圖1 墨色采集原理示意圖Fig.1 Schematic diagram of ink collection principle

一維墨色的分類原理為：將同一墨色檔次的COB LED顯示模組分為同一類，這樣進(jìn)行搭建COB LED顯示屏即可實(shí)現(xiàn)墨色無(wú)差異，均保持同一檔次。經(jīng)過(guò)實(shí)際測(cè)驗(yàn)，同一生產(chǎn)批次的COB LED顯示模組的墨色分類等級(jí)較多，不能達(dá)到充分利用的效果，會(huì)造成較多的產(chǎn)品庫(kù)存積壓，因此需要一種方法可以充分使用所有COB LED顯示模組。本文采用二維墨色排序算法，其原理為：根據(jù)視覺(jué)的漸變性，即相鄰的兩個(gè)COB LED顯示模組墨色如果差異不大即不影響視覺(jué)直觀感受，需在二維的COB LED顯示屏上建立坐標(biāo)系，將所有模塊進(jìn)行橫縱排序，使其具備二維漸變效果，這樣整個(gè)COB LED顯示屏的墨色可以符合人眼視覺(jué)的直觀感受。圖2、圖3分別是墨色排序前和排序后示意圖。

圖2 墨色排序前示意圖Fig.2 Schematic diagram of ink colors before sorting

圖3 墨色排序后示意圖Fig.3 Schematic diagram of ink colors after sorting

3 系統(tǒng)應(yīng)用設(shè)計(jì)

墨色采集、分類、排序方案設(shè)計(jì)如圖4所示，由相機(jī)模塊、光源模塊、算法處理模塊構(gòu)成。按照順序切換不同顏色的光源，操作相機(jī)進(jìn)行采集，返回相應(yīng)顏色濃度的數(shù)值，將所有采集到的顏色濃度值通過(guò)算法處理轉(zhuǎn)換為墨色，再通過(guò)排序或者分類算法處理輸出不同等級(jí)墨色的COB LED顯示模組的對(duì)應(yīng)安裝位置，即可實(shí)現(xiàn)安裝符合視覺(jué)感受的COB LED顯示屏。

圖4 系統(tǒng)方案設(shè)計(jì)Fig.4 Design of system scheme

3.1 硬件設(shè)計(jì)

由于如單一純白光源等無(wú)法采集顯示模組表面多個(gè)顏色濃度值，因此本文采用具備8個(gè)光譜的環(huán)形光源。環(huán)形光源光照更均勻，能夠更好地突出特征值以便數(shù)據(jù)處理及分析。采用8 bit的Basler黑白相機(jī)，光源與相機(jī)的物理安裝關(guān)系如圖5所示，采用中心法線重合的安裝方式。

圖5 光源與相機(jī)安裝示意圖Fig.5 Diagram of light source and camera installation

機(jī)器視覺(jué)技術(shù)是通過(guò)光學(xué)非接觸的傳感器自動(dòng)獲取并解釋處理一個(gè)真實(shí)物體的圖像，以獲取所需信息用于控制機(jī)器運(yùn)動(dòng)[1]。本文采用機(jī)器視覺(jué)技術(shù)，通過(guò)相機(jī)采集圖像。圖像儲(chǔ)存在相機(jī)的RAM空間緩存區(qū)中，通過(guò)提取緩存區(qū)數(shù)據(jù)獲得COB LED顯示模組的墨色信息[2]。

本方法中采用的鏡頭為16 mm鏡頭，采集區(qū)域?yàn)?0 mm×30 mm。所以為了保證視場(chǎng)，相機(jī)與被測(cè)COB LED顯示模組的最佳距離為100 mm，光源距離被測(cè)模組的最佳距離為70 mm。為了減少采集噪聲，需要降低光源與COB LED顯示模組的距離，因此采用常規(guī)的低角度光源，LED燈珠的軸心與水平面夾角為30°。在該距離下觀測(cè)清晰，特征顯著，噪聲較小[3-4]。

多光譜光源的波長(zhǎng)直接影響采集到的墨色準(zhǔn)確性。因?yàn)槟庋劭梢?jiàn)，所以選取波長(zhǎng)大約在400～700 nm之間。目前市場(chǎng)上能找到光譜最多的光源只有8個(gè)光譜，選擇8光譜的光源波長(zhǎng)如表1所示。

表1 光的波長(zhǎng)及參數(shù)表Tab.1 Wavelength and parameters of light

3.2 軟件設(shè)計(jì)

軟件設(shè)計(jì)主要分為兩部分：第一部分為圖像采集模塊，實(shí)現(xiàn)與相機(jī)通訊，控制相機(jī)曝光時(shí)間及曝光，通過(guò)訪問(wèn)相機(jī)RAM存儲(chǔ)區(qū)獲取數(shù)據(jù)流，將數(shù)據(jù)流轉(zhuǎn)變?yōu)榭商幚淼? bit整數(shù)數(shù)組，控制多光譜光源，調(diào)節(jié)光源亮度，切換光源顏色。第二部分為算法處理模塊，包括將數(shù)據(jù)流轉(zhuǎn)換的8 bit數(shù)組進(jìn)行數(shù)據(jù)分割，提取替換異常索引值，通過(guò)文件存儲(chǔ)進(jìn)行數(shù)據(jù)永久性保存[5]。滿足觸發(fā)條件之后觸發(fā)算法處理模塊，生成COB LED顯示模組序號(hào)，實(shí)現(xiàn)墨色排序、分類操作。墨色采集及計(jì)算流程如圖6所示。

圖6 程序運(yùn)行流程圖Fig.6 Flow chart of program operation

根據(jù)程序運(yùn)行流程，相機(jī)啟動(dòng)程序配置作為啟動(dòng)引導(dǎo)程序，相機(jī)硬件接口分為TCP、USB、cameraLink接口等，分別對(duì)應(yīng)不同調(diào)用方法。本文使用TCP接口(預(yù)先設(shè)置計(jì)算機(jī)網(wǎng)絡(luò)巨型幀)通過(guò)Labview軟件開發(fā)平臺(tái)驅(qū)動(dòng)相機(jī)。

多光譜光源的調(diào)用接口也分為TCP接口與RS232串口。本文采用RS232串口作為接口，通過(guò)Labview軟件開發(fā)平臺(tái)設(shè)計(jì)串口驅(qū)動(dòng)程序。串口編輯流程如圖7所示，相關(guān)調(diào)用SDK指令描述文件如表2所示。

圖7 RS232串口編輯流程Fig.7 RS232 serial port editing process

表2 多光譜光源SDK描述文件相關(guān)指令Tab.2 Relative instructions of SDK description file for multispectral light source

在使用該接口時(shí)，通過(guò)如圖8可以看出通訊數(shù)據(jù)是由1 bit的起始位、8 bit的數(shù)據(jù)位和1 bit的停止位構(gòu)成。RS232數(shù)據(jù)傳輸時(shí)序圖如圖8所示。

圖8 RS232數(shù)據(jù)傳輸時(shí)序圖Fig.8 Diagram of RS232 data transmission sequence

通過(guò)8個(gè)光譜的光源，得到的采集同批次COB LED模組的8種單一顏色濃度，大概率無(wú)法實(shí)現(xiàn)工程化墨色分類，因此采用加權(quán)平均的方式對(duì)8種顏色濃度進(jìn)行歸一化處理，處理后的墨色值表示每個(gè)模組的顏色濃度[6-7]。通過(guò)實(shí)驗(yàn)總結(jié)墨色差異化的范圍區(qū)間為5，兩塊COB LED模組的墨色值相差在5以內(nèi)可以歸類為一類墨色，相差在5以上不歸為一類。按照切換一種顏色采集一張圖片的順序可以獲得多張圖片數(shù)據(jù)，在采集同時(shí)將圖片數(shù)據(jù)流提取轉(zhuǎn)換為8 bit二維數(shù)組，根據(jù)公式(1)計(jì)算出單一光譜光源照射下采集到數(shù)組均值L，其中m、n為數(shù)組寬度，i、j為數(shù)組索引值。

.

(1)

LED顯示屏應(yīng)用在不同的環(huán)境光下，顯示表面反射的光特征值不同，因此采用在8種不同環(huán)境光照情況下的加權(quán)平均方法，如公式(2)所示。在得出單一顏色下數(shù)組均值L后，計(jì)算出8種顏色加權(quán)后的均值P，墨色分類后按照均值二維排序方法將墨色相近的模塊安裝一起，即可實(shí)現(xiàn)同一類別的COB LED顯示模組無(wú)明顯色差[8-9]。

(2)

其中:ωi為在不同光譜下顯示模塊的加權(quán)權(quán)值，Li是不同光譜下的墨色均值，i=1,2,…,8。

墨色采集、分類后，采用二維排序方法對(duì)同一類墨色的顯示模組進(jìn)行二維排序。具體算法流程為：

(1)提取亮度值，設(shè)有F個(gè)亮度值P1,P2,…PF；

(2)設(shè)矩陣A為1×F的矩陣，將F個(gè)亮度值P1,P2,…PF按順序放入矩陣A中，則有公式(3)：

A=[P1,P2,…PF].

(3)

(3)設(shè)公式(4)中矩陣B為m×n的空矩陣，其中m×n=F，則有：

.

(4)

(4)將公式(4)中矩陣B分為m+n-1個(gè)一維矩陣C(i)，其中i=1,2,…m+n-1。

(5)將公式(4)中矩陣B中元素位置的行列數(shù)之和相等的元素位置信息分別放入不同的公式(5)的一維矩陣C中，且滿足：

C(i)=[B(j,k)]，

(5)

其中:j=1,2,…,m,k=1,2,…,n,j+k=i+1。

(6)將公式(5)中各個(gè)C中的元素按照公式(4)中B的行數(shù)遞增的順序排列，則有公式(6)：

(6)

(7)將公式(6)中所有的一維矩陣C(i)按照i從小到大的順序放入新的矩陣D中，則有公式(7)：

D=[B(1,1),B(1,2),B(2,1)…B(m,n)].

(7)

(8)將公式(3)中A中元素與公式(7)和公式(4)中B矩陣的位置信息一一對(duì)應(yīng)，將公式(3)中A矩陣的所有元素填入公式(4)中的B矩陣中，完成公式(3)中一維矩陣A斜向排入公式(4)中B矩陣，即：

(8)

通過(guò)公式(2)～(8)即可完成所有亮度值從左上角位置橫向向右、縱向向下、斜向向右下均勻遞增的排序。通過(guò)該種算法可以實(shí)現(xiàn)所有COB LED顯示模組能夠被充分利用，并可達(dá)到人眼視覺(jué)墨色一致性較好的顯示效果。當(dāng)同一批次的COB LED顯示模組墨色差異不大時(shí)，漸變效果不明顯；但是當(dāng)同一批次的COB LED顯示模組墨色差異較大時(shí)，先分類再二維排序，整屏漸變效果會(huì)比較明顯，分類少時(shí)在顯示屏局部會(huì)出現(xiàn)階梯漸變線[10]。

通過(guò)Labview軟件開發(fā)的相機(jī)、光源控制及圖像采集程序模塊如圖9所示，墨色排序算法程序模塊如圖10所示。

圖9 相機(jī)、光源控制及圖像采集程序模塊。Fig.9 Program of camera,light source control and image acquisition.

圖10 墨色排序算法程序模塊Fig.10 Program of black sorting algorithm

4 測(cè)試分析結(jié)果

在照度小于5 lx的暗室環(huán)境下，準(zhǔn)備100塊同一生產(chǎn)批次、外型尺寸為152.4 mm×114.3 mm、點(diǎn)間距為1.27 mm的COB LED顯示模組。分別將100塊模組進(jìn)行0～100編號(hào)，此編號(hào)與軟件編號(hào)對(duì)應(yīng)，即表示每個(gè)模組都有唯一的墨色值。將模組固定在快速安裝夾具上面，此夾具平行于光源與相機(jī)，此時(shí)對(duì)設(shè)備進(jìn)行供電，通過(guò)軟件檢測(cè)相機(jī)、光源是否正常啟動(dòng)。打開軟件進(jìn)行預(yù)覽，檢測(cè)成像清晰程度及圖像是否有大量超過(guò)飽和的像素點(diǎn)，如果成像不清晰適當(dāng)調(diào)節(jié)焦距。光源的亮度越高則溫度越高，當(dāng)亮度設(shè)定值恒定時(shí)，隨著時(shí)間的變化，溫度逐漸升高，影響光源的亮度，所以為了保證光源亮度的穩(wěn)定性，需要將光源亮度最大程度地降低，當(dāng)光源亮度低時(shí)，通過(guò)調(diào)節(jié)光圈增加近光量來(lái)保證圖像的亮度。本實(shí)驗(yàn)采用的是8 bit灰白相機(jī)，為了減少噪聲的同時(shí)提高特征值，需要調(diào)節(jié)光圈和光源，以保證每種顏色打光相機(jī)采集的最高灰度值為200～210。完成準(zhǔn)備工作后，開始進(jìn)行墨色采集，單擊采集按鈕，可以觀測(cè)到光源開始順序切換，切換的同時(shí)進(jìn)行快速拍攝，當(dāng)所有光源切換完成及拍攝完成，即對(duì)此塊COB LED顯示模組完成墨色采集及記錄，換下一塊模塊，繼續(xù)采集記錄。

圖11 COB LED顯示模組墨色采集平臺(tái)(包含相機(jī)、光源)Fig.11 Platform of COB LED display module ink collection (including camera and light source)

圖12 COB LED顯示模組墨色采集及排序平臺(tái)軟件Fig.12 Software of COB LED display module ink collection platform

當(dāng)完成所有模組的采集，操作軟件完成自動(dòng)排序，該排序完成的二維數(shù)組具有對(duì)角線漸變的結(jié)果，即二維數(shù)組順序，如表3所示。

表3 墨色排序部分圖表Tab.3 Chart of ink sorting

按照編號(hào)進(jìn)行COB LED顯示屏安裝，可發(fā)現(xiàn)整屏墨色效果顯著提升，如圖13、圖14所示。

圖13 COB LED顯示模組排序前效果Fig.13 Effect of COB LED display module before sorting

圖14 COB LED顯示模組二維排序后效果Fig.14 Installation results of COB LED display module after sorting

5 結(jié) 論

在目前LED顯示屏像素密度越來(lái)越高、拼接面積越來(lái)越大的情況下，保證墨色一致性難度極大。本文介紹了COB LED顯示模組的墨色采集、分類、排序的原理、設(shè)計(jì)、及測(cè)試結(jié)果，提出了一種行業(yè)內(nèi)全新的保證墨色一致性的方法，既保證了墨色的一致性又避免了因墨色問(wèn)題造成的產(chǎn)品庫(kù)存積壓，同時(shí)可以自動(dòng)采集、分類、排序，滿足了生產(chǎn)制造中自動(dòng)化流水線的要求。該設(shè)計(jì)方法靈活方便，節(jié)約人工成本、生產(chǎn)制造成本，易于操作，在實(shí)際COB LED產(chǎn)品墨色提升上有很大的應(yīng)用價(jià)值。