基于機器視覺的OLED屏混色缺陷檢測算法

歐陽韜

（上海交通大學電子信息與電氣工程學院，上海200240）

基于機器視覺的OLED屏混色缺陷檢測算法

歐陽韜

（上海交通大學電子信息與電氣工程學院，上海200240）

OLED屏的混色缺陷表現(xiàn)為面板上低對比度、色彩不均一的區(qū)域，具有背景整體亮度不均、各個通道灰度變化都不明顯等特點，因此用基于機器視覺的方法從圖像中分割出來缺陷是非常困難的。借鑒檢測Mura缺陷的算法，首先用正交多項式的曲面擬合方法去構(gòu)造一張背景圖，再用原圖與背景圖相減，得到疑似缺陷的區(qū)域，然后針對混色缺陷自身的特點，提出一種基于面板像素周期性排布的檢測方法，最后通過設定的閾值篩選出真正的缺陷。實驗結(jié)果表明，該方法對混色缺陷的檢測比較有效，且算法簡單，實時性高，易于實現(xiàn)。

0 引言

隨著信息顯示技術(shù)的不斷發(fā)展，有機發(fā)光二極管（OLED）顯示屏的生產(chǎn)工藝日益成熟，越來越多的顯示屏制造廠商開始投入資金批量生產(chǎn)OLED顯示屏。比起液晶顯示LCD，OLED具有畫質(zhì)均勻、視角廣闊、反應速度靈敏、可制作成撓曲式面板等優(yōu)點，同時OLED為自發(fā)光材料，不需要用到背光板，用簡單驅(qū)動電路即可達到發(fā)光，制程簡單，因此備受廠商和消費者青睞，OLED作為下一代新型顯示技術(shù)也逐漸被業(yè)界視為主流發(fā)展趨勢[1]。

為了防止不理想的OLED產(chǎn)品流入市場，這就需要專業(yè)的質(zhì)檢人員來檢測面板上面的缺陷，但是用人眼檢測需要更高的勞動力成本，而且不同的質(zhì)檢人員針對同一面板的檢測結(jié)果可能都不太一樣，即便同一人檢測，受人類情緒變化等主觀因素影響，也難以避免檢測結(jié)果不一致的情況。這些都不利于大規(guī)模的工業(yè)生產(chǎn)。因此，研究出相應的自動檢測算法讓機器視覺代替人眼檢測已成為一個緊迫的任務。

OLED顯示屏在制作過程中主要會存在點缺陷、線缺陷和混色缺陷[2]，而混色缺陷可以看做是帶有顏色的Mura缺陷。通常來說，Mura缺陷表現(xiàn)為面板上低對比度、亮度不均一的區(qū)域，而混色缺陷是特定顏色畫面或者特定灰階畫面下低對比度、色彩不均一的區(qū)域，如圖1所示。比起亮度不均一的Mura缺陷（如圖2所示），這種顏色不均一的混色缺陷對比度更低，而且需要一定角度才能觀察拍攝到，所以檢測起來更加困難。

圖1 混色缺陷樣圖

圖2 Mura缺陷樣圖

目前，針對面板的Mura缺陷已有很多的自動檢測算法被提出。Xin Bi等人[3]提出了一種使用水平集來進行圖像分割的方法來檢測缺陷；盧小鵬等人[4]改進了Chan-Vese模型來實現(xiàn)對Mura缺陷的快速分割；Yu-Bin Yang等人[5]使用奇異值分解和離散余弦變換來重構(gòu)背景圖像，計算出差異圖后再檢出缺陷；Xin Bi等人[6]利用實Gabor濾波器來增強Mura缺陷；Hao-Chiang Shao[7]提出了一種從低對比度圖像中去除相對高頻成分的算法來減少對圖像增強的干擾；Du-Ming Tsai等人[8]把要檢測的圖像用一些基本圖像的線性組合去表示，而其系數(shù)就可以反映出Mura缺陷，在此基礎(chǔ)上再進行分析判斷；李坤等人[9]提出一種基于B樣條曲面擬合的背景抑制方法，用原始圖像減去擬合背景，從而消除亮度不均勻背景對缺陷分割造成的影響；Jong-Hwan Oh等人[10]在小波域上實現(xiàn)對圖像的增強，從而檢出低對比度的Mura缺陷；Din-Chang Tseng等人[11]提出一種用多張圖累加并且進行多分辨率下背景圖相減的方法，這種方法檢測Mura缺陷也有比較好的效果。

然而針對OLED顯示屏的混色缺陷還很少有對應的自動檢測算法。Giljoo Nam等人[12]提出了一種檢測混色缺陷的方法，但卻局限于使用HDR圖像進行分析。HI Son[13]提出了一種通過衍射圖來檢測彩色區(qū)域的方法，但也局限于用線掃描相機拍攝的圖。T Asa?no等人[14]提出了一套檢測彩色不均一區(qū)域的系統(tǒng)，但他們針對的是CRT顯示屏，而OLED顯示屏的缺陷會微弱很多。本文借鑒了檢測Mura缺陷的算法，首先用改進后的基于正交多項式的曲面擬合方法去構(gòu)造一張背景圖，再用原圖與背景圖相減，得到疑似缺陷的區(qū)域，然后針對混色缺陷自身的特點，提出了一種基于面板像素周期性排布的檢測方法，最后通過設定的閾值篩選出真正的缺陷。實驗結(jié)果表明，本文提出的方法對即便比較微弱的混色缺陷，檢測效果仍然不錯，且算法簡單，實時性高，易于實現(xiàn)。

1 基于正交多項式的曲面擬合算法

在背景的曲面擬合過程中，二維空間上的離散正交多項式可以由兩組一維正交多項式的張量積來構(gòu)造 。 設{P0(r)=1,P1(r),…,PN(r)}和{Q0(c),Q1(c),…,QM(c)}分別是集合R和集合C上的離散正交多項式，則{P0(r) Q0(c),…,Pm(r) Qn(c),…,PN(r) QM(c) }是二維對稱集合R×C上的離散正交多項式。

因為在這個問題中我們只需考慮不超過3階的，所以當R=C={- 2,-1,0,1,2}時，在集合R×C上的正交多項式為{1,r,c,r2-a,rc,c2-a,r3-br,(r2-a) c,r(c2-a),c3-bc}

對于工業(yè)相機采集到的彩色圖像，先分解為R、G、B三個通道，對于每個通道采用WangZhenyao和MaL?ing[15]改進后的曲面擬合算法。

我們將使用gi(r ,c),i=1,…,10來表示上式。

顯然，任意二元三次多項式能夠用正交多項式線性表示。

所以2維模板卷積能夠分解為一些簡單的1維模板卷積。假設輸入是I1,I2,…IN，我們只關(guān)心一下4種模板卷積：

通過上式，我們可以快速地計算出ki,i=1,…,10，同時也擬合出了無缺陷的背景圖，通過原圖與背景圖的相減，我們可以得到疑似缺陷的區(qū)域。

2 基于周期性的混色缺陷檢測算法

RGB PenTile排列是OLED顯示屏RGB子像素的排列方式。標準RGB排列的像素點是由紅、綠、藍三個子像素組成的，而PenTile排列與標準RGB排列不太一樣，它單個像素點由“紅綠”或者“藍綠”兩個子像素點組成?？梢詮膶Ρ葓D中看到，同樣顯示3×3個像素的話，在水平方向上PenTile有6個子像素，而標準RGB有9個子像素，PenTile子像素數(shù)量有所減少[16]。

圖3 RGB PenTile排列和標準RGB排列對比圖

我們可以看出，RGB PenTile這種排列方式依然是具有周期性的，只不過比起標準RGB的周期要大一些。所以如果是無缺陷的OK屏的話，相鄰周期像素值大小應該是比較接近的；如果是有缺陷的NG屏的話，相鄰周期像素值大小應該會差異比較大。利用這種周期性，我們可以對第1節(jié)中得到疑似缺陷的區(qū)域做進一步的分析。

在我們采集到的圖像中，假設拍攝到的面板矯正成矩形后長占w個圖像像素，寬占h個圖像像素，實際的面板分辨率為m×n，子像素排列的周期為 p，我們可以得到最終需要的周期P：

一般而言，P水平?P垂直，如果計算出來的周期不是整數(shù)的，我們可以乘以兩倍得到一個整數(shù)的周期值，如果還不滿足，可以調(diào)整相機與面板的拍攝距離，重新拍攝并使之滿足。

現(xiàn)在，我們把注意力放回到之前的疑似缺陷的區(qū)域。在區(qū)域的幾何中心點上，取一塊N×N像素的樣本區(qū)域，在相鄰周期P且在此區(qū)域外的位置上同樣取上下左右四塊N×N像素的樣本區(qū)域，如果相鄰周期P的位置在此區(qū)域內(nèi)，可以用n( )n=2,3,… 倍的周期直至在區(qū)域外。

彩色相機采集到的圖片中，每個圖像像素都是由R、G、B三個0～255之間的數(shù)值表示的，故可以用一個三維向量表示一個像素值v?=(r ,g,b)，其中r,g,b分別為R、G、B三個通道的數(shù)值。

例如，N取9，則每一塊9*9像素的樣本區(qū)域可表示為：

然后再計算中間區(qū)域分別與上下左右四塊區(qū)域的2范數(shù)。其中s0為中間區(qū)域，sn(n =1,2,3,4)分別為上下左右四塊區(qū)域。

對 ||xn中的元素求平均，然后再用求得的四個平均值作為進一步篩選缺陷的參考數(shù)值。假如這四個平均值都大于我們設定的閾值，即判定為混色缺陷，否則判定為正常區(qū)域。如果缺陷處于角落或者邊緣位置，這個時候我們只需要比較其中的兩組或者三組平均值與閾值的大小即可。

最后，我們需要對找到的混色區(qū)域進行定量化描述，Yuji Takagi等人[17]提出了基于彩色缺陷的定量化方法，但由于目前還沒有被業(yè)界廣泛接受，絕大部分面板廠依然使用的是類似Mura的定量化方法，所以我們依然使用傳統(tǒng)的描述方法。

基于日本IBM相關(guān)研究人員的研究成果，2002年SEMI（國際半導體設備與材料產(chǎn)業(yè)協(xié)會）發(fā)布了SEMI D31-1102標準，全稱為Definition of Measurement Index(Semu)for Luminance Mura in FPD Image Quality Inspec?tion，給出了關(guān)于Mura定量化的標準。

在大量實驗的基礎(chǔ)上，SEMI D31-1102給出了最小可覺差閾值Cjnd與面積Sx（單位為毫米）的關(guān)系：

而Mura的定量化，也就是SEMU值，定義為：

其中，Cjnd是人眼最小可覺差的對比度，Cx是Mu?ra區(qū)域的平均對比度；總之，SEMU值越大，表明缺陷越明顯；SEMU值越小，表明缺陷越微弱。

3 實驗結(jié)果

我們從面板廠獲取了一批OLED屏作為實驗樣本，從有缺陷的樣片中選取兩片不同缺陷位置的進行分析。實驗電腦配置為Intel Core i3處理器，主頻2.2GHz，內(nèi)存8GB，操作系統(tǒng)為Windows 7，算法的處理時間均在1s以內(nèi)。算法找出的缺陷位置用天藍色方框標出，并注明該混色缺陷的SEMU值和對比度最大值。其中綠色的十字星表示對畫面的定位并確定好ROI區(qū)域，同時程序會對圖像進行矯正處理，然后再應用本文第1、2章節(jié)的算法。圖片分別為原圖，缺陷檢出圖，缺陷位置局部放大圖，缺陷檢出局部放大圖。

圖4 帶有混色缺陷的1號原圖

圖5 算法自動檢測出缺陷的結(jié)果圖

圖6 缺陷位置局部放大圖

圖7 檢出結(jié)果的局部放大圖

圖8 帶有混色缺陷的2號原圖

圖9 算法自動檢測出缺陷的結(jié)果圖

圖10 缺陷位置局部放大圖

圖11 檢出結(jié)果的局部放大圖

可以看出，無論缺陷的位置是在面板的中間還是在角落，本文提出的方法對微弱的混色缺陷都有比較好的檢測效果，且算法有較強的魯棒性，能夠滿足工業(yè)流水線中實時檢測的要求。

4 結(jié)語

用機器視覺檢測OLED顯示屏中的混色缺陷較為困難，本文提出了一種基于面板像素周期性排布的檢測方法，可以有效地檢測出缺陷，而且算法滿足實時性的要求，可以廣泛應用于實際的生產(chǎn)流水線中。本文提出的方法不僅適用于OLED顯示屏混色缺陷的檢測，同時也可以為檢測各類彩色的缺陷提供一種新的思路。

[1]王國亮.OLED產(chǎn)業(yè)發(fā)展及市場前景淺析[J].中國市場,2017(11):62-63.

[2]彭騫,陳凱,沈亞非,等.有機電激光顯示器件缺陷檢測進展[J].廣東科技,2015,24(18):55-59.

[3]Bi X,Zhuang C,Ding H.A New Mura Defect Inspection Way for TFT-LCD Using Level Set Method[J].IEEE Signal Processing Letters,2009,16(4):311-314.

[4]盧小鵬,李輝,劉云杰,等.基于Chan-Vese模型的TFT-LCD Mura缺陷快速分割算法[J].液晶與顯示,2014,29(1):146-151.

[5]Yang Y B,Li N,Zhang Y.Automatic TFT-LCD Mura Detection Based on Image Reconstruction and Processing[C].Consumer Electronics?Berlin(ICCE-Berlin),2013.ICCEBerlin 2013.IEEE Third International Conference on.IEEE,2013:240-244.

[6]Bi X,Xu X,Shen J.An Automatic Detection Method of Mura Defects for Liquid Crystal Display Using Real Gabor Filters[C].Image and Signal Processing(CISP),2015 8th International Congress on.IEEE,2015:871-875.

[7]Shao H C,Jong T L,Chen Y C,et al.Robust Segmentation for Automatic Detection of Mura Patterns[C].Consumer Electronics,2009.ISCE'09.IEEE 13th International Symposium on.IEEE,2009:267-270.

[8]Tsai D M,Tseng Y H,Chiu W Y.Surface Defect Detection in Low-contrast Images Using Basis Image Representation[C].Machine Vision Applications(MVA),2015 14th IAPR International Conference on.IEEE,2015:186-189.

[9]李坤,李輝,劉云杰,等.LCD Mura缺陷的B樣條曲面擬合背景抑制[J].光電工程,2014,41(2):33G39.

[10]Oh J H,Yun B J,Park K H.The Defect Detection Using Human Visual System and Wavelet Transform in TFT-LCD Image[C].Frontiers in the Convergence of Bioscience and Information Technologies,2007.FBIT 2007.IEEE,2007:498-503.

[11]Tseng D C,Lee Y C,Shie C E.LCD Mura Detection with Multi-Image Accumulation and Multi-Resolution Background Subtraction[J].Int.J.Innovative Comput.,Inf.Control,2012,8(7(A)):4837-4850.

[12]Nam G,Lee H,Oh S,et al.Measuring Color Defects in Flat Panel Displays Using HDR Imaging and Appearance Modeling[J].IEEE Transactions on Instrumentation&Measurement,2016,65(2):297-304.

[13]Son H I.Automatic Inspection Method for Macro Defects in TFT-LCD Color Filter Fabrication Process[J].Ieice Electronics Express,2009,6(8):516-521.

[14]Asano T,Kawame K,Mochizuki J,et al.Automated Color Inspection System for Color CRT Displays[C].International Conference on Industrial Electronics,Control,Instrumentation,and Automation,1992.Power Electronics and Motion Control.IEEE,2002:725-730 vol.2.

[15]Maling W.Implementation of Region-Mura Detection Based on Recursive Polynomial-Surface Fitting Algorithm[J].2008.

[16]嚴利民,陳靜,馮俊.一種提高平板顯示器亮度的子像素結(jié)構(gòu)及其映射算法[J].光電子技術(shù),2015,35(4):241-245.

[17]Takagi Y,Asano T,Liu W,et al.Color Uniformity Evaluation of Electronic Displays Based on Visual Sensitivity[C].Frontiers of Computer Vision.IEEE,2011:1-5.

歐陽韜（1992-），男，湖南岳陽人，在讀碩士研究生，研究方向為機器視覺、圖像處理與模式識別

2017-08-01

2017-10-15

Defect Detection;Machine Vision;OLED

Image Detection Algorithm for Chromatic Defect of OLED Based on Machine Vision

OUYANG Tao

（School of Electronic Information and Electrical Engineering，Shanghai Jiao Tong University，Shanghai 200240）

OLED chromatic defect is defined as the low contrast,uneven color of the region on the panel,with the uneven brightness of the back?ground,gray-scale of each channel does not change obviously,so segmentation defects from the image based on the machine vision method is very difficult.Imitates the algorithm of detecting Mura defect,uses the surface fitting method of orthogonal polynomial to construct a background image,and then subtracts the original image from the background image.Gets the defective area,and because of the character?istics of the chromatic defect itself,proposes a method based on the periodic arrangement of panel pixels,and selects the real defects by set?ting the threshold.The experimental results show that the proposed method is effective for detecting defects,and the algorithm is simple,re?al-time and easy to implement.

缺陷檢測;機器視覺;OLED；曲面擬合

1007-1423（2017）0-0000-00

10.3969/j.issn.1007-1423.2017.0.0?