基于局部二進(jìn)制模式的樂(lè)譜譜線檢測(cè)與刪除*

孟凡奧，李 鏘，申一汀，關(guān) 欣

天津大學(xué) 電子信息工程學(xué)院，天津 300072

基于局部二進(jìn)制模式的樂(lè)譜譜線檢測(cè)與刪除*

孟凡奧，李 鏘，申一汀，關(guān) 欣+

天津大學(xué) 電子信息工程學(xué)院，天津 300072

譜線檢測(cè)與刪除是光學(xué)樂(lè)譜識(shí)別中重要和關(guān)鍵的環(huán)節(jié)之一。在樂(lè)譜中，譜線往往與大多數(shù)符號(hào)交叉或重疊，即存在像素屬于譜線像素同時(shí)也屬于符號(hào)像素的情況，因此刪除譜線并且不破壞音樂(lè)符號(hào)并非易事。研究目標(biāo)是需要?jiǎng)h除僅僅屬于譜線的像素，觀察樂(lè)譜圖像可以發(fā)現(xiàn)譜線像素與非譜線像素局部紋理存在差異，主要表現(xiàn)為譜線像素的局部紋理與譜線寬度相關(guān)，簡(jiǎn)潔明了，而非譜線像素的局部紋理除了存在僅與自己本身相關(guān)的情況，還存在與交叉點(diǎn)相關(guān)的情況。因此，采用局部二進(jìn)制模式通過(guò)提取局部紋理特征，獲得譜線像素與非譜線像素局部紋理的差異，對(duì)譜線與非譜線像素進(jìn)行檢測(cè)分類(lèi)，進(jìn)而將譜線像素刪除。該方法不僅可以刪除理想狀態(tài)下樂(lè)譜譜線，對(duì)彎曲狀態(tài)下樂(lè)譜譜線同樣適用。實(shí)驗(yàn)結(jié)果證明了該方法在像素誤差、片段誤差等性能指標(biāo)上優(yōu)于現(xiàn)有常用方法。

譜線檢測(cè)與刪除；光學(xué)樂(lè)譜識(shí)別；局部紋理特征

1 引言

幾個(gè)世紀(jì)以來(lái)，音樂(lè)主要通過(guò)口口相傳和樂(lè)譜記錄這兩種方式傳播，其中樂(lè)譜作為音樂(lè)信息交流和傳承的載體具有重要意義。在數(shù)字化的今天，將紙質(zhì)樂(lè)譜保存為計(jì)算機(jī)能“讀懂”的二進(jìn)制數(shù)據(jù)是發(fā)展趨勢(shì)。為了實(shí)現(xiàn)傳統(tǒng)紙質(zhì)樂(lè)譜向數(shù)字樂(lè)譜的高速自動(dòng)轉(zhuǎn)換，光學(xué)樂(lè)譜識(shí)別（optical music recognition，OMR）技術(shù)產(chǎn)生[1]。OMR首要且重要的步驟是樂(lè)譜譜線的檢測(cè)與刪除。因?yàn)閷?duì)于大多數(shù)OMR系統(tǒng)需要將符號(hào)從譜線中分離出來(lái)，而樂(lè)譜中譜線的一個(gè)顯著特點(diǎn)是與絕大多數(shù)樂(lè)譜符號(hào)交叉或重疊，所以符號(hào)分離是一個(gè)障礙。目前分離最有效的方法是刪除譜線。

樂(lè)譜中符號(hào)種類(lèi)繁多，表現(xiàn)出的紋理特征各異，而譜線的主要特征是一組平行的水平線，紋理特征單一。由于紋理特征的不同，可以通過(guò)提取局部紋理特征，將譜線與非譜線元素分開(kāi)。

近年來(lái)，局部二值模式得到廣泛運(yùn)用[2]。局部二值模式（local binary pattern，LBP）是一種灰度范圍內(nèi)的紋理描述方式，它從一種紋理局部近鄰定義中衍生出來(lái)。本文提出基于局部二值模式的樂(lè)譜譜線檢測(cè)與刪除方法。

本文組織結(jié)構(gòu)如下：第2章簡(jiǎn)要回顧了已有的譜線檢測(cè)與刪除方法和LBP基本算子；第3章提出了基于局部二值模式的樂(lè)譜譜線檢測(cè)與刪除方法；第4章敘述性能指標(biāo)；第5章進(jìn)行對(duì)比實(shí)驗(yàn)并分析實(shí)驗(yàn)結(jié)果；第6章總結(jié)全文。

2 研究現(xiàn)狀與基本LBP算子

2.1 研究現(xiàn)狀

譜線檢測(cè)與刪除是很多OMR系統(tǒng)的基礎(chǔ)[1]。雖然有些研究者提出的樂(lè)譜識(shí)別算法并不需要?jiǎng)h除譜線[3-5]，但譜線的存在會(huì)打斷音符或者成為一個(gè)新的符號(hào)，這增加了音符的識(shí)別難度。為了有效并準(zhǔn)確識(shí)別音符，檢測(cè)并刪除譜線是必要的。

譜線檢測(cè)常見(jiàn)方法可分為兩類(lèi)[6]：（1）基于統(tǒng)計(jì)變換的方法，例如水平投影[7]和Hough變換[8]等。統(tǒng)計(jì)變換方法具有抗噪聲能力強(qiáng)的特點(diǎn)，但當(dāng)譜線出現(xiàn)變形等不具有嚴(yán)格的直線形態(tài)時(shí)，會(huì)出現(xiàn)失效情況。（2）基于結(jié)構(gòu)特征搜索的方法，如游程分析法[9]、行鄰圖法[10]、特征點(diǎn)DP匹配法[11]和路徑搜索法[12]等。結(jié)構(gòu)搜索方法具有較強(qiáng)的抗變形能力，但是過(guò)于依賴(lài)譜線的局部細(xì)節(jié)，容易受到噪聲的干擾。

刪除譜線的過(guò)程中不能破壞符號(hào)的完整性，目前有多種刪除譜線的方法[13]。直線檢測(cè)法[14]先檢測(cè)到譜線的骨架，接著刪除圍繞在骨架點(diǎn)周?chē)牟粚儆诮徊嬉舴拇怪焙谏纬獭Ｓ袃煞N方法實(shí)現(xiàn)：第一種方法檢查骨架點(diǎn)的垂直黑色游程是否超過(guò)兩倍的譜線高度[15]；第二種方法利用角度來(lái)計(jì)算通過(guò)骨架點(diǎn)的弦的長(zhǎng)度，生成“角度-長(zhǎng)度”直方圖，如果直方圖中只有一個(gè)峰值且出現(xiàn)在附近，表示觀測(cè)點(diǎn)為譜線像素可安全刪除，如果存在多個(gè)峰值則保留該點(diǎn)[16]。

Roach和Tatem[17]使用一個(gè)基于角度信息和鄰接像素的標(biāo)簽去分辨譜線像素。這樣就獲得了水平方向的線像素，其中有些像素是屬于符號(hào)的，為了避免刪除在譜線上符號(hào)的像素，一些水平方向的線像素會(huì)根據(jù)自身周?chē)袼氐臉?biāo)簽重新迭代，標(biāo)記為非水平方向的像素，最終刪除所有水平方向的像素。

Carter等人[10]使用行鄰圖方法將樂(lè)譜圖像進(jìn)行分割。譜線片段尋找明顯的水平片段，然后垂直連接與水平方向有重疊并且有一個(gè)垂直的距離大約是譜線間距的片段。這些片段通過(guò)水平外推與其他片段水平連接，最終譜線片段的結(jié)果集不包含符號(hào)，因而可以被直接刪除。除了上述幾種方法，近幾年研究人員還提出灰度域方法[18]、機(jī)器學(xué)習(xí)方法[19-20]和形態(tài)學(xué)方法[21-22]等。

2.2 基本LBP算子

局部二值模式最早是由Ojala等人[23]提出的，能很好地提取圖像的局部紋理特征，近年來(lái)被廣泛地用于紋理分類(lèi)、人臉圖像分析等領(lǐng)域。局部二值模式是一種能夠有效地度量和提取圖像局部及全局紋理信息的算子。最基本的LBP算子的定義如下[24]：

在一個(gè)3×3的窗口，以中心像素點(diǎn)的灰度值為閾值，將相鄰的8個(gè)像素點(diǎn)的灰度值與其進(jìn)行比較。圖像中某個(gè)像素為中心點(diǎn)gc，周?chē)?個(gè)像素點(diǎn)為g0,g1,…,g7，則這個(gè)局部區(qū)域的紋理T的分布可定義為局部區(qū)域內(nèi)像素灰度的聯(lián)合分布密度：

局部區(qū)域的紋理可以用中心點(diǎn)和其周邊點(diǎn)像素的值之差的聯(lián)合分布來(lái)表示：

改寫(xiě)為：

由于t(gc)只是描述了整個(gè)圖像的亮度分布情況，而跟圖像的局部紋理無(wú)關(guān)，可以忽略不計(jì)：

只考慮差值的符號(hào)得：

通過(guò)式（5）和（6）得到一個(gè)8位的二進(jìn)制數(shù)，對(duì)像素不同位置進(jìn)行加權(quán)求和，即得到以(xc,yc)為中心點(diǎn)的LBP值：

這個(gè)LBP值可以反映以該像素點(diǎn)為中心的3×3方形區(qū)域的紋理信息。這種基本LBP算子被稱(chēng)作LBP/C，對(duì)比度分量C是鄰域中所有大于等于中心點(diǎn)像素的均值與其余像素的均值之差，如圖1所示。

Fig.1 Original LBP operator圖1 基本LBP算子

3 基于局部二進(jìn)制模式的譜線檢測(cè)與刪除

3.1 本文的LBP算子

對(duì)于基本的LBP算子，本文結(jié)合樂(lè)譜圖像內(nèi)容特點(diǎn)進(jìn)行了改進(jìn)，對(duì)于經(jīng)過(guò)二值化處理的樂(lè)譜圖像，在一個(gè)3×3的窗口，以黑色像素點(diǎn)的灰度值0為閾值，將相鄰的8個(gè)像素點(diǎn)的灰度值與其進(jìn)行比較。若等于中心灰度值則標(biāo)記1，否則標(biāo)記0。這樣一來(lái)，產(chǎn)生了總數(shù)為8的若干1或0，不設(shè)加權(quán)直接將所有值相加，即可得到該窗口的LBP值。

3.2 理想樂(lè)譜譜線的刪除

在理想樂(lè)譜圖像中，一條五線譜譜線寬度所占像素為3個(gè)像素，如圖2所示。

Fig.2 Ideal music score and width of staff line pixel圖2 理想樂(lè)譜與譜線寬度像素

在3×3的窗口下，假設(shè)中心像素的坐標(biāo)為(xc,yc)，當(dāng)譜線寬度占3個(gè)像素時(shí)，可以看到在中心像素點(diǎn)左右存在8個(gè)像素點(diǎn)與之灰度值相等，因此中心像素點(diǎn)的LBP值為8。

考慮到譜線所在像素的LBP值與非譜線像素的LBP值存在相同的情況，在一個(gè)5×5的窗口中，判斷中心點(diǎn)上下兩點(diǎn)(xc,yc-2)和(xc,yc+2)是否為白色，若是則刪除中心點(diǎn)及上下兩點(diǎn)。具體流程如圖3所示。

Fig.3 Flow chart of staff line detection and removal method based on local binary patterns圖3 基于局部二值模式的譜線檢測(cè)與刪除方法流程圖

3.3 非理想樂(lè)譜譜線的刪除

在非理想樂(lè)譜圖像中，樂(lè)譜的譜線所占像素可能少于或多于3個(gè)像素，整個(gè)樂(lè)譜也可能出現(xiàn)彎曲等現(xiàn)象，對(duì)于這幾類(lèi)非理想情況，本文方法也可以很好地解決。

（1）譜線寬度小于理想譜線寬度（如圖4）

①當(dāng)譜線寬度占一個(gè)像素時(shí)，可以看到僅僅在中心像素點(diǎn)左右存在兩個(gè)像素點(diǎn)與之灰度值相等，因此中心點(diǎn)(xc,yc)的LBP值為2。若點(diǎn)(xc,yc-1)、(xc,yc-2)、(xc,yc+1)和(xc,yc+2)均為白色。則刪除中心點(diǎn)(xc,yc)。

Fig.4 The width of staff line pixel is less than ideal one圖4 譜線像素寬度小于理想譜線像素寬度

②當(dāng)譜線寬度占兩個(gè)像素時(shí)，可以看到在中心像素點(diǎn)周?chē)嬖?個(gè)像素點(diǎn)與之灰度值相等，因此中心點(diǎn)(xc,yc)的LBP值為5。若中心點(diǎn)下方點(diǎn)(xc,yc+1)的LBP值為5，并且點(diǎn)(xc,yc-1)、(xc,yc-2)、(xc,yc+2)和(xc,yc+3)均為白色，則刪除中心點(diǎn)(xc,yc)與其下方點(diǎn)(xc,yc+1)。

（2）譜線寬度大于理想譜線寬度（如圖5）

Fig.5 The width of staff line pixel is larger than ideal one圖5 譜線像素寬度大于理想譜線像素寬度

當(dāng)譜線寬度占4個(gè)像素時(shí)，可以看到存在兩種情況，LBP值分別為5和8。設(shè)LBP值是8的點(diǎn)為中心點(diǎn)(xc,yc)，若點(diǎn)(xc,yc+1)的LBP值為8，點(diǎn)(xc,yc-1)和(xc,yc+2)的LBP值為5，并且點(diǎn)(xc,yc-2)和(xc,yc+3)均為白色，則刪除點(diǎn)(xc,yc)、(xc,yc-1)、(xc,yc+1)和(xc,yc+2)。

這兩種譜線寬度與理想樂(lè)譜譜線寬度不一致時(shí)，與上一節(jié)刪除方法相同，只需要通過(guò)不同的LBP值和約束條件，判斷像素點(diǎn)是否為譜線像素即可。

（3）譜線彎曲

樂(lè)譜在掃描等圖像采集過(guò)程中，由于紙張的厚度或是其他原因，造成樂(lè)譜彎曲的現(xiàn)象時(shí)常發(fā)生。從整體看譜線是彎曲的，但從小范圍觀察，彎曲的譜線是由一小段直線構(gòu)成，如圖6所示。直線部分刪除條件同理想情況，但刪除后會(huì)殘留，接著判斷若中心點(diǎn)(xc,yc)與斜下方點(diǎn)(xc+1,yc+1)或是(xc,yc)與斜上方點(diǎn)(xc-1,yc-1)的LBP值同時(shí)為4，則刪除點(diǎn)(xc,yc)與(xc+1,yc+1)及上下兩點(diǎn)或是(xc,yc)與(xc-1,yc-1)及上下兩點(diǎn)。

Fig.6 Pixel distribution of curved score staff lines圖6 彎曲樂(lè)譜譜線的像素分布

4 誤差測(cè)度

為了統(tǒng)一觀測(cè)這些譜線檢測(cè)與刪除方法的表現(xiàn)，本文使用像素和片段區(qū)域誤差測(cè)度[13]。

4.1 像素誤差

譜線刪除問(wèn)題在像素層面可以被看成是一個(gè)二分類(lèi)的問(wèn)題（譜線像素和非譜線像素），使用如下公式計(jì)算：

4.2 片段區(qū)域誤差

譜線刪除也可以被看成是一個(gè)分割問(wèn)題，把譜線片段從符號(hào)片段里分割出來(lái)，使用如下公式計(jì)算：

譜線片段錯(cuò)誤分類(lèi)如表1所示。

Table 1 Classification of staff segment errors表1 譜線片段錯(cuò)誤分類(lèi)

4.3 統(tǒng)計(jì)分析方法

用合適的統(tǒng)計(jì)分析方法對(duì)于一個(gè)對(duì)比分析的評(píng)估來(lái)說(shuō)是必要的。Mao和Kanungo[25]提出了一個(gè)成對(duì)模型方法。對(duì)于一個(gè)真實(shí)差的置信區(qū)間Δii′在給定的置信程度α下的結(jié)果為：

其中，n是測(cè)試樂(lè)譜數(shù)量；是樣本均值；是樣本方差；tα/2,n-1是n-1自由度的t分布的百分位。

為了測(cè)試誤差測(cè)度對(duì)于算法之間是否是統(tǒng)計(jì)上的差異，假設(shè) Δii′=0 ，且，n-1的自由度的t分布的概率密度函數(shù)為f(t)，得：

5 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)所用的數(shù)據(jù)庫(kù)是文獻(xiàn)[13]提供的，包含32個(gè)樂(lè)譜圖像，其中理想譜線樂(lè)譜15個(gè)，非理想譜線樂(lè)譜17個(gè)。本文使用的彎曲樂(lè)譜圖像是通過(guò)文獻(xiàn)[13]中的方法將理想樂(lè)譜圖像變換得到的，即通過(guò)正弦波的幅度與譜線寬度之比得到曲率，將理想樂(lè)譜圖像轉(zhuǎn)變成彎曲程度不同的圖像，彎曲的曲率參數(shù)為：

如圖7所示本文方法在譜線彎曲時(shí)能很好地刪除譜線。

Fig.7 Curved music score(fragment)and symbol image圖7 彎曲的樂(lè)譜（片段）和刪除譜線的音符圖

表2和表3分別展示的是本文方法與其他4種方法的關(guān)于像素和片段誤差的成對(duì)模型分析。表中的負(fù)值代表本文方法比對(duì)比方法好。從表中可以看出，本文方法對(duì)于像素和片段誤差在相同的數(shù)據(jù)庫(kù)條件下表現(xiàn)較好。從圖8中可以看到，本文方法在高音譜號(hào)、符橋等細(xì)節(jié)方面比其他方法有很好的表現(xiàn)。圖9所示為不同方法對(duì)不同彎曲程度的樂(lè)譜處理的像素誤差對(duì)比圖，從圖中可以看出本文方法處理效果好于對(duì)比方法。

Table 2 Paired model results for pixel error on same test set表2 相同測(cè)試集下成對(duì)模型對(duì)比像素誤差結(jié)果

Fig.8 Results of different staff removal methods圖8 不同譜線刪除方法細(xì)節(jié)結(jié)果

Table 3 Paired model results for segmentation error on same test set表3 相同測(cè)試集下成對(duì)模型對(duì)比片段誤差結(jié)果

Fig.9 Pixel error of different methods on different curvatures圖9 不同方法不同彎曲程度的像素誤差對(duì)比圖

6 總結(jié)

本文提出了一種利用局部紋理信息來(lái)檢測(cè)與刪除樂(lè)譜譜線的方法。實(shí)驗(yàn)結(jié)果表明本文方法在相同條件下效果優(yōu)于其他方法，并且對(duì)于彎曲的樂(lè)譜也能很好地刪除譜線。

[1]Rebelo A,Fujinaga I,Paszkiewicz F,et al.Optical music recognition:state-of-the-art and open issues[J].International Journal of Multimedia Information Retrieval,2012,1(3):173-190.

[2]Huang Feifei.Research on face recognition based on LBP operator[D].Chongqing:Chongqing University,2009.

[3]Bellini P,Bruno I,Nesi P.Optical music sheet segmentation[C]//Proceedings of the 1st International Conference on Web Delivering of Music,Florence,Italy,Nov 23-24,2001.Washington:IEEE Computer Society,2001:183-191.

[4]Pugin L.Optical music recognitoin of early typographic prints using hidden Markov models[C]//Proceedings of the 7th International Conference on Music Information Retrieval,Victoria,Canada,Oct 8-12,2006:53-56.

[5]Sheridan S,George S E,Sheridan S,et al.Defacing music score for improved recognition[C]//Proceedings of the 2nd Australian Undergraduate Students’Computing Conference,2004:1-7.

[6]Liu Xiaoxiang,Zhou Mi,Chen Shuangping.Key issues and solutions of optical music recognition[J].Computer Simulation,2015,32(7):253-258.

[7]Szwoch M.Guido:a musical score recognition system[C]//Proceedings of the 9th International Conference on Document Analysis and Recognition,Curitiba,Brazil,Sep 23-26,2007.Washington:IEEE Computer Society,2007:809-813.

[8]Chen Genfang,Zhang Liyin,Zhang Wenjun,et al.Detecting the staff-lines of musical score with Hough transform and mathematical morphology[C]//Proceedings of the 2010 International Conference on Multimedia Technology,Ningbo,China,Oct 29-31,2010.Piscataway,USA:IEEE,2010:443-446.

[9]Fujinaga I.Staff detection and removal[M]//George S E.Visual Perception of Music Notation:On-Line and Off Line Recognition.Hershey,USA:IGI Global,2004:1-39.

[10]Carter N P,Bacon R A.Automatic recognition of printed music[M]//Baird H S,Bunke H,Yamamoto K.Structured Document Image Analysis.Berlin,Heidelberg:Springer,1992:456-465.

[11]Miyao H,Okamoto M.Stave extraction for printed music scores using DP matching[J].Journal of Advanced Computational Intelligence and Intelligent Informatics,2004,8:208-215.

[12]Dos S C J,Capela A,Rebelo A,et al.Staff detection with stable paths[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(6):1134-1139.

[13]Dalitz C,Droettboom M,Pranzas B,et al.A comparative study of staff removal algorithms[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2008,30(5):753-766.

[14]Bainbridge D,Bell T C.Dealing with superimposed objects in optical music recognition[C]//Proceedings of the 6th International Conference on Image Processing and Its Applications,Dublin,Ireland,Jul 14-17,1997:756-760.

[15]Randriamahefa R,Cocquerez J P,Fluhr C,et al.Printed music recognition[C]//Proceedings of the 2nd International Conferenceon Document Analysis and Recognition,Tsukuba City,Japan,Oct 20-22,1993.Piscataway,USA:IEEE,1993:898-901.

[16]Martin P,Bellissant C.Low-level analysis of music drawing images[C]//Proceedings of the 1st International Conference on Document Analysis and Recognition,Saint-Malo,France,Sep 30-Oct 2,1991.Amsterdam:Elsevier Science Publishers,1991:417-425.

[17]Roach J W,Tatem J E.Using domain knowledge in low-level visual processing to interpret handwritten music:an experiment[J].Pattern Recognition,1988,21(1):33-44.

[18]Rebelo A,Cardoso J S.Staff line detection and removal in the grayscale domain[C]//Proceedings of the 12th International Conference on Document Analysis and Recognition,Washington,Aug 25-28,2013.Washington:IEEE Computer Society,2013:57-61.

[19]Montagner I D S,Hirata R,Hirata N S T.A machine learning based method for staff removal[C]//Proceedings of the 22nd International Conference on Pattern Recognition,Stockholm,Sweden,Aug 24-28,2014.Washington:IEEE Computer Society,2014:3162-3167.

[20]Calvo-Zaragoza J,Micó L,Oncina J.Music staff removal with supervised pixel classification[J].International Journal on DocumentAnalysis and Recognition,2016,19(3):211-219.

[21]Géraud T.A morphological method for music score staff removal[C]//Proceedings of the 21st International Conference on Image Processing,Paris,Oct 27-30,2014.Piscataway,USA:IEEE,2014:2599-2603.

[22]Montagner I S,Hirata R,Hirata N S T.Learning to remove staff lines from music score images[C]//Proceedings of the 2014 International Conference on Image Processing,Paris,Oct 27-30,2014.Piscataway,USA:IEEE,2014:2614-2618.

[23]Ojala T,Harwood I.A comparative study of texture measures with classification based on feature distributions[J].Pattern Recognition,1996,29(1):51-59.

[24]Ojala T,Pietik?inen M.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-987.

[25]Mao Song,Kanungo T.Empirical performance evaluation methodology and its application to page segmentation algorithms[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(3):242-256.

附中文參考文獻(xiàn):

[2]黃非非.基于LBP的人臉識(shí)別研究[D].重慶:重慶大學(xué),2009.

[6]劉曉翔,周密,陳雙平.樂(lè)譜識(shí)別關(guān)鍵技術(shù)問(wèn)題及其解決方案[J].計(jì)算機(jī)仿真,2015,32(7):253-258.

Staff Detection and Removal Based on Local Binary Patterns*

MENG Fan'ao,LI Qiang,SHEN Yiting,GUAN Xin+

School of Electronic and Information Engineering,Tianjin University,Tianjin 300072,China

2016-08,Accepted 2016-12.

Staff detection and removal are important and fundamental stages in many optical music recognition(OMR)systems.In scores,staff lines cross or overlap with the majority of symbols,that is,the pixels belong to the staff lines pixels and also belong to the symbol pixels,so it is not easy to remove the staff lines not destroying the music symbol.The purpose is to remove the pixels that only belong to the staff lines.By observing the music image,it can be found that the local texture of the staff pixel is different from that of the non-staff pixel.The local texture of the staff pixel is related to the width of staff line,and the local texture of the non-staff pixel is not only related to its own situation,but also there is a situation associated with the intersection.Therefore,this paper uses the local binary pattern to extract the local texture feature,and obtains the difference of the local texture between the staff line pixel and the non-staff line pixel.Then this paper detects and classifies the pixels of staff line and non-staff line,and removes the staff line pixels.The method proposed in this paper can not only delete the music line under the ideal state,but also apply to the curve of the music score.And the experimental results show that the proposed method is better than the existing methods on pixel error and segment error.

staff detection and removal;optical music recognition;local texture feature

+Corresponding author:E-mail:guanxin@tju.edu.cn

10.3778/j.issn.1673-9418.1608085

*The National Natural Science Foundation of China under Grant Nos.61101225,60802049,61471263(國(guó)家自然科學(xué)基金);the Natural Science Foundation of Tianjin under Grant No.16JCZDJC31100(天津市自然科學(xué)基金).

CNKI網(wǎng)絡(luò)優(yōu)先出版:2016-12-21,http://www.cnki.net/kcms/detail/11.5602.TP.20161221.1128.004.html

MENG Fan'ao,LI Qiang,SHEN Yiting,et al.Staff detection and removal based on local binary patterns.Journal of Frontiers of Computer Science and Technology,2017,11(12)：2015-2022.

A

TP391.4

MENG Fan'ao was born in 1991.He is an M.S.candidate at Tianjin University.His research interest is optical music recognition.

孟凡奧（1991—），男，安徽合肥人，天津大學(xué)人工智能實(shí)驗(yàn)室碩士研究生，主要研究領(lǐng)域?yàn)楣鈱W(xué)樂(lè)譜識(shí)別。

LI Qiang was born in 1974.He received the Ph.D.degree in signal and information processing from Tianjin University in 2003.Now he is a professor and Ph.D.supervisor at Tianjin University.His research interests include intelligence information processing,filter design,digital system and micro-system design,etc.

李鏘（1974—），男，山西太原人，2003年于天津大學(xué)獲得博士學(xué)位，現(xiàn)為天津大學(xué)教授、博士生導(dǎo)師，主要研究領(lǐng)域?yàn)橹悄苄畔⑻幚恚瑸V波器設(shè)計(jì)，數(shù)字系統(tǒng)和微系統(tǒng)設(shè)計(jì)等。

SHEN Yiting was born in 1994.She is an M.S.candidate at Tianjin University.Her research interest is digital image processing.

申一汀（1994—)，女，陜西寶雞人，天津大學(xué)碩士研究生，主要研究領(lǐng)域?yàn)閿?shù)字圖像處理。

GUAN Xin was born in 1977.She received the Ph.D.degree from Tianjin University in 2009.Now she is a lecturer at Tianjin University.Her research interests include music information retrieval,statistical learning and information processing,etc.

關(guān)欣（1977—），女，河北石家莊人，2009年于天津大學(xué)獲得博士學(xué)位，現(xiàn)為天津大學(xué)講師，主要研究領(lǐng)域?yàn)橐魳?lè)信息檢索，統(tǒng)計(jì)學(xué)習(xí)，信息處理等。