浮選氣泡NSCT域多尺度等效形態特征提取及識別

黃凌霄，廖一鵬

(1.陽光學院 人工智能學院，福建 福州 350015；2.福州大學 物理與信息工程學院，福建 福州 350108)

1 引 言

地球上的鐵、銅、鋅等礦物都需要經過精選處理后再利用，浮選法是最重要的處理方式，其中的核心部分是氣泡層，因此它在表層的特征與工業生產直接掛鉤[1-3]。傳統方式是通過眼睛觀察氣泡表面狀態來估計礦物品質，但這種方式效率不高、主觀性強、精確度較低，容易造成礦物的流失。隨著圖像處理技術的迅猛發展，通過計算機圖像識別技術，對氣泡表層圖像進行分析以預測選礦質量，獲得了廣泛地應用[4]。

浮選氣泡具有動態、連續、大量緊密靠近、無背景、尺寸不一且擁有難以察覺的邊緣等特點，導致氣泡提取困難。浮選氣泡的特征提取是狀態識別中最為關鍵的技術之一，圖像提取的效果很大程度上決定了分類識別率的高低。目前，國內外主要采用的方法是區域分割和邊緣檢測：區域分割方法采用改進的標記分水嶺分割算法提取氣泡[5-6]，不適用于不均勻氣泡。王衛星等[7]提出采用谷點邊界檢測氣泡算法，雖然檢測效率高，但參數需要人工干預。廖一鵬等[8]采用和聲搜索谷底檢測，提高了檢測率，但對于不均勻氣泡，采用全局最優參數魯棒性不強，且大氣泡存在偽邊界。通過圖像分割的方法獲得的特征，不具有多尺度，不夠全面完整。因此，尋找一種更精準全面的特征提取方法已成為模式識別的熱點方向之一。

近年來，研究者提出了一種較新的圖像邊緣檢測方法——多尺度幾何分析(Multiresolution Geometric Analysis， MGA)[9-10]，以達到更深層次、更全面地獲取圖像信息的目的。常用的方法有傅里葉變換、Gabor濾波、小波變換[11]、 Contourlet變換[12]及非下采樣Contourlet變換(Nonsubsampled Contourlet Transform，NSCT)[13-15]等。劉金平等[16]通過對浮選氣泡圖像進行Gabor小波變換，從而提取紋理特征，并對浮選工況進行模糊聚類分析與狀態識別，雖然小波變換能同時在時域和頻域對圖像數據進行多尺度分析，但缺乏形態學意義；彭濤等[17-18]將圖像二值化與小波多尺度分析相結合，通過小波多尺度二值化以獲取浮選氣泡圖像的等效尺寸特征，然后對浮選氣泡圖像進行分類，但提取的特征數不夠，且圖像的方向性有限，分解的圖像只能得到水平、垂直和對角線方向的子圖像，無法精確獲得圖像的邊緣信息；劉歡等[19]通過Contourlet變換提取出分形維的圖像特征，具有多方向性，對圖像的方向性紋理信息及輪廓具有高效的表示能力，但沒有平移不變性的，可能會導致“振鈴”現象的產生。非下采樣Contourlet變換具有Contourlet變換的多尺度多方向特性和平移不變性，進而可以有針對地提取浮選氣泡圖像的多尺度特征及細節信息。Li等[20]提出了一種在傳統神經網絡中引入量子旋轉門和受控非門的量子門節點神經網絡算法，構造新的網絡模型，再結合梯度下降算法進行參數優化，實驗表明，該算法很好地結合了神經網絡的分類識別特性和量子計算的并行特性，網絡的收斂速度更快，分類效果更好。

鑒于以上分析，本文提出一種NSCT域多尺度圖像特征提取與人工智能相結合的方法，實現了浮選氣泡圖像多尺度等效形態特征提取及狀態識別。首先，采用NSCT多尺度變換算法對浮選氣泡圖像進行分解，得到氣泡的多尺度圖像；采用模糊集二值化方法對低頻圖像進行亮點提取，計算出亮點個數、面積、標準差和橢圓率等形態特征；以方向模極大值為輸入，采用差分盒維法計算得到高頻多尺度圖像的分形維數；最后，將多尺度等效形態特征作為氣泡圖像狀態識別的輸入，利用量子門節點神經網絡對三類浮選氣泡圖像進行分類，并通過實驗對提出的方法進行了驗證。實驗結果表明，該方法能夠有效地區分三類浮選氣泡圖像，平均識別準確率較高。

2 NSCT變換

M.N.Do等提出了NSCT變換[21]，NSCT是一種新型的平移不變、多尺度、多方向性的變換，它是基于非下采樣金字塔(Nonsubsampled Pyramid，NSP)和非下采樣方向濾波器(Nonsubsampled Directional Filter Bank，NSDFB)的一種變換。氣泡進行NSCT分解流程如圖1所示，首先通過NSP對輸入圖像進行k次多尺度金字塔形分解，分解為1個低頻子帶圖像和k層高頻子帶圖像，再由NSDFB將高頻子帶圖像分解為2l個方向子帶。由圖可見，氣泡圖像的信息主要集中在低頻子帶，而高頻子帶主要體現了紋理和輪廓等信息。

圖1 浮選氣泡圖像的NSCT分解圖Fig.1 NSCT decomposition of flotation bubble image

3 NSCT域多尺度等效形態特征提取

3.1 模糊集二值化的低頻子帶特征提取

模糊技術作為非線性科學的一種基礎方法，不僅能夠充分依靠其魯棒性去除圖像灰度的不確定性，還能有效地減少背景中的干擾，適合解決工況浮選氣泡圖像質量差、噪聲多、邊緣不確定等問題。同時，基于模糊集技術的二值化方法可自動獲取最佳閾值，具有自適應性，滿足工況浮選圖像動態變化的要求。

3.1.1 模糊集和隸屬度函數[22]

首先，假定X為一張大小為M×N、具有L個色階的灰度圖像，xmn代表圖像X中點(m，n)的像素灰度值，定義從圖像X映射到[0，1]區間的模糊子集如下：

X={xmn，μX(xmn)}，

(1)

其中：μX(xmn)為點(m，n)的隸屬度值，0≤μX(xmn)≤1，m=0，1，…，M-1，n=0，1，…，N-1。

定義h(g)表示灰度級為g的像素的個數，對于給定的閾值t，背景和前景的色階平均值分別為μ0和μ1，則對于圖像二值化來說，則隸屬度函數可定義為：

(2)

其中：C為常數，可取C=gmax-gmin，gmax為最大色階，gmin為最小色階，C使得0.5≤μX(xmn)≤1。

3.1.2 模糊度的度量和最優閾值選取原則

模糊度表示了一個模糊集的模糊程度，本文使用香農熵函數來度量模糊度。一幅有L個色階的灰度圖像X的熵可以表達為：

(3)

對于圖像X，最佳的閾值選取原則是：按某種規則改變閾值t，計算模糊度，找到整個過程中最小模糊度對應的閾值t，即為最佳的分割閾值。該過程由算法自動完成，無需人為調整。

浮選氣泡圖像經過NSCT分解后得到多尺度子帶，采用模糊集二值化方法得到最佳的分割閾值，對低頻圖像進行處理，得到較為準確的氣泡二值化亮點圖像。然后對低頻子帶的亮點圖像進行等效形態尺寸特征提取和計算。假設求得二值圖像的亮點個數為N，則亮點的面積平均值、標準差分別為：

(4)

(5)

其中：i∈[1，2，…，N]，各個亮點的面積分別為S1，S2，…，SN。

區域的橢圓率是區域形狀的重要描述。假設區域對應的等效橢圓焦距為c，長半軸為a，則區域的橢圓率e=c/a。

對于灰度均勻的區域，橢圓率越大，則區域形狀越接近橢圓形，以此可以用來區分橢圓形亮點居多的黏性氣泡和另外兩類氣泡。

3.2 模極大值分形維數的高頻子帶特征提取

高頻子帶主要表示浮選氣泡的紋理、邊緣等細節信息，通過對比三種常用的紋理特征表示方法，灰度直方圖計算簡單，不夠精確；灰度共生矩陣的計算較復雜，且維度略高，降維處理會丟失許多圖像細節特征；分形維數只有一維，結合浮選氣泡圖像自相似的結構特點，本文使用分形維數表示高頻子帶圖像的紋理參數。

(6)

其中L為某尺度的方向數。進行方向模極大值判斷后，獲取高頻子帶的邊緣分量，將其作為輸入來計算分形維數，該方法相較于傳統的方法，提取的信息更豐富、更準確。

1975年，Benoit B.Mandelbrot認為自相似性的表面包含分形特征，提出將分形維數運用于圖像紋理分析。若M為n維歐氏空間中的有界集合，且可以表示為其自身的Nr個互不覆蓋的子集的并時，則M是自相似的且具有分形特征。M的分形維數D定義如下[23]：

(7)

其中：r是尺度大小，Nr表示集合M互不包含的子集個數。

本文采用差分盒維法計算分形維數。差分盒維法(Differential Box Counting，DBC)是由GANGEPAIN等[24]提出的一種計算分形維數的高效快速的方法。

分形維數算法要求圖像尺寸為2r，根據r值求得正方形區域的坐標，并提取該區域中的最大值和最小值；在不同的度量尺度r下，分別求得該尺度下的Nr，得到一組數據；對該組數據進行最小二乘法線性回歸，其斜率即為分形維數D。

4 量子門神經網絡狀態識別

4.1 量子位與量子門

量子是量子信息的計量單位，它可以同時處在兩個量子態的疊加態中，即：

|φ〉=α|0〉+β|1〉，|α|2+|β|2=1，

(8)

其中α和β稱為概率幅。

對量子位狀態進行變換，實現某些邏輯門的功能，稱在一定時間間隔內實現邏輯變換的裝置為量子門。目前量子門有很多種，選擇常用的量子旋轉門R(θ)和量子受控非門C(k)，定義如下：

(9)

(10)

其中：θ表示旋轉角，常數系數k∈[0，1]。

4.2 量子門神經網絡模型

量子門節點神經網絡[20]，是一種具有代表性的新型神經網絡[25-26]。原理如圖2所示，其中，|x1〉，|x2〉，…，|xn〉為輸入，|h1〉，|h2〉，…，|hp〉為隱層輸出，|y1〉，|y2〉，…，|yn〉為網絡輸出。

圖2 量子門節點神經網絡Fig.2 Quantum gated neural networks

令輸入樣本的量子態為：

(11)

根據量子旋轉門與多位受控非門可得：

(12)

(13)

(14)

(15)

其中θ和φ分別表示隱層幅角偏置矩陣和網絡輸出層幅角偏置矩陣。

圖3 梯度下降學習算法流程圖Fig.3 Gradient descent learning algorithm flow chart

假定以狀態|1〉作為實際輸出，則網絡各層的實際輸出為：

(16)

(17)

最后，結合梯度下降學習算法可以精確定位量子神經網絡隱含層幅角偏置矩陣θ和網絡輸出層幅角偏置矩陣φ的全局最優解，具體算法流程圖如圖3所示。

5 多尺度特征提取和識別步驟

浮選氣泡NSCT域多尺度等效形態特征提取及狀態識別的實現如圖4所示。

Step1：圖像NSCT變換：對浮選氣泡圖像進行灰度化；再采用NSCT方法對圖像進行多尺度多方向分解，得到1個低頻子帶和3個尺度8×3個方向的高頻子帶圖像。

Step2：圖像二值化：采用模糊集方法對低頻子帶圖像進行二值化，自動獲得最優閾值，得到較精確的低頻亮點圖像。

Step3：多尺度特征提?。禾崛《祷蟮牡皖l亮點圖像特征，包括亮點個數、平均面積、標準差及橢圓率；同時結合方向模極大值和差分盒維法，計算高頻子帶的分形維數(統計3個尺度8個方向的平均值)。

Step4：量子門節點神經網絡分類：將150張浮選氣泡圖像的尺寸大小及形態等多尺度特征值記錄下來，采用基于梯度下降算法的量子門節點神經網絡進行訓練及測試，統計分析得到分類結果的正確率。

圖4 算法流程圖Fig.4 Flowchart of proposed algorithm

6 實驗與分析

實驗以福建金東礦業股份有限公司的鉛礦浮選槽為對象。硬件平臺為AMD Ryzen 5 2500U顯卡為Radeon Vega Mobile Gfx 2.0 GHz，內存為8.00 GB，軟件環境為Windows 10 Matlab R2014b。通過大量的實驗以驗證算法的性能，并對實驗結果進行詳細地分析和對比。

圖5(a)為浮選氣泡圖像經NSCT分解得到低頻圖像如圖5(b)，高頻尺度1圖像(圖5(c))，高頻尺度2圖像兩個方向(圖5(d)和圖5(e))，高頻尺度3圖像4個方向(圖5(f)～圖5(i))。由圖可見，氣泡圖像的信息主要集中在低頻子帶，而高頻子帶主要體現氣泡的紋理、邊緣和輪廓等細節信息。

(a)原圖(a)Original image(b)低頻圖像(b)Low frequency image(c)尺度1圖像(c)1nd scale image

(d)尺度2方向1圖像(d)1st direction of 2nd scale(e)尺度2方向2圖像(e)2st direction of 2nd scale(f)尺度3方向1圖像(f)1st direction of 3nd scale

(g)尺度3方向2圖像(g)2st direction of 3nd scale(h)尺度3方向3圖像(h)3st direction of 3nd scale(i)尺度3方向4圖像(i)4st direction of 3nd scale圖5 浮選氣泡圖像NSCT分解Fig.5 NSCT decomposition of flotation bubble image

正常、黏性和水化三類氣泡圖像經NSCT分解后，得到正常氣泡原圖、低頻和高頻尺度1方向1圖像如圖5(a)～圖5(c)，黏性氣泡原圖、低頻和高頻尺度1方向1圖像如圖6(a)～圖6(c)， 水化氣泡原圖、低頻和高頻尺度1圖像如圖6(d)～圖6(f)。由圖可以看出，三類氣泡的尺寸大小和形態特征各不相同，通過NSCT變換后可以體現得更加明顯、直觀。

(a)黏性氣泡圖像(a)Viscous bubble image(b)黏性低頻氣泡圖像(b)Low frequency of viscous bubble(c)黏性尺度1氣泡圖像(c)1nd scale image of viscous bubble

(d)水化氣泡圖像(d)Hydration bubble image(e)水化低頻氣泡圖像(e)Low frequency of hydration bubble(f)水化尺度1氣泡圖像(f)1nd scale image of hydration bubble圖6 黏性氣泡和水化氣泡圖像多尺度分解Fig.6 Multiscale decomposition of viscous and hydration bubble images

NSCT變換后，采用模糊集方法對低頻子帶圖像(圖7(a))進行二值化處理，該方法可以針對不同的圖像自動調整閾值，得到較為精確的低頻二值化亮點圖像。將本文方法與全局閾值、Ostu閾值、迭代式閾值、分水嶺分割進行比較，圖7(b)是全局閾值實驗結果，該方法選取直方圖中波谷點的灰度值作為閾值，算法簡單，但分割效果不佳，不能如實反映亮點的個數和尺寸大小。圖7(c)和圖7(d)是Ostu閾值分割和迭代式閾值分割的實驗結果，這2種方法都是以最佳閾值實現分割的，雖然亮點基本都提取出來，但都出現了不同程度的亮點粘連，其中Ostu閾值分割是在灰度直方圖的基礎上采用最小二乘法實現的，而迭代式閾值分割方法是通過迭代的方法求出分割的最佳閾值，具有一定的適應性，所以其實驗結果比Ostu閾值分割方法好些。圖7(e)是分水嶺分割的實驗結果，該方法只能大體分割出圖像的區域，準確度較差。從本文方法的實驗結果(圖7(f))可以看出，該方法能準確分割出白色亮點，亮點數量和尺寸與氣泡大小一致。

圖7(g)～圖7(l)分別是正常氣泡、黏性氣泡和水化氣泡的原圖及提取的亮點圖，可以看出，本文的方法能準確分割出氣泡亮點。正常氣泡圖像亮點尺寸較大，形態大小分布較均勻；黏性氣泡圖像氣泡黏度很高，氣泡擠壓，甚至呈現長橢圓亮點；水化氣泡圖像以小尺寸的氣泡為主，流動性較強，氣泡分布密集。由圖可見，亮點圖像包含了氣泡圖像的大部分信息，為準確地進行形態特征提取打下基礎。

(e)分水嶺(e)Watershed(f)本文方法(f)Proposed method(g)正常氣泡(g)Normal bubble(h)正常氣泡二值化(h)Normal bubble binarization

(i)黏性氣泡(i)Viscous bubble(j)黏性氣泡二值化(j)Viscous bubble binarization(k)水化氣泡(k)Hydration bubble(l)水化氣泡二值化(l)Hydration bubble binarization圖7 二值化方法比較及三類氣泡實驗結果Fig.7 Binary method comparison and experimental results of three types bubbles

通過實驗得到三類圖像多尺度等效形態特征的直觀分布情況對比見圖8，統計情況如表1所示。圖8(a)和圖8(b)為低頻亮點圖像的4類等效尺寸形態特征，主要提取包括亮點個數、亮點平均面積、標準差及橢圓率等區域尺寸特征。從圖中可以看出，三類氣泡的4類特征都存在著較明顯的差異，其中水化氣泡的亮點個數與其他兩種類型的氣泡差異最大，區分性也最好；亮點平均面積和標準差的差異次之，但也有較好的區分性；黏性氣泡由于氣泡擠壓呈橢圓狀，橢圓率較大，通過該特征可以較好地與其他兩種氣泡區分開。

對原圖像進行3層多尺度分解，每個尺度的高頻子帶圖像再分解為8個方向子帶，采用模極大值和差分盒維法計算高頻子帶各方向的平均分形維數如圖8(c)所示(鑒于數據量的考慮，本文以3個方向為例)?？梢钥闯?，水化氣泡的模極大值分形維數較大，正常氣泡和黏性氣泡較小，相對于低頻亮點特征，高頻特征的差異性有所降低，但綜合低頻和高頻多尺度特征，還是能有效地區分三類圖像，有一定的區分度，可以更深層次、更全面地分析氣泡圖像，提高分類的準確率。

在相同的入礦條件下，從三種不同工況的浮選氣泡圖像中各挑出50張圖像，共150張。為不失一般性，采用隨機法產生訓練集與測試集，其中，訓練集為：在三類圖像中分別隨機選取40個樣本，共120個樣本，測試集為：剩余的30個樣本。所有樣本進行多尺度特征提取后，通過量子門節點神經網絡算法進行訓練和測試，所得結果與專家判斷對比，得到分類性能。

(a)低頻特征1(a)LF character 1(b)低頻特征2(b)LF character 2(c)模極大值分形維(c)Modular maximum Fractal dimension圖8 三類氣泡低頻和高頻形態特征對比Fig.8 Comparison of morphological characters of three types of bubbles at low and high frequencies

表1 三類氣泡形態特征統計數據(平均值)

其中一個樣本圖像(圖9(a))，按照圖4算法得到灰度化圖像(圖9(b))，再通過NSCT變換進行多尺度多方向分解，得到1個低頻圖像(圖9(c))，高頻尺度1方向1圖像(圖9(d))，高頻尺度2方向2圖像(圖9(e))，高頻尺度3方向3圖像(圖9(f))(每個尺度選取1個方向圖像)；再采用模糊集方法得到低頻子帶的亮點圖像(圖9(g))，并提取亮點圖像特征，分別為：亮點411個、平均面積32.8、標準差45.15和橢圓率0.63；結合方向模極大值和差分盒維法，計算出高頻子帶8個方向的分形維數分別為2.88、2.83、2.83、2.84、2.84、2.85、2.86和2.89；最后，經過量子門節點神經網絡測試后被識別為水化氣泡，結果與專家判斷一致，驗證了本算法的有效性。

(a)樣本圖像(a)Sample image(b)灰度化圖像(b)Grayscale image(c)低頻圖像(c)Low frequency image(d)尺度1方向1圖像(d)1st direction of 1nd scale

(e)尺度2方向2圖像(e)2st direction of 2nd scale(f)尺度3方向3圖像(f)3st direction of 3nd scale(g)亮點圖像(g)Highlight image圖9 樣本圖像NSCT分解及亮點提取Fig.9 NSCT decomposition and bright spot extraction of sample image

(18)

圖10、圖11為5類多尺度形態特征與分類正確率相關性結果。

相關系數的統計結果如表2所示。可以看出，低頻圖像特征：亮點個數、平均面積、橢圓率與氣泡分類的相關性較好，相關系數絕對值達0.7以上，標準差相關性一般；高頻圖像特征：模極大值分形維的相關性較低頻特征有所下降，相關系數絕對值約為0.5；其中平均面積、標準差與分類正確率呈正相關，其余特征呈負相關。

圖10 低頻形態特征與分類正確率的相關性Fig.10 Correlation between LF morphological characters and classification accuracy

圖11 分形維數與分類正確率的相關性Fig.11 Correlation between Fractal dimension and classification accuracy

表2 多尺度特征與分類正確率相關系數統計

為比較不同算法對三類浮選氣泡的分類性能，分別運用傳統算法、文獻[16]算法、文獻[17-18]算法、文獻[19]算法及本文算法進行氣泡分類，得到分類識別正確率，以此來衡量各類算法的性能，結果如表3所示。

表3 不同算法分類結果評價

由以上統計可以看出，傳統算法的特征是直接通過區域分割的方法得到的，不具有多尺度特征，而浮選氣泡的相似度很高，直接提取表面特征無法體現不同類氣泡的細節和差異信息，不具備可分性，識別正確率較低。文獻[16]算法和文獻[17-18]算法都是通過小波變換后再提取特征，較傳統算法有較大地提升，但由于小波變換很難完整獲取圖像多方向性的特征，所以識別正確率有局限，無法達到最好的狀態。文獻[19]算法采用Contourlet變換能夠更深入地提取局部特征，有較高的識別率，但提取的特征還不夠完整全面，且由于Contourlet變換可能會導致“振鈴”現象，穩定性不夠，識別率有一定浮動。而在本文算法中，結合多尺度等效形態特征可以有效地對浮選氣泡進行狀態識別，平均識別正確率達95.1%，較其他算法都更高，穩定度更高，可以滿足浮選工況動態變化的需求。

7 結 論

工況浮選氣泡圖像黏結無背景，氣泡邊界不明顯，相似度較高，對于不同的三類氣泡圖像，無法達到最好的狀態識別和分類。針對這一問題，提出一種基于NSCT域多尺度氣泡等效形態特征提取方法。通過對圖像進行NSCT域變換，得到多尺度、多方向圖像，低頻圖像通過模糊集二值化方法獲得亮點圖，提取出基于亮點的4類等效形態尺寸特征，高頻多尺度圖像提取了表征圖像輪廓和細節的模極大值分形維數作為特征參數，以多個等效形態特征作為輸入參數，再通過量子門節點神經網絡算法進行狀態識別和分類，實驗結果表明，本文所提取的多尺度特征有很高的區分性，準確性高，對分類產生了顯著作用，多類特征組合后的平均分類識別正確率達95.1%，能對三種類型浮選氣泡圖像進行有效地狀態識別。但是，算法中采用的NSCT分解，運算效率不高，因此如何降低算法的復雜度，提高運算效率和工況識別的實時性問題，仍需要進一步研究解決，這也是未來的研究方向。