基于質心?凸包?自適應聚類法的浮選泡沫動態特征提取

文章編號：1671?251X（2024）08?0151?10 DOI：10.13272/j.issn.1671-251x.18182

關鍵詞：浮選泡沫動態特征；泡沫圖像；泡沫質心定位；泡沫崩塌區域識別；特征點對匹配；主特征自適應聚類

中圖分類號：TD94 文獻標志碼：A

0引言

浮選是一種復雜的分選工藝，對浮選過程的量化評價涉及多個關鍵特征，其中浮選泡沫動態特征（流動速度和崩塌率）對于解析和評估浮選過程尤為重要。泡沫流動速度揭示了礦漿中的礦物含量、pH 值和濃度等條件；崩塌率則是評估泡沫穩定性的重要指標。當前浮選現場依賴于操作工人的主觀經驗估計泡沫動態特征，存在較大的誤判風險。運用機器視覺技術實時、準確地從泡沫圖像中定量提取泡沫動態特征[1-3]，是優化浮選過程、提升浮選精度的關鍵[4-6]。

在對浮選泡沫動態特征進行量化提取的研究中，識別并劃定每個泡沫的動態特征采樣區域、盡可能全面地匹配相鄰幀圖像間的泡沫特征點對、識別圖像中的崩塌區域是3 個主要的研究難點。在泡沫動態特征采樣區域劃定方面：文獻[7]基于聚類預分割和高低精度距離重構技術，提出了泡沫圖像分水嶺分割方法；文獻[8]運用Retinex 進行泡沫光照補償，引入多尺度幾何分析改善泡沫對比度低、受噪聲和光照影響等情況，提出了面向參數測量的泡沫圖像分割方法；文獻[9]設計了一種基于神經網絡的泡沫分割算法，通過多尺度特征提取和改進自注意力機制，提高了浮選泡沫圖像分割的精度和效率。在相鄰幀特征點對匹配方面：文獻[10]通過尺度不變特征轉換（Scale-Invariant Feature Transform，SIFT）方法，較準確地提取出部分泡沫的速度特征；文獻[11]采用限制對比度自適應直方圖均衡化（Contrast LimitedAdaptive Histogram Equalization，CLAHE）和三維塊匹配濾波（Block-Matching and 3D filtering，BM3D）的組合方法對浮選泡沫圖像進行預處理，并使用加速KAZE（Accelerated-KAZE，AKAZE）和基于網格的運動統計（Grid-based Motion Statistics，GMS）算法進行特征點對匹配，利用卡爾曼運動估計法對所求的泡沫流動速度進行修正；文獻[12]使用抗尺度快速變化和具有旋轉不變性的模板匹配算法，并結合宏塊跟蹤技術和二維拉格朗日曲面插值法，實現了像素級和亞像素級的泡沫流動速度的估計。在崩塌區域識別方面：文獻[13]通過比較連續圖像中的灰度差異以識別泡沫圖像中的崩塌區域；文獻[14]通過比較相鄰2 幀圖像特定區域的面積變化，來判斷泡沫圖像中的崩塌區域。

然而現有浮選泡沫動態特征提取方法存在以下局限：① 在劃定泡沫動態特征采樣區域時依賴于對泡沫完整邊界的分割，這僅適用于具有清晰邊界的較大泡沫。在實際工業應用中，惡劣的現場環境及泡沫自身相互粘連的屬性使得泡沫往往缺乏清晰的形態學邊界，導致通過完整分割所有泡沫邊界的方式常出現無法形成封閉動態特征采樣區域的情況。② 受光照不均、噪聲干擾、設備振動及運動模糊等因素影響，可檢測到的相鄰幀間特征點對數量有限。③ 工業現場圖像采集區域光照變化對圖像灰度值造成顯著影響，加劇了崩塌區域識別的難度。因此，本文提出了一種基于質心?凸包?自適應聚類法的浮選泡沫動態特征提取方法。該方法通過改進的Mask2Former 準確定位所有泡沫質心位置并識別崩塌區域，利用最優凸包評價函數劃定每個待求泡沫的動態特征采樣區域，運用基于Transformer 的局部圖像特征匹配（Local Features Matching with Transformer，LoFTR）算法[15]穩定匹配相鄰幀特征點對，并結合自適應聚類法提取每個泡沫動態特征采樣區域內部的主要流動速度。

1方法原理

基于質心?凸包?自適應聚類法的浮選泡沫動態特征提取方法原理如圖1 所示。泡沫質心分類定位與崩塌區域識別模塊通過Swin?Transformer[16]提取泡沫圖像的多尺度特征圖，訓練查詢（Query）向量在多尺度特征圖中查找所有可能的泡沫質心位置及發生崩塌的區域信息。最優凸包搜尋定域模塊通過遍歷每個泡沫質心，利用最優凸包評價函數查找由鄰近泡沫質心構成的最能擬合此泡沫邊界的凸包，通過對凸包區域的縮放獲得此泡沫的動態特征采樣區域。動態特征點對提取模塊采用自注意力和交叉注意力的方式進行相鄰幀泡沫圖像間信息的交互，并采用由粗粒度至細粒度的特征點對匹配策略全面搜尋相鄰幀間特征點對。通過計算特征點對間的距離和偏轉角度，結合最優凸包為每個泡沫劃定的動態特征采樣區域，在劃定的邊界內部運用主特征自適應聚類模塊獲得區域內最具代表性的泡沫流動速度。

1.1泡沫質心分類定位與崩塌區域識別模塊

為通過單一網絡同時實現不同類型泡沫質心的精確定位及崩塌區域的識別，在Mask2Former[17]的基礎上進行改進，選擇具有細粒度特征感知能力的Swin?Transformer 作為特征提取網絡，獲得多尺度、多層級的特征表示。借助可學習的Query 向量，在像素解碼器重構后的多尺度特征圖中高效搜尋關鍵質心位置信息。Transformer 解碼器部分結合掩碼注意力機制，生成掩碼圖，有效屏蔽背景干擾，聚焦于關鍵區域。進而，通過解耦輸出的方式并行執行類別分類與區域預測任務，通過對掩碼圖和經過多重注意力層重構的Query 進行點積運算，精確識別出多個關鍵位置，包括散點區域（普通泡沫質心、較小泡沫質心）與成片區域（崩塌區域、不成泡區域等）。

在網絡學習過程中，由于普通泡沫質心、較小泡沫質心類型在正常工況下的標簽數量會遠多于不成泡區域和崩塌區域類型的標簽數量，有標簽區域的像素數也遠小于不存在標簽的背景區域的像素數，導致網絡很容易傾向于對無標簽的背景區域及存在更多數量標簽的類別過度學習，掩蓋了較少數量標簽的類別，不利于整體定位性能。因此，本文設計了一種帶權重的聯合損失函數，旨在平衡樣本類別間的數量差異，提升對稀少類別的識別能力。該損失函數結合了二元交叉熵損失、Dice損失和分類交叉熵損失，其中二元交叉熵損失和Dice 損失增強對標簽區域的識別能力，分類交叉熵損失優化類別預測的準確性。通過引入類別權重因子，有效緩解類別不平衡問題，增強對于不同類型和不同區域學習的均衡性。此外，對于大多數背景區域無標簽的問題，結合PointRend[18]的策略，僅在關鍵采樣點上進行計算，顯著降低計算量。

最優凸包評價函數的設計旨在通過關注凸包特定的幾何屬性，確保動態特征采樣區域能準確地捕捉目標泡沫的邊界特征。該評價函數設計要點：① 選擇頂點數量更多的凸包，因為包含更多頂點的凸包能夠更細致地擬合目標泡沫的邊界，從而提升動態特征采樣區域劃定的精準度。② 最小化凸包內角方差，有助于保證凸包頂點均勻分布在目標泡沫質心周圍，從而使動態特征采樣區域形狀更規整，避免因頂點分布不均導致的區域偏斜或失真。③ 最大化凸包面積，旨在覆蓋更廣泛的區域，以便捕獲更加豐富的泡沫特征。④ 每個特征項有其獨立的優化標準，且這些特征項之間存在一定的權衡關系，通過共同優化這些特征項，有效引導搜索最符合目標泡沫實際邊界的動態特征采樣區域。⑤ 為消除不同特征項之間的量綱差異，使用最大?最小歸一化策略，且各特征項的權重可根據實際需求進行動態調整，以適應不同泡沫的復雜性。最優凸包搜尋定域模塊偽代碼如下。

1.3動態特征點對提取模塊

在動態特征點對提取模塊中，準確識別盡可能多的特征點對是關鍵。由于泡沫圖像紋理特征不明顯、背景單一，傳統特征匹配方法在此情景下往往失效。本文采用LoFTR 算法進行相鄰幀間特征點對匹配，借鑒人類視覺的處理機制，通過結合自注意力和交叉注意力機制，獲得全局感受野，實現像素級密集匹配，顯著提高在低紋理、背景單一圖像中的匹配效率。首先輸入2 幀相鄰的泡沫圖像，利用ResNet 提取多尺度特征圖，并將不同尺度特征圖分別送入不同的分支進行處理，其中較低分辨率的特征圖通過迭代應用自注意力和交叉注意力機制，每個點與其全局環境和相鄰幀圖像中的所有點建立聯系，從而構建粗粒度匹配得分概率矩陣。然后利用相互最近鄰（Mutual Nearest Neighbor，MNN）與置信度篩選機制，篩選出互為最高置信度匹配對，同時滿足置信度閾值要求。粗粒度匹配的特征點對隨后被映射回原始尺寸的特征圖中，進而送入細粒度匹配模塊再次進行自注意力和交叉注意力操作，以精確計算區域特征圖中心點與對應點的相關性。最后通過概率分布求取期望值，獲得相鄰幀之間的特征點對坐標。

1.4主特征自適應聚類模塊

通過查找每個泡沫鄰近的一圈泡沫質心而構建的泡沫邊界，只是一種接近實際泡沫邊界的有效近似，仍可能包含周圍其他泡沫的區域。為了在每個劃定的泡沫區域內部精準提取每個泡沫的主要流動速度，本文設計了基于OPTICS 算法[19]的主特征自適應聚類模塊，旨在通過聚類方法細化特征提取，獲取數據的主要分布，從而更準確地描述每個泡沫的時空分布和動態特征。該模塊首先將泡沫邊界內所有特征點根據其距離和偏轉角度進行聚類處理，OPTICS 算法在此過程中通過為每個數據點計算核心距離和可達距離，構建一個反映數據點分布密度變化的排序列表?；诳蛇_距離的排序結果揭示了不同密度區域的聚類結構，使得密度高的點在列表中聚集形成明顯的聚類，而密度低的點則相對分散，從而明確聚類間的界限。在聚類結果的基礎上，識別出包含數據點數量最多的主要聚類。然后，通過距離加權法計算動態特征采樣區域內各個特征點與目標泡沫質心之間的距離，將其轉換成對應的權值，并加權求和，最后計算出動態特征采樣區域內最具代表性的泡沫流動速度。

2實驗和結果

2.1實驗系統

實驗系統包括機器視覺處理單元與浮選泡沫生成單元，如圖2 所示。設計9 組實驗，模擬各種藥劑配比、充氣量大小及濃度梯度的變化工況。每組實驗持續20～30 min，重復4～8 次，視頻記錄以獲取足量的不同工況下浮選泡沫圖像樣本，總計收集了770 張高質量的泡沫圖像和相應的關鍵幀視頻片段。

2.2定量分析實驗結果

為驗證泡沫質心分類定位與崩塌區域識別的有效性，將本文改進型Mask2Former 算法與基于傳統卷積神經網絡（Convolutional Neural Networks，CNN）架構的算法（OCRNet[20]，PSPNet[21]，DeepLabV3+[22]，CCNet[23]） 及基于Transformer 架構的經典算法（Segmenter[24]， SegFormer[25]） 進行對比， 結果見表1。

從表1 可看出，改進型Mask2Former 算法在所有類別上的表現均優于基于傳統CNN 架構的算法。這主要是由于基于傳統CNN 架構的算法在感受野和局部特征捕捉方面的固有局限性使其在整合全局上下文信息時表現不足，特別是在處理形狀多樣的泡沫圖像時，細節識別能力不足，這在樣本數量較少的不成泡區域和崩塌區域的識別任務中尤為明顯。相比之下，改進型Mask2Former算法在不成泡區域和崩塌區域類型的識別中分別達到了96.68% 和96.52% 的交并比，這一優異表現可能歸因于該算法通過解耦輸出的方式實現了類別分類與區域預測任務的并行執行，從而能夠在預測時直接估計大片區域，確保了區域邊界預測準確和完整。此外，改進后的損失函數通過引入帶權重機制，使得在損失計算中對少數類樣本（如崩塌區域）給予更多關注，從而有效提升了算法對樣本數量較少類別的學習能力。

與SegFormer 和Segmenter 這2種基于Transformer架構的算法相比，改進型Mask2Former 算法的表現更加優異，特別是在較小泡沫質心的識別任務中，交并比和準確率分別達69.65% 和87.78%， 相較于SegFormer 高出26.99% 和36.08%，相較于Segmenter高出10.41% 和14.63%。這可能是由于較小泡沫在圖像中并不明顯，而SegFormer 和Segmenter 由于其自注意力和交叉注意力計算量龐大，通常難以處理較高分辨率的圖像，往往需要在較低分辨率的圖像輸入下進行處理，導致搜尋小泡沫質心時存在信息丟失。而改進型Mask2Former 算法通過引入Swin?Transformer，在保證對全局信息整合能力的基礎上，結合掩碼注意力機制，不僅增強了對泡沫圖像關鍵區域的聚焦能力，還能動態調整注意力范圍，顯著減少注意力操作的計算量，提高信息傳遞的效率。因此，該算法在處理高分辨率圖像和小目標識別任務時表現尤為出色。

為評估動態特征點對提取時LoFTR 算法的性能，與傳統兩階段組合型特征點對匹配算法進行對比，傳統算法即特征點檢測算法（SIFT[26]，SURF[27]，AKAZE[11]） 結合匹配算法（FLANN[28]， BF[29]，RANSAC[30]，ORB[31]，GMS[32]），對比結果見表2。

從表2可看出，LoFTR 算法的平均特征點檢測數相比于SIFT，SURF及AKAZE等傳統算法分別提升了110%，65% 與174%。這可能是由于在特征點檢測階段，傳統算法依賴局部梯度、紋理和邊緣信息提取關鍵點，在處理紋理單一且邊界形狀變化快的泡沫圖像時，難以提取具有足夠區分度的特征點，導致檢測出的特征點數量較少，且穩定性差；在特征點對匹配階段，傳統算法依賴特征點描述符的相似性進行匹配，通常采用歐氏距離或漢明距離作為度量標準，然而這些描述符難以充分捕捉特征點之間的空間關系，特別是在紋理高度重復的泡沫圖像中，易出現誤匹配。此外，傳統算法在特征點對匹配階段容易產生大量無法找到匹配對的情況，這些無效的特征點往往需要在后處理階段進行剔除，增加了計算復雜度并降低了匹配效率和準確率。LoFTR算法通過單幀圖像內的自注意力和相鄰圖像間的交叉注意力，結合MNN 過濾異常值，直接進行端到端的特征點對匹配，并采用由粗粒度至細粒度的特征點對匹配策略精確快速定位特征點，結合全局與局部特征信息，尤其在泡沫圖像這種具有紋理單一且重復、邊界形狀快速變化的任務中，能有效捕獲并匹配分布于整幅圖像的相鄰幀間特征點。在僅2.69% 的平均剔除率下，LoFTR 算法實現了高達99.93% 的平均匹配正確率。

2.3定性分析實驗結果

由于泡沫圖像采集裝置安裝在浮選機內部，處于高振動、高水霧、高粉塵的惡劣環境中，泡沫圖像質量往往受到嚴重影響（如鏡頭失焦、模糊、過曝、積灰、積霧等），這些影響因素導致的圖像質量下降對泡沫質心分類定位與崩塌區域識別模塊的穩定性提出了更高要求。因此，對采集到的形態各異的泡沫圖像進行破壞性風格遷移[33]，生成多組低質量的泡沫圖像。泡沫質心分類定位與崩塌區域識別模塊在不同成像條件下的效果如圖3 所示，其中普通泡沫質心、較小泡沫質心、不成泡區域和崩塌區域分別以紅色、綠色、紫色和黃色表示?？煽闯霰M管經過破壞性風格遷移后的圖像在細節上受到較大破壞（特別是在運動模糊和鏡頭積霧情境下），泡沫質心分類定位與崩塌區域識別模塊依然能夠穩定、精確地進行定位，表明該模塊在惡劣環境下具有較強的魯棒性。

傳統的兩階段組合型特征點對匹配算法與LoFTR 算法在不同泡沫形態下的特征點對匹配對比情況如圖4 所示?？煽闯鰝鹘y算法因局部細節信息模糊和梯度不明顯而出現大量漏檢測及誤匹配的情況；LoFTR 算法在不同泡沫形態下始終表現穩定，檢測匹配性能基本未受影響，有效檢測并正確匹配的特征點能均勻分布于圖像各區域（未檢測到特征點區域均為實際崩塌區域）。這可能是由于LoFTR 算法既通過CNN 有效提取圖像中的局部特征，又通過自注意力和交叉注意力操作與相鄰幀圖像間建立高效的信息交互，從而實現端到端的特征點對匹配，打破了傳統算法局部特征描述與后匹配的限制，通過整合局部特征與全局上下文信息，即使在紋理貧乏、對比度低、圖像模糊的條件下也能實現高質量的特征點對密集匹配。

最優凸包搜尋定域模塊輸出的泡沫動態特征采樣區域如圖5 所示。圖5（a）展示了普通泡沫（紅色）、崩塌區域（青色）在空間中的位置及每個泡沫的動態特征采樣區域（用灰色填充） ；圖5（b）展示了12 個局部泡沫凸包定域過程細節，其中紅點代表泡沫質心，黃線代表由鄰近目標泡沫質心周圍一圈泡沫質心所構成的最能代表目標泡沫輪廓形狀的最優凸包，黑線代表最優凸包通過特定的縮放比例所確定的目標泡沫動態特征采樣區域輪廓。從圖5 可看出，最優凸包搜尋定域模塊在無需精確邊緣分割的情況下，利用泡沫的幾何和相互作用特性，能夠劃定與實際泡沫邊界近似相符的特征采樣區域。

2種常見泡沫形態圖像通過基于質心?凸包?自適應聚類法的浮選泡沫動態特征提取方法所獲取的泡沫流動速度場如圖6 所示。圖中箭頭指向代表泡沫的偏轉角度，箭頭長度代表相鄰幀間泡沫流動的距離，箭頭顏色表示不同的泡沫類型（紅色為普通泡沫，綠色為較小泡沫，青色為崩塌區域）?？煽闯鲈摲椒捎行Я炕崛〉母∵x泡沫動態特征，為浮選過程實時狀態的監測與評估提供穩定可靠的數據基礎。

3結論

1） 提出了一種基于質心?凸包?自適應聚類法的浮選泡沫動態特征提取方法。該方法通過Swin?Transformer 精準定位泡沫質心，并利用最優凸包評價函數在相鄰質心之間構建凸包區域，劃定與實際泡沫輪廓接近的動態特征采樣區域；引入LoFTR 算法，通過結合自注意力與交叉注意力機制，增強了特征點對匹配的穩定性和準確性；采用主特征自適應聚類法，在劃定的動態特征采樣區域內，通過密度聚類和距離加權的方式，準確提取每個泡沫的主要流動速度，降低了噪聲對動態特征提取的影響。

2） 實驗結果表明，該方法在不同類型泡沫質心定位及崩塌區域識別上的準確率較高，以僅2.69%的平均剔除率實現了99.93% 的特征點對匹配正確率，能夠劃定與實際泡沫邊界近似相符的動態特征采樣區域，提高了復雜工況下泡沫動態特征的提取精度。