基于高光譜的垃圾分選設(shè)備的研究

莫卓亞 劉元路

（廣東弓葉科技有限公司，廣東 東莞 523808）

1 基于高光譜的垃圾分選設(shè)備的國內(nèi)外現(xiàn)狀分析

在環(huán)保設(shè)備領(lǐng)域，國外發(fā)達(dá)國家的環(huán)保意識較強(qiáng)，投入較早，垃圾分選行業(yè)也相對成熟，多家公司推出了比較成熟的垃圾分選設(shè)備，例如，芬蘭ZenRobotics 公司的Heavy Picker 和Fast Picker、美國BHS 公司的Max-AI、美國AMP公司的Cortex ?機(jī)器人、挪威TOMRA 公司的SPEEDAIR 和CYBOT 等。隨著近幾年國內(nèi)科技的進(jìn)步，尤其是計(jì)算機(jī)視覺技術(shù)、3D 視覺傳感器技術(shù)和機(jī)器人技術(shù)的成熟，國內(nèi)廠家也推出了智能化的垃圾分選設(shè)備，例如廣東弓葉科技有限公司的PiCKiNG·EASY ?和PiCKiNG·Ai ?系列產(chǎn)品，填補(bǔ)了國內(nèi)智能化垃圾分選設(shè)備的空白。

對于垃圾分類的需求來說，如果僅需進(jìn)行大類的分選，2D 相機(jī)加上視覺算法可以實(shí)現(xiàn)較好的分類效果。但是如果需要進(jìn)一步進(jìn)行精確的材質(zhì)細(xì)分，例如區(qū)分塑料中的PE、PVC、PP、ABS 等細(xì)分材質(zhì)，則必須要用到高光譜相機(jī)。高光譜成像的實(shí)現(xiàn)基礎(chǔ)是成像光譜學(xué)，其集成了光學(xué)成像技術(shù)和光譜分光技術(shù)。高光譜數(shù)據(jù)因其兼具圖像和光譜的功能，可以進(jìn)行基于光譜的成分分析，獲取更高的分類精度，同時(shí)還能通過相機(jī)坐標(biāo)系、機(jī)器人坐標(biāo)系、傳送帶坐標(biāo)系三者的關(guān)聯(lián)，實(shí)現(xiàn)機(jī)器人實(shí)時(shí)抓取。高光譜相機(jī)成像技術(shù)最初應(yīng)用于遙感技術(shù)，裝在衛(wèi)星或者無人機(jī)上，采集地表光譜數(shù)據(jù)，現(xiàn)在被引入環(huán)保行業(yè)進(jìn)行垃圾分類的材質(zhì)識別，是未來垃圾分類領(lǐng)域的一個(gè)重要方向。

2 基于高光譜分選設(shè)備的關(guān)鍵技術(shù)

高光譜分選設(shè)備的關(guān)鍵技術(shù)主要包括分類算法和控制系統(tǒng)2 個(gè)部分。分類算法分為基于光譜相似度匹配的分類算法和基于機(jī)器學(xué)習(xí)的分類算法。控制系統(tǒng)包括視覺系統(tǒng)、控制中心、輸送系統(tǒng)、執(zhí)行系統(tǒng)等。

2.1 分類算法

高光譜數(shù)據(jù)的分類算法可以分為基于光譜相似度匹配的分類方法和基于機(jī)器學(xué)習(xí)的分類方法2 類。

2.1.1 高光譜相機(jī)原理

高光譜相機(jī)采集物體的反射光譜，典型的高光譜相機(jī)的原理是，光源投射到待測物體上，反射后經(jīng)過相機(jī)鏡頭前端的狹縫進(jìn)入高光譜相機(jī)內(nèi)部的核心元件——分光儀。分光儀將每一束光分成多束單色光，投到面陣相機(jī)上。面陣相機(jī)狹縫的長度方向w 為像素維度，與狹縫垂直方向h 為光譜維度，面陣相機(jī)w 和h 2 個(gè)方向的分辨率決定著高光譜數(shù)據(jù)的像素分辨率和光譜分辨率。該高光譜相機(jī)的使用和線陣相機(jī)類似，一行一行的掃描，每一行的數(shù)據(jù)都是面陣相機(jī)的數(shù)據(jù)，代表的是w 方向上每個(gè)像素點(diǎn)上的h 個(gè)光譜數(shù)據(jù)，根據(jù)光譜信息進(jìn)行光譜分析可以確定其化學(xué)組成，以此來鑒別物體的材質(zhì)。

2.1.2 高光譜相機(jī)數(shù)據(jù)獲取

根據(jù)高光譜相機(jī)原理可知，高光譜相機(jī)每一幀數(shù)據(jù)都是面陣相機(jī)的二維數(shù)據(jù)，而高光譜數(shù)據(jù)是三維的數(shù)據(jù)，需要對相機(jī)采集到的數(shù)據(jù)進(jìn)行相應(yīng)的處理后才能獲得。高光譜相機(jī)數(shù)據(jù)獲取分為面陣相機(jī)數(shù)據(jù)獲取和數(shù)據(jù)拼接2 個(gè)部分。

面陣相機(jī)數(shù)據(jù)的獲取與普通2D 相機(jī)數(shù)據(jù)的獲取過程并無差異，即先調(diào)整圖像質(zhì)量，然后獲取圖像。調(diào)整圖像質(zhì)量時(shí)，需要調(diào)節(jié)光源的亮度、相機(jī)光圈、焦距大小以及曝光時(shí)間等，以獲得最優(yōu)的圖像效果。獲取圖像一般是連續(xù)獲取數(shù)據(jù)，可以按時(shí)間間隔觸發(fā)，也可以由外部IO 信號觸發(fā)。如果這個(gè)IO 信號是編碼器，就可以實(shí)現(xiàn)按照距離觸發(fā)。觸發(fā)間隔有嚴(yán)格的要求，以保證拼接后的圖像與實(shí)際物體比例一致。

面陣相機(jī)數(shù)據(jù)的獲取完成后，還需要對數(shù)據(jù)進(jìn)行拼接，從而得到高光譜數(shù)據(jù)。高光譜數(shù)據(jù)的格式有3 種，分別為BSQ，BIL 和BIP。BSQ（Band Sequential Format）格式是按波段保存，1 個(gè)波段保存后接著保存第2 個(gè)波段。這種格式適合對單個(gè)光譜波段中任何部分的空間（X，Y）存取。BIL（Band interleaved by line format）格式是按行保存，保存第1個(gè)波段的第1 行后，接著保存第2 個(gè)波段的第1 行，這種格式提供了空間和光譜處理之間的一種折衷方式。BIP（Band interleaved by pixel format）格式是按像元保存，先保存第1 個(gè)波段的第1 個(gè)像元，然后保存第2 波段的第1 個(gè)像元。該格式為圖像數(shù)據(jù)光譜（Z）的存取提供了最佳性能。高光譜數(shù)據(jù)拼接完成后，通常還需要1 個(gè)描述文件，然后可以導(dǎo)入光譜分析軟件進(jìn)行數(shù)據(jù)處理了。

2.1.3 基于光譜相似度匹配的分類方法

光譜相似度的匹配算法是通過計(jì)算測試光譜向量與參考光譜向量之間的相似度來進(jìn)行分類。光譜相似度的度量標(biāo)準(zhǔn)包括最小距離、光譜角度、光譜信息散度以及光譜相關(guān)性等，其中最小距離度量標(biāo)準(zhǔn)包括曼式距離和歐式距離等。光譜最小距離越小，相似性越大。光譜角度余弦值越大，相似性越大。光譜信息散度值越接近于0，相似性越大。光譜相關(guān)系數(shù)越大，相似性越大。

光譜相似度的匹配算法首先要建立待測物體的光譜庫，然后計(jì)算測試光譜與光譜庫中光譜數(shù)據(jù)的相似度，最后根據(jù)相似度數(shù)值以及相似度閾值來判斷物體的類別。光譜相似度匹配算法的重點(diǎn)在于待測物體光譜庫的建立，光譜庫可以是來自標(biāo)準(zhǔn)的光譜庫，也可以是根據(jù)待測物體建立的自定義光譜庫。標(biāo)準(zhǔn)的光譜庫對相機(jī)和光源的一致性要求較高，實(shí)際上不同的相機(jī)、不同的光源、不同的校準(zhǔn)條件，得到的光譜曲線并不完全一致，所以標(biāo)準(zhǔn)光譜庫中的數(shù)據(jù)一般只作為參考，工業(yè)應(yīng)用上需要自定義光譜庫。自定義光譜庫時(shí)，首先采集待測物體的光譜數(shù)據(jù)，選取 感興趣區(qū)域（ROI），并對ROI中的數(shù)據(jù)進(jìn)行端元提取，得到純凈像元，并將該像元的光譜數(shù)據(jù)存入光譜庫。常用的端元提取方法包括內(nèi)部最大體積法（N-FINDER）、純像素索引法（PPI）、凸錐分析（CCA）、頂點(diǎn)成分分析法（VCA）等。

圖1 對比效果圖

2.1.4 基于機(jī)器學(xué)習(xí)的分類方法

基于機(jī)器學(xué)習(xí)的分類方法分為非監(jiān)督分類和監(jiān)督分類。非監(jiān)督分類是指在沒有任何分類先驗(yàn)知識的情況下，僅依據(jù)數(shù)據(jù)本身的統(tǒng)計(jì)特征及自然點(diǎn)群的分布情況來劃分類別的分類方法，代表性的非監(jiān)督分類包括均值聚類算法（K-Means）、迭代自組織數(shù)據(jù)分析算法（Iterative Self-Organizing Data Analysis Technique）[1]。監(jiān)督分類是指以先前提取的訓(xùn)練樣本作為先驗(yàn)知識，以對訓(xùn)練樣本的學(xué)習(xí)構(gòu)建分類模型，并對其他數(shù)據(jù)進(jìn)行分類的過程[1]。監(jiān)督分類算法常用的包括高斯最大似然分類法、最小距離分類、K 近鄰、決策樹以及支持向量機(jī)等。

由于高光譜數(shù)據(jù)的波段數(shù)通常有200 多個(gè)以上，包含豐富的信息，但有很多數(shù)據(jù)冗余，在進(jìn)行監(jiān)督分類之前，需要對數(shù)據(jù)進(jìn)行特征提取，選取包含信息量大的波段或者特征來降低數(shù)據(jù)的冗余程度。將原始高維數(shù)據(jù)投影到一個(gè)新的低維空間，從而獲得原始數(shù)據(jù)的更精簡的表示，即降維，可以有效減少運(yùn)算量，提高運(yùn)算速度。常用的降維方法包括主成分分析（PCA）、線性判別分析（LDA）、回歸系數(shù)法、連續(xù)投影法等。

廣東弓葉科技有限公司的高光譜分析軟件的分類速度和精度，經(jīng)實(shí)測已經(jīng)不亞于國外商用高光譜分析軟件。以PV、PS、PP、PE 和PC 等塑料材質(zhì)的分選為例，對比效果如圖1所示。

2.1.5 分類算法加速

由于高光譜數(shù)據(jù)包含3 個(gè)維度的信息，是個(gè)數(shù)據(jù)立方體，數(shù)據(jù)量很大，因此需要對算法進(jìn)行優(yōu)化加速，這樣才能滿足工業(yè)上實(shí)時(shí)分選的需求。分類算法是基于每個(gè)像素的光譜數(shù)據(jù)進(jìn)行運(yùn)算的，算法加速主要是通過并行運(yùn)算進(jìn)行加速。

NVIDIA GPU Computing Toolkit 提供了豐富的教程，可以根據(jù)CUDA 提供的矩陣運(yùn)算應(yīng)用開發(fā)庫CUBLAS_Library 進(jìn)行并行運(yùn)算加速，也可以參考CUDA C Programming Guide，編寫并行執(zhí)行的核函數(shù)，直接操作GPU 進(jìn)行并行計(jì)算加速。相比于CPU 的串行運(yùn)算，GPU 的并行運(yùn)算能夠提高5～10 倍的運(yùn)算速度。

并行加速的另一種平臺是FPGA，F(xiàn)PGA 器件屬于專用集成電路中的一種半定制電路——可編程的邏輯列陣。基于光譜相似性匹配算法，可以通過硬件描述語言（HDL）寫入FPGA，實(shí)現(xiàn)硬件上的并行，其運(yùn)算的速度更快。FPGA 的開發(fā)難度較大，并行占用的FPGA 資源較多，需要大容量的FPGA。

2.2 控制系統(tǒng)

高光譜分類算法是分選設(shè)備的基礎(chǔ)，算法層實(shí)現(xiàn)以后，就是系統(tǒng)設(shè)計(jì)的工作，以實(shí)現(xiàn)垃圾分選設(shè)備。高光譜分選設(shè)備控制系統(tǒng)主要包括視覺系統(tǒng)、控制中心、輸送系統(tǒng)、執(zhí)行系統(tǒng)等。

高光譜視覺系統(tǒng)主要包括高光譜相機(jī)和光源。高光譜相機(jī)目前主要以進(jìn)口品牌為主，例如芬蘭的SPECIM，挪威的HySpex，比利時(shí)的IMEC 等。國產(chǎn)品牌主要是雙利合譜、五鈴光學(xué)等。高光譜相機(jī)按照光譜的范圍可分為400 nm～1 000 nm的可見光波段相機(jī)和900 nm～1 700 nm 的近紅外波段相機(jī)等。在近紅外波段，常見待分選垃圾物料的光譜差異較明顯，因此基于高光譜的垃圾分選設(shè)備大多使用的是900 nm～1 700 nm 波段的近紅外高光譜相機(jī)。高光譜相機(jī)的主要性能指標(biāo)包括波段數(shù)、光譜分辨率、像素分辨率和幀率等。波段數(shù)量和光譜分辨率決定光譜分類的效果，影響分類的精度。像素分辨率的大小，決定能識別的最小物體的大小。幀率大小定最終分選設(shè)備的最快運(yùn)行速度。

高光譜相機(jī)使用的光源，通常為鎳鎢燈和鹵素?zé)簟Ｆ渲校u素?zé)羰且环N特殊的白熾燈，其工作原理是在燈泡內(nèi)注入碘或溴等鹵素氣體，在高溫下，升華的鎢絲與鹵素進(jìn)行化學(xué)作用，冷卻后的鎢會重新凝固在鎢絲上，形成平衡的循環(huán)，避免鎢絲過早斷裂。因此鹵素?zé)襞荼劝谉霟舾L壽。鹵素?zé)舻墓庾V范圍可以覆蓋350 nm～2 500 nm，滿足高光譜相機(jī)的使用要求，是一種使用最廣泛的高光譜相機(jī)光源。

高光譜分選設(shè)備的控制流程為控制中心首先通知高光譜相機(jī)進(jìn)行數(shù)據(jù)采集，高光譜相機(jī)數(shù)據(jù)采集完成后，通知控制中心和機(jī)器人。控制中心接收高光譜相機(jī)采集的數(shù)據(jù)，同時(shí)機(jī)器人鎖存該時(shí)刻輸送線編碼器的位置。然后控制中心通過高光譜分類算法，得到每個(gè)像素識別的物體類別，然后經(jīng)過圖像處理得到物體的輪廓中心位置和旋轉(zhuǎn)角度，并將位置信息發(fā)送給執(zhí)行機(jī)構(gòu)。執(zhí)行機(jī)構(gòu)通過編碼器實(shí)時(shí)跟蹤待抓取物體的位置，當(dāng)物體進(jìn)入執(zhí)行機(jī)構(gòu)的工作范圍后，通過吸取、抓取或者高速吹氣的方式實(shí)現(xiàn)垃圾分選。除了高光譜相機(jī)進(jìn)行材質(zhì)識別外，還可以增加2D 彩色相機(jī)，利用深度學(xué)習(xí)對RGB 圖像進(jìn)行輪廓分割和材質(zhì)識別。通過高光譜相機(jī)和2D彩色相機(jī)兩者的綜合判斷，可有效解決特殊情況下物體的整體材質(zhì)分類問題，例如表面貼有紙質(zhì)標(biāo)簽的鐵罐、表面覆蓋塑料膜的紙板等。

高光譜分選設(shè)備的執(zhí)行機(jī)構(gòu)分為Delta 機(jī)器人、直角坐標(biāo)坐標(biāo)機(jī)器人或高速氣閥分選設(shè)備。Delta 機(jī)器人和直角坐標(biāo)機(jī)器人的末端可以安裝吸盤或者夾爪，實(shí)現(xiàn)吸取或者夾取物料，這2 種執(zhí)行機(jī)構(gòu)的優(yōu)點(diǎn)是可以同時(shí)分選多種物料，投放到不同的位置。基于高速氣閥吹氣的分選設(shè)備，優(yōu)點(diǎn)是分選速度快，但是一臺設(shè)備同時(shí)只能實(shí)現(xiàn)2 個(gè)類別的分選。

3 結(jié)語

該文介紹了基于高光譜的垃圾分選設(shè)備的國內(nèi)外現(xiàn)狀及關(guān)鍵技術(shù)。國內(nèi)的垃圾分選企業(yè)處于剛剛起步的階段，但部分公司在細(xì)分市場取得了可喜的進(jìn)展。雖然目前高光譜相機(jī)的成本相對較高，但由于基于高光譜的垃圾分選設(shè)備能夠?qū)崿F(xiàn)精確的材質(zhì)細(xì)分，相信隨著技術(shù)的不斷發(fā)展和市場的逐步認(rèn)可，相信未來，基于高光譜的垃圾分選設(shè)備會廣泛的應(yīng)用于垃圾分選領(lǐng)域。