基于紫外可見光譜的水質檢測算法分析

習 燕

(伊犁水文勘測局，新疆 伊犁 835000)

水質安全關乎人們的身體健康，更與社會發展密切相關，隨著近年來社會發展進程的不斷加快，水質安全受愈來愈多的因素影響，具體包括自然、人為兩種，前者有洪水、暴雨等，后者有污水排放、危險品泄露、投毒等。如何才能夠及時減輕或避免水質污染，水質預警系統應運而生，在系統工作中的核心組成就是水質異常檢測，能夠運用在線傳感器對水質情況進行檢測，加強供水系統預警能力保障用水安全[1]。現有研究中有基于統計學、機器學習、數據挖掘等不同檢測方法，有學者基于多元水質數據序列，建立了水質檢測指標和決策樹，以實際采集數值與估值之間存在的殘差判斷水質異常[2]。在未來分析技術也開始逐漸朝向自動化、微小的發展方向，微型光譜儀器也作為如今在環境檢測、生物醫學監控領域的重點技術，為了能夠保證水環境的長期穩定，提供了實時迅速檢測。并且水質分析技術也從最初人工采樣，發展至如今的自動化采樣，與無線傳感網絡技術相結合，可以短時間內迅速檢測多資源區域內的水質信息。根據以往研究的水質檢測存在樣本采頻不高，耗時較久等問題。本文提出運用紫外可見光譜檢測方法，是一種以被測物質的分子對光譜達到的吸收、反射性為依據展開分析，能夠快速、方便、在線分析的優勢。通過在此技術基礎上，提出運用非對稱最小二乘基線校正結合PCA對Q統計量檢測水質異常，驗證該檢測算法的應用有效性。當然應用智能微型檢測技術也將作為未來的主要發展方向，給人類社會創造更大的社會效益。

1 基礎理論

1.1 算法原理

在光譜采集中因為所受水質波動、儀器設備等多因素影響，導致光譜存在噪聲與基線漂移問題。處理光譜中可以應用非對稱最小二乘法基線擬合算法，優化目標公式如下[3]：

(1)

Δ2zi=(zi-zi-1)-(zi-1-zi-2)=zi-2zi-1+zi-2

(2)

公式(1)主要表達的是y原始光譜逼近z擬合光譜的程度，為了能夠尋求一組能夠獲得最小化結果的z值。公式(2)中主要表達的是原始、擬合兩光譜存在的相似性，在第二項中代表了擬合光譜達到的平滑度。將p、λ這兩個參數引入之后非對稱選擇，對于yi>zi情況下，ω=p；在yi≤zi情況下，ω=1-p，通常p選值范圍在0.001～0.1數值較小，但是選值范圍一般在102～109數值較大[4]。

(3)

根據上述基于紫外線光譜水質異常檢測的具體方法，就是評估Q統計量可得測試樣本的異常點，表征殘差空間中光譜殘差向量的歐氏距離平方值，假若存在異常水質，那么Q統計量較閾值就明顯要大，殘差向量也可以反映存在的異常。Q統計量表達公式如下[6]：

Q=xT(I-PPT)x

(4)

Q統計量閾值表達公式如下：

(5)

Q統計量用于評估水質變化情況，例如對隨機噪聲發生的變化情況，一旦超出既定閾值則表示隨機噪聲已經出現明顯改變，也就代表出現異常。

1.2 評價指標

水質異常檢測算法在性能評價一般包括了檢出率(PD)、誤報率(FAR)，前者代表處于某一時間段內，通過算法檢測發現存在的水質異常情況，所占發生水質總異常次數的占比；后者作為一定時間段內，通過算法檢測虛假水質異常所占決策次數百分比，計算檢出率、誤報率公式如下：

(6)

(7)

2 實驗設計

2.1 實驗儀器

本次對水質檢測實驗基于飲用水循環官網模擬系統，包括了紫外可見光譜傳感器、工業計算機控制系統、官網循環系統，紫外可見光譜傳感器結構組件(見圖1)。在本實驗中注入污染物主要通過計量泵恒定速率，向官網內注射后，使用紫外光譜傳感器對一條光譜數據的掃描時長在30s，在掃描之后可以自動存儲并獲取數據。

圖1 城市飲用水管網結構圖

2.2 數據采集

將注入苯酚試劑作為本試驗的污染物，苯酚具有可溶于水作為常見有機污染物之一，將一定量苯酚注入飲用水中，會導致飲水者發生急性中毒癥狀，如果長期飲用水甚至會出現瘙癢、頭暈、貧血與神經系統功能障礙情況。所以在本文中采集了25 h包括正常水質，以及注入不同濃度苯酚污染物紫外光譜數據，每次注入10 min長度苯酚，分別注入50、100、200、500、1 000，采集光譜波長在200～750 nm之間，2.5 nm步長。因為苯酚注入峰值約269.8 nm，最終確定了本試驗的紫外波段光譜在240～400 nm之間，(見圖2)為本實驗的光譜圖。

圖2 采集原始紫外可見光譜圖

3 結果與討論

3.1 數據預處理

本文運用Savitzky-Golay平滑濾波減弱噪聲，提升信噪比，運用ALS基線校正減弱光譜采集中基線漂移情況，應用標準正態變換處理每條光譜，光譜曲線數據減去光譜曲線均值，所得結果與標準差相除，消除光程變化、散射及顆粒大小的干擾。在數據預處理后可得光譜(見圖3)，對原圖光譜基線漂移情況有所減弱，明顯的苯酚峰值，放大了有效信號。

圖3 預處理之后紫外光譜圖

3.2 方法對比

(見表1)根據單波長檢測效果，能夠發現此種檢測方法的異常水質檢測率不高，僅僅能夠對實驗200以上的注入苯酚污染情況成功檢出，無法檢測低濃度異常水質。

表1 單波長法檢測效果

在根據上面單波長檢測方法的水質異常檢測率較低情況，運用本文紫外可見光譜全光譜檢測算法，結合上面分析的基線校正與主元分析紫外可見光光譜異常檢測法，在如上實驗平臺中采集在線光譜數據，預處理后訓練正常水質PCA模型，ALS、SNV數據預處理，通過選擇正常水質構建PCA模型，獲得了Q統計量閾值Qa。

共計選擇500組正常水質光譜數據模型在訓練中，設計了累計住院分析成分90%，訓練中將閾值以上的樣本篩除，直至訓練樣本內全部Q統計量低于閾值，訓練結果可得Q統計量閾值最終結果為26.03，將50個誤差樣本剔除。運用PCA模型訓練檢測異常水質與所得閾值，對殘差空間內待檢測水質進行計算，將相較Q可獲立群點序列，運用上截單波長方法對水質異常檢測更新原則，完成離群點的概率更新后可得(見圖4)。

圖4 紫外可見全光譜檢測效果

通過圖4所示的紫外可見全光譜檢測效果，能夠對全光譜中全部包含的信息都做到有效利用，運用PCA訓練模型成功降維的同時，也做到了對有效光譜信息的很大程度保留，最終成功檢出了100μg·L-1的苯酚污染，相較僅僅可以檢測200μg·L-1以上苯酚污染的單波法，明顯提升了低濃度情況下的水質異常檢測率。

由于考慮到光譜信息在實際采集過程中，因為易受水質波動以及檢測儀器設備的多因素影響，最終出現基線漂移問題，運用ALS算法校正基線對此算法的應用有效性，對比未基線校正的檢測效果(見表2)，發現ALS基線校正后所得檢測效果明顯更優。

表2 紫外可見全光譜法檢測效果

紫外光譜分析技術所依據的檢測理論，作為基于朗播比爾定律，在A=kcl方程式這一表示公式，在水內的苯酚均作為化學物質，在紫外區存在較強光譜吸收，所以吸光度能夠應用于檢測水質內COD中。經過本次實驗研究也發現如果僅僅使用單波長紫外光譜檢測，由于單波長吸收能力較弱，所以很大程度限制了應用范圍，而本文提出這一全光譜檢測方法就成功解決了這一弊端。根據試驗結果也能夠發現獲得水樣吸光度和COD存在線性關聯，運用紫外水質檢測設備能夠對水質參數在短時間內迅速檢測，并運用最小二乘法構建了優化數學模型，分析了水質內的成分水樣，此方法可以對相同成分水樣和不同濃度水樣存在差異有效判斷。運用提出此種分析方法及預測評價指數，能夠有效減少在實驗中不同水樣差異造成的誤差，所以有效提高了本次水質檢測實驗中的精度。

4 結語

運用紫外可見光譜法檢測異常水質，為了解決光譜檢測算法中基線漂移、噪聲等異常問題，提出運用Savitzky-Golay平滑濾波、非對稱最小二乘法基線校正還有正態變換一系列預處理方法，對基線漂移和噪聲產生的光譜檢測數據影響，建立了PCA訓練模型改進篩除誤差樣本，與Q統計量結合消除誤報后。注入不同量苯酚的試驗結果表示，紫外可見全光譜檢測效果，最終成功檢出了100的苯酚污染，相較僅僅可以檢測200以上苯酚污染的單波法，明顯提升了低濃度情況下的水質異常檢測率。