波長選擇算法在中藥質(zhì)量在線檢測中的應(yīng)用研究

申永祥　趙秋菊

摘 要：為了研究NIR光譜的不同波長選擇算法在中藥質(zhì)量在線檢測中的應(yīng)用，應(yīng)用自編的化學(xué)計(jì)量學(xué)軟件THUNIR對兩大類6種波長選擇算法進(jìn)行建模。在模型評價(jià)上，以留一法交叉驗(yàn)證均方根誤差（RMSECV）或測試集均方根誤差（RMSEP）最小為最優(yōu)。實(shí)驗(yàn)表明，F(xiàn)ilter波長選擇方法與Wrapper波長選擇方法的RMSECV值均比全譜的RMSECV值要小的多，用于建模的波長數(shù)也比全譜也少的多。可見，NIR光譜的波長選擇方法不僅可以簡化模型，還可以提高模型的預(yù)測能力。

關(guān)鍵詞：近紅外光譜；波長選擇算法；中藥質(zhì)量；在線檢測

中圖分類號：R284；O433 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-6835（2014）14-0113-03

近紅外（Near Infrared，NIR）光譜技術(shù)是近幾十年內(nèi)發(fā)展較快的新型分析檢測技術(shù)，具有快速、簡便、準(zhǔn)確、易于實(shí)現(xiàn)在線分析和非破壞性的特點(diǎn)，已在食品、煙草和石油化工等領(lǐng)域得到廣泛應(yīng)用。

近紅外光譜主要是有機(jī)分子的倍頻與合頻吸收光譜，倍頻與合頻吸收帶比基頻吸收帶寬得多，這使得多組分樣品的近紅外光譜在不同組分的譜帶、同一組分中不同基團(tuán)的譜帶和同一基團(tuán)不同形式的倍頻、合頻譜帶發(fā)生嚴(yán)重的重疊。因此，選擇代表樣本信息的波長是近紅外光譜建模需要解決的重要問題。

在NIR結(jié)合PLS方法建模中，傳統(tǒng)觀點(diǎn)認(rèn)為，PLS具有較強(qiáng)的抗干擾能力，可全波長參與多元校正模型的建立。但采用全譜建立多變量校正模型時(shí)，不僅計(jì)算工作量大，而且校正模型的預(yù)測精度未必能達(dá)到最優(yōu)值。其中，建模波長的不同將直接影響模型的測量精度。在建模光譜中，不同譜區(qū)內(nèi)包含的指定待測量信息是不同的，因而必須選擇有效信息率最高的譜區(qū)用于建模，才能提高模型的預(yù)測效果。隨著對PLS算法的深入研究和應(yīng)用，通過特定方法篩選特征波長或波長區(qū)間，有可能得到更好的定量校正模型。波長選擇可以簡化模型，更主要的是由于不相關(guān)或非線性變量的剔除，可以得到預(yù)測能力強(qiáng)、穩(wěn)健性好的校正模型。

1 特征選擇方法概述

特征選擇可以看作是一個(gè)優(yōu)化問題，其關(guān)鍵是建立一個(gè)評估標(biāo)準(zhǔn)來區(qū)分哪些特征組合有助于分類，哪些特征組合存在冗余性、部分或者完全無關(guān)，不同的評估函數(shù)可能會給出不同的結(jié)果。根據(jù)評估函數(shù)與分類器的關(guān)系，特征選擇方法分成過濾器（Filter）和封裝器（Wrapper）兩種模式。Filter方法與分類學(xué)習(xí)算法無關(guān)，一般直接利用所有訓(xùn)練數(shù)據(jù)的統(tǒng)計(jì)性能評估特征，例如距離度量、一致性度量、相關(guān)性度量、信息度量等，因此，F(xiàn)ilter方法具有時(shí)間復(fù)雜度低的優(yōu)點(diǎn)。但Filter方法沒有考慮特征集與分類器學(xué)習(xí)算法之間的關(guān)聯(lián)和影響，所以精度不高。相反，Wrapper方法采用分類器的分類錯(cuò)誤率或正確率來評估特征子集，可對不同的分類器選出最適應(yīng)的近似最優(yōu)的特征子集。Wrapper方法選出的特征子集比Filter方法選出的效果更好，但其計(jì)算量比Filter方法大得多，因而需要更多的時(shí)間。

2 Filter方法

在自編的化學(xué)計(jì)量學(xué)建模軟件THUNIR中，比較了常用的兩種Filter波長選擇方法，即相關(guān)系數(shù)法和相關(guān)成分法。

2.1 相關(guān)系數(shù)法

相關(guān)系數(shù)法是將校正集光譜矩陣中每個(gè)波長對應(yīng)的吸光度向量 與性質(zhì)矩陣中的待測組分性質(zhì)向量 進(jìn)行相關(guān)性計(jì)算，相關(guān)系數(shù)越大的波長，其包含的信息也越多。因此，可結(jié)合經(jīng)驗(yàn)知識，給定一個(gè)初始閾值，選取相關(guān)系數(shù)大于該閾值的波長參與建模；再根據(jù)模型的精度調(diào)整閾值，從而確定最優(yōu)的波段。也可采用網(wǎng)絡(luò)搜索算法，確定用于建模的最優(yōu)波段。

6 結(jié)束語

實(shí)驗(yàn)結(jié)果表明，波長選擇方法不僅能夠簡化模型，而且能夠提高模型的預(yù)測能力。基于Wrapper模式的4種迭代優(yōu)化波長選擇方法所建模型的波長數(shù)比全譜減少60%～80%，而且預(yù)測精度能夠提高50%左右，但需要較長建模時(shí)間。2種Filter方法所需優(yōu)化時(shí)間與全譜相當(dāng)，但其建模結(jié)果與預(yù)測精度比全譜能提高20%左右。用戶可以按照實(shí)際需要（精度或時(shí)間度）選擇相應(yīng)的波長選擇方法。

參考文獻(xiàn)

[1]劉嚴(yán).多元線性回歸的數(shù)學(xué)模型[J].沈陽工程學(xué)院學(xué)報(bào)（自然科學(xué)版），2005（02）.

[2]羅批，郭繼昌，李鏘，等.基于偏最小二乘回歸建模的探討[J].天津大學(xué)學(xué)報(bào)（自然科學(xué)與工程技術(shù)版），2002（06）.

[3]尹力，劉強(qiáng)，王惠文.偏最小二乘相關(guān)算法在系統(tǒng)建模中的兩類典型應(yīng)用[J].系統(tǒng)仿真報(bào)，2003（01）.

[4]王惠文，吳載斌，孟潔.偏最complexity小二乘回歸的線性與非線性方法[M].北京：國防工業(yè)出版社，2006.

[5]王惠文.偏最小二乘回歸方法及其應(yīng)用[M].北京：國防工業(yè)出版社，1999.

[6]陳孝敬，吳迪，虞佳佳，等.一種用于可見-近紅外光譜特征波長選擇的新方法[J].光學(xué)學(xué)報(bào)，2008（11）.

[7]谷筱玉，徐可欣，汪曣.波長選擇算法在近紅外光譜法中藥有效成分測量中的應(yīng)用[J].光譜學(xué)與光譜分析，2006（09）.

[8]劉輝軍，林敏，施秧，等.遺傳算法在綠茶葉近紅外光譜分析中波長選擇的應(yīng)用[J].理化檢驗(yàn)-化學(xué)分冊，2008（03）.

[9]國家藥典委員會.中華人民共和國藥典（一部）[M].北京：中國醫(yī)藥科技出版社，2010.

〔編輯：李玨〕

Abstract： In order to study the NIR spectra of different wavelengths selection algorithm used in traditional Chinese medicine quality on-line detection， application self chemometric software THUNIR two types of six kinds of wavelength selection algorithms for modeling. On the model evaluated to leave a root mean square error of cross validation（RMSECV）or test set RMSE（RMSEP）minimum for the best. Experiments show， Filter wavelength selection methods and RMSECV value Wrapper wavelength selection method RMSECV value than the full spectrum of much smaller， the number of wavelengths used for modeling are also much less than the full spectrum. Visible， NIR spectral wavelength selection method can not only simplify the model， you can also improve the predictive ability of the model.

Key words： near-infrared spectroscopy； wavelength selection algorithm； medicine quality； online testing

摘 要：為了研究NIR光譜的不同波長選擇算法在中藥質(zhì)量在線檢測中的應(yīng)用，應(yīng)用自編的化學(xué)計(jì)量學(xué)軟件THUNIR對兩大類6種波長選擇算法進(jìn)行建模。在模型評價(jià)上，以留一法交叉驗(yàn)證均方根誤差（RMSECV）或測試集均方根誤差（RMSEP）最小為最優(yōu)。實(shí)驗(yàn)表明，F(xiàn)ilter波長選擇方法與Wrapper波長選擇方法的RMSECV值均比全譜的RMSECV值要小的多，用于建模的波長數(shù)也比全譜也少的多。可見，NIR光譜的波長選擇方法不僅可以簡化模型，還可以提高模型的預(yù)測能力。

關(guān)鍵詞：近紅外光譜；波長選擇算法；中藥質(zhì)量；在線檢測

中圖分類號：R284；O433 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-6835（2014）14-0113-03

近紅外（Near Infrared，NIR）光譜技術(shù)是近幾十年內(nèi)發(fā)展較快的新型分析檢測技術(shù)，具有快速、簡便、準(zhǔn)確、易于實(shí)現(xiàn)在線分析和非破壞性的特點(diǎn)，已在食品、煙草和石油化工等領(lǐng)域得到廣泛應(yīng)用。

近紅外光譜主要是有機(jī)分子的倍頻與合頻吸收光譜，倍頻與合頻吸收帶比基頻吸收帶寬得多，這使得多組分樣品的近紅外光譜在不同組分的譜帶、同一組分中不同基團(tuán)的譜帶和同一基團(tuán)不同形式的倍頻、合頻譜帶發(fā)生嚴(yán)重的重疊。因此，選擇代表樣本信息的波長是近紅外光譜建模需要解決的重要問題。

在NIR結(jié)合PLS方法建模中，傳統(tǒng)觀點(diǎn)認(rèn)為，PLS具有較強(qiáng)的抗干擾能力，可全波長參與多元校正模型的建立。但采用全譜建立多變量校正模型時(shí)，不僅計(jì)算工作量大，而且校正模型的預(yù)測精度未必能達(dá)到最優(yōu)值。其中，建模波長的不同將直接影響模型的測量精度。在建模光譜中，不同譜區(qū)內(nèi)包含的指定待測量信息是不同的，因而必須選擇有效信息率最高的譜區(qū)用于建模，才能提高模型的預(yù)測效果。隨著對PLS算法的深入研究和應(yīng)用，通過特定方法篩選特征波長或波長區(qū)間，有可能得到更好的定量校正模型。波長選擇可以簡化模型，更主要的是由于不相關(guān)或非線性變量的剔除，可以得到預(yù)測能力強(qiáng)、穩(wěn)健性好的校正模型。

1 特征選擇方法概述

特征選擇可以看作是一個(gè)優(yōu)化問題，其關(guān)鍵是建立一個(gè)評估標(biāo)準(zhǔn)來區(qū)分哪些特征組合有助于分類，哪些特征組合存在冗余性、部分或者完全無關(guān)，不同的評估函數(shù)可能會給出不同的結(jié)果。根據(jù)評估函數(shù)與分類器的關(guān)系，特征選擇方法分成過濾器（Filter）和封裝器（Wrapper）兩種模式。Filter方法與分類學(xué)習(xí)算法無關(guān)，一般直接利用所有訓(xùn)練數(shù)據(jù)的統(tǒng)計(jì)性能評估特征，例如距離度量、一致性度量、相關(guān)性度量、信息度量等，因此，F(xiàn)ilter方法具有時(shí)間復(fù)雜度低的優(yōu)點(diǎn)。但Filter方法沒有考慮特征集與分類器學(xué)習(xí)算法之間的關(guān)聯(lián)和影響，所以精度不高。相反，Wrapper方法采用分類器的分類錯(cuò)誤率或正確率來評估特征子集，可對不同的分類器選出最適應(yīng)的近似最優(yōu)的特征子集。Wrapper方法選出的特征子集比Filter方法選出的效果更好，但其計(jì)算量比Filter方法大得多，因而需要更多的時(shí)間。

2 Filter方法

在自編的化學(xué)計(jì)量學(xué)建模軟件THUNIR中，比較了常用的兩種Filter波長選擇方法，即相關(guān)系數(shù)法和相關(guān)成分法。

2.1 相關(guān)系數(shù)法

相關(guān)系數(shù)法是將校正集光譜矩陣中每個(gè)波長對應(yīng)的吸光度向量 與性質(zhì)矩陣中的待測組分性質(zhì)向量 進(jìn)行相關(guān)性計(jì)算，相關(guān)系數(shù)越大的波長，其包含的信息也越多。因此，可結(jié)合經(jīng)驗(yàn)知識，給定一個(gè)初始閾值，選取相關(guān)系數(shù)大于該閾值的波長參與建模；再根據(jù)模型的精度調(diào)整閾值，從而確定最優(yōu)的波段。也可采用網(wǎng)絡(luò)搜索算法，確定用于建模的最優(yōu)波段。

6 結(jié)束語

實(shí)驗(yàn)結(jié)果表明，波長選擇方法不僅能夠簡化模型，而且能夠提高模型的預(yù)測能力。基于Wrapper模式的4種迭代優(yōu)化波長選擇方法所建模型的波長數(shù)比全譜減少60%～80%，而且預(yù)測精度能夠提高50%左右，但需要較長建模時(shí)間。2種Filter方法所需優(yōu)化時(shí)間與全譜相當(dāng)，但其建模結(jié)果與預(yù)測精度比全譜能提高20%左右。用戶可以按照實(shí)際需要（精度或時(shí)間度）選擇相應(yīng)的波長選擇方法。

參考文獻(xiàn)

[1]劉嚴(yán).多元線性回歸的數(shù)學(xué)模型[J].沈陽工程學(xué)院學(xué)報(bào)（自然科學(xué)版），2005（02）.

[2]羅批，郭繼昌，李鏘，等.基于偏最小二乘回歸建模的探討[J].天津大學(xué)學(xué)報(bào)（自然科學(xué)與工程技術(shù)版），2002（06）.

[3]尹力，劉強(qiáng)，王惠文.偏最小二乘相關(guān)算法在系統(tǒng)建模中的兩類典型應(yīng)用[J].系統(tǒng)仿真報(bào)，2003（01）.

[4]王惠文，吳載斌，孟潔.偏最complexity小二乘回歸的線性與非線性方法[M].北京：國防工業(yè)出版社，2006.

[5]王惠文.偏最小二乘回歸方法及其應(yīng)用[M].北京：國防工業(yè)出版社，1999.

[6]陳孝敬，吳迪，虞佳佳，等.一種用于可見-近紅外光譜特征波長選擇的新方法[J].光學(xué)學(xué)報(bào)，2008（11）.

[7]谷筱玉，徐可欣，汪曣.波長選擇算法在近紅外光譜法中藥有效成分測量中的應(yīng)用[J].光譜學(xué)與光譜分析，2006（09）.

[8]劉輝軍，林敏，施秧，等.遺傳算法在綠茶葉近紅外光譜分析中波長選擇的應(yīng)用[J].理化檢驗(yàn)-化學(xué)分冊，2008（03）.

[9]國家藥典委員會.中華人民共和國藥典（一部）[M].北京：中國醫(yī)藥科技出版社，2010.

〔編輯：李玨〕

Abstract： In order to study the NIR spectra of different wavelengths selection algorithm used in traditional Chinese medicine quality on-line detection， application self chemometric software THUNIR two types of six kinds of wavelength selection algorithms for modeling. On the model evaluated to leave a root mean square error of cross validation（RMSECV）or test set RMSE（RMSEP）minimum for the best. Experiments show， Filter wavelength selection methods and RMSECV value Wrapper wavelength selection method RMSECV value than the full spectrum of much smaller， the number of wavelengths used for modeling are also much less than the full spectrum. Visible， NIR spectral wavelength selection method can not only simplify the model， you can also improve the predictive ability of the model.

Key words： near-infrared spectroscopy； wavelength selection algorithm； medicine quality； online testing

摘 要：為了研究NIR光譜的不同波長選擇算法在中藥質(zhì)量在線檢測中的應(yīng)用，應(yīng)用自編的化學(xué)計(jì)量學(xué)軟件THUNIR對兩大類6種波長選擇算法進(jìn)行建模。在模型評價(jià)上，以留一法交叉驗(yàn)證均方根誤差（RMSECV）或測試集均方根誤差（RMSEP）最小為最優(yōu)。實(shí)驗(yàn)表明，F(xiàn)ilter波長選擇方法與Wrapper波長選擇方法的RMSECV值均比全譜的RMSECV值要小的多，用于建模的波長數(shù)也比全譜也少的多。可見，NIR光譜的波長選擇方法不僅可以簡化模型，還可以提高模型的預(yù)測能力。

關(guān)鍵詞：近紅外光譜；波長選擇算法；中藥質(zhì)量；在線檢測

中圖分類號：R284；O433 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-6835（2014）14-0113-03

近紅外（Near Infrared，NIR）光譜技術(shù)是近幾十年內(nèi)發(fā)展較快的新型分析檢測技術(shù)，具有快速、簡便、準(zhǔn)確、易于實(shí)現(xiàn)在線分析和非破壞性的特點(diǎn)，已在食品、煙草和石油化工等領(lǐng)域得到廣泛應(yīng)用。

近紅外光譜主要是有機(jī)分子的倍頻與合頻吸收光譜，倍頻與合頻吸收帶比基頻吸收帶寬得多，這使得多組分樣品的近紅外光譜在不同組分的譜帶、同一組分中不同基團(tuán)的譜帶和同一基團(tuán)不同形式的倍頻、合頻譜帶發(fā)生嚴(yán)重的重疊。因此，選擇代表樣本信息的波長是近紅外光譜建模需要解決的重要問題。

在NIR結(jié)合PLS方法建模中，傳統(tǒng)觀點(diǎn)認(rèn)為，PLS具有較強(qiáng)的抗干擾能力，可全波長參與多元校正模型的建立。但采用全譜建立多變量校正模型時(shí)，不僅計(jì)算工作量大，而且校正模型的預(yù)測精度未必能達(dá)到最優(yōu)值。其中，建模波長的不同將直接影響模型的測量精度。在建模光譜中，不同譜區(qū)內(nèi)包含的指定待測量信息是不同的，因而必須選擇有效信息率最高的譜區(qū)用于建模，才能提高模型的預(yù)測效果。隨著對PLS算法的深入研究和應(yīng)用，通過特定方法篩選特征波長或波長區(qū)間，有可能得到更好的定量校正模型。波長選擇可以簡化模型，更主要的是由于不相關(guān)或非線性變量的剔除，可以得到預(yù)測能力強(qiáng)、穩(wěn)健性好的校正模型。

1 特征選擇方法概述

特征選擇可以看作是一個(gè)優(yōu)化問題，其關(guān)鍵是建立一個(gè)評估標(biāo)準(zhǔn)來區(qū)分哪些特征組合有助于分類，哪些特征組合存在冗余性、部分或者完全無關(guān)，不同的評估函數(shù)可能會給出不同的結(jié)果。根據(jù)評估函數(shù)與分類器的關(guān)系，特征選擇方法分成過濾器（Filter）和封裝器（Wrapper）兩種模式。Filter方法與分類學(xué)習(xí)算法無關(guān)，一般直接利用所有訓(xùn)練數(shù)據(jù)的統(tǒng)計(jì)性能評估特征，例如距離度量、一致性度量、相關(guān)性度量、信息度量等，因此，F(xiàn)ilter方法具有時(shí)間復(fù)雜度低的優(yōu)點(diǎn)。但Filter方法沒有考慮特征集與分類器學(xué)習(xí)算法之間的關(guān)聯(lián)和影響，所以精度不高。相反，Wrapper方法采用分類器的分類錯(cuò)誤率或正確率來評估特征子集，可對不同的分類器選出最適應(yīng)的近似最優(yōu)的特征子集。Wrapper方法選出的特征子集比Filter方法選出的效果更好，但其計(jì)算量比Filter方法大得多，因而需要更多的時(shí)間。

2 Filter方法

在自編的化學(xué)計(jì)量學(xué)建模軟件THUNIR中，比較了常用的兩種Filter波長選擇方法，即相關(guān)系數(shù)法和相關(guān)成分法。

2.1 相關(guān)系數(shù)法

相關(guān)系數(shù)法是將校正集光譜矩陣中每個(gè)波長對應(yīng)的吸光度向量 與性質(zhì)矩陣中的待測組分性質(zhì)向量 進(jìn)行相關(guān)性計(jì)算，相關(guān)系數(shù)越大的波長，其包含的信息也越多。因此，可結(jié)合經(jīng)驗(yàn)知識，給定一個(gè)初始閾值，選取相關(guān)系數(shù)大于該閾值的波長參與建模；再根據(jù)模型的精度調(diào)整閾值，從而確定最優(yōu)的波段。也可采用網(wǎng)絡(luò)搜索算法，確定用于建模的最優(yōu)波段。

6 結(jié)束語

實(shí)驗(yàn)結(jié)果表明，波長選擇方法不僅能夠簡化模型，而且能夠提高模型的預(yù)測能力。基于Wrapper模式的4種迭代優(yōu)化波長選擇方法所建模型的波長數(shù)比全譜減少60%～80%，而且預(yù)測精度能夠提高50%左右，但需要較長建模時(shí)間。2種Filter方法所需優(yōu)化時(shí)間與全譜相當(dāng)，但其建模結(jié)果與預(yù)測精度比全譜能提高20%左右。用戶可以按照實(shí)際需要（精度或時(shí)間度）選擇相應(yīng)的波長選擇方法。

參考文獻(xiàn)

[1]劉嚴(yán).多元線性回歸的數(shù)學(xué)模型[J].沈陽工程學(xué)院學(xué)報(bào)（自然科學(xué)版），2005（02）.

[2]羅批，郭繼昌，李鏘，等.基于偏最小二乘回歸建模的探討[J].天津大學(xué)學(xué)報(bào)（自然科學(xué)與工程技術(shù)版），2002（06）.

[3]尹力，劉強(qiáng)，王惠文.偏最小二乘相關(guān)算法在系統(tǒng)建模中的兩類典型應(yīng)用[J].系統(tǒng)仿真報(bào)，2003（01）.

[4]王惠文，吳載斌，孟潔.偏最complexity小二乘回歸的線性與非線性方法[M].北京：國防工業(yè)出版社，2006.

[5]王惠文.偏最小二乘回歸方法及其應(yīng)用[M].北京：國防工業(yè)出版社，1999.

[6]陳孝敬，吳迪，虞佳佳，等.一種用于可見-近紅外光譜特征波長選擇的新方法[J].光學(xué)學(xué)報(bào)，2008（11）.

[7]谷筱玉，徐可欣，汪曣.波長選擇算法在近紅外光譜法中藥有效成分測量中的應(yīng)用[J].光譜學(xué)與光譜分析，2006（09）.

[8]劉輝軍，林敏，施秧，等.遺傳算法在綠茶葉近紅外光譜分析中波長選擇的應(yīng)用[J].理化檢驗(yàn)-化學(xué)分冊，2008（03）.

[9]國家藥典委員會.中華人民共和國藥典（一部）[M].北京：中國醫(yī)藥科技出版社，2010.

〔編輯：李玨〕

Abstract： In order to study the NIR spectra of different wavelengths selection algorithm used in traditional Chinese medicine quality on-line detection， application self chemometric software THUNIR two types of six kinds of wavelength selection algorithms for modeling. On the model evaluated to leave a root mean square error of cross validation（RMSECV）or test set RMSE（RMSEP）minimum for the best. Experiments show， Filter wavelength selection methods and RMSECV value Wrapper wavelength selection method RMSECV value than the full spectrum of much smaller， the number of wavelengths used for modeling are also much less than the full spectrum. Visible， NIR spectral wavelength selection method can not only simplify the model， you can also improve the predictive ability of the model.

Key words： near-infrared spectroscopy； wavelength selection algorithm； medicine quality； online testing