高精度自適應小波神經網絡人工智能方法探索*

劉經緯，趙　輝，周　瑞，王　普1.首都經濟貿易大學 信息學院，北京 100070.北京工業大學 電子信息與控制工程學院，北京 10014.清華大學 信息技術研究院，北京 100084

高精度自適應小波神經網絡人工智能方法探索*

劉經緯1,2+，趙輝3，周瑞2，王普2
1.首都經濟貿易大學 信息學院，北京 100070
2.北京工業大學 電子信息與控制工程學院，北京 100124
3.清華大學 信息技術研究院，北京 100084

LIU Jingwei,ZHAO Hui,ZHOU Rui,et al.Exploration of high-precision adaptive wavelet neural network artificial intelligence method.Journal of Frontiers of Computer Science and Technology,2016,10(8):1122-1132.

摘要：針對當前人工智能方法存在的訓練精度瓶頸問題和智能系統對高精度人工智能方法的迫切需求問題，結合小波分析和BP（back propagation）、RBF（radial basis function）神經網絡的優點，提出了自適應小波神經網絡（adaptive wavelet neural network，AWNN）方法，將其應用于智能視頻分析系統和智能控制系統，并驗證了AWNN方法可以取得更好的收斂性、準確性、精度等。通過對AWNN方法與經典的神經網絡進行理論分析，并與計算機仿真進行對比分析，驗證了該方法可以提升經典神經網絡的速度和精度；進而通過將AWNN方法植入真實的視頻分析系統進行實驗，驗證了AWNN方法與現有的視頻分析技術相比具有更準確的內容分類能力；最終將AWNN方法與經典控制方法相結合，通過與兩種現有的神經網絡控制方法進行對比分析，驗證了AWNN控制方法具有更好的控制性能。

關鍵詞：小波神經網絡；智能系統；視頻分析；智能控制系統；神經網絡控制

1　引言

經典的人工智能方法主要可以分為兩大類：一是基于規則和推理技術的人工智能，例如專家系統、模糊邏輯、搜索方法、遺傳算法、群集智能和基于規則的機器學習方法；二是基于人腦原理的神經網絡技術，例如前饋神經網絡、反饋神經網絡、復合神經網絡和基于神經網絡的機器學習方法。

上述經典的人工智能方法在知識的海量存儲和智能單元的處理能力（智能算法的局限性）兩個方面遇到了瓶頸，導致其智能在一些簡單的領域被有限地應用。經典的人工智能方法在學習知識的容量、精度和穩定性三方面亟待提升。

2012年以來，微軟、蘋果、谷歌、百度等公司相繼在人工智能領域進行了重量級戰略投資，開發了Cortana、Siri等人工智能系統，并發表了大量研究成果。2015—2016年，谷歌公司研究人員在“Nature”雜志發表多篇論文[1-2]，展示了將深度人工智能方法應用于計算機，從而實現對49項游戲的學習和操控。計算機通過實時在線學習，對半數以上比賽的操控效果達到了與測試人員非常接近的水平，在部分比賽中超過測試人員。研究表示“該成果是世界上第一個能面對不同任務進行學習，對不同系統進行控制并勝出的人工智能算法。”計算機科學和IT領域開始向人工智能應用領域深水區邁出步伐，對具有高性能的人工智能理論和應用進行研究成為計算機科學探索的前沿陣地。2016年3月，谷歌公司采用上述理論研發的AlphaGo人工智能系統在圍棋項目人機對戰中，戰勝了世界圍棋冠軍李世石。

神經網絡模型本質上更接近于人腦智能的產生原理，通過對上述人工智能領域最新的研究成果和趨勢進行分析，基于神經網絡的人工智能方法具有更加廣闊的研究前景。其中，對神經網絡的結構和神經元節點的特性進行改進，成為人工智能領域再一次跨越式發展的突破口。本研究針對后者進行探索，即探索改進神經元節點。研究成果可以進一步應用于前者，即在調整神經網絡接口的基礎上實施對神經元節點的改進，從學習知識的容量、精度和穩定性三方面對經典人工智能模型進行改進。

經典的神經網絡可以分為前向網絡和反饋網絡。其中應用最廣泛的兩種神經網絡模型是BP （back propagation）神經網絡和RBF（radial basis function）神經網絡，還有很多基于這兩類模型的改進模型。傳統的BP網絡算法[3]采用基于誤差反向傳播的梯度算法[4]，充分利用了多層前向網絡的結構優勢，算法相對成熟，具有很多應用案例；RBF網絡[5]利用差值法的研究成果，采用前饋的結構，各有優缺點。

BP神經網絡模型的優點是：（1）具有較強的非線性映射能力；（2）具有高度自學習和自適應的能力；（3）具有良好的泛化能力，即對新鮮樣本的適應能力；（4）具有一定的容錯能力。

BP神經網絡存在的缺點和問題是：（1）局部極小化影響精度；（2）算法收斂速度慢；（3）對訓練樣本依賴。

RBF神經網絡[6]采用了與BP神經網絡不同的局部激勵函數，很大程度上克服了BP神經網絡的上述缺點。RBF神經網絡的優點是：（1）具有唯一最佳逼近的特性，無局部極小問題；（2）具有較強的輸入和輸出映射功能，在前向網絡中RBF網絡是完成映射功能的最優網絡；（3）學習過程收斂速度快。

RBF神經網絡存在的問題是：（1）RBF隱含層節點的中心難以獲得；（2）隱含層節點數難以確認；（3）訓練過程非常不平穩，頻繁出現系統誤差跳變。

小波分析被稱為數學顯微鏡，小波變換可以通過尺度伸縮和平移對信號進行多尺度分析，能有效提取信號的局部信息[7]，具有良好的函數逼近能力和模式分類能力[8]。小波神經網絡已被證明在逼近單變量函數時是漸近最優的逼近器[9]。

本文希望同時解決上述3個問題：BP神經網絡陷入局部極小問題，RBF神經網絡訓練過程不穩定問題，以及在神經元規模有限的情況下訓練精度瓶頸問題。試圖探索將上述3種算法優點相結合，從而克服彼此的缺陷，并引入對樣本的自適應機制，構建出自適應小波神經網絡[10]（adaptive wavelet neural network，AWNN）方法。

本文首先驗證了AWNN方法相對于經典神經網絡的性能提升；進而應用于智能視頻分析系統，在真實環境中驗證了AWNN方法應用相對于其他經典神經網絡應用的性能提升；最后與經典控制方法相結合，通過計算機仿真的方法驗證了AWNN控制系統相對于其他經典神經網絡控制系統的性能提升。

新型網絡具有上述3種算法的優點[11]以及如下有益效果：（1）隱含層節點采用尺度變換函數，克服了局部極小點問題；（2）降低了隱含層神經元相關性，較之RBF神經網絡，收斂過程更加平穩，收斂速度得到提升；（3）具有更好的局部特性和多分辨率學習能力，提升了神經網絡的訓練精度，特別是在神經元節點規模有限的情況下，提升了神經網絡的學習能力；（4）自適應層和綜合層的設計使該算法在應用中具有自適應樣本能力；（5）為深度神經網絡學習方法中隱含層節點的改進、算法的分辨率和精度提升提供理論和實驗依據。

2　AWNN模型建立

2.1AWNN設計

AWNN設計原理如下：（1）BP神經網絡結構中通過反向誤差傳播原理，可以獲得穩定、快速、單調的誤差收斂效果；（2）RBF神經網絡中隱含層神經元采用基函數變換算法，相當于增加了誤差調整維度，從而可以跳出陷入局部極小的情況；（3）小波變換算法的尺度變換算法具有極好的局部信息提取能力。

AWNN設計思路如下：采用BP神經網絡拓撲結構和RBF神經網絡隱含層神經元結構，將小波尺度變換函數作為神經網絡隱含層的活化函數[12]，并設計對樣本的自適應機制。

自適應小波神經網絡的結構由5層組成：輸入層、自適應層、小波函數計算層、輸出層、綜合層，如圖1所示。

Fig.1　Structure of adaptive wavelet neural network圖1　自適應小波神經網絡結構圖

框架理論[13]的結論是：框架邊界越接近，穩定性就越好，但也會造成數據冗余。選取滿足框架條件的Morlet小波函數，如式（1）所示：

對式（1）求一階導數，如式（2）所示：

其中，Ψj為第 j個小波基，j=1,2,…,n，n為小波基的個數；aj為第 j個小波基的伸縮因子；bj為第 j個小波基的平移因子。

輸出層第i個變量Y(i)的計算如式（4）所示：

其中，Xk為隱含層輸入；wij和wik為連接權值。

按照式（5）定義熵函數E：

對式（5）求偏導數，如式（6）至式（9）所示：

唉，楊小水嘆了一聲。還是應了那句老話，不是沒報時候未到啊。《貍貓換太子》那戲，劉皇后最后落了什么好？自己的兒子沒有成年就病死了，皇帝將賢王的兒子收為養子，后來又立為太子。知道這個孩子是誰吧？

依據梯度下降法，得到AWNN權值調整公式，如式（10）至式（13）所示：

其中，η為網絡學習速率；μ為動量系數。

2.2AWNN算法特性理論分析

2.2.1收斂性分析

設神經網絡訓練樣本集為{Xk(t),dk}，其中Xk(t)∈ (C[0,T])n，dk∈R，則給定訓練誤差的情況下，由式（4）、式（5）定義的小波神經網絡應滿足方程組如式（14）所示：

其中，dk為期望輸出。對式（14）求解，若系數矩陣正定，則有唯一解。采用迪漢洛夫正則化理論，尋求F(X)使得式（15）泛函最小，即可求解[14]。

如果AWNN滿足框架條件，則可以證明AWNN可以任意精度逼近訓練樣本[15]，即滿足式（16）。

2.2.2效率分析

由式（10）至式（13）可以看出，小波基尺度變換函數增加了兩個尺度變化參數aj和bj，也可以看作兩組權值，從而打破了BP神經網絡中僅有ωij和ωjk兩組權值在最速下降法訓練過程中的單調變化特性。在一次訓練中，4組權值的共同訓練提升了誤差變化率，使得AWNN訓練次數降低。但是，Morlet小波函數及其導數中存在很多零點，這些零點在訓練過程中將會導致Δaj、Δbj、Δωij和Δωjk出現歸零的情況，這將是導致訓練效率降低的隱患[16]。同時，Morlet函數與Sigmoid函數相比，其波動性更大，對于一個較小的權值調整量Δωij<ε，經過式（4）的計算，會被快速放大。因此AWNN算法中初值對算法效率影響極大。

構建神經網絡效率評估模型，如式（17）所示：

其中，O(XNN)表示X神經網絡算法的時間復雜度；Osigle(XNN)表示X神經網絡算法單次訓練算法復雜度，例如Osigle(AWNN)可以表示為：Average(XNN(ec))表示在各種神經網絡達到相同訓練誤差時的平均訓練次數，該數值可通過對仿真結果進行統計的方法獲得。

當神經網絡權值與尺度變換參數初始化算法為隨機數且滿足0至1區間均勻分布，不同神經網絡的學習效率與慣性系數相同，目標誤差一致，樣本數據一致時，O(XNN)即可表征各算法時間復雜度。常見算法的時間復雜度：O(1)

2.3AWNN驗證研究

本節的實驗目標是：通過計算機編程實現3種神經網絡BPNN、RBFNN、AWNN。首先驗證算法的可行性和基本特征，進而驗證可達性，即AWNN能否提升神經網絡的最大訓練精度。

訓練集設計為二維平面上的每個點到三維曲面上每個點的映射關系，即輸出曲面上的每個點的高度值z與輸入平面上每個點坐標(x,y)之間的映射關系，如式（19）所示：

在輸入平面上取3×3個點構成訓練集的輸入集X，計算得到訓練集的目標輸出集T：

在輸入平面上取21×21=441個點，每個點的坐標構成測試集Xt每一個輸入，因此Xt為2行441列的矩陣，每一列為一個坐標，測試集的輸出Tt為1行411列的矩陣，計算方法同樣如式（19）所示。

2.3.1AWNN可行性與特征實驗

對BPNN、RBFNN和AWNN設計相同的實驗參數，構成對比實驗：（1）令算法終止的條件為訓練次數到達上限max_epoch=100 000，或每個訓練樣本的前向計算值與目標輸出值的誤差全部都小于目標誤差err_goal=0.1；（2）設置一組實驗總輪數均為case_repeat=10；（3）設置相同的學習效率參數lr=0.2，相同的慣性系數la=0.3。計算機仿真結果如圖2所示。

Fig.2　Simulation results of feasibility verification圖2BPNN、RBFNN和AWNN仿真實驗結果

從圖2中可以看出：3種算法均可以完成訓練。BPNN訓練過程中誤差單調遞減，即可能陷入局部極小；RBFNN訓練過程中遞減的過程經常會被打破，而且跳變的過程頻率和幅度都比較大，這種特性有利于概率性地獲取高精度，也帶來了應用過程中不穩定的可能性；AWNN算法誤差跳變的過程出現在訓練前期，誤差減小的過程很快進入了平穩的狀態。因此可以認為AWNN克服了BPNN陷入局部極小的問題，繼承了BPNN訓練過程平穩和快速的優點，同時也克服了RBFNN頻繁出現跳變產生的不穩定問題，但保留了RBFNN跳出局部極小點的能力。RBFNN測試集輸出曲面最平滑，BPNN測試集輸出曲面效果最差，AWNN介于其間。

進一步分別對3種算法連續仿真10次，得到實驗結果如表1所示。表1進一步表明：（1）3種算法均存在訓練完成（收斂）的情況。（2）AWNN平均訓練次數最少，即訓練效率最高，約為BPNN的1/4，RBFNN 的1/8；RBFNN平均訓練次數最多，即訓練效率最低。（3）BPNN訓練誤差曲線是單調遞減的，存在局部極小點問題，導致大多數訓練無法達到高精度；而RBFNN和AWNN則可以跳出局部極小點，存在達到更高精度的概率。

Table 1　Feasibility experiment results of BPNN,RBFNN andAWNN表1BPNN、RBFNN和AWNN可行性實驗結果

2.3.2AWNN高精度實驗

保持3種神經網絡訓練參數一致，將目標精度逐漸提高（目標誤差err_goal=0.1逐步減小）并多次重復訓練，對比3種方法的訓練過程和結果。即設定目標誤差err_goal=0.05，分別連續仿真case_repeat=10次，實驗結果如表2所示。

Table 2　Reachability experiment results of BPNN,RBFNN andAWNN表2BPNN、RBFNN和AWNN可達性實驗結果

表2表明：AWNN的訓練成功率（60%）最高，即算法可達性最好；RBFNN的訓練成功率為40%；而BPNN實驗成功率為0%，精度最差。

將訓練的目標誤差err_goal減小至0.03和0.02時，RBFNN和AWNN的訓練成功率會進一步降低，但AWNN的訓練成功率始終高于RBFNN。當RBFNN訓練成功率降低為0%時，AWNN依然存在訓練成功的情況，進一步驗證了AWNN的訓練成功率最高。AWNN與RBFNN均可以獲得極高的訓練精度，而AWNN具有訓練成功率高的優勢。

3　AWNN智能視頻分析系統應用研究

將AWNN應用于智能視頻分析實驗[17]，驗證AWNN算法的特性。該實驗分為兩個大步驟，即視頻處理和視頻分析。前者包括6個子步驟：對時間序列圖像的預處理、背景更新、背景差分、圖像分割、標準化、二值化；后者包括兩個子步驟：特征提取和模式識別。整個過程如圖3所示。

Fig.3　Process of video analysis圖3　視頻處理和分析過程

3.1標識物入侵檢測分析實驗設計

選取經典的數字圖像入侵識別實驗，進而推廣到對于一般物體的入侵、識別情況，實施步驟如下：

（1）訓練樣本和待測樣本的確定。將10個數字0,1,…,9制作成為紙板，如圖4所示。將這些圖像進行編碼，即將每個數字圖像對應為一個的3×5布爾量網絡。例如：用[1 1 1 1 0 1 1 0 1 1 0 1 1 1 1]表示0，用[0 1 0 0 1 0 0 1 0 0 1 0 0 1 0]表示1。

Fig.4　Images of numbers to be identified圖4　待識別的數字圖像

（2）BPNN、RBFNN和AWNN設置相同的算法參數。網絡學習速率η=0.1；動量系數 μ=1；目標熵Et=0.01；最大訓練次數epoch=10 000；選取Sigmoid函數為激勵函數，Sigmoid函數參數為θ0=1，θ1=0，α=2和β=1；設置AWNN輸入層和自適應層結點數M=15，隱含層結點數n=10；輸出層和綜合層結點數N=F=1；訓練精度err_goal=0.000 1；實驗重復次數case_repeat=20。

（3）視頻處理速度為每秒鐘處理5幀圖像，當用臺式計算機時，圖像處理速度最高可以達到圖像顯示速度25幀/s，視頻圖像尺寸為CIF格式。

3.2實驗結果分析

隨機抽取標有數字的紙板移入智能監控區域，系統將檢測到入侵的紙板并對數字進行識別，實驗結果參見圖5（a）所示。為驗證AWNN算法對于細節的分辨能力，分別選取與圖5（a）所示樣本極其近似的樣本進行實驗，實驗結果參見圖5（b）。

Fig.5　Results of intelligent video surveillance system圖5　智能視頻監控系統運行示例

從圖5（a）的中間窗體中可以看到，入侵的運動目標被紅色方塊標示出；左上角的窗體是被檢測到的入侵圖像區域；左下角的窗體是被檢測到的區域的圖像經過標準化處理和二值化處理后的結果；左側被上述窗體遮蓋的命令行窗體中顯示了被檢測到區域的圖像經過神經網絡計算的輸出值，右上方窗口顯示了識別的結果。

采用了AWNN算法的視頻分析系統，可以完成特征相似的入侵目標侵入檢測。

將上述仿真實驗中的分類器算法替換為BPNN 和RBFNN算法，在不同訓練精度下分別訓練20次，得到的實驗結果如表3所示。

Table 3　Comparison results betweenAWNN,BPNN and RBFNN video analysis application experiments表3AWNN與BPNN、RBFNN視頻分析應用實驗結果

從對比實驗中可以看出：當目標訓練誤差精度較高（允許較小誤差）時，BPNN始終無法完成訓練，RBFNN存在較小的概率可以完成訓練，而AWNN則存在較大的概率可以完成訓練。即當極高精度要求時，只有AWNN可以完成訓練，再次驗證了AWNN具有克服局部極小點的特性，且可以獲得最高精度。

4AWNN智能控制系統應用研究

將AWNN應用于智能控制實驗，驗證AWNN算法相對于BPNN、RBFNN算法可以使智能控制系統具有更好的特性。

神經網絡控制系統結構圖如圖6所示。原理是在線整定器的神經網絡根據系統輸出量和狀態量，采用梯度下降法向著輸出誤差最小的方向，前向計算出控制參數的更新值，新的控制參數使得在線整定器計算出最新的控制量。

Fig.6　Structure of control system圖6　控制系統的結構圖

在線整定器先后采用BPNN、RBFNN和AWNN算法與經典控制方法相結合，從而構成一組對比實驗，即BPNN-PID、RBFNN-PID和AWNN-PID神經網絡智能控制算法對比實驗，從而對AWNN算法在智能控制領域應用得到的性能提升進行驗證。

4.1在線整定器算法

此時其性能指標函數定義為：

選取滿足框架條件的小波函數Ψa,b(t)[18]：

上述各項計算公式推導如下：

4.2計算機仿真實驗

BPNN-PID、RBFNN-PID、AWNN-PID仿真程序設計方案如下：采用增量式數字PID算法作為控制器算法；采用階躍信號rin=1作為輸入；設置最大訓練次數max_epoch=3 000；設置學習速率xite=0.2，慣性系數alfa=0.05。

選取最常見的二階模型延遲環節[19]作為被控對象模型。該模型常見于液壓、氣動等傳統控制系統中，被控對象模型為：

設計該系統為動態非線性系統，將系統內部和外部環境動態變化等價為系統輸入，設置該波動起始時刻d_k=2 000，波動周期長度l_k=100。

計算機仿真結果如圖7所示，對比仿真結果中的關鍵數據，如表4所示。

圖7表明，各算法均存在收斂的可能性。其中，BPNN-PID和AWNN-PID算法實驗100%收斂，而RBFNN-PID出現不收斂的情況。

表4表明：（1）AWNN-PID方法在響應快速性方面均優于BPNN-PID，RBFNN-PID方法存在不穩定的情況，但具有最快的階躍響應速度，且是唯一出現超調的算法；（2）AWNN-PID方法的平均穩態誤差小于RBFNN-PID方法，BPNN-PID方法具有最小的穩態誤差；（3）各算法在非線性系統應用中，面對系統內部和外部的動態波動和擾動，各算法具有自適應跟蹤與恢復能力，其中AWNN算法具有快速響應系統波動與波動后快速恢復能力，具有較好的魯棒性。

可以得到如下結論：AWNN-PID方法具有較好的穩定性、魯棒性，比BPNN-PID方法具有更好的響應速度。RBFNN-PID方法不穩定，不建議將沒有穩定性保證機制的RBFNN-PID方法應用于工程實踐。

Fig.7　Simulation results of output and error of 3 kinds of control systems圖7　3個控制系統輸出和誤差的仿真結果

Table 4　Key data in comparative simulation results of dynamic nonlinear systems between different methods表4　不同算法在動態非線性系統中仿真對比實驗結果的關鍵數據

5　結論與展望

AWNN算法結合了小波變換、BPNN、RBFNN算法的優點：繼承了BPNN的優點，具有更好的快速收斂性；繼承了RBFNN的優點，可以克服局部極小問題；繼承了小波分析的優點，具有更高的分辨精度。對比實驗驗證了AWNN算法可以通過多次重新訓練，更高概率地得到更高的精度。

當BPNN、RBFNN、AWNN分別應用于智能視頻監控系統，均可實現對帶有標準數字的紙板進行入侵檢測、處理、分析識別功能。通過對比實驗，驗證了AWNN算法在訓練效率、訓練成功率和精度方面具有更好的特性。特別是在高精度實驗中，BPNN無法完成神經網絡的訓練，RBFNN的訓練成功率也無法達到AWNN的水平。AWNN算法和系統可以應用到家居、提款機和博物館等智能監控領域。

BPNN、RBFNN、AWNN可以分別與經典控制算法相結合，從而構成了BPNN-PID、RBFNN-PID、AWNN-PID智能控制系統，通過算法對比實驗，驗證了AWNN-PID控制系統可以100%收斂，并獲得理想的動態特性和魯棒性，具有工程應用的可靠性。該方法可以應用于解決“中國制造2025”與“工業4.0”戰略中涉及的系統智能化方面的前沿探索性問題。

References:

[1]Silver D,Huang A,Chris J,et al.Mastering the game of go with deep neural networks and tree search[J].Nature,2016, 529:484-489.

[2]Mnih V,Kavukcuoglu K,Silver D,et al.Human-level control through deep reinforcement learning[J].Nature,2015, 518:529-533.

[3]Liu Chunxia,Shu Tong,Chen Shou.An improved grey neural network model for predicting transportation disruptions[J]. Expert Systems withApplications,2016,45:331-340.

[4]Wang Ershen,Li Xingkai,Pang Tao.A particle filtering algorithm based on the BP neural network[J].CAAI Transactions on Intelligent Systems,2014,9(6):709-713.

[5]Zhang Jiangbin,Deng Zhaohong,Wang Shitong.Radial basis function neural network modeling using fuzzy subspace clustering[J].Journal of Frontiers of Computer Science and Technology,2015,9(12):1513-1522.

[6]Han Honggui,Qiao Junfei,Bo Yingchun.On structure design for RBF neural network based on information strength[J]. ActaAutomatica Sinica,2012,38(7):1083-1090.

[7]Daubechies I.Ten lectures on wavelets[M].Philadelphia,USA: SIAM Press,1992.

[8]Li Gang,Xu Pengcheng,Han Longmei.Fault spatial-temporal detecting and diagnosis for power grid based on wavelet analysis[J].Journal of System Simulation,2015,27(12): 3018-3024.

[9]Kreinovich V,Sirisaengtaksin O,Cabren S.Wavelet neural networks are asymptotically optimal approximators for functions of one variable[C]//Proceedings of the 1994 IEEE International Conference on Neural Networks,IEEE World Congress on Computational Intelligence,Orlando,USA, Jun 27-Jul 2,1994.Piscataway,USA:IEEE,1994:299-304.

[10]Wang Pu,Liu Jingwei,Li Huimin,et al.Adaptive wavelet neural network based anomaly detection and fault diagnosis classification system and method:China,ZL201110023943.2 [P].2012-08-30.

[11]Li Baojian,Cheng Chuntian.Monthly discharge forecasting using wavelet neural networks with extreme learning machine[J].Science China-Technological Sciences,2014,57 (12):2441-2452.

[12]Loussifi H,Nouri K,Braiek N B.Anew efficient hybrid intelligent method for nonlinear dynamical systems identification:the wavelet kernel fuzzy neural network[J].Communications in Nonlinear Science and Numerical Simulation, 2016,32:10-30.

[13]Huang Ping,Yuan Xiao.Solving algorithm and program for band scaling computing of common wavelet[J].Journal of Chengdu University of Information Technology,2011,26 (2):144-145.

[14]Li Yang.Research on wavelet process neural network correlative theory and its application[D].Harbin:Harbin Institute of Technology,2008.

[15]Huang Tongcheng.Research on VOCR and HOCR Technology based on wavelet neural network theory[D].Shanghai: Shanghai University,2008.

[16]Feng Zaiyong.Comparative study and application research between wavelet neural network and BP neural network[D]. Chengdu:Chengdu University of Technology,2007.

[17]Xu Zhiwen,Guo Xiaoxin,Pang Yunjie,et al.Design and realization of network surveillance system Based on streaming media[J].Chinese Journal of Scientific Instrument,2004,25 (S2):304-307.

[18]Chen Zhe,Feng Tianjin.The application of wavelet neural network for time series prediction and system modeling based on multi resolution learning[C]//Proceedings of the 1999 IEEE International Conference on System,Man and Cybernetics,Tokyo,Japan,1999.Piscataway,USA:IEEE, 1999:425-430.

[19]Tajjudin M,Rahiman M H F,Ishak N,et al.Comparison between optimally-tuned PID with self-tuning PID for steam temperature regulation[C]//Proceedings of the 2012 4th International Conference on Intelligent and Advanced Systems, Kuala Lumpur,Jun 12-14,2012.Piscataway,USA:IEEE, 2012:551-556.

附中文參考文獻：

[4]王爾申,李興凱,龐濤.基于BP神經網絡的粒子濾波算法[J].智能系統學報,2014,9(6):709-713.

[5]張江濱,鄧趙紅,王士同.模糊子空間聚類的徑向基函數神經網絡建模[J].計算機科學與探索,2015,9(12):1513-1522.

[8]李剛,許鵬程,韓龍美.基于小波分析的電力系統故障時空檢測與診斷[J].系統仿真學報,2015,27(12):3018-3024.

[10]王普,劉經緯,李會民,等.自適應小波神經網絡異常檢測故障診斷分類系統及方法:中國,ZL201110023943.2[P]. 2012-08-30.

[13]黃蘋,袁曉.常見小波的尺度進制求解算法與程序[J].成都信息工程學院學報,2011,26(2):144-145.

[14]李洋.小波過程神經網絡相關理論及其應用研究[D].哈爾濱:哈爾濱工業大學,2008.

[15]黃同成.基于小波神經網絡理論的VOCR與HOCR技術研究[D].上海:上海大學,2008.

[16]馮再勇.小波神經網絡與BP網絡的比較研究及應用[D].成都:成都理工大學,2007.

[17]許志聞,郭曉新,龐云階,等.流媒體網絡視頻監控系統的設計和實現[J].儀器儀表學報,2004,25(S2):304-307.

LIU Jingwei was born in 1982.He received the Ph.D.degree in pattern recognition and intelligent system from Beijing University of Technology in 2014.Now he is a lecturer at College of Information,Capital University of Economics and Business.His research interests include artificial intelligence,intelligent control and intelligent system,etc.

劉經緯（1982—），男，北京人，2014年于北京工業大學獲得博士學位，現為首都經濟貿易大學信息學院講師，主要研究領域為人工智能，智能控制，智能系統等。發表學術論文20余篇，參與國家自然科學基金項目等。

ZHAO Hui was born in 1988.He is a post doctor at Research Institute of Information Technology,Tsinghua University.His research interests include artificial intelligence and intelligent control of railway transportation,etc.

趙輝（1988—），男，河南人，清華大學信息技術研究院軌道交通控制技術研究中心博士后、助理研究員，主要研究領域為人工智能，軌道交通智能控制等。發表學術論文10余篇。

ZHOU Rui was born in 1983.She received the Ph.D.degree from Beijing University of Technology in 2013.Now she is an assistant professor at Beijing University of Chinese Medicine.Her research interest is process control.

周瑞（1983—），女，北京人，2013年于北京工業大學獲得博士學位，現為北京中醫藥大學講師，主要研究領域為過程控制。發表學術論文10余篇，主持國家基金1項，完成北京市基金2項，參與國家自然科學基金3項。

WANG Pu was born in 1962.He received the Ph.D.degree from China University of Mining and Technology in 1988.Now he is a professor and Ph.D.supervisor at Beijing University of Technology.His research interests include control science and engineering and intelligent system,etc.

王普（1962—），男，北京人，1988年于中國礦業大學獲得博士學位，現為北京工業大學教授、博士生導師，主要研究領域為控制科學與工程，智能系統等。發表學術論文80余篇，承擔各類科研項目50余項。

*The National Natural Science Foundation of China under Grant No.11402006(國家自然科學基金);the Science and Technology Foundation of Beijing Municipal Education Commission under Grant No.KM201610038001(北京市教委科技基金);the Project and Foundation of Capital University of Economics and Business under Grant Nos.00791554410263,00791654490210, 00791654210157(首都經濟貿易大學科研啟動基金、校內專項科研項目、校級教改青年項目).

Received 2016-01,Accepted 2016-03.

CNKI網絡優先出版:2016-04-08,http://www.cnki.net/kcms/detail/11.5602.TP.20160408.1642.006.html

文獻標志碼：A

中圖分類號：U621；TP273

doi:10.3778/j.issn.1673-9418.1602015

Exploration of High-Precision Adaptive Wavelet Neural Network Artificial Intelligence Method?

LIU Jingwei1,2+,ZHAO Hui3,ZHOU Rui2,WANG Pu2
1.College of Information,Capital University of Economics and Business,Beijing 100070,China
2.College of Electronic Information and Control Engineering,Beijing University of Technology,Beijing 100124,China
3.Research Institute of Information Technology,Tsinghua University,Beijing 100084,China
+Corresponding author:E-mail:liujingwei@cueb.edu.cn

Abstract:In order to solve the accuracy problem and the requirements of artificial intelligence systems,this paper proposes an adaptive wavelet neural network(AWNN)method,which is combined with the advantages of wavelet analysis method,BP(back propagation)and RBF(radial basis function)neural network.Then,this paper uses AWNN into intelligent video analysis and intelligent control system,and verifies better convergence and high accuracy of AWNN. Firstly,AWNN is analyzed theoretically and a group of comparative simulation experiments are implemented to verify that AWNN can improve speed and precision.Secondly,AWNN based intelligent video analysis systems are imple-mented to verify that AWNN has more accurate content classification ability.Finally,AWNN based intelligent control systems are implemented to verify thatAWNN has better control features.

Key words:wavelet neural network;intelligent system;video analysis;intelligent control system;neural network control