基于全視域GA-SVR模型的魚類行為雙目視覺觀測系統標定

劉世晶，唐 榮，周海燕，劉興國，陳 軍，王 帥

?

基于全視域GA-SVR模型的魚類行為雙目視覺觀測系統標定

劉世晶1,2，唐 榮1,2，周海燕1，劉興國1,2，陳 軍1,2※，王 帥1

（1. 中國水產科學研究院漁業機械儀器研究所，上海 200092；2. 農業部漁業裝備與工程技術重點實驗室，上海 200092）

針對大視場水下環境魚類行為視覺觀測系統較難準確標定的問題，該文以雙目立體測量系統為例，提出一種基于全視域GA-SVR（genetic algorithm-support vector regression）模型的魚類行為三維觀測系統標定方法。該方法選用具有圓點靶標的方形標定板為標定工具，通過設計具備前后左右移動能力的簡易滑動軌道，實現了標定板的全視域空間定位。然后利用HALCON算子獲取標定板靶點二維坐標，聯立標定板空間位置，構建訓練樣本集。選取SVR模型對樣本集進行訓練，對比不同的尋優算法對支持向量回歸模型的參數組合尋優結果，選用最優參數分別建立，，軸標定模型。試驗結果表明，利用遺傳算法進行參數尋優構建的標定模型，其、軸測量均方誤差分別為0.959、0.893和4.381 mm，互相關系數分別為0.999 988，0.999 998和0.998 356，優于差分進化算法和粒子群算法參數尋優的標定結果。與傳統標定方法比較，該方法單點測量均方誤差為1.861 mm，距離測量均方誤差為0.706 mm，均低于空氣中標定方法（單點均方誤差27.75 mm；距離均方誤差10.188 mm）和水下測量標定方法（單點均方誤差8.215 mm；距離均方誤差2.832 mm）的標定結果，有效的提高了魚類行為視覺觀測系統的定位精度。該研究可為魚類行為量化方法研究和優化提供理論支持和技術參考。

測量；系統；標定；魚類行為；全視域；視覺系統；模型

0 引 言

魚類運動軌跡是魚類行為研究的重要內容，其研究結果能夠為魚類行為量化和分析提供有效的數據支撐[1-2]。目前，觀測魚類運動軌跡常用的手段包括人工、機器視覺和電子標簽等方法。其中，機器視覺技術因其非接觸、高精度、可量化等優點，已被廣泛應用到魚類運動軌跡測量中[3]。

對魚類運動軌跡進行量化，視覺測量系統需具備空間定位能力，而對測量系統進行標定是實現相機空間定位的有效途徑。目前常用的視覺觀測技術包括單目、雙目和多目視覺（三個及以上相機）技術，其中單目視覺觀測[4]方法主要是利用單個相機對魚類行為進行觀測，適用于水面較低的空間二維觀測場景，受本身技術特點限制不能實現魚類運動的空間三維觀測。為了解決這個問題，Laurel等[5]提出了一種結合魚類投影定位稀疏三維標定方法，徐盼麟等[6-8]提出了一種結合鏡面反射的魚類三維標定定位方法，上述方法需要利用投影或平面鏡等方法輔助定位，相機標定復雜、定位精度低，只能適用于特定實驗室工況環境。多目視覺技術主要是利用多個相機從不同角度觀測魚類行為。該方法主要是通過建立多個雙目相機之間三維幾何約束，實現運動準確測量，因此其核心標定方法還是雙目視覺標定方法。例如，Santana等[9]沿5～200 m的不同深度安裝多組雙目視覺系統，構建立體視頻觀測系統，檢測魚群運動模式和行動規律；Bond等[10]利用多組雙目視覺系統構建立體觀測網絡，監測連片海底管網附近魚群活動，為研究魚群和海底基礎設施相互影響提供影像資料支持。雙目視覺技術是目前最常用的三維觀測技術，已被廣泛應用在實際生產中的多個領域。在魚類運動軌跡測量研究方面，Viscido等[11]提出一種分散式雙目視覺觀測系統，通過布置在魚缸兩邊的相機觀測魚類運動行為，實現了魚類運動軌跡測量，但是由于相機位置分散，較難構建兩個相機間有效重疊視域，無法精準標定相機，只能利用2幅二維圖像相關性近似構建空間三維關系，導致測量精度較低，無法準確判斷魚類位置；李林波等[12]提出一種結合雙目視覺技術和高斯背景建模方法的水下魚類行為觀測系統，實現了對水下環境中的魚類的定位跟蹤，但是此方法采用傳統的張氏標定方法[13]，沒有考慮水體和玻璃折射對測量精度的影響，降低了系統的觀測精度。

目前，現有測量方法雖然都能夠實現魚類行為測量，但是由于相機標定過程沒有考慮水下攝像鏡頭畸變、多層平面折射幾何以及觀測角度影響，僅能近似定位目標魚類位置。為了提升觀測系統的標定精度，徐杰等[14]提出一種圖像轉換方法，將水下圖像轉化成空氣中圖像進行相機近似標定，張文明等[15]、張強等[16]深入討論多種光路轉化模型，上述方法都對玻璃折射問題進行了近似，忽略了玻璃折射的影響，適用于觀測距離遠大于玻璃厚度的工況環境，限制了算法的應用場景。利用機器學習方法對相機進行間接標定是近年來的研究熱點[17]，延和等[18-20]利用BP神經網絡，通過構建二維成像平面與空間三維坐標之間的映射關系，實現相機的間接標定。劉勝等[21-22]將SVM算法引入相機標定，有效提高了算法的訓練速度和標定精度。上述基于機器學習的相機間接標定方法，為解決大視場、復雜工況環境的相機標定提供了可行性思路，但是相關研究還是集中于傳統的空氣標定環境，且應用的標定器材構造復雜，不適用于水下標定環境。

綜上所述，目前針對魚類行為研究，常見的空氣中標定方法，沒有考慮光線折射、鏡頭畸變等影響，觀測精度較低；而現有水下視頻標定技術標定過程較為復雜，且受空氣濕度、工況環境等限制不適于搭建高精度標定系統。為了解決這個問題，本文提出一種基于全視域和遺傳優化支持向量回歸（genetic algorithm-support vector regression，GA-SVR）的魚類行為雙目觀測系統標定方法。該方法通過設計具備前后左右移動能力的定位軌道，建立靶標點三維空間坐標與圖像二維平面坐標對應關系，以期降低全視域水下標定點三維坐標采樣難度。同時，將遺傳優化算法和支持向量回歸算法結合，構造基于二維圖像坐標的水下空間三維坐標預測模型，以期提高魚類行為視覺觀測系統的標定精度。最后，通過和不同尋優模型以及標定算法進行比較，驗證模型的準確性。

1 材料與方法

1.1 試驗裝置

本文設計了如圖1所示試驗系統，該系統由玻璃魚缸和水上雙目視覺系統組成。其中玻璃魚缸（長度：1 500 mm，寬度：1 000 mm，高度：1 000 mm）采用高透玻璃制造，玻璃厚度9 mm，工作水深800 mm。雙目視覺系統由2個大廣角相機組成，焦距6 mm，采樣距離850～900 mm。相機采用支架安裝，支架固定在魚缸頂部，可上下左右調整相機位姿。采用非平行雙目視覺模型[14]模擬常見的雙目觀測系統相機安裝方式，選擇魚缸長邊作為觀測平面。此外，為了降低背景噪聲干擾，模擬自然水體成像條件，魚缸其余三面使用黑布遮擋，降低鏡面反射影響。

本文設計的試驗系統主要用于實驗室環境下的魚類行為觀測，但是針對視覺觀測系統標定技術研究，系統光路傳輸原理與自然條件中水上和水下觀測時一致，能夠滿足標定試驗測試要求。

1.雙目相機 2.相機支架 3.勻光光源 4.魚缸 5.黑布 6.標定板

HALCON是一套工業級的機器視覺軟件，具有豐富的標準算子庫，是一種常用的機器視覺集成開發環境[23]。本試驗中標定板采用HALCON推出的圓點標定板（如圖 1所示），該標定板有49個均勻排列靶點，靶點直徑35.5 mm，中心距70 mm，標定板大小為600 mm×600 mm。

1.2 雙目系統全視域采樣方法

在魚類行為觀測系統中，魚類在水缸中游動具有不確定性，游動區域覆蓋整個水缸空間。由于試驗水缸玻璃厚度較大，通過玻璃后光線的徑向偏移已經明顯改變了光線的方向，因此標定板取樣必須盡量涵蓋整個觀測空間，對魚類運動區域進行整體采樣，建立完備的樣本集，有利于提高間接標定下模型的空間適應性。

為了實現整個魚缸空間標定過程的快速取樣，設計了一種移動采樣裝置（如圖2所示），該裝置由定位軌道、移動機構和掛接件組成。其中：1）定位軌道內徑尺寸為1 300×900 mm，軌道上下厚度為20 mm，單邊寬度為50 mm，軌道長軸離魚缸內壁間距為41 mm，短軸離魚缸內壁間距為16 mm。采用掛接方式安裝在水缸內部，上平面與魚缸頂部近似等高；2）移動桿長度為1 320 mm，上下厚度為20 mm，寬度為20 mm，通過卡槽固定在定位軌道上；3）沿軌道短軸方向，從短軸起始位置每隔50 mm加工一個卡槽（長度：10 mm，寬度：20 mm，深度：10 mm），共加工17對卡槽；4）沿軌道長軸方向，在移動桿上從長軸起始位置每隔400 mm加工一對卡槽（長度：20 mm，寬度：20 mm，深度：10 mm），每對卡槽間隔550 mm，與移動機構掛臂等寬，共加工3對卡槽；5）移動機構高900 mm，寬550 mm，通過卡槽固定在移動桿上，標定板固定在如圖1所示移動機構底端；6）整個移動采樣裝置采用高精度數控機床加工，加工精度為±0.05 mm，卡槽安裝精度為±0.1 mm。相機標定時，將標定板固定在移動桿上（如圖1所示），根據卡槽位置分別沿長軸方向移動標定板以及沿短軸方向移動移動桿，并在每個卡槽位置拍攝樣本圖像，使采集標定板圖像能夠覆蓋整個魚缸空間，實現全視域采樣。

針對大視場全視域采樣，HALCON推出的工業級圓點標定板靶標中心距達到70 mm，以此為參照并考慮適當增加樣本數量，本文設定移動桿短軸采樣距離為50 mm；綜合考慮標定板大小和移動機構平移距離，當移動機構沿移動桿平移3次時，樣本圖像已基本覆蓋整個長軸平面，能夠保證長軸方向采樣范圍，因此設定長軸采樣距離為400 mm。根據設備尺寸大小，沿短軸方向共設有17對卡槽，其中利用前16對卡槽獲取的樣本圖像用于構建訓練集和測試集，最后1對卡槽獲取的樣本圖像用于構建遺傳尋優算法的評價樣本。此外，為了開展后續魚類行為觀測試驗，將在第17卡槽位置后方安放隔水板以便放置水處理填料，因此將第17對卡槽設定為評價樣本不會影響后續魚類行為觀測定位效果。

1.定位軌道 2.移動機構 3.卡槽對 4.移動桿 5.掛接件 6.長軸起始位置 7.短軸起始位置

1.3 SVR水下雙目系統標定模型

在水下成像過程中，受光線傳輸介質變化影響，發生折射現象，改變了光線傳輸路徑，針孔成像模型不再適用。水下非平行雙目視覺系統成像原理如圖3所示，左右像平面坐標系分別用，表示，世界坐標系用OXYZ表示。

注：OUV為左像平面坐標系；O′U′V′為右像平面坐標系；OwXwYwZw為世界坐標系；f為焦距；OXYZ為左像平面世界坐標系。

設標定板某靶點1在世界坐標系下的坐標為(1,1,1)，在像平面成像坐標分別為1(1,1)和1(1,1)，提取圖像中標定板上所有靶點位置，可得容量為的靶點圖像坐標樣本集={(A,A′)}，=1, 2, …。已知標定板靶點相對位置和移動距離，可計算得到所有靶點對應的空間坐標樣本集={(P)}，=1, 2, …。聯立圖像樣本集和空間坐標樣本集可得到訓練樣本集={(,)}= {(I,I′)}，其中I=(A,A′)，I′=(P)，=1, 2, …。針對每個坐標軸，分別建立基于訓練樣本集的ε-SVR回歸模型[22]，共建立3個標定模型，其邏輯表達式為:

式中(?)為非線性映射算子，、分別為超平面法向量和常數項，為回歸參數，為懲罰因子，、ξ分別為正負方向松弛變量，s.t.為限制條件。利用最優化方法的對偶原理得到-SVR模型估計的表達式為

式中為核參數，控制函數的徑向作用范圍。

1.4 遺傳算法優化SVR模型參數

遺傳算法作為一種實用、高效、魯棒性強的優化技術應用廣泛[24-27]，本文采用遺傳算法優化選擇SVR參數。針對水下雙目相機標定試驗，作為訓練樣本靶標點相互之間既有關聯性又有獨立性，且訓練樣本近似涵蓋了整個有效視域空間，每一個樣本都與訓練結果緊密關聯，因此傳統的基于交叉驗證適應度函數不能滿足評價要求[28-29]，因此本文在參數尋優過程中增加3個固定位置標定板作為評價樣本，利用評價樣本均方誤差（mean square error）MSE作為適應度函數來對SVR系數進行修訂。

針對采用徑向基核函數的SVR算法，影響測量精度主要模型參數包括懲罰因子和核函數參數，則優化算法步驟如下：

1）初始化種群：構建一定數量的初始種群，選擇實數法對染色進行編碼；

2）選擇操作：本文選擇輪盤賭方法，充分利用適應度函數進行選擇操作；

3）交叉操作：由于本文中每個訓練樣本點都具有較強的獨立性，懲罰因子可能在較大參數區間取值，因此采用均勻實數方法作為交叉算子進行兩組基因之間的交叉組合，以提高算法的收斂速度。

4）變異操作：針對雙目標定過程，由于樣本點分布均勻，且在一個坐標軸方向具有較強重疊度，當核函數參數選擇過大時，容易出現過擬合現象，因此本文選擇較小的變異算子[0.0001，0.01]區間進行變異操作，以維持樣本的多樣性。

當達到最大迭代次數時，輸出最優參數組合。本文對3個標定模型均采用上述遺傳算法優化-SVR模型參數。

2 結果分析

2.1 雙目標定試驗方案設計

仿真試驗是使用Halcon 和Matlab R2012b聯合編程實現的，其中數據集為采集的標定板靶標像素坐標和空間位置。采樣過程如下：

1）安裝雙目視覺設備和標定板移動裝置，調整雙目相機位置，使水缸能夠完整成像，設備布置如圖1所示；

2）將移動桿放置到圖2所示短軸起始位置卡槽、移動機構放置到移動桿上長軸起始位置卡槽，以此位置作為采樣起點，并設定標定板左下角靶點為世界坐標系原點，拍攝第1幀圖像；

3）沿長軸方向根據卡槽位置順序平移移動機構2次，移動距離400 mm，分別拍攝第2～3幀圖像；

4）保持移動機構位置，沿短軸方向平移移動桿50 mm，放置到定位軌道下一個卡槽位置，拍攝第4幀圖像；

5）逆向順序平移移動機構2次，移動距離400 mm，拍攝第5～6幀圖像；

部分醫學人員認為臨床路徑減少了自主權，限制了臨床思維和創新能力。臨床路徑是為特定病種的通常情況設計的，考慮到心血管外科疾病已經將不穩定性心絞痛、室間隔缺損、主動脈瓣關閉不全等納入單病種，但心血管外科還有很多疾病，存在復雜性和個體差異，允許有變異或退出路徑，因此在實施臨床路徑時要引導住院醫師善于發現問題、分析變異并及時處理。

6）保持移動機構位置，沿短軸方向平移移動桿50 mm，重復步驟2）～5），直到最后一個卡槽位置停止，完成全視域采樣。

根據設備安裝布局和標定板尺寸，本次試驗設定標定板從左到右可移動距離上限為1 200 mm，移動桿從前到后可移動距離上限為850 mm；完成上述采樣過程，樣本庫將有51對102張圖像，選擇其中的前47對作為訓練集，第48對作為測試集，后3對作為評價樣本。由于每張圖片有49個靶標點，則前47對圖像中共有2 303靶標點作為訓練集，第48對圖像共有49個靶標點作為測試集，后3對圖像共有147個靶標點作為評價樣本。

針對全視域標定過程，靶標樣本應涵蓋整個觀測空間，為了保證訓練過程的收斂性，需盡量增加訓練樣本數量，因此，本文選擇47對樣本作為訓練集。由于采樣點之間存在一定關聯性，邊緣采樣位置由于關聯樣本較少，導致邊緣位置預測結果精度下降的概率增大，因此本文選擇邊緣的第48對樣本作為測試集，用于驗證本文算法的有效性。

此外，為了驗證本文方法在參數尋優和降低標定誤差方面的有效性，分別采用不同尋優算法和不同標定算法進行對比試驗。

2.2 標定結果分析

標定板位置信息通過find_caltab()算子獲取，獲得標定板位置后，利用算子find_marks_and_pose() 對區域中的圓進行分割，找到圓的個數、周長、坐標位置等應該和標定板描述文件中的一致靶標點[22]。通過上述算子運算可以得到靶標點的像素坐標(U，V，′，′)。本文設定世界坐標系X軸與魚缸長軸平行、Y軸垂直于魚缸底部、Z軸與魚缸短軸平行、原點為標定板起始位置右下靶標點，聯立標定板移動距離和靶標點空間分布可得到靶標點的世界坐標系坐標(X，Y，Z)。共有效采集2 352個靶標點。

使用遺傳算法對3個坐標系訓練集參數進行優化，綜合考慮算法運行速度和不同標定模型適應度函數的收斂性，3組尋優樣本種群規模和進化代數統一選擇為60和200。參數和的搜索范圍分別為[1 000，10 000]、[0.000 001，0.000 1]。當迭代達到最大次數后，輸出最優組合，得到優化后的模型參數如表1所示。

表1 訓練模型優化參數

利用遺傳算法確定的參數，分別構建3個坐標系的SVR訓練模型，預測世界坐標系中的3個參數，預測結果如表2所示。其中，靶標點包含左、右圖像像素坐標和世界坐標等信息，圖像坐標值的單位為像素，即靶點在圖像中的像素坐標。誤差評價采用軸向誤差評價和單點誤差評價相結合的方法，軸向誤差評價采用MSE（均方根誤差）函數，單點誤差評價采用MSE函數，函數模型如下

式中x、y、z為測量點實際空間坐標，x′、y′、z′為測量點模型預測數據，d為所有測量點在X、Y或Z軸實際空間坐標，d′為所有測量點在X、Y或Z軸模型預測數據。此外，由于m測量精度已經是一個非常好的測量精度，而基于訓練模型的預測值不受實際測量精度影響，預測值可以到無限位數，因此為了保證評價精度的有效性，精度誤差設定為小數點后3位。

比較3個軸向輸出模型的預測結果，發現X，Y軸預測精度相差不大，Z軸預測精度較低，均方誤差超過2 mm，最大誤差為3.422 mm，這主要是由于在世界坐標系建立過程中，將Z軸方向確定為移動桿運動方向，由于運動最小距離為50 mm，采樣間隔較大，導致訓練樣本量不能涵蓋所有運動空間，降低了標定精度。單點的均方誤差為1.887 mm，與Z軸測量誤差接近，高于X，Y軸測量誤差。

2.3 對比分析

2.3.1 不同尋優方法標定結果分析

利用SVR算法進行訓練，選擇不同參數建立的預測模型，測量準確度存在差異。本文采用徑向基核函數進行回歸訓練，影響測量精度主要模型參數包括懲罰因子，核函數參數。為了比較本文算法的有效性，利用差分進化算法（differential evolution algorithm，DE）、粒子群算法（particle swarm optimization，PSO）以及遺傳算法進行參數尋優，分別建立標定模型，以均方根誤差、單點誤差和互相關系數（式（6））作為評價指標對測試集獲得的預測結果進行對比分析，對比結果如圖4和表3所示。

表2 訓練集標定結果

式中CC(?)為互相關系數函數，cov(?)為協方差算子，d為所有測量點在X、Y或Z軸實際空間坐標，d′為所有測量點在X、Y或Z軸模型預測數據，、為樣本均值，和′分別為實際空間和預測數據的樣本向量。

從圖4中可以看出，由遺傳算法確定的懲罰因子，核函數參數在測試集各坐標軸預測中誤差小，計算得到的世界坐標誤差同樣較小。比較表3中各尋優算法，本文采用遺傳算法進行參數尋優構建的標定模型在均方誤差和互相關性方面表現更好。這主要是由于粒子群算法對權值選擇以及樣本選擇較為敏感，而本文方法受采樣條件限制，訓練樣本量較小，導致算法收斂性較差。差分預測算法由于對噪聲比較敏感，對于本文測量環境，受設備加工誤差影響，定義的實際世界坐標存在隨機誤差噪聲，影響了差分算法的尋優精度。本文采用引入交叉驗證機制的遺傳算法，提高了算法對于噪聲的魯棒性，此外，由于相機標定從根本上說是一個線性問題，數據不存在較大維度，因此遺傳算法在此過程中具有良好的尋優表現。

圖4 不同尋優算法標定下測試集誤差

Fig 4 Calibration error of test sets with different optimization algorithms

表3 誤差分析

2.3.2 傳統標定方法與本文方法比較

本文選取常用的魚類行為觀測空氣中標定方法[30]和水下測量標定方法[31]與本文方法進行比較。針對空氣標定方法，首先使用同型號相機搭建一套雙目視覺系統，相機間距和拍攝角度與本文試驗系統近似。針對水下標定方法，仍然采用本文的雙目系統進行采樣，并分別采用游標卡尺和插針法確定玻璃厚度和折射率。其中玻璃厚度為9.08 mm，玻璃折射率為1.58，水體折射率為1.34。試驗時：1）按照文獻[30]和[31]標定要求分別在空氣中和魚缸內采集圓點標定板樣本，采樣范圍與魚缸內部空間大小一致；2）利用本文中的HALCON算子分別提取2組相機中的圖像二維坐標，統一像素點提取精度；3）采用文獻[30]和[31]中的標定方法，分別標定2組雙目系統；4）利用2組標定完成的相機拍攝移動采樣裝置起始位置處的靶標圖像，分別計算圖像左下角靶標點空間坐標，然后以此點為世界坐標系原點，通過坐標系平移和旋轉，將2組雙目測量系統定義世界坐標系與本文初始定義的世界坐標系重合。在統一世界坐標系下以本文測試集樣本為試驗對象開展對比試驗，試驗結果如圖5所示，其中圖5a為靶標點單點誤差，圖5b為標定板2個靶標點預測值與實際值之間的距離誤差。

圖5 三種標定方法比較

從圖5中可以看出，采用本文標定方法在單點測量和距離測量2個方面標定誤差都最小，采用空氣中標定方法標定誤差最大，其中空氣中標定方法在單點測量方面最大誤差超過5 cm，已經嚴重影響下一步行為分析效果。采用水下測量標定方法，單點測量結果明顯優于空氣中標定方法。從圖5b可以看出，空氣中標定方法和水下測量標定方法兩點距離測量誤差明顯小于單點測量誤差，分別為10.188 mm和2.832 mm，水下測量標定方法距離測量誤差略高于本文方法。對比分析不同標定方法測量結果，空氣中標定方法由于沒有考慮玻璃和水體折射，在空間位置上測量偏差較大，但是由于光線傳輸線性特性，在測量2點距離時由于折射方向存在互相抵消現象，降低了2點之間的距離測量誤差；水下測量標定方法，綜合考慮了玻璃厚度與光線折射的影響具有較好的測量精度，但是受玻璃加工工藝、水體渾濁度變化以及大視場鏡頭畸變等相互影響，很難準確確定標定過程中的定量參數，導致存在較大定位測量誤差，但是由于標定過程類似于一個線性求解過程，降低了測距誤差。本文方法采用SVR算法對相機進行標定，能夠有效降低隨機誤差對測量精度的影響，采用全視域大樣本量訓練標定模型，提高了算法對鏡頭畸變、折射率變化的適應性，提高了算法的魯棒性，測距誤差為0.706 mm。

3 討 論

1）在魚類行為分析研究中，準確定位和量化魚類行為是開展行為分析的基礎，本試驗針對魚類行為視覺觀測系統開展了標定技術研究，受設備加工精度影響，存在一定的標定誤差，但是針對魚類運動行為分析，毫米級誤差在本質上不影響魚類行為量化精度，屬于可容忍誤差范圍。此外，受水體和透光介質折射影響，傳統的針孔成像原理不能適用于水下成像環境，本文提出的標定方法，可有效降低光線折射、鏡頭畸變對標定精度的影響，提高標定算法的普適程度，降低標定過程對復雜精密設備的依賴程度，降低標定算法復雜度。

2）復雜環境相機標定不可避免地存在算法適應性問題，針對水下標定場景，影響光線線性傳輸的主要因素是水體濁度和透光介質密度，傳統的水下標定方法主要依賴人工方法測量光線傳輸介質的折射率，當水體分層較多時，很難準確測量相關參數。為了降低標定過程的復雜程度，本文設計了一種軌道式標定板定位方法，該方法通過定位標定板相對位置實現相機標定，無需考慮軌道的安裝精度。在實際工況環境下，只需定制一個簡易化移動裝置，既能滿足標定過程采樣要求。

3）魚類的游泳行為是一個空間性行為，針對魚類行為研究，單一雙目相機很難滿足運動全景測量要求，特別是當目標對象垂直于雙目系統基線移動時，雙目相機無法直接定位目標位置。本文以雙目相機為例，開展標定方法研究，提出的標定原理能夠滿足全景觀測多目相機標定要求，但是當相機數量較多時，單一的軌道式定位方法將不能滿足標定要求，因此如何利用相機之間相對位置關系及空間特定參照物簡化多目相機標定過程，將是下一步全景行為觀測需要開展的重要工作。此外，基于單目技術的深度信息測量已經成為國內外研究熱點[32]，如果能用單個相機獲取魚類運動軌跡，將大大降低多維觀測的系統復雜程度，因此如何利用單目相機進行毫米級精準測距[33]，將是本研究另一個工作重點。

4）本文采用的全視域GA-SVR標定方法，針對水下行為觀測環境，在提高標定精度，降低標定復雜度、提升方法適用度等方面具有一定優勢，但是針對流動水體，由于水體折射率不斷變化，單一正向的標定測量方法不能滿足魚類行為觀測的需要，因此如何利用水下地形特點或固定標志物對標定參數進行實時修正，是本研究下一步需要開展的主要工作。

4 結 論

針對魚類行為觀測研究中相機無標定或較難標定的情況，提出了一種基于全視域GA-SVR魚類視覺觀測系統標定方法，試驗結果表明：

1）該方法在水下觀測環境中具有較好的單點測量精度和距離測量精度，在49個測試樣本中，單點測量精度均方誤差為1.861 mm，距離測量誤差為0.706 mm，相比于傳統的空氣中標定方法（單點均方誤差27.75 mm；距離均方誤差10.188 mm）和水下測量標定方法（單點均方誤差8.215 mm；距離均方誤差2.832 mm），有效提升了魚類行為觀測中雙目測量系統的標定精度；

2）該方法使用卡槽式運動軌道定位訓練樣本，降低了采樣過程對高精度設備的依賴程度，簡化了采樣過程，增強了標定算法的廣適性；

3）本文采用引入交叉驗證機制的遺傳算法對模型參數進行尋優，提高了算法對隨機噪聲的魯棒性，降低了設備加工誤差對標定精度的影響；利用大樣本量訓練標定模型, 提高了算法對鏡頭畸變、折射率變化的適應性。

受采樣間隔限制，相機測量誤差還是超過1 mm，下一步研究將嘗試通過采樣軌道自動化升級，增加訓練樣本數量和覆蓋范圍，提升標定模型精度。

[1] Kuroda Toshikazu. A system for the real-time tracking of operant behavior as an application of 3D camera[J]. Journal of the Experimental Analysis of Behavior, 2018, 110(3): 1－23.

[2] 周應祺，王軍，錢衛國，等. 魚類集群行為的研究進展[J]. 上海海洋大學學報，2013，22(5)：734－743. Zhou Yingqi, Wang Jun, Qian Weiguo, et al. Review of fish schooling behavior study[J]. Journal of Shanghai Ocean University, 2013, 22(5): 734－743. (in Chinese with English abstract)

[3] 劉世晶，王帥，陳軍，等. 基于改進主成分分析和AdaBoost算法的運動蝦苗識別方法[J]. 農業工程學報，2017，33(1)：212－218. Liu Shijing, Wang Shuai, Chen Jun, et al. Moving larval shrimps recognition based on improved principal component analysis and AdaBoost[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(1): 212－218. (in Chinese with English abstract)

[4] Matthew D Campbell, Joseph Salisbury, Ryan Caillouet, et al. Camera field-of-view and fish abundance estimation: A comparison of individual-based model output and empirical data[J]. Journal of Experimental Marine Biology and Ecology, 2018, 501: 46－53.

[5] Laurel B J, Laurel C J, Brown J A, et al. A new technique to gather 3-D spatial information using a single camera[J]. Journal of Fish Biology, 2005, 66(2): 429－441.

[6] 徐盼麟，韓軍，童劍鋒. 基于單攝像機視頻的魚類三維自動跟蹤方法初探[J]. 水產學報，2012，36(4)：623－628. Xu Panlin, Han Jun, Tong Jianfeng. Preliminary studies on an automated 3D fish tracking method based on a single video camera[J]. Journal of Fisheries of China, 2012, 36(4): 623－628. (in Chinese with English abstract)

[7] Gilbert A, Bonifasius P S, Stevhen J, et al. A simple setup to serform 3D locomotion tracking in zebrafish by using a single camera[J]. Inventions, 2018, 3(1): 11－14

[8] Mao J F, Xiao G, Sheng W G, et al. A 3D occlusion tracking model of the underwater fish targets[C]//IEEE International Conference on Electro/information Technology, 2015: 82－86.

[9] Santana Garcon J, Newman S J, Harvey E S. Development and validation of a mid-water baited stereo-video technique for investigating pelagic fish assemblages[J]. Journal of Experimental Marine Biology and Ecology, 2014, 452: 82－90.

[10] Bond T, Partridge J C, Taylor M D, et al. Fish associated with a subsea pipeline and adjacent seafloor of the North West Shelf of Western Australia[J]. Marine Environmental Research, 2018, 141: 53－65.

[11] Viscido S V, Parrish J K, Grünbaum D. Individual behavior and emergent properties of fish schools: A comparison of observation and theory[J]. Marine Ecology Progress Series, 2004, 273: 239－249.

[12] 李林波，陳從平，吳喆，等. 基于雙目視覺的魚類游動三維軌跡跟蹤[J]. 三峽大學學報：自然科學版，2018，40(2)：95－99. Li Linbo, Chen Congping, Wu Zhe, et al. Three-dimensional trajectory tracking of fish swimming based on binocular vision[J]. Journal of China Three Gorges University: Natural Science Edition, 2018, 40(2): 95－99. (in Chinese with English abstract)

[13] Zhang Zhengyou. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330－1334.

[14] 徐杰，王宗義，劉濤，等. 水下圖像的校正[J]. 黑龍江科技學院學報，2008，18(2)：133－136. Xu Jie, Wang Zongyi, Liu Tao, et al. Correction for underwater image[J]. Journal of Heilongjiang Institute of Science and Technology, 2008, 18(2): 133－136. (in Chinese with English abstract)

[15] 張文明，鄧茜雪，張強，等. 基于非平行系統的水下圖像轉化模型[J]. 光子學報，2015，44(2)：158－162. Zhang Wenming, Deng Xixue, Zhang Qiang, et al. Non-parallel system underwater image transformation model[J]. Acta Photonica Sinica, 2015, 44(2): 158－162. (in Chinese with English abstract)

[16] 張強，王鑫，李海濱. 基于粒子群優化的水下成像系統標定[J]. 光子學報，2014，43(1)：109－113. Zhang Qiang, Wang Xin, Li Haibin. Calibration algorithm of underwater imaging system based on PSO[J]. Acta Photonica Sinica, 2014, 43(1): 109－113. (in Chinese with English abstract)

[17] Tu Junchao, Zhang Liyan. Laser projection positioning of spatial contour curves via a galvanometric scanner[J]. Multimedia Tools and Applications, 2018, 10696(25): 17－121.

[18] 延和，吳斌. 基于改進型神經網絡的雙目攝像機標定[J]. 西南科技大學學報，2013，28(4)：66－70. Yan He, Wu Bin. Improved neural network for binocular camera calibration[J]. Journal of Southwest University of Science and Technology, 2013, 28(4) : 66－70. (in Chinese with English abstract)

[19] 劉小娟，李學軍，王文韞，等. 基于神經網絡的虛擬靶標大視場雙目相機標定技術[J]. 光學技術，2017，43(4)：314－318. Liu Xiaojuan, Li Xuejun, Wang Wenyun, et al. Large-scale binocular camera calibration combining neural network with virtual target[J]. Optical Technique, 2017, 43(4): 314－318. (in Chinese with English abstract)

[20] 金偉龍，周美英. 基于不同BP網絡層數的雙目立體視覺標定研究[J]. 光學技術，2015，41(1)：72－76. Jin Weilong, Zhou Meiying. Study on calibration of binocular stereovision based on BP neural network with different layers[J]. Optical Technique, 2015, 41(1): 72－76. (in Chinese with English abstract)

[21] 劉勝，傅薈璇，王宇超. 基于分割區間LS-SVM的攝像機標定[J]. 計算機工程，2009，35(24)：179－181. Liu Sheng, Fu Huixuan, Wang Yuchao. Camera calibration based on divided region LS-SVM[J]. Computer Engineering, 2009, 35 (24): 179－181. (in Chinese with English abstract)

[22] 張從鵬，劉重陽. 基于機器視覺的UVW定位系統[J]. 機床與液壓，2018，46(14)：108－110，127. Zhang Congpeng, Liu Chongyang. UVW positioning system based on machine vision[J]. Machine Tool and Hydraulics, 2018, 46(14): 108－110, 127. (in Chinese with English abstract)

[23] 尹曉艮，張曉芳，張偉超，等. 基于光場數字重聚焦的三維重建方法研究[J]. 光電子·激光，2015，26(5)：986－991. Yin Xiaogen, Zhang Xiaofang, Zhang Weichao, et al. Study on 3D reconstruction based on light field digital refocusing[J]. Journal of Optoelectronics·Laser, 2015, 26(5) : 986－991. (in Chinese with English abstract)

[24] 崔東文. 幾種智能算法與支持向量機融合模型在中長期月徑流預測中的應用[J]. 華北水利水電大學學報，2016(5)：51－57. Cui Dongwen. Application of several intelligent algorithms and support vector machine fusion model in medium and long term runoff forecasting[J]. North China Institute of Water Conservancy and Hydroelectric Power, 2016(5): 51－57. (in Chinese with English abstract)

[25] 孫俊，莫云南，戴春霞，等. 基于介電特性與IRIV-GWO-SVR算法的番茄葉片含水率檢測[J]. 農業工程學報，2018，34(14)：188－195. Sun Jun, Mo Yunnan, Dai Chunxia, et. al. Detection of moisture content of tomato leaves based on dielectric properties and IRIV-GWO-SVR algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(14): 188－195. (in Chinese with English abstract)

[26] 段青玲，張磊，魏芳芳，等. 基于時間序列GA-SVR的水產品價格預測模型及驗證[J]. 農業工程學報，2017，33(1)：308－314. Duan Qingling, Zhang Lei, Wei Fangfang, et. al. Forecasting model and validation for aquatic product price based on time series GA-SVR[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(1): 308－314. (in Chinese with English abstract)

[27] 王海軍，柳敏燕，高娟. 利用遺傳算法和支持向量機測算農用地理論單產和可實現單產[J]. 農業工程學報，2013，29(19)：244－252. Wang Haijun, Liu Minyan, Gao Juan. Calculation of theoretical and accessible yields of agricultural land based on geneticalgorithm and support vector machine[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(19): 244－252. (in Chinese with English abstract)

[28] 孫俊，張國坤，毛罕平，等. 基于介電特性與回歸算法的玉米葉片含水率無損檢測[J]. 農業機械學報，2016，47(4)：257－264. Sun Jun, Zhang Guokun, Mao Hanping, et al. Nondestructive moisture content detection of corn leaves based on dielectric properties and regression algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(4): 257－264. (in Chinese with English abstract)

[29] Foucard R, Essid S, Richard G, et al. Exploring new features for music classification[C]//IEEE Transportation on 2013 14th International Workshop on Image Analysis for Multimedia Interactive Services, 2013: 1－4.

[30] 果佳良. 基于計算機視覺的魚類三維行為監測研究及應用[D]. 秦皇島: 燕山大學，2011. Guo Jialiang. Fish Behavior of Three-Dimensional monitoring Research and Application Based on Computer Vision[D]. Qinhuangdao: Yanshan University, 2011. (in Chinese with English abstract)

[31] 高新浩，黃茹楠，楊育林. 水下相機標定算法研究[J]. 燕山大學學報，2014，38(3)：252－258. Gao Xinhao, Huang Runan, Yang Yulin. Study on underwater camera calibration algorithm[J]. Journal of Yanshan University, 2014, 38(3): 252－258. (in Chinese with English abstract)

[32] He Lei, Wang Guanghui, Hu Zhanyi. Learning depth from single images with deep neural network embedding focal length[J]. IEEE permission On Image Processing, 2018, 27(9): 4676－4689.

[33] 黃小云，高峰，徐國艷，等. 基于單幅立式標靶圖像的單目深度信息提取[J]. 北京航空航天大學學報，2015，41(4)：649－655. Huang Xiaoyun, Gao Feng, Xu Guoyan, et al. Depth Information extraction of on-board monocular vision based on a single vertical target image[J]. Journal of Beijing University of Aeronautics and Astronautics, 2015, 41(4): 649－655. (in Chinese with English abstract)

Calibration for fish behavior binocular visual observation system based on GA-SVR full vision field model

Liu Shijing1,2, Tang Rong1,2, Zhou Haiyan1, Liu Xingguo1,2, Chen Jun1,2※, Wang Shuai1

(1.,,200092,; 2.,,200092,)

For reducing the calibration error and improving the measurement accuracy of fish behavior observation system, a binocular calibration method based on genetic algorithm-support vector regression (GA-SVR) is proposed to solve the problem of image distortion and light refraction, and realize the indirect calibration of underwater large field of view. In this paper, a standard board with 49 uniformly arranged circular targets points developed by HALCON is chosen for calibration. The diameter of the target is 35.5 mm, the center distance of two targets is 70 mm, and the size of the calibration board is 600 mm×600 mm. Furthermore, in order to reduce the dependence on precision instruments for full-view sampling, a sliding track with bidirectional mobile positioning ability is designed, which is manufactured by the high precision CNC(computerized numerical control) tool with accuracy of 0.05 mm. And along the short axis of the track, 17 pairs of slots are machined at 50 mm intervals to locate the calibration board longitudinal moving distance. A transverse moving bar is erected in the slots, and on which 3 pairs of slots are machined at 400 mm intervals. According to the slot positions, the calibration board is moved along the long axis and the moving rod is moved along the short axis respectively. Sample images are acquired at each slot position, so that the image of the calibration board can cover the whole space of fish tank. The calibration board is used as the basis to collect parallax coordinates and world coordinates, and then the complete sample sets are established in the entire effective vision field of the binocular system. The parallax coordinates of the target points are acquired by Halcon operators, and the relative position information of the calibration board is acquired according to the position of sliding track. The samples of target point used in this study include 2 352 targets from all 49 sample images. The SVR is selected to train the sample set, and three decision function with mathematical expression are established with model parameters calculated by the genetic algorithm. In this article the differential evolution(DE) algorithm, particle swarm optimization(PSO) algorithm and genetic algorithm(GA) are chosen to optimize the SVR parameters, and establish the calibration models respectively. The root mean square error(RMSE), single point error and cross-correlation coefficient are used as evaluation indicators. Based on evaluation results the optimal parameters are selected to establish the position calibration model in,,axis respectively. Experimental results show that the genetic algorithm has better optimization effect than the other two algorithms. The mean square errors acquired of,andaxis are 0.959, 0.893 and 4.381 mm, and the correlation coefficients are 0.999 988, 0.999 998 and 0.998 356, respectively. Compared with traditional calibration methods, the single-point mean square error and distance mean square error of proposed method are 1.861 and 0.706 mm, which are lower than that of calibration method in air (single-point mean square error of 27.75 mm; distance mean square error of 10.188 mm) and underwater calibration methods (single-point mean square error of 8.215 mm; distance mean square error of 2.832 mm). This study could provide reference for quantitative methods of fish behavior.

measurements; systems; calibration; fish behavior; full vision field; visual observation system; models

2018-11-22

2019-02-24

國家重點研發計劃（2017YFD0701705）；中國水產科學研究院中央級公益性科研院所基本科研業務費專項資金項目（2016HY-ZD14）

劉世晶，助理研究員，主要從事漁業信息化、圖像處理、模式識別和機器視覺相關領域研究。Email：liushijing@fmiri.ac.cn

陳軍，研究員，主要從事數字漁業相關領域研究。 Email：chenjun@fmiri.ac.cn

10.11975/j.issn.1002-6819.2019.06.022

S951.2

A

1002-6819(2019)-06-0181-09

劉世晶，唐 榮，周海燕，劉興國，陳 軍，王 帥. 基于全視域GA-SVR模型的魚類行為雙目視覺觀測系統標定[J]. 農業工程學報，2019，35(6)：181－189. doi：10.11975/j.issn.1002-6819.2019.06.022 http://www.tcsae.org

Liu Shijing, Tang Rong, Zhou Haiyan, Liu Xingguo, Chen Jun, Wang Shuai. Calibration for fish behavior binocular visual observation system based on GA-SVR full vision field model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(6): 181－189. (in Chinese with English abstract) doi：10.11975/ j.issn.1002-6819.2019.06.022 http://www.tcsae.org