昆蟲飛行信息自動化采集裝置的設計

陸古月，邢 強，趙 蔚，馬 磊，張小萍，王文波

（1.南通大學機械工程學院，江蘇南通 226019；2.南通大學信息科學技術學院，江蘇南通 226019；3.南京航空航天大學機電學院，江蘇南京 210016）

昆蟲在復雜環境中飛行時，采取了豐富的感知行為去識別障礙及尋找最優飛行路徑。分析這些行為對飛行器障礙感知和避障控制等研究具有十分重要的意義[1-4]，因此昆蟲的飛行受到了生物學家和工程師的密切關注[5-7]。用昆蟲的飛行機制來啟發仿生飛行器感知系統[8-9]的設計，關鍵在于精準地獲取昆蟲的飛行信息。現行昆蟲飛行信息獲取方法主要為拴系法和自由法[10-11]，但其存在昆蟲運動受限、采集數據量大和效率低等問題。因此，研發昆蟲飛行信息自動化采集裝置十分必要。

拴系法是將實驗生物拴系在飛行磨機上，利用力傳感器和測速器等設備測量生物的運動參數。如：Lawson等[12-13]以昆士蘭果蠅為研究對象，給予果蠅視覺和氣流刺激，利用力反饋傳感器測量果蠅飛行時產生的推力和俯仰力矩，以此研究昆蟲應對風速和光流變化的飛行反應機制；Ribak等[14]將紅棕象甲拴系在飛行磨機上，分析其飛行時的速度、曲率和向心加速度等參數，研究紅棕象甲的飛行耐力和飛行生理學特征。拴系法的優點在于能夠精準控制實驗變量，直觀獲取實驗對象的飛行參數，但要求實驗對象降低飛行速度[15]，導致獲取的飛行參數失真。自由法是通過設定“誘餌”和飛行通道引導生物飛行[16-17]，同時利用高速相機獲取生物飛行軌跡參數。如：Ravi等[18]根據高速相機采集的大黃蜂飛行序列圖像獲取其穿越障礙墻間隙時的質心位置、體長和航向等參數，并綜合其飛行過程中速度矢量的變化研究大黃蜂識別間隙、評估通過性的機制，然而，該實驗通過人工手段把控大黃蜂進入通道，存在耗時長、效率低等問題；Bertrand等[19]采用通道內的異色障礙來研究大黃蜂的視覺記憶行為，由于在實驗中高頻地使用相機，造成了數據量大、數據處理復雜等問題，且由于實驗場地選在室內，昆蟲的行為易受人為影響，導致得出的行為機制存在偏差；Ravi等[20]通過分析不同障礙間距下大黃蜂的自定位感知行為，研究大黃蜂在復雜環境下的感知機制，但研究主要涉及昆蟲在靜態障礙下的感知機制，未涉及在動態障礙下的感知機制。

筆者設計了一種自動采集昆蟲自由飛行信息的裝置。通過視覺檢測手段和機械操作的方式，實現昆蟲飛行信息的自動化采集，以解決傳統方法存在的昆蟲運動受限、采集數據量大和效率低的問題，為研究動態障礙下昆蟲的飛行感應機制提供支持；以中華蜜蜂為實驗對象，通過其飛行信息自動化采集實驗來驗證該裝置的適用性以及采集的效率和準確率，并通過分析蜜蜂自由穿越間隙的軌跡信息來推斷其識別間隙的機制與橫向運動的幅度和速度是否存在聯系。

1 裝置的結構與工作原理

昆蟲飛行信息自動化采集裝置的結構如圖1所示。整個裝置由障礙通道模塊、運動觸發采集模塊、飛行軌跡獲取模塊和自動采集控制系統等組成。

圖1 昆蟲飛行信息自動化采集裝置的結構Fig.1 Structure of automatic collection device for insect flight information

裝置的工作原理為：首先利用障礙通道模塊引導實驗昆蟲飛行，其次采用間隙控制器調整障礙物間距和開閉速度，然后借助運動觸發采集模塊檢測昆蟲的飛行方向，當飛行方向符合設定時發出采集指令而觸發高速相機，實現飛行序列圖像的采集，最后通過飛行軌跡獲取模塊獲得昆蟲飛行軌跡信息。

2 裝置的功能模塊設計

昆蟲飛行信息自動化采集裝置3個主要功能模塊的設計包括功能設計和硬件選取。各模塊之間協調工作，實現對昆蟲飛行序列圖像的采集和飛行軌跡信息的獲取。

2.1 障礙通道模塊

障礙通道模塊的主要功能是實現昆蟲的快速自定位、引導昆蟲飛行并提供動態和靜態的障礙場景。該模塊主要由間隙控制器、飛行通道和紅外LED（light emitting diode，發光二極管）補光燈等組成。其中間隙控制器是障礙通道模塊的關鍵部件，其設計要求為：工作噪聲低于I級噪音（30～59 dB）；機械結構可靠、靈敏，能準確控制障礙間距并保證2 mm以內的誤差。

間隙控制器的結構如圖2所示。由步進電機帶動齒輪與齒條嚙合實現門板的開閉，并采用激光測距傳感器檢測其實際間距，以準確控制門板的間距和運動速度。為了提高裝置的靈敏性，在門板與滑動軌道連接處安裝了滾珠軸承以減小門板運動時產生的摩擦力，并在間隙控制器的夾層中添加了隔音棉，用于降低電機工作和齒輪嚙合時產生的噪聲。

圖2 間隙控制器結構Fig.2 Structure of gap controller

在圖像采集過程中通過控制步進電機的轉速和輸出轉角來調節門板的間距和運動速度。步進電機轉速與門板運動速度的關系為：

式中：νc——門板運動速度，m/s；

n——步進電機轉速，r/min；

rc——齒輪分度圓半徑，m；

f——控制脈沖頻率，Hz。

基于昆蟲是采用光流平衡策略實現自定位的[21]，將飛行通道的側面和底部設計為消色差棋盤圖案，并在通道兩側安裝LED紅外補光燈，用于相機補光和弱化背景圖案，便于后期序列圖像的分割。紅外光補光前后圖像的對比如圖3所示。相比正常光下的圖像，紅外光可有效弱化背景的棋盤圖案。

圖3 紅外光補光前后圖像的對比Fig.3 Comparison of images before and after infrared light compensation

2.2 運動觸發采集模塊

運動觸發采集模塊主要由嵌入式開發平臺、STM32微控制器、OV3850運動檢測相機、高速相機和相機角度調節器等組成，如圖4所示。其中：嵌入式開發平臺基于RK3399芯片開發，可通過開源的計算機視覺庫OpenCV對OV3850相機檢測區域的視頻流進行處理；高速相機采用Blackfly S USB3相機，幀率最高可達163幀/s，鏡頭選用FA0801C工業面陣鏡頭，焦距為8 mm，光圈范圍為F2.0～C，最大鏡像面為1/1.8"，分辨率為（1 920×1 200）像素；相機角度調節器可以實現前后傾角-15°～15°和相機左右位置-10～10 cm的調節。

圖4 運動觸發采集模塊的組成Fig.4 Composition of motion trigger acquisition module

該模塊的主要功能是采集昆蟲在規定飛行方向的序列圖像。采集前將高速相機設定成脈沖觸發模式，并調節鏡頭的調焦環、光圈、物距以及相機角度，使得相機平面與平臺平面保持平行，保證昆蟲飛行行為成像清晰。圖像坐標與平臺坐標的數學關系為：

式中：fc——相機的焦距，mm；

θ——相機角度調節器的前傾角，（°）；

W——鏡頭中心到主光軸與地面交點的距離（即物距），mm；

Ix，Iy——所采集圖像的寬度和高度，mm；

x，y——圖像坐標系下的橫、縱坐標，像素；

xm，ym——平臺坐標系下的橫、縱坐標，mm。

為了檢測昆蟲的飛行方向，在飛行通道濾板上安裝了OV3850相機。檢測方法是：對OV3850相機視頻流中相鄰兩幀圖片作差分運算來獲得運動目標，再通過OpenCV軟件中的ContourArea函數計算出輪廓面積及通過GoodFeaturesToTrack函數獲取具有最大特征值的角點P的像素坐標，并將角點P的x向像素坐標值放入長度為L的隊列中；當隊列滿時通過式（3）計算隊列元素的差值平均值PxS；最后根據PxS的增減情況判斷昆蟲的飛行方向。該檢測算法可以通過改變隊列L的長度和輪廓的限制條件，實現對檢測靈敏度的調整和檢測目標大小的限定。

式中：L——設定的存儲隊列長度；

Pxi——前幀最大特征角點的x向坐標，像素；

Pxi-1——現幀最大特征角點的x向坐標，像素。

當檢測到昆蟲飛行方向符合設定時，嵌入式開發平臺向STM32微處理器發出采集指令，微處理器收到指令后調制出PWM（pulse width modulation，脈沖寬度調制）波觸發高速相機，實現飛行序列圖像的采集。

2.3 飛行軌跡獲取模塊

飛行軌跡獲取模塊主要由計算機和圖像采集卡組成。計算機通過視覺庫OpenCV對采集卡中的序列圖像進行處理，從中提取出昆蟲飛行軌跡信息。昆蟲飛行軌跡信息獲取流程如圖5所示。

圖5 昆蟲飛行軌跡信息獲取流程Fig.5 Process of obtaining insect flight path information

昆蟲飛行軌跡信息獲取流程為：首先對序列圖像進行背景分割，由于昆蟲屬于運動前景而通道屬于靜態后景，選取KNN（K-nearest neighbor，K近鄰）分割器分割出昆蟲飛行的前景圖像，結果如圖5（b）所示；分割后的圖像仍存在椒鹽噪聲，而中值濾波能有效去除椒鹽噪聲，因此選用中值濾波來消除噪聲，結果如圖5（c）所示；通過開運算保留較大的連通域，使得采集對象的表面邊界平滑，結果如圖5（d）所示；最后對處理后的圖像進行目標跟蹤，并提取目標的質點坐標并存放于向量組中，結果如圖5（e）所示。

3 裝置自動采集控制系統設計

自動采集控制系統主要用于控制采集裝置各模塊之間的通信和信號的傳輸，實現采集過程自動化。其結構框圖如圖6所示。該系統以嵌入式開發平臺為主控單元控制步進電機的輸出，并通過激光測距傳感器檢測間距，實現對間隙控制器門板間距和運動速度的控制；同時采用運動觸發采集模塊對昆蟲的運動方向進行判別，當運動方向符合設定時，嵌入式平臺向STM32微處理器發出采集指令而觸發高速相機，從而實現對昆蟲飛行序列圖像的采集。

圖6 自動采集控制系統結構框圖Fig.6 Structure block diagram of automatic acquisition control system

3.1 控制系統硬件設計

控制系統的硬件主要由嵌入式開發平臺、STM32微控制器、驅動器、圖像采集卡和步進電機等組成，如圖7所示。

圖7 自動采集控制系統硬件組成Fig.7 Hardware composition of automatic acquisition control system

選用的步進電機為28BYJ4步進減速電機，扭矩為550 N·m，步進角為5.625°，噪聲小于40 dB，滿足對扭矩和噪聲的要求；微控制器采用STM32微處理器，其工作頻率可達72 MHz，具有穩定調制高頻PWM的優點，滿足對步進電機進行控制及觸發高速相機的要求；測距傳感器采用分辨率為1 mm、測量距離為20～500 mm的TOF050F激光測距傳感器，在量程和精準度上滿足要求。

3.2 控制系統軟件設計

自動采集控制系統軟件設計流程如圖8所示。該流程為：控制系統通電并進行初始化，然后在嵌入式開發平臺上設置采集視頻的數量、時長及間隙等；系統開始工作，STM32微控制器中的PWM模塊調制序列脈沖驅動電機旋轉而帶動門板運動，若門板間距未達到設定距離，嵌入式開發平臺持續向微控制器發出電機控制指令直至門板間距達到指定距離，此時，系統進入等待采集指令階段；當飛行昆蟲經過檢測區域時，運動觸發采集模塊對昆蟲的飛行方向進行檢測，當檢測方向符合設定時，嵌入式開發平臺向STM32微處理器發出采集指令，微處理器收到指令后調制PWM而觸發高速相機，實現序列圖像的采集；隨后，系統再次進入等待采集指令階段，直至采集數達到設定數量后停止采集，最終完成對昆蟲自由飛行過程中序列圖像的自動化采集。

圖8 自動采集控制系統軟件設計流程Fig.8 Software design process of automatic acquisition control system

4 昆蟲飛行信息自動化采集實驗

4.1 實驗條件

為了驗證昆蟲飛行信息自動化采集裝置在室外環境下的適用性和可靠性，選取體積較小、飛行較靈活、采集難度較大的蜜蜂為實驗對象。中華蜜蜂在飛行速度、生存能力和繁殖能力上具有明顯的優勢[22]，因而蜜蜂品種選擇中華蜜蜂。在2021年7月1日—9月25日，在觀察站讓蜜蜂自由穿越間隙，進行蜜蜂飛行信息自動化采集實驗。在該觀察站周圍玉米和油菜等主要蜜源和棉花等輔助蜜源數量充足，有利于蜂群的生存與繁殖。為確保實驗時蜜蜂的活躍性，實驗時間選取為晴天的9：30—11：30、14：00—16：00，溫度要求在26℃以上。

4.2 實驗方法

中華蜜蜂中工蜂體長為10～13 mm，翼展為18～24 mm，飛行速度為10～11 m/s，基于此并參考文獻[19]，將飛行通道的長、寬、高分別設置為1.56，0.28，0.28 m，并根據中華蜜蜂的飛行習慣將間隙控制器安裝于通道總長2/5的近入口處。在實驗準備階段將蜂箱的側面覆蓋泡沫反光膜并放置在長、寬、高分別為2，1.5，0.45 m的平臺上，在平臺上方安裝黑色遮陽網以避免陽光直曬導致蜂箱內溫度過高而影響蜜蜂行為。蜜蜂飛行信息自動化采集實驗場景如圖9所示。

圖9 蜜蜂飛行信息自動化采集實驗場景Fig.9 Experiment scene of automatic collection of honeybee flight information

蜂箱與飛行通道之間的縫隙用棉條封閉以防止蜜蜂飛出；為了避免蜜蜂因趨光性撞擊通道上方的透明板，在高速相機的采集區域內采用全遮光布搭建暗室，并打開通道內的紅外燈帶以確保相機補光充足。調節相機鏡頭上的調焦環、光圈、物距以及相機角度，使成像清晰。經多次測試后發現，當物距W=530 mm，焦距fc=8 mm時，采集的蜜蜂行為序列圖像清晰。最后進行功能調試，根據測試中采集的序列圖像的效果調節OV3850相機位置、檢測區域范圍和檢測算法的靈敏度，實現采集系統最優化。在實驗開始前，給予蜜蜂1周的時間適應環境，確認其在紅外光光照下行為正常。根據中華蜜蜂的體長和翼展，進行障礙間距分別為20，30，35，40 mm條件下的間隙穿越實驗，每種條件下記錄蜜蜂飛行序列圖像100次。圖像采集開始前檢查裝置各個模塊的工作情況，確保采集控制系統工作正常。

4.3 實驗結果

為了確保采集裝置符合設計要求，在4種間距條件下分別對該裝置進行2次噪聲和控制準確率測試。測試結果如表1所示，裝置實際噪聲強度為45～55 dB，誤差最大值為1.54 mm，符合設計要求。

表1 蜜蜂飛行信息自動化采集裝置噪聲和控制準確性測試結果Table 1 Test results of noise and control accuracy of automatic collection device for honeybee flight information

蜜蜂間隙穿越實驗結果如表2所示。其中：采集樣品數包括準確采用樣品數和無效采集數，準確采用樣品數指實驗結束后高速相機采集到的存在蜜蜂飛行行為的序列圖像數量，包括單目標、多目標的有效序列圖像數，無效采集數包括采集時間過短導致未完整記錄飛行過程的序列圖像和蜜蜂飛行雜亂未通過間隙的序列圖像；單目標通過量為實驗結束后單只蜜蜂穿越間隙且在采集區域內具有完整間隙判斷行為的序列圖像數；多目標通過量為實驗結束后多只蜜蜂穿越間隙且在采集區域內具有完整間隙判斷行為的序列圖像數；采集準確率為實驗結束后單目標、多目標通過量的總數與采集樣品數之比。

表2 蜜蜂間隙穿越實驗結果Table 2 Results of honeybee gap crossing experiment

由表2可知，實驗中平均采集樣品為88份，平均準確采用樣品數為64.5份，平均采集準確率為73.24%，障礙間距對采集準確率有顯著影響。在20～40 mm間距下，采集準確率隨著間距增大而提高，在40 mm間距下準確率達到75.82%。產生此現象的原因可能是，隨著間距的減小，蜜蜂在門板前滯留數量和時長增加，間隙穿越時間延長。實驗結果表明：采集裝置性能良好，可以有效采集昆蟲飛行序列圖像，獲取昆蟲飛行軌跡信息。

4.4 飛行軌跡數據分析

選取4種障礙間距條件下任意3只蜜蜂的質點坐標，利用MATLAB軟件繪制出蜜蜂的飛行軌跡，如圖10所示。其中，X向代表蜜蜂縱向飛行方向，Y向代表蜜蜂橫向飛行方向，用來分析蜜蜂縱橫向飛行速度的變化。

圖10 蜜蜂飛行軌跡Fig.10 Honeybee flight path

為了研究蜜蜂在飛行過程中識別障礙間隙的機制，根據蜜蜂5°左右的視線索視角[23]，通過式（4）計算得出距障礙物23～46 cm處為蜜蜂理論識別距離，因此選取范圍中值35 cm作為分界線，將蜜蜂飛行軌跡劃分為前后兩階段，并通過多組瞬時速度與平均速度的比值（以下簡稱速比）來比較不同障礙間距下蜜蜂縱橫向速度的變化，以此來推斷與蜜蜂識別間隙機制相關的運動參數，分析蜜蜂在飛行過程中識別間隙大小和判斷通過性的機制。

式中：D——蜜蜂與障礙物的距離，cm；

d——障礙間距，mm；

γ——蜜蜂視線索視角，（°）。

在不同障礙間距下蜜蜂縱橫向速比如圖11所示，平均速比如表3所示。

圖11 在不同障礙間距下蜜蜂縱橫向速比Fig.11 Longitudinal and transverse velocity ratio of honeybee under different obstacle distances

表3 在不同障礙間距下蜜蜂縱橫向平均速比Table 3 Longitudinal and transverse average velocity ratio of honeybee under different obstacle distances

當障礙間距為35 mm和40 mm時，蜜蜂前后階段縱向平均速比變化率小于12%；當障礙間距為20 mm和30 mm時，蜜蜂后階段的縱向平均速比較前階段降低25%以上，且隨著障礙間距的減小，速比的變化幅度增大，如圖11（a）所示。產生此現象的原因可能是，當間距在30 mm以上時，對蜜蜂評估間隙通過性能力的要求低，因此蜜蜂判斷時間較短；當間距在30 mm以下時，隨著間距的減小，對蜜蜂評估間隙通過性能力的要求提高，因此蜜蜂通過降低縱向飛行速度、延長飛行時間來判斷間隙通過性。

當障礙間距為30，35，40 mm時，蜜蜂后階段的橫向平均速比較前階段低，且隨著障礙間距的增大，橫向平均速比變化率增大。產生此現象的原因是，蜜蜂靠近間隙觀察區域時，為保證穿越間隙的成功率，主動降低自身的橫向飛行速度，導致后階段的橫向平均速比降低。當障礙間距為20 mm和30 mm時，相較于蜜蜂后階段的橫向速度，其前階段速度變化范圍明顯增大，如圖11（b）所示。產生此現象的原因是，隨著障礙間距的減小，對蜜蜂評估間隙通過性能力的要求提高，蜜蜂通過增大橫向飛行的幅度來加強對間隙障礙的識別和判斷間隙通過性，以保證成功穿越間隙。

在研究蜜蜂飛行機制的過程中發現蜜蜂存在學習行為，其通過積累前期的飛行經驗不斷優化飛行軌跡，使得飛行軌跡趨于平緩，如圖12所示。

圖12 蜜蜂在不同實驗階段的飛行軌跡Fig.12 Honeybee flight path in different stages of the experiment

在實驗前期，蜜蜂在初始飛行階段的軌跡相對雜亂，在飛行過程中持續左右探索通道的間隙，最終從門板出口處的左邊緣飛出，且此階段蜜蜂的飛行時間比后續觀測時間長。

在實驗中期，蜜蜂沿著左側方向持續飛行，直到位于門板出口方框的左邊緣處（y=85像素），由前期積累的飛行經驗得出出口的中間位置大致在y=0像素處，蜜蜂向右側飛行探索一段時間之后成功從門板中間飛出。

在實驗后期，除了個別蜜蜂由于個體發育、外部刺激、實驗環境以及光亮等原因而引起行為變化之外，多數蜜蜂在連續多次重復實驗中通過排錯與嘗試積累了飛行經驗，適應了在通道內直線飛行直至飛出門板。

5 結 論

本文將視覺檢測與自動化技術相結合，設計了一種昆蟲飛行信息自動化采集裝置。采用該裝置可以提高采集效率，解決人工采集過程中人為因素造成的采集準確性較差的問題。經過實驗驗證，該裝置的采集準確率為73.24%，采集性能穩定。

通過分析蜜蜂的飛行軌跡和速度變化發現，蜜蜂存在通過橫向運動識別并穿越間隙的行為，并且隨著間隙減小，蜜蜂橫向運動的幅度和速度變化增大，這表明橫向運動的幅度和速度與蜜蜂識別間隙的飛行機制有重要聯系，可以將其作為研究蜜蜂識別間隙機制的重要參數。

通過分析不同實驗階段蜜蜂的飛行軌跡發現，蜜蜂通過積累前期的飛行經驗不斷優化飛行行為，使得飛行軌跡趨于平緩。這種后天的記憶性和學習性的優化飛行機制，對飛行器自主優化路徑的研究具有極高的參考價值。