基于AR 的溫室智能控制系統設計

牛麗

（蘇州市職業大學計算機工程學院，蘇州 215104）

0 引言

我國是一個農業大國，人口眾多。為滿足巨量人口對蔬菜、水果等農產品在數量、質量上提出的更高的要求，溫室大棚利用信息化、智能化和自動化科學技術來提高農業種植產量和效率成為解決這一問題的優選[1]，溫室是設置一個人為的氣象環境，創造一個適合作物生長的條件，來滿足生物生長對溫度等條件的滿足。溫室環境是由光照、溫度、濕度、土壤狀況等因素構成的，溫室通過控制溫室環境，使其在不適宜作物生長的季節進行栽培，從而達到對作物調節產期、促進生長發育、防治病蟲害及提高產量的目的。為創造作物生長所需的最佳環境條件，這類溫室控制系統基本上是利用傳感器對溫室內的環境參數進行監測，獲取相關參數，根據這些參數按設定的程序給出相應的反饋與操作，調節溫室環境參數[1-2]。控制系統并未對作物本身的生長狀態進行監測，無法獲知給定的環境調節參數是否與植物當前的生長周期完全匹配，系統無法實時地、可視化地反映作物是否處于健康的生長狀態。導致作物生產人員只能利用環境參數間接促進作物生長，或通過各種檢測設備對作物進行檢測，利用較為專業的農業知識對檢測數據進行分析，獲知生長狀態。為了實現溫室大棚控制系統對作物生長狀態的有效監控，農作物生產人員與農作物的生長狀態進行實時的可視化互動，實現作物分析數據的可視化顯示，設計基于增強現實的溫室智能控制系統。

1 增強現實技術

增強現實（Augmented Reality，AR）是利用計算機技術產生文本、圖形圖像、模型動畫、聲音視頻等虛擬對象，并將這些虛擬對象與圖像采集設備中的現實世界相融合，疊加在指定位置或物體上，輔助用戶對真實世界的理解。為了實現虛擬對象與現實世界的場景信息精確地疊加、融合，AR 系統利用計算機分析大量的場景信息和定位數據，實現虛擬物體在真實場景中的注冊[3]。如圖1 為一種AR 技術的結構示意圖。一般實現AR 具有以下步驟：

（1）圖像采集設備（例如相機）拍攝現實世界的場景信息，設備固定，或者移動都可以。

圖1 一種AR技術的結構示意圖

（2）圖形圖像模塊對現實世界的場景及圖像采集設備的位置信息進行分析，生成相應的虛擬對象信息，例如文本、圖形圖像、模型視頻等。

（3）圖像渲染模塊將現實世界的場景信息與虛擬對象信息進行疊加、融合。

（4）顯示模塊將融合后的圖像、文本等信息進行顯示，實現增強現實，還可以通過佩戴立體顯示眼鏡來增強用戶觀看效果。

2 利用AR技術的溫室控制系統的總體結構設計

本系統根據溫室作物生長溫度、濕度、土壤狀況、生長狀況等實際需求出發，為了實現溫室較高程度的智能控制、棚內作物生長自助分析及作物生長狀況數據的可視化，設計基于增強現實技術的溫室智能控制系統，系統總體結構如圖2 所示。它包括圖像采集設備、微型投影儀、監測溫室環境的傳感器、控制器、數據庫、人機接口、環境參數調節機構等組成。

圖2 基于AR的溫室智能控制系統結構圖

人機接口是實現系統與用戶之間信息輸入與輸出的交互接口；數據庫是該系統的重要組成部分，用來存儲溫室作物生長問題的特征信息與數據，為控制器判斷作物生長情況提供必要的依據，以及控制系統運行過程中產生的各種中間信息；控制器是系統的核心，利用傳感器信息，調用數據庫信息進行綜合處理，輸出圖像信息及作物生長調節策略，并控制環境參數調節機構；監測溫室環境的傳感器獲取溫室作物生長的相關環境信息，被控制器獲取并作為判斷作物生長狀況的參考信息；環境參數調節機構根據控制器發出的信息啟動相關執行機構，例如噴水、改變光照、通風等；圖像采集設備與微型投影儀都與控制器相連，圖像采集設備獲取圖像信息并傳輸給控制器，經控制器處理后，再輸出圖像信息，經過渲染，通過微型投影儀實時輸出虛擬對象，虛擬對象與真實場景虛實融合，實現可視化的圖像、數據顯示功能，共同呈現給生產者。增強現實技術要求虛擬物體必須融合到真實世界的準備位置，這樣才能實現虛擬對象與真實場景的準確疊加，這個過程就是AR 系統的注冊。

2.1 注冊實現

注冊就是要確定虛擬對象在真實空間坐標系中的位置，從而實現將虛擬對象實時地、準確地在顯示器上顯示，完成真實環境與虛擬對象的結合，所以注冊的實現首先要解決的是確定世界、相機及圖像平面之間坐標系的關系，坐標系之間關系變換如圖3 所示。

圖3 坐標系變換關系

點 P 在世界坐標系中的坐標為（xw，yw，zw），在相機坐標系中的坐標為（xc，yc，zc），在圖像坐標系中的坐標為（u，v）。且使相機光心作為原點，光軸作為Zc 軸。相機坐標系原點OC與圖像坐標系原點O 間距離為相機間距f。從世界坐標系轉換到相機坐標系屬于物體不會發生形變的剛體變換，只需要進行旋轉和平移。相機坐標系通過焦距對角矩陣和畸變系數轉換到圖像坐標系，點P 從世界坐標系轉換到圖像坐標系由式（1）與（2）表示[3]：

式中：Zc為相機坐標系下Z 軸分量，UP 為P 點在圖像坐標系中的坐標矩陣，K 為機內部參數矩陣，其中fx和fy 是以像素為單位的焦距參數，u0和v0為圖像物理坐標系原點在圖像坐標系中的坐標；為像機外部參數矩陣，從世界坐標系到相機坐標系，物體運動涉及到旋轉和平移，繞著不同的坐標軸旋轉不同的角度、平移不同的距離，得到相應的旋轉參數r11…r33、平移矩陣t1…t3。因此，在給定物體在世界坐標系及圖像坐標系中的坐標值計算得到進行轉換坐標系，使渲染生成得虛擬對象在現實場景中的正確位置進行疊加結合，完成注冊。

2.2 控制策略

通過對棚內環境參數及作物的圖像采集，利用相似圖像的匹配，將相機采集的圖像與數據庫中存儲的特征圖像進行比對，找出與數據庫中相似度最高的圖片，再提取存儲在數據庫中相應的特征信息，以評定目前農作物的生長狀態[4]。結合存儲的作物生長階段的特征信息與監測到當前植物的生長環境信息，系統給出作物生長調節策略，使溫室環境與作物生長相匹配，控制器同時將狀態數據及相應的調節策略進行圖像轉化，獲得虛擬顯示對象，結合真實場景將虛擬顯示對象直接顯示在AR 系統的顯示器上。此外，在需要時系統可借助AR 系統的圖像采集設備感知人體手勢[5]或者人機接口發出指令，通過控制器處理實現手動控制系統的運行。

控制策略是否正確取決于作物的圖像匹配的準確性及數據庫中存儲的反映作物生長狀況圖像的完整與豐富程度。為了便于圖像匹配，減少匹配時間，匹配過程的復雜度，增強系統的實時性，根據各作物生長周期特征劃分為若干個生長階段，例如黃瓜可以分為發芽期、幼苗期、初花期及結果期。每個階段采集作物生長不良、正常的圖像作為樣本存儲在數據庫，同時存儲相應圖像對應的生長狀況及生長調節策略。系統采集圖像后，人機對話要求使用者選擇作物名稱后，顯現生長階段劃分提示，再選擇生長階段，系統直接與該作物該生長階段下的圖像樣本進行匹配，系統控制策略流程見圖4。

圖4 控制策略流程圖

為避免采集圖像時作物周圍環境的光照、拍攝角度、采集時振動等因數的影響，采用當前比較流行的圖像匹配算法——尺度不變特征轉換算法，即SIFT（Scale Invariant Feature Transform）算法。SIFT 通常被用于描述圖像的局部特征，它的實質通過構建尺度空間，進行特征點查找，特征點方向計算，生成特征點描述符，再根據特征向量進行匹配[6]。利用特征點匹配圖像的SIFT 算法過程如下：

（1）尺度空間構建及特征點查找

在不同的尺度空間內進行特征點查找，高斯卷積核是尺度變換的唯一變換核，也是唯一的線性核[8]。這樣需要通過高斯模糊來實現尺度空間構建，所以圖像I(x,y)的尺度空間通過尺度空間的高斯函數和圖像的卷積由式（3）與（4）表示：

確定特征點所在位置，需要建立高斯金字塔。對相鄰的兩層圖像相減做高斯差分，得到DoG（Differ-ence of Gauss）圖像，整個過程的變換函數由式（5）表示：

圖像空間極值點是該點與它同尺度的8 個相鄰點，以及上下相鄰尺度對應的9×2 個點共26 個點中的最大值點[7]，DoG 尺度空間中的極值點就是特征點。

（2）特征點方向及特征點描述

根據特征點查找的結果，為每個特征點指定基準方向，將坐標軸旋轉為特征點方向，保證旋轉不變性。應用圖像梯度的方法求得特征點的穩定方向，得到特征點的三個信息(x,y,σ,θ)，即位置、尺度、方向。圖像梯度模值、方向計算由式（6）與（7）表示：

式中：L 為特征點所在的尺度空間值。得到特征點信息后，鄰域像素的梯度和方向通過直方圖進行統計，按每10 度一個區域將360 度直方圖統計范圍是依次劃分為36 個區域。梯度的模值可按照σ=1.5σ_oct的高斯分布加成，按尺度采樣的3σ原則，鄰域窗口半徑為 3×1.5σ_oct[8-9]。

在特征點尺度空間內，將特征點的鄰域區域劃分為4×4 子區域，將每個子區域作為一個點計算每個點8個方向的梯度信息，共產生4×4×8=128 維向量表征，它就是特征點的描述符。具體步驟如下[8]：

①劃分的 16（4×4）個子區域均取 3σ_oct 像素，那么子區域邊長為3σ_oct，計算時需使用雙線性插值法，所需圖像區域邊長為（4+1）×3σ_oct，考慮到旋轉因素得影響，實際計算特征點描述符所需的圖像區域半徑由式（8）表示：

②將坐標軸旋轉為特征點的方向，保證旋轉不變性。

③插值計算每個點八個方向的梯度，統計128 個梯度信息即為特征點的描述符，并對描述符進行歸一化處理。

④按特征點的尺度對特征描述向量進行排序。

（3）特征向量匹配與相似度

取圖像中的一個特征點，找出該點與另一幅圖像中歐氏距離最近的兩個點，如果最近的距離與次近的距離的比值小于設定閾值0.6[9]，那接受這一對匹配點，認定特征點向量匹配成功。那么，相識度就是圖像中匹配成功的特征點數量與總特征點數量的百分比。

3 溫室智能控制系統實現

該溫室智能控制系統主界面由系統維護、信息管理、環境管理作物管理等部分組成，作物管理主要是對當前種植作物的生長信息、病蟲害狀況，生長環境信息，及AR 采集的圖像信息及控制器給出的生長調節策略的查看；信息管理主要是存儲與作物生長相關的各種依據信息，主要用于控制器調用比對，給出調節策略，只有農學專業人員才能提出并由系統管理員對數據進行修改、添加、刪除等操作，普通用戶只能查詢。系統功能框圖如圖5 所示。

圖5 溫室智能控制系統功能框圖

為使該系通更加實用、便捷，采用集成了圖像采集設備、微型投影及顯示器與一體的AR 眼鏡，進入溫室大棚，佩戴AR 眼鏡，當需要獲知農作物生長狀態時，通過行走到靠近并使CCD 攝像頭靠近農作物，攝像頭將自動采集該作物的圖像（存儲在作物管理功能塊），并將圖像數據輸出給控制器，控制器對圖像進行識別、分析處理（控制器調用信息管理功能塊內依據信息），并將分析結果圖像轉化及圖形渲染后，利用微型投影儀將具有農作物生長狀態、溫室環境參數及環境參數調節策略的圖像信息投影在AR 眼鏡上（生長信息、調節策略存儲在作物管理功能塊中的作物生長信息中），將真實場景與虛擬顯示對象相互融合，共同呈現給生產者，實現可視化的數據顯示功能，圖6 為使用AR 眼鏡靠近作物結果期黃瓜的顯示圖，系統結果顯示準確，使用方便，信息豐富，使用效果良好。

圖6 結果期黃瓜AR顯示圖

4 結語

通過增強現實技術應用于農業溫室智能控制系統，具有較高程度的智能控制和自助分析功能，能夠提供一系列可視化的分析數據，使用者不需要運用較為專業的農業知識對檢測數據進行分析，即可獲知植物的生長狀態，降低了系統對使用者自身文化素質及農作經驗的限制，同時也可避免人為判定過程中一些因素被忽略的可能性，另外，本系統需要以若干溫室大棚作物的圖像特征與信息作為數據庫的基礎，分析獲得需要改變的環境參數，作物生長匹配策略，進而采取相應的措施，實現溫室有效地智能控制，由于系統利用圖像相似度識別，需要不斷地補充、更新相關的數據、特征圖像等信息，才能保證系統控制的智能性、準確性。