多機聯(lián)合低空數(shù)據(jù)處理的關鍵技術研究

肖凱 溫夢媛 劉曉光 尹洪凱

（1.廣東龍泉科技有限公司，廣東 廣州 510220; 2.河南省測繪院，河南 鄭州 450003）

1 概述

無人機遙感系統(tǒng)的優(yōu)點為自主飛行、低空作業(yè)、無需機場起降，以及具有獲取厘米級高分辨率影像的能力，同時以無人機獲取的影像為基礎，通過內業(yè)航測數(shù)字化成圖流程，可便捷地測制大比例尺地形圖、構造地面三維模型，為政府決策部門和高端專業(yè)用戶提供所需數(shù)據(jù)與地理信息產品。但由于無人機遙感系統(tǒng)裝備的相機普遍存在相機幅面小、無人機留空時間短等缺點，原始影像的獲取效率不高，面臨大范圍航測工程時顯得力不從心。如何提高無人機遙感系統(tǒng)的快速獲取能力，降低數(shù)據(jù)處理的復雜度，是當前低空遙感領域數(shù)據(jù)后處理關鍵技術的研究熱點和技術瓶頸。

2 低空遙感數(shù)據(jù)處理

結合無人機影像后續(xù)處理的技術方法、流程及關鍵問題，探討無人機影像處理生產中遇到的技術瓶頸，并與當前較為成熟的主流商業(yè)軟件進行對比分析，形成了一套獨具特色的一體化多機聯(lián)合模式數(shù)據(jù)處理流程，并在項目生產中進行應用。具體流程如圖1 所示。

圖1 多機聯(lián)合數(shù)據(jù)處理技術流程

2.1 航測數(shù)據(jù)預處理

2.1.1 POS 數(shù)據(jù)與航帶整理

無人機航測POS 原始數(shù)據(jù)是明碼TXT 格式數(shù)據(jù)或者EXCEL 表格數(shù)據(jù)，詳細記錄了POS 記錄序號、拍照時間、像片名稱、像片曝光點具體位置（經度、緯度和橢球高），以及曝光瞬間無人機姿態(tài)ROLL、PITCH、YAW（橫滾角、俯仰角和航偏角）。在獲取測區(qū)航飛數(shù)據(jù)后，立即導出或者讓無人機鏈路傳輸無人機航測POS 數(shù)據(jù)，現(xiàn)場輔助檢查飛行相對漏洞或絕對漏洞，以便及時發(fā)現(xiàn)問題并進行補飛。

由于POS 原始數(shù)據(jù)中空間位置信息是大地坐標格式（B，L，H），而攝影測量處理軟件一般需要平面坐標格式（x，y，h），因此需要進行坐標格式轉換。轉換前需整理POS 原始數(shù)據(jù)，僅要像片名稱、經度、緯度、高程、橫滾角、俯仰角和航向偏角，剔除其他無用信息，并且使數(shù)據(jù)格式符合坐標轉換軟件要求。將整理后的POS 數(shù)據(jù)加載到ArcGIS 軟件，并用（x，y）坐標生成點文件，查看POS 所構建的航帶信息。保留測圖區(qū)域范圍內及因航向重疊而部分超出范圍的POS點，刪除冗余的POS 點數(shù)據(jù)。同時觀察POS 點序號即像片ID 順序，得出無人機航測時大致航向和拍照順序。

2.1.2 像片方向旋轉

通過航帶整理發(fā)現(xiàn)，無人機航測時飛行順序隨意，并非一條航帶自西向東地起降，下一條航帶則應是自東向西地起降。無人機的航帶次序整理及其航攝飛行方位確定將對測區(qū)像片排列產生重大影響。當無人機自西向東地飛行時，像片將被逆時針旋轉90°，而且在空中保存；當無人機自東向西地飛行時，像片將被順時針旋轉90°，而且橫向保存，如圖2 所示。在處理航測數(shù)據(jù)時，必須將其恢復到像片在視頻上拍照的方向，保證相片拼接和重疊。

圖2 像片旋轉示意圖

2.1.3 像片畸變改正

數(shù)字影像糾正的基本任務是實現(xiàn)兩個二維圖像之間的幾何變換，因此首先應確定原始圖像與糾正圖像間的幾何關系[1]。正解法是從原始圖像出發(fā)，將原始圖像上的逐個像元素按正解公式X=φx（x,y），Y=φy（x,y）求解糾正后的像點坐標；反解法是由糾正后的圖像反求其在原始圖像上的像點坐標，運用灰度插值法來實現(xiàn)圖像改正[2]。通過建立數(shù)學模型完成畸變圖像和改正圖像的相互轉換及影像糾正，并對邊緣地區(qū)影像進行自動裁切，達到預先定制的影像寬高。

2.2 空中三角測量

實際作業(yè)采用PixelGrid、Photoscan、Inpho 等專門針對無人機影像特點的無人機影像快速處理模塊（空三加密流程如圖3 所示）。在相對定向和模型連接完成后，針對因航飛不穩(wěn)造成模型連接不穩(wěn)的地方，定義航帶初始偏移量時適當增加偏移點個數(shù)，提高模型間自動轉點的成功率和精度。對于部分自動連接失敗的模型，通過人工干預增強模型連接強度[3]。一般應當保障所有同航向相鄰影像同名像點均不小于7對，所有隔片影像間同名像點（模型連接點）不小于3 對。經過反復實踐證明，達到這個條件會顯著提高自由網的構建成功率、整網的剛性及空三解算成果的可靠性。

圖3 無人機航空影像空三加密流程

連接點提取是無人機數(shù)據(jù)處理的關鍵，是利用少量地面控制點計算所有加密點地面坐標的必經操作。雖然各軟件可自動提取連接點，但由于航攝過程中可能會出現(xiàn)影像質量不理想、影像重疊度不完全一致和旋偏角偏大等情況[2]，連接點質量需利用檢查軟件進行人工檢查。

3 關鍵技術創(chuàng)新

以VC++6.0 為開發(fā)語言，利用OPENCV 和GDAL/OGR 開源視覺算法開發(fā)基于棋盤格檢校的幾何標定軟件，提出了數(shù)碼相機鏡頭畸變參數(shù)通用表達方法，建立畸變改正通用模型，來實現(xiàn)原始影像的快速畸變改正。基于透視光線保持不變的原理，利用特殊的數(shù)字影像升采樣算法，自主開發(fā)軟件來自動實現(xiàn)同測區(qū)多相機統(tǒng)一參數(shù)處理，實現(xiàn)后處理中將多相機數(shù)據(jù)進行統(tǒng)一的參數(shù)規(guī)劃，實現(xiàn)同一區(qū)域網、同一套航攝相機參數(shù)進行數(shù)據(jù)后處理[4]。基于改進灰度補償算法的數(shù)字圖像紋理增強技術，利用OPENCV 直方圖匹配算法實現(xiàn)數(shù)字影像色彩批量優(yōu)化調整；開發(fā)空三加密工程轉換工具，實現(xiàn)Inpho、Photoscan 等國外主流軟件以及國內主流軟件之間空三加密成果數(shù)據(jù)轉換；開發(fā)基于密集三維真彩色點云的若干成果應用場景。

3.1 數(shù)字影像紋理增強

紋理特征是數(shù)字影像的重要表征指標，紋理清晰是數(shù)字影像追求的最好感官目標。數(shù)字影像的灰度直方圖是數(shù)字影像的身份證。一幅影像直方圖的均值和方差是最好的統(tǒng)計表征，均值適中的影像一般表現(xiàn)為影像亮度合適人眼感官。方差越小，灰度直方圖表現(xiàn)收窄，代表影像灰度級并不充滿，感官層次不豐富，紋理單一；方差越大，灰度直方圖表現(xiàn)拓寬，代表影像灰度級分布充盈，感官層次豐富，紋理豐富。數(shù)字影像紋理增強的總體目標就是對數(shù)字影像的各個波段進行定制或者自適應調整，達到均值亮度適中，方差對比度合適，提升圖像細節(jié)表現(xiàn)力和解析力。

本文在VC++6.0 開發(fā)環(huán)境下實現(xiàn)了一種改進的灰度補償算法來實現(xiàn)圖像的紋理增強，有效彌補了傳統(tǒng)灰度圖像直方圖均衡化算法的不足，不僅提供了合適的映射關系，還大大改善了運算效果，最大化減少了圖像信息的丟失，提高了圖像的清晰度，特別是對于質量較差的原始圖像，采用該算法進行圖像增強處理也可以取得較好效果，在空三處理過程中顯著提高了初代匹配種子點的數(shù)量和同名像點匹配成功率。

3.2 數(shù)字影像色彩優(yōu)化

色彩表現(xiàn)也是數(shù)字影像的重要感官指標，在色彩優(yōu)化方面基于VC++和GDAL/OGR 進行軟件開發(fā)，通過OPENCV 直方圖匹配算法實現(xiàn)數(shù)字影像色彩批量調整。色彩調整處理函數(shù)采用逐波段直方圖匹配算法，即給定特定函數(shù)分布，實現(xiàn)圖像某通道的直方圖分布與給定的函數(shù)形態(tài)趨于一致或相似。自主開發(fā)軟件中涉及的直方圖匹配支持TIF、BMP、JPG 等格式影像，對超大影像數(shù)據(jù)的處理采用*img 格式。軟件可以對海量數(shù)字影像進行快速色彩調整集群批處理，對數(shù)目龐大的無人機影像進行色彩預處理，能顯著改善DOM 的整體拼接質量，在無人機測繪工程中具有很強的實用價值。

3.3 空三加密工程轉換工具

當前業(yè)內流行很多國內外的空三加密軟件，核心就一個，即通過空三加密恢復攝影瞬間各個攝站在測量坐標空間中的空間位置和姿態(tài)。軟件的工序流程都包括兩部分：（1）自動或手動匹配提取同名像點，構建像點測量網即自由網。（2）聯(lián)合地面控制點或者其他現(xiàn)驗控制約束條件進行聯(lián)合平差，平差時自動或手動剔除上一步驟誤匹配點，達到預期的收斂限差和置信度即可。由于軟件各異，各個加密軟件輸出的最終加密成果格式和類型不同，產生了數(shù)據(jù)壁壘。本研究通過自定義統(tǒng)一的中間格式，實現(xiàn)各大主流軟件之間的空三加密數(shù)據(jù)成果的橋聯(lián)，即所有格式都可自動轉換為本軟件研究設計的中間格式，然后由中間格式按設置選項分轉成各大主流軟件的數(shù)據(jù)成果格式，如此統(tǒng)進統(tǒng)出就解決了格式混亂中規(guī)劃統(tǒng)一的問題，這在無人機測繪工程數(shù)據(jù)后處理過程中有巨大的使用價值。

3.4 密集三維灰度點云研究和應用

本文提出基于密集三維灰度點云拓展的應用，自主開發(fā)軟件實現(xiàn)利用密集三維灰度點云制作TDOM、DSM、DEM、測制線劃圖，構建修飾傾斜實景三維模型，并實現(xiàn)實景三維模型的快速單體化和面片化。此外，嘗試將密集三維灰度點云為無人駕駛和智能飛行器安全運行提供底圖服務保障。

4 創(chuàng)新應用

項目通過長期產學研緊密合作，對多機聯(lián)合低空遙感關鍵技術研發(fā)存在的技術難題進行了攻關，主要創(chuàng)新點如下：

（1）引入數(shù)字影像升采樣方法，改進同測區(qū)多相機統(tǒng)一參數(shù)算法模型，將多相機、多參數(shù)歸化為統(tǒng)一相機參數(shù)，實現(xiàn)了同測區(qū)不同相機、不同攝影時間的數(shù)據(jù)不分區(qū)一次空三加密[5]。基于保持透視光不變原理，提出一種基于數(shù)字圖像上采樣的多攝像機統(tǒng)一參數(shù)方法，實現(xiàn)同一測區(qū)多攝像機圖像的自動處理，及影像數(shù)據(jù)后處理只設置一個相機參數(shù)不分區(qū)即可處理，降低了多相機聯(lián)合測區(qū)的數(shù)據(jù)后處理難度，顯著提高了參數(shù)解算效率，保證了結果的準確性和可靠性[6]。

（2）改進了基于棋盤格標靶的相機標定方法，提出了相機鏡頭畸變參數(shù)的通用表達、可量測粒度的相機幾何定標、影像質量評價方法。通過研究無人機遙感系統(tǒng)數(shù)據(jù)獲取方式，分析無人機獲取數(shù)據(jù)類型，提出可量測粒度的相機幾何定標、數(shù)碼相機畸變通用表達設計思路，建立了映射模板，開發(fā)了棋盤格相機幾何標定軟件，實現(xiàn)非量測相機影像畸變的精確改正[5]。

（3）研發(fā)了適用于非量測相機的紋理增強、色彩優(yōu)化、密集三維灰度點云應用等功能，建立了多機聯(lián)合航測遙感的新作業(yè)模式，提高了生產效率和成果質量。處理圖像細節(jié)時，保留圖像本身地物信息，通過改進灰度補償算法，采用分段直方圖均衡化和分段直方圖匹配技術對圖像進行預處理，通過增強圖像的動態(tài)范圍來增強圖像的細節(jié)表現(xiàn)能力。色彩調整處理采用改進型直方圖匹配算法，影像紋理增強和色彩優(yōu)化處理時在單機上實現(xiàn)多進程處理，在局域網內實現(xiàn)多計算機聯(lián)合處理，顯著提高了工作效率。

（4）研發(fā)了適用于Inpho、LPS、Photoscan、PATB等多種商業(yè)空三加密軟件的多相機數(shù)據(jù)轉換工具集，實現(xiàn)不同軟件數(shù)據(jù)的兼容和無損轉換。建立標準中間件，由現(xiàn)有商業(yè)軟件通過該標準中間件轉入，再經由標準中間件轉出到目前業(yè)內主流商業(yè)軟件，從而構建空三加密轉換工具集，實現(xiàn)數(shù)據(jù)的互轉換，充分發(fā)揮各個商業(yè)軟件的優(yōu)勢功能，提高空三加密精度和效率。

通過研究無人機影像數(shù)據(jù)畸變改正、紋理增強、色彩優(yōu)化、非量測相機標定、空三加密數(shù)據(jù)轉換、密集三維灰度點云、多相機統(tǒng)一參數(shù)聯(lián)合平差等關鍵技術，形成一套科學合理的多機聯(lián)合低空遙感數(shù)據(jù)處理技術流程。

5 結束語

多機聯(lián)合低空數(shù)據(jù)處理技術有效提高了航測數(shù)字化生產效率和生產質量[7]。實際作業(yè)利用該技術完成相機參數(shù)檢校、數(shù)字影像批量光譜和幾何增強，及影像的畸變改正、勻光勻色和紋理處理。同時利用項目空三加密轉換工具實現(xiàn)無人機測圖系統(tǒng)、Photoscan、Inpho、PATB 之間的數(shù)據(jù)轉換，通過計算機視覺三維重建軟件輸出三維密集灰度點云，為數(shù)字測量成果和傾斜三維模型生產提供保障，為智慧城市建設、自然資源監(jiān)測、生態(tài)保護修復、國土空間規(guī)劃等領域的低空遙感影像處理提供了新手段，拓寬了數(shù)字化生產的技術模式，降低了航測產品購買成本，提高了工作效率。