無人機(jī)航拍圖像拼接技術(shù)研究與實(shí)現(xiàn)

周方圓，楊鵬舉

（延安大學(xué)物理與電子信息學(xué)院，陜西延安，716000）

0 引言

無人駕駛飛行器（UAV）是一類使用自動駕駛儀或遠(yuǎn)程控制技術(shù)控制的飛行裝置機(jī)。無人機(jī)的首次使用是在軍事任務(wù)中，例如目標(biāo)區(qū)域的偵察和實(shí)時(shí)航拍，以及低空飛行時(shí)的精確打擊。然后應(yīng)用逐步擴(kuò)展到民用目的，例如農(nóng)業(yè)應(yīng)用、消防監(jiān)視、交通監(jiān)控、災(zāi)害損害評估和核反應(yīng)堆安全檢查[1]。二十一世紀(jì)的今天，隨著無人機(jī)技術(shù)的成熟和普及，其已成為各個(gè)領(lǐng)域數(shù)據(jù)采集常用工具之一，為小區(qū)域和大比例尺地形圖或詳細(xì)3D表面信息的經(jīng)典航空攝影測量，提供了一種低成本的替代方案。然而，受限于無人機(jī)的固有局限，很多時(shí)候需要對無人機(jī)航拍圖像進(jìn)行拼接，以獲取更高質(zhì)量的圖片[2]。為此，探究無人機(jī)航拍圖像拼接技術(shù)與實(shí)現(xiàn)，是相關(guān)從業(yè)人員所必須進(jìn)行的研究，有助于提升無人機(jī)航拍圖像的質(zhì)量，為依靠無人機(jī)航拍進(jìn)行的決策提供更加科學(xué)且完善的數(shù)據(jù)支撐。

1 無人機(jī)航拍圖像拼接的必要和技術(shù)現(xiàn)狀

1.1 無人機(jī)航拍圖像特征和拼接必要

近年來，無人機(jī)在軍事、科學(xué)和民用領(lǐng)域的使用急劇增加，以獲得最接近和最真實(shí)的現(xiàn)場圖像，進(jìn)而為軍事、科學(xué)和民用領(lǐng)域的正確決策提供數(shù)據(jù)和圖像支持。然而，由于無人機(jī)航拍圖像受到來自不同高度級別的捕獲幀，例如照明、陰影、遮擋等各種環(huán)境約束，從圖像中提取制圖對象是一項(xiàng)艱巨的任務(wù)，因?yàn)楹脚膱D像本質(zhì)上是分散、嘈雜、復(fù)雜和模糊的[3]。雖然現(xiàn)代技術(shù)已經(jīng)支持無人機(jī)搭載高倍率的廣角鏡頭進(jìn)行圖像獲取，但是，這類專業(yè)設(shè)備不僅價(jià)格昂貴，而且所獲取的圖像失真嚴(yán)重。在此背景下，圖像拼接是一種無人機(jī)航拍獲取的圖像的處理方法，旨在將覆蓋同一場景不同部分的多張圖像組合起來，以形成一張更加精確的廣角圖像。在無人機(jī)航拍圖像處理中，圖像拼接是一項(xiàng)非常具有挑戰(zhàn)性的任務(wù)，在過去的幾十年里，已經(jīng)為此開發(fā)了許多算法，旨在無人機(jī)航拍圖像拼接的處理過程中，通過不相交的圖合并進(jìn)行結(jié)果聚合，進(jìn)而允許拼接后的圖像不受圖像融合中固有的測量和幾何校正的影響。

1.2 無人機(jī)航拍圖像拼接技術(shù)的現(xiàn)狀

傳統(tǒng)的無人機(jī)航拍圖像拼接是使用無人機(jī)自帶的全球?qū)Ш叫l(wèi)星系統(tǒng)的相機(jī)位置信息，實(shí)現(xiàn)直接地理參考。該信息由無人機(jī)飛行期間機(jī)載接收器記錄，然后使用SIFT算法檢測大量特征，這些特征可用作相鄰圖像之間重疊區(qū)域內(nèi)的連接點(diǎn)，以改進(jìn)地理參考解決方案。這種圖像拼接是通過GNSS標(biāo)簽或使用數(shù)據(jù)集中的已知特征來獲得估計(jì)位置來完成，幀矩陣必須包含以下信息：行數(shù)、列數(shù)和總幀數(shù)[4]。假設(shè)幀數(shù)據(jù)在行數(shù)和列數(shù)方面具有一致的大小。其他兩個(gè)矩陣，即第一幀的x和y位置，也必須具有相同的大小。例如，初始幀的位置數(shù)據(jù)將是一系列x和y坐標(biāo)對。這樣，一個(gè)像素將具有位置（X1，Y1），和像素 ?，即直接像素旁邊，將具有位置（X2，Y2）。在這種情況下，這兩個(gè)相鄰像素之間的間距是y2-y1和x2-x1。因此，這些位置必須位于基于真實(shí)的坐標(biāo)系中。雖然這種方法更快、更經(jīng)濟(jì)，但它提供的拼接圖像質(zhì)量較低，無法適用于一些高精度圖像需求，例如歷史建筑或工業(yè)應(yīng)用。

相比之下，另一種的無人機(jī)航拍圖像拼接使用了間接地理參考方法，以某些目標(biāo)的坐標(biāo)作為地面坐標(biāo)點(diǎn)(GCP)，進(jìn)而實(shí)現(xiàn)圖像拼接。在這種方法中，在x和y方向的每個(gè)像素處估計(jì)一維流向量，然后使用迭代最小二乘法從一維流估計(jì)全局仿射參數(shù)。準(zhǔn)確的參數(shù)是通過在x和y方向上迭代重復(fù)優(yōu)化獲得，因此這些目標(biāo)必須在圖像中清晰可見且可區(qū)分，以便在數(shù)據(jù)處理步驟中手動選擇其中心。這種方法應(yīng)該適用于大多數(shù)無人機(jī)的圖像數(shù)據(jù)，然而，應(yīng)該注意的是，這種方法依賴于數(shù)據(jù)中明顯的不均勻性。例如，在分析野火強(qiáng)度差異特征（特定火災(zāi)像素之間的大溫度對比度）時(shí)，諸如建筑物或河流之類的圖像也會在圖像中提供對比鮮明的邊緣，從而限制配準(zhǔn)過程。為此，可以在固定的環(huán)境中使用任何現(xiàn)有的人工特征，例如角落、井蓋或道路標(biāo)記。雖然這種方法能夠提供相對傳統(tǒng)圖像拼接更加高精度的圖像，但是，這種方法需要準(zhǔn)備和測量GCP的位置，這一過程需要消耗較多的時(shí)間和精力[5]。

2 無人機(jī)航拍圖像拼接的關(guān)鍵技術(shù)與實(shí)現(xiàn)

2.1 無人機(jī)航拍圖像拼接的關(guān)鍵技術(shù)

在實(shí)現(xiàn)高質(zhì)量的無人機(jī)航拍圖像拼接中，圖像的特征點(diǎn)提取算法是十分關(guān)鍵的部分。如前文所述，SIFT算法是傳統(tǒng)無人機(jī)航拍圖像拼接的常用算法。但是，該算法運(yùn)算復(fù)雜且容易產(chǎn)生大量的系統(tǒng)冗沉，導(dǎo)致圖像拼接速度較慢且需要較好大量的系統(tǒng)內(nèi)存。相比之下，無論是SUSAN算法還是SURF算法，無論是MORAVEC算法還是HARRIS算法，都更加的簡單、易實(shí)現(xiàn)。尤其是HARRIS算法，魯棒性好、穩(wěn)定性高、提取精確且算法簡單，是現(xiàn)階段無人機(jī)航拍圖像拼接中十分關(guān)鍵的算法，對于實(shí)現(xiàn)高質(zhì)量的圖像拼接有重要的作用。

HARRIS算法是Heidari等人在2019年受到哈里斯鷹的集體行為和追逐方式的啟發(fā)，進(jìn)而提出的基于種群的HHO算法。該算法基于以下原則：首先，根據(jù)其他家庭成員的位置和獵物（例如兔子）的位置（q<0.5）確定自己的位置；其次，鷹的位置完全隨機(jī)（q≥0.5）。從數(shù)學(xué)的角度來看：

式（1）中，iter表示迭代，X（iter+1）是下一次迭代中鷹的位置向量，Xrobit(iter)和X(iter)分別是兔子和鷹的位置，Xrand(iter)代表從種群中隨機(jī)選擇的鷹，LB和UB分別代表變量的下限和上限。在這種情況下，哈里斯鷹采用軟圍攻（|E|≥0.5）和硬圍攻（|E|<0.5）策略來消耗和輕松獵殺獵物。

依據(jù)上述原則，在無人機(jī)航拍圖像特征點(diǎn)提取中，HARRIS算法使用局部加權(quán)散點(diǎn)圖平滑來對齊圖像之間的光譜響應(yīng)函數(shù)，以局部方式調(diào)整擬合，保留一般趨勢，同時(shí)減輕異常值的影響，使其更靈活地將線擬合到數(shù)據(jù)。為此，HARRIS算法通常使用拋物線或高階多項(xiàng)式而不是直線來擬合數(shù)據(jù)，因?yàn)槟繕?biāo)是確定數(shù)據(jù)段的最佳擬合，以改進(jìn)預(yù)測而不是通用性。在這里，HARRIS算法選擇了二次多項(xiàng)式，以便在點(diǎn)內(nèi)進(jìn)行比直線擬合有時(shí)可能更平滑的擬合。例如，將局部近似中要考慮的點(diǎn)的分?jǐn)?shù)設(shè)置為0.15，使用Python loess函數(shù)中的默認(rèn)權(quán)重函數(shù)、三方函數(shù)和迭代次數(shù)10自動提取像素子集，用于從跨越重疊區(qū)域的兩條樣線中提取像素，并從模型訓(xùn)練中排除。

此處假設(shè)位置信息是由用戶通過GNSS或從數(shù)據(jù)中的地理已知點(diǎn)生成。如果數(shù)據(jù)包含GNSS，用戶可以通過假設(shè)位置在幀的直接中心，并根據(jù)傳感器的鏡頭信息和飛機(jī)高度推斷所有其他位置。另一種選擇是在圖像中找到一個(gè)包含清晰地標(biāo)的位置（從基于地面的GNSS標(biāo)記或從其他地理校正圖像中找到），并使用它來推斷圖像中所有數(shù)據(jù)的x和y信息，即行號和列號。

2.2 無人機(jī)航拍圖像拼接技術(shù)的實(shí)現(xiàn)

對無人機(jī)獲得的航拍圖像進(jìn)行拼接，首先，要對影像數(shù)據(jù)進(jìn)行預(yù)處理，包括單個(gè)圖像的拼接、感興趣區(qū)域(ROI)的識別，然后是地理配準(zhǔn)和ROI的矢量處理。其中，原始數(shù)據(jù)集使用攝影測量軟件Pix4D Mapper中的“3D地圖”模板進(jìn)行拼接。輸出坐標(biāo)系選擇為WGS 84/UTM zone 11N(EGM96)。獲得的輸出是RGB和DSM。之后，使用QGIS中的“Georeferencer”工具執(zhí)行地理參考過程將圖像數(shù)據(jù)的確切位置匹配，對DSM進(jìn)行地理校正。使用AutoCAD中的“矩形”命令創(chuàng)建ROIs，要求每個(gè)ROI都有與標(biāo)記板的中心重合，以實(shí)現(xiàn)精確匹配。其中，第一幀矩陣中的每個(gè)單元格都必須有一些位置信息，此信息與所有幀數(shù)據(jù)一起傳遞給第一個(gè)函數(shù)，該函數(shù)為每個(gè)幀中的每個(gè)像素提供x和y位置信息。此函數(shù)的輸出是兩個(gè)與輸入frame_data矩陣大小相同的矩陣，包含每個(gè)幀的x和y位置。

其次，應(yīng)用HARRIS算法對可以進(jìn)行像素到像素比較的重疊區(qū)域進(jìn)行定量分析。其中，一個(gè)圖像被選為“參考圖像”，另一個(gè)圖像被選為“待拼接圖像”。以便在目標(biāo)圖像中，生成一系列獨(dú)特的特征點(diǎn)（如圖1）。

圖1 特征點(diǎn)圖例

如圖1所示，要在左側(cè)進(jìn)行標(biāo)準(zhǔn)化的目標(biāo)圖像中識別出唯一的特征點(diǎn)。然后，對于每個(gè)唯一特征點(diǎn)，識別參考圖像（右）中的對應(yīng)特征點(diǎn)。在此示例中，目標(biāo)特征點(diǎn)“175”對應(yīng)于參考特征點(diǎn)的171、173、175，平均（四舍五入）為173。將參考圖像的特征點(diǎn)與目標(biāo)圖像的特征點(diǎn)進(jìn)行比較，并獲得每個(gè)目標(biāo)圖像唯一特征點(diǎn)的對應(yīng)參考特征點(diǎn)列表。其中目標(biāo)唯一特征點(diǎn)175具有包括171、173和175的對應(yīng)參考特征點(diǎn)的列表。具有小于6個(gè)值的對應(yīng)參考特征點(diǎn)列表的任何目標(biāo)特征點(diǎn)由于采樣率低的實(shí)例而被省略，以最大限度地減少模型偏斜。每個(gè)目標(biāo)特征點(diǎn)的相應(yīng)參考值被平均并四舍五入到最接近的整數(shù)，僅使用給定目標(biāo)值的中間95%的參考值。這樣做是為了減少異常值的影響。

最后，根據(jù)匹配點(diǎn)對估算出待拼接圖像的變換矩陣后，還需要利用圖像融合技術(shù)完成圖像拼接[6]。在實(shí)際的應(yīng)用中，采集的圖像會受到多方面因素影響，如光照變化、幾何變形或者動態(tài)場景等等，這些都可能造成融合圖像在色彩或者亮度上不連續(xù)的問題，圖像融合技術(shù)就是用來消除這些問題的。圖像融合就是將配準(zhǔn)后的圖像每一個(gè)像素點(diǎn)運(yùn)用融合算法重新分配坐標(biāo)和灰度信息的過程，從而使拼接圖像在重疊區(qū)域能夠自然平滑的過渡，消除拼接痕跡和模糊現(xiàn)象，獲得準(zhǔn)確度和精度較高的全量圖像。具體來說，在應(yīng)用HARRIS算法從無人機(jī)航拍圖像中生成點(diǎn)云后，使用Agisoft Metashape或者Pix4dmapper軟件包處理捕獲的圖像。處理步驟分為三個(gè)主要部分：（1）圖像對齊，（2）點(diǎn)云和網(wǎng)格的構(gòu)建，以及（3）DSM和正射影像的構(gòu)建。由于所使用的兩個(gè)軟件包都是完全自動化的，用戶只需添加圖像、放置標(biāo)記并定義一些可選的輸入?yún)?shù)，例如項(xiàng)目基準(zhǔn)和投影、GCP和CP以及最終分辨率。

3 結(jié)論

作為重要的信息傳遞媒介，無人機(jī)航拍圖像拼接是將無人機(jī)獲得的特定場景的多幅圖像，拼接在單個(gè)幀中的過程。與單獨(dú)的圖像相比，拼接后的圖像提供了更大量的信息，是無人機(jī)實(shí)踐應(yīng)用中一種十分重要的技術(shù)。在本次研究中，基于無人機(jī)圖像拼接的必要性和技術(shù)現(xiàn)狀，提出了一種新的圖像拼接方法。該方法基于HARRIS算法校正圖像之間的尺度差異，以減少異常值和對齊誤差。所述方法對于優(yōu)化現(xiàn)有無人機(jī)航拍圖像拼接，實(shí)現(xiàn)無人機(jī)航拍圖像的無縫拼接，有著重要的實(shí)踐意義，建議在實(shí)際應(yīng)用中推廣使用。