基于C6678的主被動三維影像生成算法并行設計

牛京玉，胡 堅，賀文靜，孟凡榮，李傳榮

?

基于C6678的主被動三維影像生成算法并行設計

牛京玉1,2，胡 堅2，賀文靜2，孟凡榮2，李傳榮2

（1. 中國科學院大學，北京 100049；2. 中國科學院光電研究院 中國科學院定量遙感信息技術重點實驗室，北京 100094）

當前，如何實現高效的主被動三維影像生成技術是遙感應用中的一個研究熱點。由于激光雷達-光學CCD的三維影像生成算法具有數據量大、處理復雜的特點，為實現其高效實時的應用需求，本文利用TMS320C6678多核DSP開展了并行處理技術方面的研究。并針對兩種主流并行模型（主從模型和數據流模型），分別進行了三維影像生成算法的并行設計。最后，依托開發平臺進行測試分析，總結論證了兩種主流模型的設計要點與適用情況，為多核DSP在實際應用中的資源高效利用提供了思路。

多核DSP；三維影像生成；主從模型；數據流模型

0 引言

近年來，遙感技術已廣泛用于資源調查、城市規劃、土地利用、環境監測、災害評估等多領域，利用該技術對觀測目標的空間、紋理、光譜、材質等多維屬性信息快速精準獲取[1]的需求也達到了新的高度，如何實現多維信息的高效精煉獲取已成為當前研究的熱點問題之一。

隨著激光測距技術的發展與應用推廣，融合激光高精度測距信息和CCD影像高分辨率、豐富紋理信息的三維影像生成技術應運而生。三維影像生成技術的主要步驟在于激光點云與光學影像的配準[2]。由于LiDAR點云與影像來自于性質完全不同的傳感器，兩類數據所反映的地物屬性特征完全不同，這無疑給數據的空間配準帶來了更大的挑戰。國內外的研究學者就此已展開了廣泛研究，目前多采用同平臺搭載、分別利用各自光路系統成像的方式，但其還存在自動化程度不高、處理速度受限、引入偏移誤差等方面的問題。而基于主被動一體化思想的迅捷成像技術可以解決上述問題，利用兩類傳感器共用光路、采用相同的掃描方式來保證高效匹配，中國科學院光電研究院在國家863計劃的支持下聯合技物所等開展激光-光學共光路相關技術研究及工程樣機研制，從而使高時效、高準度的激光點云與影像匹配成為可能。在此基礎上，迫切需要對處理大數據量及復雜算法的三維影像生成處理平臺進行研究，以滿足高效實時的技術要求。因此，如何實現處理的實時性要求將是研究及實際應用中的一個重要問題。

激光-光學CCD的三維實時成像必須依托于高性能的處理平臺。目前，實時處理平臺多采用專用集成電路芯片（ASIC）、數字信號處理器（DSP）、現場可編程門陣列（FPGA）等開展設計。相對于AISC，FPGA和DSP兼具處理能力強、運算資源豐富、功耗低、靈活性強等特點。而DSP更是憑借其強大運算處理能力[3]，可實現復雜結構的各種算法，兼顧速度、實時性等優勢，愈發突顯出其在數據實時處理技術上的優勢，受到研究者們的青睞。

而DSP平臺又可細分為單核DSP、多片單核DSP及多核DSP。其中，單核DSP易受到芯片物理極限、制作成本、處理能力以及功耗、散熱等各方面的制約，采用多片單核DSP又會導致尺寸過大、成本高、I/O數據有限、硬件設計復雜、處理能力不足等問題[7-8]，可見，無論是單片DSP頻率提升還是板上多DSP方案都具有一定的局限性和不利因素的引進[9-10]，從而促使DSP逐步向多核、兼容定點和浮點、高內核頻率、多位寬等方向發展。目前，多核DSP正在不斷地應用于各種面向高速處理需求的復雜算法中，如波前復原、SAR成像、ISAR（Inverse Synthetic Aperture Radar，逆合成孔徑雷達）成像、圖像壓縮編碼等技術中[4-6]。因此，基于多核DSP的并行方案為實現實際應用中的高效實時要求提供了一種有效的解決思路。

本文首先介紹了主被動三維影像生成算法的原理；其次，描述了多核DSP的兩種主流并行模型框架；接著，具體設計了兩種基于TI C6678多核DSP的三維影像生成并行處理方案，最后，利用構建的對比實驗總結分析兩種主流模型的特性和適應情況。

1 三維影像生成算法

機載環境下的實時三維成像處理流程圖，如圖1所示。三維成像載荷包含LiDAR與CCD相機兩類傳感器，采用線陣推掃的方式對目標進行掃描成像。載荷通過時間同步控制兩者按照固定的頻率比例工作，使得激光掃描行和CCD掃描行在飛行方向上正確對應。同時，利用光軸對準確保激光探元與CCD像元在垂直飛行方向上的正確對應。

基于上述成像原理，三維影像生成算法的具體實現流程是：首先將通過采集裝置獲取三類數據：光學影像、激光測距數據、實時GPS/IMU（Inertial Measurement Unit，慣性測量單元）數據，通過時間同步處理得到激光雷達以及光學相機采集時刻的GPS/IMU數據。接著，利用靜態檢校參數對激光測距誤差進行改正，基于激光雷達成像模型解算激光點三維坐標。最后將激光點云與光學影像融合生成多維影像。其中，主要包含兩大算法模塊：激光點云三維坐標解算和快速融合三維成像。

圖1 在軌環境下的實時多維成像處理流程圖示

1.1 激光點云三維坐標解算模塊（后簡稱“點云解算”）

采用陣列推掃式機載激光雷達系統建立三維點云解算模塊[1]。該系統的激光陣列排布垂直于飛行方向，發出的激光脈沖先經衍射分光后分為多束射向地面，再通過探測器回收地面反射的回波信號，獲得收發的時間差，進而求取具有一定幅寬的激光點信息。其中，點云解算指的就是從激光點數據到三維空間信息所經歷的一系列處理過程的總和。如圖2所示，其具體過程為：將激光掃描坐標系下的測距值經激光掃描坐標系→IMU坐標系→導航投影坐標系→地心坐標系，求出每個激光腳點精確的三維空間坐標（,,）。為提高激光點云的精度，在解算的過程中需將聯合檢校得到的檢校參數帶入，進行校正處理。

另外，由于掃描過程中會出現誤將低空飛行物當作被測目標記錄，或受到多路徑誤差或激光測距儀誤差影響等情況，可能導致數據中出現粗差，需要在解算中剔除。為保證機上處理速度，在算法中加入基于掃描距離值的快速粗差濾除處理：根據載荷平臺飛行的相對高度以及掃描視場角，得出測區內可能出現的最大及最小掃描距離值，以此作為閾值，測量值在閾值范圍外的認為是粗差，予以濾除。

圖2 點云解算模塊流程圖

1.2 快速融合三維成像模塊（后簡稱“快速融合”）

利用上述點云解算操作可求得激光點云數據。在此基礎上，算法將根據數據攜帶的時間碼信息和像元間對應關系對激光點云和CCD影像進行拼接融合。

其具體實現流程為：先依據光學影像采集頻率以及激光雷達系統采集頻率之間的固定關系，將影像行與激光點云行對應上；再依據影像像點與激光點間的對應關系，得到每個激光三維點所對應的影像像點位置，從而完成光學影像、激光三維點云以及位置姿態數據時間同步。經同步對應后，部分光學影像像點具有對應的三維坐標，其他的像點通過已知高程的像元點線性插值得到未知高程的像元點高程；在像方進行融合后，再使用影像的位置姿態信息及內參數，按照共線條件方程解算出其坐標，從而求得各像點對應的大地三維坐標，并配合對應的光譜信息[11]，即可生成三維影像?？焖偃诤咸幚砹鞒倘鐖D3所示。

2 基于多核DSP的并行設計

2.1 C6678概述

相比于單核DSP，多核DSP具有更強的并行處理能力和更優化的功耗管理能力[12]，因而得到了越來越多的關注。各主要數字信號處理器廠商，如Cradle、TI、ADI以及Freescale公司，都相繼推出多核DSP。其中，TI公司的TMS320C6678在內核數、主頻、功耗、運算能力等方面均具有較為突出的優勢。

TI公司的C66x系列DSP是定點和浮點混合多核DSP，兼容C64x＋和C67x＋、C674x系列DSP，其內核具有8個功能單元，采用8級流水[13]。其中TMS320C6678是基于Keystone架構的多核DSP[14]，內置8個C66x DSP核，最高工作頻率可達1.4GHz，具有320GMACS的定點處理能力和160GFLOPS的浮點運算能力。它還擁有豐富的片內資源，4MB的共享內存MSMCSRAM和2GB的DDR3，以及每個核各有32kB的L1P和32kB的L1D，512kB的L2SRAM。整個系統通過TeraNet片內互聯，且還擁有SRIO、Hyperlink、千兆網口等多種高速互聯接口，從而可支持核到核、芯片到芯片和板卡之間的自由通信，便于多片擴展。此外，TI公司還提供了具有任務調度、資源管理等功能的SYS/BIOS實時操作系統，可大大縮短開發周期。可見，C6678能很好地適應對低功耗、高性能、可編程性等多方面有嚴格要求的應用環境，是實現實時處理復雜算法的最佳選擇。

圖3 快速融合模塊流程圖

2.2 主從模型（Master/Slave Model）

主從模型是通過從DSP的多個內核中選定一個作為主核負責總體控制，再由主核觸發、控制所有從核的處理計算任務的工作方式[15]，如圖4。主核與從核間的數據交換可以由EDMA3、多核導航器等實現，主核與從核的內核間消息通信可以由內核間中斷、IPC消息隊列等方式實現。該模型的特點是從核間相互獨立，不涉及從核間通信，一個內核的失敗并不影響其他核的運行，配置靈活，存在負載均衡、共享資源競爭的問題，控制邏輯設計復雜。因此，該模型更適于處理流程算法復雜、內核間數據關聯少的應用情景。

圖4 主從模型的工作方式

2.3 數據流模型（Data Flow Model）

數據流模型描述了DSP的多個內核串行的工作方式，代表著分布式控制與執行，如圖5。第一個內核連接著系統的輸入部分，內核之間的數據傳輸可以通過共享內存直接存取、EDMA3通道或多核導航器等不同方式來實現，核間的同步通信可由內核間中斷或IPC消息隊列實現。該模型的特點是無總控概念、所有內核承擔各自處理任務、核間聯系緊密，一個核的失敗會導致整體的失敗、采用數據觸發調度。因此，該模型更適于處理流程算法單一、內核間數據相關性大的應用情景[16]。

3 基于C6678的并行處理模型設計

3.1 主從模型

1）整體設計思路

根據上述的研究內容，三維影像生成主從處理模型的設計思路是：核0作為主控核，擔任輸入輸出接口、數據分發、創建共享緩沖區、系統初始化、創建核間通信的消息隊列空間、同步監控從核執行任務的角色；核1～核7作為從核，負責接收主核命令并向其反饋當前狀態、執行三維影像生成算法的工作。如圖6所示。

2）核間通信策略

核間通信策略包括兩部分的內容：消息通信和數據搬移。

設計中采用IPC消息隊列方式來實現消息通信，主要任務包括主核向從核發同步消息、執行消息、輸出開啟消息、選通從核輸入消息，從核向主核發送當前狀態消息、處理結束消息、輸出結束消息；利用EDMA3方式來實現數據搬移，主要任務包括主核向從核發送輸入數據包、從核向主核發送輸入數據行。

圖5 數據流模型的工作方式

圖6 三維影像生成主從模型

這樣的通信組合一方面滿足了復雜算法模型中對消息負載定義高靈活性和強適應性的要求，另一方面也達到了大量數據傳輸的高效性目標。此外，由于EDMA3采用獨立數據通道，則保證了數據傳輸過程可幾乎不占用CPU運行時鐘，從而增強了算法處理模型的并行性。后續的模型核間通信策略中，會繼續利用這兩個基礎模塊，但各自邏輯通信會根據模型集中或分散控制特點而采取相對應的設計。

該模型的邏輯設計重點是設置從核選通邏輯，利用從核反饋的完成信號選通主控核對該空閑從核的輸入數據傳輸，充分利用7個從核處理和輸出耗時的差異錯開不同從核對相同資源的利用時刻，降低輸入時從核對數據通道的競爭。

3.2 數據流模型

1）整體設計思路

三維影像生成數據流處理模型的設計思路是：根據三維影像生成算法特點，將算法劃分為點云解算和快速融合兩大處理模塊。根據兩個模塊的運算耗時比例情況（3:1），設置核0～5作為點云解算處理核，承擔輸入數據接口、點云解算處理、中間結果傳輸給后續快速融合處理核的任務；核6～核7作為快速融合處理核，負責接收點云解算結果并觸發后續快速融合處理、輸出三維影像數據接口、并觸發下次點云解算執行的工作。如圖7所示。

2）核間通信策略

不同于主從模型，數據流模型中沒有總控的概念，每個內核都有其特定的處理任務，是一種通過數據觸發后續運行的方式，即一旦輸入數據量達到該內核執行運算的要求，就觸發執行該核的處理任務?？梢?，數據流模型完全發揮了多核處理器所有的處理能力，但其通信邏輯會分布在各個內核中，從而使得整體模型系統邏輯清晰性下降。

該設計中同樣采用IPC消息隊列方式來實現消息通信任務；利用EDMA3方式來實現數據搬移任務。本模型邏輯設計的重點在于如何在執行并行數據操作的同時避免覆蓋已有的有效數據。其中，由于快速融合模塊中存在內插操作引入了數據重復計算開銷，為避免不必要的資源浪費，2和5內核的任務每次需對應完成兩次輸出傳遞。為降低核間相互通信的邏輯復雜度并減少通信次數，在6和7核之間加入一條通信鏈路：通過兩者的一個通知，簡化2、5核分別通知6、7核產生的四次通信過程，同時也可一定程度上的錯開了6、7核對輸出通道的資源競爭操作。

圖7 三維影像生成數據流模型

4 對比實驗結果及分析

4.1 測試數據說明

測試實驗選取10幅影像數據，具體的采集設備及輸入數據量信息，如表1所示。其實時性檢測標準為低于采集設備采集周期，即至少低于25ms。

4.2 實驗結果對比分析

圖8展示了基于多核DSP的機載三維影像生成算法處理結果。將該結果與中國科學院定量遙感信息技術重點實驗室的地面處理系統標準處理結果進行對比，可知兩者的誤差不超過小數點后4位，即不超過毫米級，從而驗證了所開發并行模型的正確性。

表2展示了相同算法下的單核處理及兩種不同并行模型處理耗時對比情況。由表2中的總耗時對比可知，單核處理耗時較長無法達到實時要求，而兩種并行處理模型均能達到實時性要求，從而說明了針對機載三維影像生成技術并行處理技術研究的必要性。其中，主從模型比數據流模型表現出了更優秀的總體處理性能；但從單純通信消耗的角度來看，則是數據流模型消耗更低。

表1 采集設備參數及輸入數據量列表

圖8 三維影像生成模型的處理結果展示

表2 相同算法下的不同模型處理耗時對比

下面將結合兩種并行模型的特點，具體分析上述對比結果的原因。

主從模型的優勢主要在于從核間相互獨立、整體設計結構明確，運算并行度較高。相比于數據流模型具有分布式結構不易管理調試、對任務劃分及邏輯設計的要求高、核間延遲較大的不足之處，主從模型獲得了更優越的處理效率。

同時，主從模型也存在著如下缺點：由于采用集中控制方式導致其輸入輸出都存在大量的資源競爭問題；程序設計中包含大量控制代碼用于實現主控核對從核間的監視和管理調度，從而導致邏輯通信的次數增加產生冗余。而數據流模型具有分散控制，核間的數據傳輸直接觸發后續任務執行，降低了核間通信的邏輯復雜度的特點。因此，相比于主從模型中“當前核à主控核à目的核”的冗余通信，數據流模型中“當前核à目的核”的通信方式具有更為簡潔有效的通信邏輯。

此外，從資源利用率的角度分析：三維影像生成主從模型為保證從核間的獨立運行，單個從核內包含了具有數據相關性的整體算法，造成單核處理復雜度增加，從而允許的運算數據量減少。而數據流模型則充分利用了所有處理核的運算能力，從而擴大了單核運算數據量的承載力。因此，數據流模型又比主從模型具有更高的資源利用率。

5 結論

本文采用TMS320C6678多核DSP平臺，分別設計搭建了三維影像生成算法的主從模型和數據流模型。通過對兩者的性能對比，分析總結了兩種模型的特點，為如何在實際應用中合理地利用多核DSP的處理資源提供一種解決思路，也為基于激光雷達-光學CCD的主被動三維影像實時生成技術的應用發展奠定了一定的基礎。

[1] 黎荊梅, 周梅, 李傳榮. 陣列推掃式機載激光雷達三維點云解算方法研究[J]. 遙感技術應用, 2013, 28(6): 1033-1038．

LI Jingmei, ZHOU Mei, LI Chuanrong. Research on points position cloud calculation method of airborne linear array push-broom LiDAR[J]., 2013, 28(6): 1033-1038．

[2] 徐勇. 機載激光點云與CCD影像數據的融合技術研究及實現[D]. 廣州: 華南理工大學, 2014.

XU Yong. Research and implementation on fusion of airborne laser point cloud and CCD images[D]. Guangzhou: South China University of Technology, 2014.

[3] 翟小晶, 馬大為, 樂貴高, 等. 基于DSP的火箭炮神經網絡PID位置控制器的設計[J]. 彈箭與制導學報, 2013, 33(1): 125-128.

ZHAI Xiaojing, MA Dawei, LE Guigao, et al. The design of Neural PID Position Controller of Rocket Launcher Servo System based on DSP[J]., 2013, 33(1): 125-128.

[4] 王追. 基于多核DSP的實時波前復原研究[D]. 北京: 中國科學院大學, 2014.

WANG Zhui. Research of Real-time Wavefront Processing Algorithms based on Multi-core DSP[D]. Beijing: University of Chinese Academy of Sciences, 2014.

[5] 錢宏博. 基于多核DSP的雷達實時成像及JPEG壓縮實現[D]. 西安: 西安電子科技大學, 2014.

QIAN Hongbo. The Realization of Real-time Radar Imaging and JPEG Compression based on Multicore DSP[D]. Xi’an: XiDian University, 2014.

[6] 郭瑞, 張月, 孫剛, 等. 多核DSP上的ISAR實時成像技術研究[J]. 信號處理, 2013, 9(29): 1238-1243．

GUO Rui, ZHANG Yue, SUN Gang, et al. Research on ISAR Real-time Imaging Technology multicore DSP[J]., 2013, 29(9): 1238-1243．

[7] 李鑫, 姜明. 多核DSP高速實時信號處理系統設計[J]. 光學設計, 2012, 38(1): 116-120．

LI Xin, JIANG Ming. Realization of a real time signal processing system based on multi-core DSP[J]., 2012, 38(1): 116-120．

[8] 孫科林. 基于多核DSP的實時圖像處理平臺研究[D]. 成都: 電子科技大學, 2013.

SUN Kelin. Research on Real-time Image Processing Platform based on multi-core DSP[D]. Chengdu: University of Electronic Science and Technology of China, 2013.

[9] 趙振華, 鄭紅. 嵌入式可重構的多DSP圖像并行處理系統[J]. 單片機與嵌入式系統應用, 2009(2): 12-15.

ZHAO Zhenhua, ZHENG Hong. Embedded Reconfigurable multi-DSP Image parallel Processing System[J]., 2009(2): 12-15.

[10] Luxin Yan, Tianxu Zhang, Sheng Zhong. A DSP/FPGA -Based Parallel Architecture for Real-time Image Processing[C]//, 2006: 21-23.

[11] 黎荊梅, 周梅, 張正, 等. 三維成像載荷地面快速融合處理方法研究[J]. 科學技術與工程, 2015, 15(13): 114-117.

LI Jingmei, ZHOU Mei, ZHANG Zheng, et al. Research on fast fusion of laser point cloud and CCD image acquired by the 3D imaging payload[J]., 2015, 15(13): 114-117.

[12] 繩偉光, 蔣建飛, 何衛鋒. 高性能DSP的發展現狀與未來趨勢[J]. 中國集成電路, 2011(4): 20-25.

SHENG Weiguang, JIANG Jianfei, HE Weifeng. State of the Art and Future Trends of High Performance DSPs[J]., 2011(4): 20-25.

[13] Texas Instruments. TMS320C66x DSP CPU and Instruction Set Reference Guide (Literature Number：SPRUGH7)[EB/OL]. [2017-03-10]. www.ti.com.

[14] Texas Instruments. TMS320C6678 Multicore Fixed and Floating-Point Digital Signal Processor Data Manual[EB/OL]. [2017-03-09]. www.ti.com.

[15] 丁有源, 汪安民. 基于多核任務并行處理的DSP軟硬件設計[J]. 單片機與嵌入式系統應用, 2012(5): 43-45．

DING Youyuan, WANG Anmin. Software and hardware designs of DSP based on multi-core task parallel processing[J]., 2012(5): 43-45．

[16] 朱才高. 紅外圖像增強算法研究及其DSP實現[D]. 南京: 南京理工大學, 2014．

ZHU Caigao. Research on Infrared Image Enhancement Algorithm and its DSP Implementation[D].Nanjing: Nanjing University of Science & Technology, 2014.

The Parallel Design of Active-passive 3D Image Generation Algorithm Based on C6678

NIU Jingyu1,2，HU Jian2，HE Wenjing2，MENG Fanrong2，LI Chuanrong2

(1. University of Chinese Academy of Sciences, Beijing 100049, China;2. Laboratory of Quantitative Remote Sensing Information Technology, Academy of Opto-Electronics,Chinese Academy of Sciences, Beijing 100094, China)

At present, the question of how to achieve efficient active-passive three-dimensional (3D) image generation technology is a research hotspot in remote sensing applications. The technology involves a large quantityof data and complex processing. In order to fulfillthe high efficiency and real-time requirements of practical applications, this studydevelopedparallel processing technology based on the TMS320C6678 multicoreDSP. The parallel design of the 3D image generation algorithm was carried out based on the two main parallel models(the Master–Slave and Data Flow models). Finally, relying on the measurement and analysis of the development platform, the characteristics and applied scene of those two main models were summarized. These results can provide ideas for the efficient utilization of multicoreDSP in practical applications.

multicore DSP，three-dimensional image generation technology，Master/Slave model，Data Flow model

TP452.1

A

1001-8891(2017)11-0983-07

2017-03-10；

2017-07-05.

牛京玉（1992-），女，河南洛陽，碩士研究生，主要研究方向為嵌入式信號處理。

李傳榮（1972-），男，研究員，博士，主要研究方向為定量遙感。

國家高技術研究發展計劃（863計劃）資助項目（2015AA123801）；中國科學院光電研究院創新項目（Y50B12A14Y）。