一種人體體表三維溫度場(chǎng)的融合重建方法

楊炎龍，徐 超

一種人體體表三維溫度場(chǎng)的融合重建方法

楊炎龍，徐 超

（北京理工大學(xué) 光電學(xué)院光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，北京 100081）

重建人體體表三維溫度場(chǎng)能夠?yàn)榘ㄔ\斷在內(nèi)的多項(xiàng)人體醫(yī)學(xué)分析提供可靠數(shù)據(jù)。由于紅外成像具有溫度測(cè)量精度低、成像分辨率不足以及顯示效果較差等缺陷，導(dǎo)致重建的目標(biāo)三維溫度場(chǎng)的可靠性存在不足。針對(duì)這些問題，提出一種針對(duì)人體體表的三維溫度場(chǎng)的融合重建方法。即首先采用黑體測(cè)溫標(biāo)定的方法，對(duì)紅外熱像儀的測(cè)溫結(jié)果進(jìn)行誤差修正；其次對(duì)紅外圖像進(jìn)行對(duì)比度增強(qiáng)處理；之后進(jìn)行超分辨率處理，使紅外圖像在空間分辨率上匹配三維數(shù)據(jù)；最后在數(shù)據(jù)融合階段，基于不同圖像中提取到的靶標(biāo)特征點(diǎn)對(duì)應(yīng)空間中相同位置的事實(shí)，對(duì)標(biāo)定得到的系統(tǒng)結(jié)構(gòu)參數(shù)進(jìn)行誤差修正。實(shí)驗(yàn)表明，該方法使三維溫度場(chǎng)的測(cè)溫精度達(dá)到0.26℃以下，溫度場(chǎng)的三維分布結(jié)果得到提升，顯示效果也得到了增強(qiáng)。

三維溫度場(chǎng)重建；熱像儀測(cè)溫標(biāo)定；多波段光學(xué)標(biāo)定；紅外圖像處理；人體皮膚特性

0 引言

隨著紅外成像技術(shù)的成熟，紅外熱成像設(shè)備的應(yīng)用逐漸深入各個(gè)行業(yè)。利用紅外熱成像進(jìn)行人體體表組織炎癥的探測(cè)是醫(yī)療行業(yè)較為典型的應(yīng)用之一。生物體組織在發(fā)生炎癥之后，該部位血流速度加快，細(xì)胞新陳代謝加速，會(huì)出現(xiàn)發(fā)熱等現(xiàn)象[1]，利用紅外熱像儀能很好地進(jìn)行醫(yī)療輔助檢測(cè)，判斷病患部位的狀態(tài)。另外，紅外成像還能檢測(cè)人體體表組織的腫瘤病變[2]，進(jìn)行早期的腫瘤預(yù)防和篩查。但紅外二維圖像無法準(zhǔn)確定位溫度異常區(qū)域，并且降維的投影成像會(huì)導(dǎo)致測(cè)溫不準(zhǔn)。建立被測(cè)目標(biāo)的三維溫度場(chǎng)能還原目標(biāo)的三維空間溫度分布，提升其溫度的信息豐富度。因此，研究溫度場(chǎng)三維重建技術(shù)對(duì)人體熱成像檢測(cè)技術(shù)具有重要意義。

三維熱成像系統(tǒng)常見的實(shí)現(xiàn)方案是采用紅外熱像儀配合三維相機(jī)，來還原三維物體的表面溫度分布[3-6]。該方案的好處在于能夠得到物體的稠密三維點(diǎn)云，再對(duì)點(diǎn)云進(jìn)行溫度信息的投影映射，得到視覺和測(cè)量效果更好的目標(biāo)三維溫度場(chǎng)分布。但目前該方案的研究主要集中在三維點(diǎn)云的配準(zhǔn)算法[7]、熱像儀與三維成像系統(tǒng)的時(shí)間與空間對(duì)齊策略[8]以及系統(tǒng)作為感知設(shè)備的組合定位算法等[9]，并未考慮到紅外成像存在的影響三維溫度場(chǎng)重建結(jié)果的缺陷。

首先是熱像儀的測(cè)溫精度問題。在使用熱像儀進(jìn)行測(cè)溫之前，都需要對(duì)其進(jìn)行輻射定標(biāo)。雖然熱像儀機(jī)芯廠家會(huì)在手冊(cè)中給出測(cè)溫曲線，但是一般都存在較大誤差。而且，人體測(cè)溫與其他工業(yè)測(cè)溫相比具有量程小和測(cè)溫精度要求高等特點(diǎn)，提升熱像儀測(cè)溫精度有助于得到溫度精度更高的三維溫度場(chǎng)模型；其次，雖然前人研究了熱像儀與深度相機(jī)之間的位姿計(jì)算方法，但是缺少對(duì)結(jié)果的誤差評(píng)價(jià)與修正的分析，不準(zhǔn)確的位姿關(guān)系將導(dǎo)致溫度場(chǎng)的三維分布出現(xiàn)偏差；最后是熱紅外圖像顯示效果問題，從紅外相機(jī)得到的原始圖像存在對(duì)比度低和分辨率低等問題，直接采用該圖像進(jìn)行模型的紋理賦值得到的效果不佳。考慮到設(shè)備作為醫(yī)療輔助手段，關(guān)鍵在人眼觀察，提高三維溫度場(chǎng)的顯示效果非常必要。

基于以上問題，本文研究了在人體體表三維溫度場(chǎng)融合重建的紅外數(shù)據(jù)以及紅外與三維融合的優(yōu)化方法。實(shí)驗(yàn)表明，該方法重建的人體目標(biāo)三維溫度場(chǎng)的溫度精度達(dá)到0.26℃以下。溫度分布結(jié)果和顯示效果得到了明顯的增強(qiáng)。

1 成像系統(tǒng)與數(shù)據(jù)處理流程設(shè)計(jì)

1.1 硬件系統(tǒng)設(shè)計(jì)

考慮到系統(tǒng)成本及性能指標(biāo)，本文選擇了非制冷紅外熱像儀搭配深度相機(jī)，組成三維熱成像系統(tǒng)（如圖1）。使用FLIR公司非制冷紅外焦平面熱像儀Tau2-640，圖像分辨率640×512，NETD為50mK，成像視場(chǎng)32°×26°。采用焦距為13mm，F(xiàn)數(shù)1.25的紅外鍺鏡頭。熱像儀自帶非均勻性校正擋板，定期對(duì)探測(cè)器進(jìn)行遮擋；選用Intel Realsense-D415深度相機(jī)獲取場(chǎng)景三維信息，相機(jī)由兩個(gè)近紅外相機(jī)組成雙目來測(cè)距，中間為近紅外激光點(diǎn)陣投影儀。圖像分辨率1024×720，成像視場(chǎng)63.4°×40.4°，深度精度為0.1mm，滿足人體目標(biāo)大小的三維測(cè)量要求。

圖1 人體體表三維溫度場(chǎng)成像系統(tǒng)實(shí)物圖

三維熱成像實(shí)驗(yàn)系統(tǒng)用鋁支架固定，上方為熱像儀，下方為深度相機(jī)，以光軸平行向前的朝向固定；深度相機(jī)視場(chǎng)大于熱像儀視場(chǎng)。目標(biāo)位于系統(tǒng)拍攝范圍中心，熱像儀和深度相機(jī)同時(shí)對(duì)其成像，完成雙通道的數(shù)據(jù)采集。

1.2 數(shù)據(jù)處理流程

系統(tǒng)圖像數(shù)據(jù)輸入源分別為紅外熱像儀與深度相機(jī)。如圖2，為了使紅外圖像能夠滿足要求，對(duì)紅外圖像進(jìn)行了以下處理：1）使用黑體輻射源進(jìn)行輻射定標(biāo)來消除測(cè)溫偏差，在目標(biāo)溫度范圍內(nèi)通過擬合測(cè)溫曲線來修正測(cè)溫結(jié)果；2）為了提升模型的視覺效果，在分析系統(tǒng)應(yīng)用場(chǎng)景之后采用直方圖增強(qiáng)算法，對(duì)14 bit到8bit局部線性映射后的熱紅外圖像進(jìn)行增強(qiáng)處理；3）針對(duì)紅外圖像分辨率低的問題，對(duì)紅外圖像進(jìn)行超分辨率處理，以提升溫度場(chǎng)模型的紋理圖質(zhì)量；4）針對(duì)熱像儀圖像與三維數(shù)據(jù)配準(zhǔn)存在的誤差，提出了一種評(píng)估和修正方法：采用靶標(biāo)圓孔圓心在兩相機(jī)圖像中的位置偏差進(jìn)行誤差的評(píng)估，并修正溫度信息在三維空間的映射分布，提高溫度場(chǎng)溫度分布的準(zhǔn)確性。

圖2 數(shù)據(jù)處理流程圖

2 三維溫度場(chǎng)融合重建方法

2.1 熱像儀測(cè)溫標(biāo)定方法

為了確定非制冷熱像儀圖像灰度與目標(biāo)溫度之間的關(guān)系，需要得到熱像儀在不同溫度時(shí)的圖像灰度。在測(cè)溫模型[10]的基礎(chǔ)上，使用黑體源對(duì)熱像儀進(jìn)行輻射定標(biāo)。假定測(cè)量數(shù)據(jù)在真值附近服從高斯分布：

如式(1)：(i)為概率密度函數(shù)；定義測(cè)溫函數(shù)為二次多項(xiàng)式曲線(1,2,;i)，其中1，2為自變量一次和二次系數(shù)，為曲線偏置量，i為黑體溫度；i為測(cè)量灰度。構(gòu)造似然函數(shù)：

上式取到最大值的條件是下式取到最小值：

采用梯度下降的方法，對(duì)系數(shù)進(jìn)行更新，尋找Loss函數(shù)的全局極小值，進(jìn)而確定測(cè)溫修正函數(shù)。

2.2 紅外圖像處理

為了將紅外圖像進(jìn)行顯示，需要將圖像進(jìn)行14 bit到8 bit的灰度映射。對(duì)于以人體為目標(biāo)的應(yīng)用，14位原始紅外圖像灰度等級(jí)中有效信息僅占小部分，直接的線性映射會(huì)導(dǎo)致圖像的細(xì)節(jié)以及對(duì)比度嚴(yán)重受損。因此，采用如下的局部灰度級(jí)的線性映射方法：

式中：in為輸入圖像；out為輸出圖像；為可調(diào)參數(shù)，可防止映射過程中圖像的區(qū)域性過曝的情況。

由于除人體目標(biāo)外的背景區(qū)域?yàn)榘肼暤某貐^(qū)域，若采用數(shù)字細(xì)節(jié)增強(qiáng)算法（digital detail enhancement, DDE）將放大背景區(qū)域的噪聲。因此，我們采用了對(duì)比度限制的自適應(yīng)直方圖均衡[11]（contrast limited adaptive histogram equalization, CLAHE）算法進(jìn)行圖像對(duì)比度增強(qiáng)。在將原始紅外圖像進(jìn)行局部線性映射到[0,255]空間之后，采用CLAHE算法進(jìn)行直方圖增強(qiáng)，得到：

＝CLAHE[CLAHE()] (5)

式中：為輸入的紅外14bit原始圖像；為最終得到的輸出圖像。

圖像超分辨率處理能夠進(jìn)一步提高紅外圖像質(zhì)量。采用卷積神經(jīng)網(wǎng)絡(luò)超分辨圖像處理（super resolution convolutional neural networks, SRCNN）方法[12]對(duì)原始圖像處理。使用在灰度圖像訓(xùn)練集下得到的網(wǎng)絡(luò)，對(duì)輸入的紅外圖像進(jìn)行二倍分辨率重建處理。該神經(jīng)網(wǎng)絡(luò)超分辨率處理算法的重要特點(diǎn)是將原始圖像先進(jìn)行雙三次插值的預(yù)處理，使其達(dá)到目標(biāo)分辨率大小之后，再對(duì)該圖像進(jìn)行三層操作：圖像的塊提取和編碼、編碼向量的非線性映射以及高分辨率圖像的計(jì)算。采用該網(wǎng)絡(luò)對(duì)分辨率640×512的紅外圖像進(jìn)行處理，設(shè)置超分辨倍率為2，得到分辨率1280×1024的輸出紅外圖像。

2.3 紅外與三維的融合方法

紅外與三維點(diǎn)云的融合，使得每個(gè)三維點(diǎn)都有一個(gè)溫度值與之對(duì)應(yīng)。由于系統(tǒng)幾何結(jié)構(gòu)的參數(shù)決定了紅外與三維融合的準(zhǔn)確性和精度。因此需要對(duì)相機(jī)進(jìn)行標(biāo)定，以得到系統(tǒng)結(jié)構(gòu)參數(shù)；再確定相應(yīng)的融合策略，以保證得到的三維模型具有準(zhǔn)確可靠的溫度信息。

在標(biāo)定得到了相機(jī)的內(nèi)、外參后，可以進(jìn)一步計(jì)算兩個(gè)相機(jī)之間位姿關(guān)系。使用OpenCV的函數(shù)來估計(jì)攝像機(jī)相對(duì)于標(biāo)定板的旋轉(zhuǎn)和平移矢量，如圖3所示，系統(tǒng)中有3個(gè)坐標(biāo)系：W、1以及2坐標(biāo)系，分別為世界坐標(biāo)系、熱像儀坐標(biāo)系和深度相機(jī)坐標(biāo)系；點(diǎn)為深度相機(jī)坐標(biāo)系下目標(biāo)的三維坐標(biāo)。

圖3 系統(tǒng)中相機(jī)坐標(biāo)系的示意圖

通過標(biāo)定，可以得到兩個(gè)相機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系的位置和旋轉(zhuǎn)參數(shù)，分別為1、1和2、2。要獲取點(diǎn)對(duì)應(yīng)的溫度值，需要將該點(diǎn)向紅外相機(jī)像素平面投影。首先將點(diǎn)從深度相機(jī)坐標(biāo)系變換到世界坐標(biāo)系：

￠＝2－1×＋2(6)

然后，將′點(diǎn)從世界坐標(biāo)系變換到熱像儀相機(jī)坐標(biāo)系：

2＝1(￠－1) (7)

得到的′′就是經(jīng)過變換之后，熱像儀坐標(biāo)系下的點(diǎn)的新的三維坐標(biāo)。再將該點(diǎn)向熱像儀像素平面投影，可找到點(diǎn)對(duì)應(yīng)的紅外像素點(diǎn)(,)：

由于采用的紅外圖像為超分辨處理之后的圖像，分辨率變?yōu)樵瓉淼亩叮瓐D像的任意像素點(diǎn)(,)坐標(biāo)擴(kuò)大了二倍，到達(dá)(2,2)點(diǎn)。要使投影方程繼續(xù)成立，必須將內(nèi)參矩陣各項(xiàng)也乘2：

在實(shí)際計(jì)算時(shí)，三維點(diǎn)的投影點(diǎn)無法恰好對(duì)應(yīng)整數(shù)像素格點(diǎn)，因此，采用了雙線性插值方法，計(jì)算投影點(diǎn)的灰度值。經(jīng)過上述操作，就完成了紅外信息與三維點(diǎn)云對(duì)應(yīng)關(guān)系的求解。

在無外界強(qiáng)輻射源的條件下，由于人體皮膚發(fā)射和吸收特性穩(wěn)定，人體皮膚定向輻射率特性表明[13]：人體皮膚面元法向角與拍攝角度在60°以外時(shí)，熱像儀探測(cè)器積分得到的強(qiáng)度值將不能代表該點(diǎn)真實(shí)的輻射量。因此，這里采取的策略是去掉法向角大于60°的三維點(diǎn)，以犧牲單幀點(diǎn)云密度的方法來保證模型溫度的準(zhǔn)確性。皮膚發(fā)射率在這里取0.976。

2.4 系統(tǒng)結(jié)構(gòu)標(biāo)定誤差的評(píng)估與修正

使用標(biāo)定的兩個(gè)相機(jī)位姿參數(shù)1、1和2、2進(jìn)行三維點(diǎn)的溫度賦值會(huì)出現(xiàn)配準(zhǔn)偏移的情況，需要對(duì)誤差進(jìn)行再修正，補(bǔ)償偏移量。

假設(shè)紅外與深度圖像對(duì)應(yīng)特征點(diǎn)為(1,1)和(2,2)。將兩個(gè)對(duì)應(yīng)點(diǎn)轉(zhuǎn)換到同一坐標(biāo)系計(jì)算二者的偏差，能反映標(biāo)定得到的參數(shù)的誤差。

首先，使用小孔相機(jī)模型方程，將深度相機(jī)圖像中的標(biāo)定靶標(biāo)特征圓心(1,1)，重新還原到深度相機(jī)坐標(biāo)系的三維空間：

＝/f(1－c)

＝/f(1－c)

＝(10)

這里尺度因子（空間點(diǎn)與相機(jī)之間的距離）應(yīng)該在計(jì)算之前指定。然后，點(diǎn)(,,)將被平移和旋轉(zhuǎn)到紅外相機(jī)坐標(biāo)，并被投影到紅外像素平面：

式中：′為紅外相機(jī)內(nèi)參矩陣；分別為紅外相機(jī)坐標(biāo)系相對(duì)于深度相機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量。理想情況下，(′,′)能夠與從紅外圖像中提取的對(duì)應(yīng)點(diǎn)(2,2)重合。因此，通過簡(jiǎn)單地計(jì)算它們之間距離的均方差，可以評(píng)估標(biāo)定誤差：

通過式(12)可以間接反映標(biāo)定結(jié)果的誤差，也能夠用其結(jié)果來修正三維點(diǎn)在紅外圖像上的投影位置，提高模型的溫度分布精度。另外，深度相機(jī)能夠給出其與靶標(biāo)板的距離，使尺度因子得到確定。

3 三維溫度場(chǎng)融合重建實(shí)驗(yàn)及結(jié)果分析

3.1 熱像儀測(cè)溫標(biāo)定實(shí)驗(yàn)

實(shí)驗(yàn)采用美國ISDC公司IR-2100面形黑體進(jìn)行測(cè)溫標(biāo)定。方形黑體靶面尺寸為2.5英寸，IR301控制器將黑體的溫度穩(wěn)定在±0.1℃。對(duì)于人體目標(biāo)的測(cè)溫，僅需對(duì)人體溫度段的熱像儀測(cè)溫進(jìn)行標(biāo)定修正。取標(biāo)定溫度范圍從35℃到45℃，每隔0.1℃進(jìn)行黑體溫度與熱像儀測(cè)量灰度的記錄。如圖4所示，其中橫軸為黑體溫度，該溫度為真實(shí)溫度，縱軸為熱像儀測(cè)量到的對(duì)應(yīng)灰度值。散點(diǎn)為熱像儀的測(cè)量值，藍(lán)色線為測(cè)溫標(biāo)定曲線，擬合得到的測(cè)溫曲線最大偏差為0.1140℃，平均偏差為0.0662℃。可以看出，測(cè)量值基本均勻分布在擬合曲線周圍，采用該曲線進(jìn)行熱像儀的測(cè)溫修正，理論上的誤差為0.1140℃。

圖4 熱像儀測(cè)溫標(biāo)定曲線

下面對(duì)校正結(jié)果進(jìn)行驗(yàn)證。使用該校準(zhǔn)后的熱像儀對(duì)人體目標(biāo)進(jìn)行測(cè)溫實(shí)驗(yàn)，對(duì)比熱電偶的測(cè)量結(jié)果（以接觸式熱電偶的測(cè)溫結(jié)果為真值），來體現(xiàn)測(cè)溫修正實(shí)驗(yàn)的效果。

表1列出了圖5中的5個(gè)區(qū)域測(cè)量點(diǎn)的測(cè)溫修正結(jié)果。其中為熱電偶的測(cè)量值，0與t是修正前后的熱像儀溫度測(cè)量值，0和t是修正前后的測(cè)量誤差。

可以看出，修正后的溫度與熱電偶的測(cè)量值更接近，達(dá)到0.25℃以下。該實(shí)驗(yàn)表明了黑體輻射測(cè)溫標(biāo)定對(duì)熱像儀測(cè)溫修正的有效性。對(duì)該階段的熱像儀測(cè)溫進(jìn)行了修正，也就保證了后期的三維溫度場(chǎng)重建的溫度精度。

表1 手背部分區(qū)域測(cè)溫修正結(jié)果

圖5 測(cè)量點(diǎn)的位置

3.2 紅外圖像處理實(shí)驗(yàn)

3.2.1 線性映射與增強(qiáng)

在紅外圖像灰度線性映射階段，通過來控制映射過程中的圖像灰度范圍，避免出現(xiàn)區(qū)域性的過曝情況，這里取20。

圖像線性映射曲線如圖6所示，橫軸為原始圖像的灰度范圍，為[3450,3920]，縱軸為[0,255]的8位顯示空間。可調(diào)參數(shù)值保證了不出現(xiàn)區(qū)域性的過曝現(xiàn)象。映射后的圖像灰度范圍為[10, 245]。經(jīng)過CLAHE處理后的結(jié)果如圖7所示。其中上方為增強(qiáng)前后的紅外圖像，下方為圖像對(duì)應(yīng)的灰度直方圖。

圖6 紅外圖像映射曲線

圖7 紅外圖像及直方圖增強(qiáng)前后結(jié)果：增強(qiáng)前（左），增強(qiáng)后（右）

可以看出，在原圖中（左），鼻子的輪廓顯得不太完整，整個(gè)人臉部分處在較高灰度級(jí)，其中對(duì)溫度細(xì)節(jié)分布的觀察存在困難。增強(qiáng)處理后的圖像（右）背景灰度提高，但目標(biāo)人臉灰度降低，對(duì)比度增加，臉部細(xì)節(jié)相比原圖像得到了更加清晰的展示。

3.2.2 超分辨率處理

圖像超分辨率處理是一個(gè)低成本的成像質(zhì)量提升的解決方案。圖像預(yù)處理的綜合處理流程如圖8所示。

如圖8，原始圖像(a)經(jīng)過映射和對(duì)比度增強(qiáng)后，得到圖像(b)，將其輸入超分辨率卷積神經(jīng)網(wǎng)絡(luò)中，輸出二倍分辨率的紅外圖像(c)，再進(jìn)行偽彩色化處理，得到最終的彩色紅外圖像(d)。可以看出，灰度圖像(b)中人臉部分的對(duì)比度相比(a)圖得到了提升；超分辨率處理提高了圖像分辨率；偽彩色化處理之后，觀察效果得到了進(jìn)一步提升。

為了驗(yàn)證該圖像對(duì)三維視覺效果的提升作用。采用預(yù)處理前后的紅外偽彩色圖像，分別作為模型的色彩紋理來重建三維人臉溫度場(chǎng)。采用三維深度濾波器去除無關(guān)的三維數(shù)據(jù)，僅保留人臉部分，將三維數(shù)據(jù)與紅外圖像進(jìn)行融合，得到了人臉三維溫度場(chǎng)融合重建結(jié)果。

圖8 紅外圖像預(yù)處理過程

如圖9所示，左、右兩圖分別為采用預(yù)處理前、后的紅外圖像進(jìn)行融合的三維人臉溫度場(chǎng)。可以看出，預(yù)處理前的融合結(jié)果（左）表現(xiàn)出一定的模糊，低質(zhì)量的紅外圖像影響了對(duì)于模型細(xì)節(jié)的觀察。右圖的結(jié)果則更加清晰，模型的顯示效果更好。可見，采取該圖像預(yù)處理方法有利于提升三維溫度場(chǎng)重建結(jié)果的觀察效果。

圖9 紅外圖像預(yù)處理前（左）后（右）的三維溫度場(chǎng)重建結(jié)果

3.3 標(biāo)定誤差的修正實(shí)驗(yàn)

由于紅外熱像儀和深度相機(jī)的工作波段相差較大，標(biāo)定板需要同時(shí)為兩個(gè)相機(jī)提供可觀測(cè)的目標(biāo)。通常，圓形目標(biāo)標(biāo)定板的標(biāo)定精度比棋盤目標(biāo)的精度高，因此考慮使用圓形靶標(biāo)。

標(biāo)定板由HALCON生成，采用了7×7的對(duì)稱圓形靶，孔板如圖10(a)所示。正方形靶板邊長(zhǎng)300mm，圓孔均勻分布，直徑為18.75mm，圓孔間距為37.5mm。靶板的缺角代表靶標(biāo)方向，是確定對(duì)應(yīng)關(guān)系的重要信息。針對(duì)熱像儀對(duì)溫度成像的特點(diǎn)，使用電阻燈絲白熾燈來加熱校準(zhǔn)目標(biāo)。針對(duì)深度相機(jī)，使用了中心波長(zhǎng)940nm的近紅外激光器作為成像照明光源，實(shí)驗(yàn)場(chǎng)景如圖10(b)所示。

將標(biāo)定板放置在成像裝置前面，均勻加熱后關(guān)閉加熱燈，保持激光器照明。收集熱像儀圖像和深度相機(jī)圖像進(jìn)行離線校準(zhǔn)，靶標(biāo)特征點(diǎn)提取結(jié)果如圖圖10(c)，圖10(d)所示，圖10(c)為熱像儀圖像，圖10(d)為深度坐標(biāo)參考相機(jī)（左側(cè)相機(jī)）的圖像。通過OpenCV進(jìn)行計(jì)算，分別校準(zhǔn)兩個(gè)相機(jī)，熱像儀和深度相機(jī)的平均重投影誤差在0.17和0.35個(gè)亞像素。使用2.4節(jié)提到的計(jì)算方法，使用靶標(biāo)孔圓心作為特征點(diǎn)，進(jìn)行標(biāo)定誤差的計(jì)算。得到在[,]方向，漂移的均方誤差為[1.166,2.147]像素。

圖10 標(biāo)定靶標(biāo)與場(chǎng)景以及標(biāo)定圖像

對(duì)被加熱的標(biāo)定靶進(jìn)行三維溫度場(chǎng)的重建實(shí)驗(yàn)，結(jié)果如圖11所示，(a)為修正前的紅外三維對(duì)齊結(jié)果；(b)為修正后的對(duì)齊結(jié)果；(c)為黑框所示的靶標(biāo)區(qū)域內(nèi)，點(diǎn)云的空間位置與溫度分布的曲線圖。(c)中，黑色線為靶標(biāo)點(diǎn)云的空間位置，綠色和紅色線分別為圖11中(a)與(b)的溫度分布曲線。

如圖11所示，未修正的融合結(jié)果（圖11(a)）存在肉眼可見的偏移，模型右側(cè)出現(xiàn)無溫度信息的藍(lán)色原始點(diǎn)云。誤差修正處理后（圖11(b)），三維點(diǎn)與溫度對(duì)齊的精度得到了提升。圖11(c)紅色曲線顯示出2的對(duì)齊結(jié)果優(yōu)于綠色曲線1。

3.4 人體三維溫度場(chǎng)融合重建結(jié)果

采用上述方法，分別對(duì)人體的臉部、手臂和小腿進(jìn)行了三維溫度場(chǎng)融合重建實(shí)驗(yàn)。采用紅外偽彩色圖像作為模型的表面色彩紋理，經(jīng)過多角度的三維點(diǎn)云融合、網(wǎng)格化和紋理貼圖，得到最終的三維溫度場(chǎng)如圖12所示。

三維模型采用的紅外偽彩圖像，溫度變化表現(xiàn)為從低溫藍(lán)色到高溫紅色。三維網(wǎng)格模型在進(jìn)行彩色紋理貼圖之后，表面溫度分布變得直觀。人臉部分有額頭以及太陽穴等區(qū)域是高溫區(qū)域，手臂的高溫區(qū)域則出現(xiàn)在手肘，而小腿的膝蓋區(qū)域則是相對(duì)的低溫區(qū)域。針對(duì)模型的部分區(qū)域，可以進(jìn)行數(shù)值上的測(cè)量，分析其與真實(shí)值之間的差別。

表2給出了人臉溫度場(chǎng)數(shù)值分析結(jié)果，包含了左右眼的寬度、鼻翼寬度和嘴寬度以及相應(yīng)區(qū)域的溫度值與真實(shí)值的對(duì)比結(jié)果（如圖12臉部數(shù)字所指出的區(qū)域）。其中0和0為溫度場(chǎng)三維尺寸測(cè)量值和溫度測(cè)量值，與為對(duì)應(yīng)真實(shí)值，D與T分別為模型三維尺寸測(cè)量值和溫度的測(cè)量值與真實(shí)值之間的誤差。從表中的結(jié)果可以看到，該重建結(jié)果與真實(shí)值之間的最大三維誤差為0.247mm，平均誤差0.184mm；最大測(cè)溫誤差為0.26℃，平均誤差為0.175℃。目前市面上大部分的人體測(cè)溫?zé)嵯駜x的測(cè)溫誤差為±0.3℃，用深度相機(jī)實(shí)現(xiàn)的三維重建設(shè)備的精度為0.5mm。可知本方法除了實(shí)現(xiàn)了溫度信息的三維擴(kuò)展，精度也分別都達(dá)到了市場(chǎng)標(biāo)準(zhǔn)。

圖11 修正前后的靶標(biāo)三維溫度場(chǎng)與空間分布曲線

表2 人臉三維溫度場(chǎng)融合重建結(jié)果分析

4 總結(jié)

本文對(duì)現(xiàn)有三維溫度場(chǎng)重建方案的幾個(gè)不足進(jìn)行了研究，提出了改進(jìn)的方法。從溫度數(shù)據(jù)出發(fā)，首先針對(duì)熱像儀測(cè)溫的低精度問題，采用了黑體輻射定標(biāo)的方案，擬合了測(cè)溫曲線，提高了熱像儀的測(cè)溫精度；其次，針對(duì)紅外圖像對(duì)比度低和分辨率低的問題，采用了CLAHE對(duì)比度增強(qiáng)算法和SRCNN超分辨率處理的方法，提高了紅外圖像的質(zhì)量，并設(shè)計(jì)實(shí)驗(yàn)驗(yàn)證了其對(duì)三維溫度場(chǎng)重建結(jié)果的提升；另外，設(shè)計(jì)了標(biāo)定靶和照明方案，完成了系統(tǒng)幾何結(jié)構(gòu)參數(shù)的標(biāo)定，提出了三維點(diǎn)云與紅外融合的誤差分析與修正方法，并制定了去掉法向角大于60°的點(diǎn)云的紅外三維融合策略，進(jìn)行了人體體表三維溫度場(chǎng)的重建。得到的結(jié)果在空間精度和溫度精度上分別達(dá)到0.247mm和0.26℃，為熱成像在醫(yī)學(xué)上的進(jìn)一步應(yīng)用打下基礎(chǔ)。

[1] 陳丙瑞. 紅外熱像儀在醫(yī)學(xué)中的應(yīng)用與測(cè)量誤差的研究[D]. 秦皇島:燕山大學(xué), 2009.

CHEN Bingrui. Application of Infrared Thermal Imager in Medicine and Research on Measurement Error[D]. Qinhuangdao: Yanshan University, 2009.

[2] Kennedy D A, Lee T, Seely D. A comparative review of thermography as a breast cancer screening technique[J]., 2009, 8(1): 9-16.

[3] YANG R, CHEN Y. Design of a 3-D infrared imaging system using structured light[J]., 2011, 60(2): 608-617.

[4] Vidas S, Lakemond R, Denman S, et al. A mask-based approach for the geometric calibration of thermal-infrared cameras[J]., 2012, 61(6): 1625-1635.

[5] Rangel J, Soldan S, Kroll A. 3D thermal imaging: fusion of thermography and depth cameras[C/OL]//, [2014-01-20], 2014: https://www.researchgate. net/publication/269984262_3D_Thermal_Imaging_Fusion_of_Thermography_and_Depth_Cameras.

[6] AN Y, ZHAG S. High-resolution, real-time simultaneous 3D surface geometry and temperature measurement[J]., 2016, 24(13): 14552-14563.

[7] CAO Y, XU B, YE Z, et al. Depth and thermal sensor fusion to enhance 3D thermographic reconstruction[J]., 2018, 26(7): 8179-8193.

[8] XU B, YE Z, WANG F, et al. On-the-fly extrinsic calibration of multimodal sensing system for fast 3D thermographic scanning[J]., 2019, 58(12): 3238-3246.

[9] Schramm S, Rangel J, Kroll A, et al. Data fusion for 3D thermal imaging using depth and stereo camera for robust self-localization[C]//, 2018: 1-6.

[10] 張曉曄, 徐超, 何利民, 等. 非制冷紅外熱像儀人體表面溫度場(chǎng)測(cè)量及誤差修正[J]. 紅外與激光工程, 2016, 45(10): 46-52.

ZHANG Xiaoye, XU Chao, HE Limin, et al. Measuring and error correcting of human surface with uncooled infrared camera[J]., 2016, 45(10): 46-52.

[11] Zuiderveld K. Contrast limited adaptive histogram equalization[C]//IV,1994: 474-485.

[12] DONG C, Loy C C, HE K, et al. Image super-resolution using deep convolutional networks[J]., 2015, 38(2): 295-307.

[13] Polyanskiy M N, Refractive index database[EB/OL]. [2019-10-18]. https://refractiveindex.info.

Fusion Reconstruction Method for 3D Temperature Fields on the Human Body Surface

YANG Yanlong，XU Chao

(,,100081,)

Reconstruction of 3D temperature fields on the human body surface can provide reliable data for a number of human medical analyses, including diagnoses. Based on the limitations of infrared imaging, such as poor temperature measurement accuracy, insufficient imaging resolution, and poor display effects, the reliability of the 3D temperature field collected using infrared imaging is low. To overcome these problems, we propose a fusion reconstruction method for 3D temperature fields on the human body surface. First, the blackbody temperature measurement and calibration method is used to correct the errors in the temperature measurement results of an infrared thermal imager. Second, contrast enhancement processing is applied. Third, super-resolution processing is used to make the infrared images match the 3D data in terms of spatial resolution. Finally, in the data fusion stage, based on the fact that the target feature points extracted from different images correspond to the same position in the space, the system structure parameters obtained through calibration are corrected. Experimental results demonstrate that the temperature error of the 3D temperature field is less than 0.26℃, the 3D distribution of the temperature field is improved, and the display effect is enhanced.

3D temperature field reconstruction, temperature calibration of thermal camera, multi-band optical calibration, infrared image processing, human skin characteristics

TN219

A

1001-8891(2022)01-0033-08

2020-02-28；

2020-05-20.

楊炎龍（1995-），男，碩士研究生，主要從事三維重建與紅外圖像處理方面的研究。E-mail：164579504@qq.com。

徐超（1979-），男，講師，主要從事光電圖像處理和光電成像技術(shù)與系統(tǒng)方面的研究。E-mail：rockyxu@bit.edu.cn。