摘" 要：針對家用投影儀沒有正對成像平面而引發(fā)梯形畸變成像問題，設(shè)計一款基于DToF測距傳感器模塊、三軸加速度傳感器模塊和圖像變換的便捷式梯形幾何校正系統(tǒng)，實現(xiàn)無須人工干預(yù)的梯形畸變畫面自動修正。同時引入基于頂點預(yù)標(biāo)定的最大內(nèi)接矩形算法，輔助畸變校正畫面實現(xiàn)面積最大化和長寬比例不失真。實驗結(jié)果表明，該系統(tǒng)能以低廉的硬件成本、便捷的操作方式完成投影儀在復(fù)雜空間姿態(tài)下梯形畸變成像的修正工作，增強觀影舒適度。

關(guān)鍵詞：家用投影儀；梯形幾何校正；直接飛行時間測距傳感器；三軸加速度傳感器；圖像變換

中圖分類號：TP37" " 文獻(xiàn)標(biāo)識碼：A" " 文章編號：2096-4706（2024）09-0047-06

Design of a Convenient Trapezoidal Geometry Correction System for Household Projectors

CHEN Jianfeng1， HONG Kun2， GUO Yanfang1， ZHANG Wei1，3

（1.School of Physics amp; Optoelectronic Engineering， Guangdong University of Technology， Guangzhou" 510006， China; 2.Shenzhen Luckystar Technology Co.， Ltd.， Shenzhen" 518109， China; 3.School of Electronics amp; Electrical Engineering， Zhaoqing University， Zhaoqing" 526061， China）

Abstract： A convenient trapezoidal geometric correction system based on DToF ranging sensor module， three-axis acceleration sensor module， and image transformation is designed to address the problem of trapezoidal distortion imaging caused by household projectors as it has not facing imaging plane. This system can achieve automatic correction of trapezoidal distortion screen without manual intervention. At the same time， a maximum inscribed rectangle algorithm based on vertex pre calibration is introduced to assist in achieving maximum area and non distortion aspect ratio in distortion correction screen. The experimental results show that the system can correct the trapezoidal distortion imaging of the projector in complex spatial poses with low hardware cost and convenient operation， enhancing the viewing comfort.

Keywords： household projector; trapezoidal geometric correction; DToF ranging sensor; three-axis acceleration sensor; image transformation

0" 引" 言

家用投影儀憑借大畫面、護(hù)眼、便攜等優(yōu)勢逐漸得到普通消費者的青睞。尤其在新冠疫情期間，針對學(xué)生居家網(wǎng)課學(xué)習(xí)，國家疾病預(yù)防控制局《兒童青少年新冠肺炎疫情期間近視預(yù)防指引》建議優(yōu)先使用投影儀作為上課媒介[1]。但受限于成像特性，投影儀需要正對平整成像表面才能呈現(xiàn)矩形畫面，任何的位置偏移或投影到曲面等非平整表面將引發(fā)形如梯形、不規(guī)則多邊形的幾何畸變，嚴(yán)重降低觀影舒適度。

針對上述問題，Shi等人設(shè)計了一款投影儀定位機器人[2]，根據(jù)攝像頭捕獲的畸變畫面，自動調(diào)整投影儀與成像平面的位置，實現(xiàn)自動梯形幾何校正，但硬件成本過高；馮春東等人針對投影儀在曲面幕布上的畸變成像，提出基于二次準(zhǔn)均勻B樣條曲線的曲面幾何校正[3]，王明冬等人利用貝塞爾曲面模型實現(xiàn)在球面幕布投影成像的球面幾何校正[4]，二者通過人工調(diào)整參數(shù)可實時把控校正效果，但幕布或投影儀發(fā)生位移后需重新手動調(diào)整，校正過程煩瑣；Zhao等人使用兩對雙目攝像頭對曲面幕布進(jìn)行三維重建，計算投影儀與曲面幕布間的單應(yīng)性矩陣實現(xiàn)自動曲面幾何校正[5]，Zhang等人利用RGBD相機生成的點云數(shù)據(jù)實現(xiàn)在不規(guī)則成像表面投影成像的自動幾何校正[6]，Tehrani等人使用已知內(nèi)參的相機根據(jù)捕獲畫面去估計成像系統(tǒng)中的投影儀內(nèi)外參、相機外參和成像表面的幾何形狀，實現(xiàn)三維復(fù)雜表面的自動幾何校正[7]，三者的相機方案具有較強的場景適用性，但校正過程要求具備專業(yè)設(shè)備和相機標(biāo)定與空間變換知識，不滿足家用投影儀一般性操作的需求。

針對當(dāng)前幾何校正方案存在成本高昂、操作煩瑣復(fù)雜等問題，本文設(shè)計了一款適合家用投影儀一般應(yīng)用場景的梯形幾何校正系統(tǒng)。通過直接飛行時間（Direct Time of Flight， DToF）測距傳感器和三軸加速度傳感器實時感知投影儀的空間姿態(tài)，使用透視投影模型和空間坐標(biāo)變換建立投影圖像與成像畫面在投影儀不同空間姿態(tài)下的動態(tài)單應(yīng)性矩陣，實現(xiàn)投影儀在復(fù)雜空間姿態(tài)下的一鍵式自動梯形畸變校正。

1" 梯形幾何校正原理

根據(jù)無光學(xué)偏軸投影儀的特性，在平整成像表面上的梯形畸變成像可分為圖1（b～d）所示的三種基礎(chǔ)類型。在家用投影儀日常使用場景，比較容易出現(xiàn)的是如圖1（e）所示由三種基礎(chǔ)畸變?nèi)诤希l(fā)形如不規(guī)則四邊形的畸變。由于成像畫面的內(nèi)容來源于投影芯片上的投影圖像，梯形畸變校正可通過如圖1（f）所示把投影圖像中特定區(qū)域像素的RGB值賦為（0，0，0）進(jìn)行裁剪，以呈現(xiàn)矩形畫面，再通過插值運算把剩余有效像素的RGB值重新采樣，以犧牲源圖像細(xì)節(jié)來保全被裁剪掉的圖像內(nèi)容，實現(xiàn)畸變成像畫面的修正。梯形幾何畸變與校正圖如圖1所示。

2" 系統(tǒng)總框架

硬件結(jié)構(gòu)框架如圖2所示，主要由獲取投影儀與成像平面距離并換算yaw偏航角的DToF傳感器模塊和獲取投影儀方向軸重力加速度g分量并換算pitch俯仰角、roll滾轉(zhuǎn)角的三軸加速度傳感器模塊組成。

軟件算法框架如圖3所示。空間坐標(biāo)變換依據(jù)投影儀姿態(tài)角建立當(dāng)前空間姿態(tài)下的“投影圖像-成像畫面”單應(yīng)性矩陣，得到投影圖像與成像畫面的坐標(biāo)映射關(guān)系；在成像畫面中使用最大內(nèi)接矩形算法，生成4個最大內(nèi)接矩形頂點坐標(biāo)，同時得到相應(yīng)的投影圖像坐標(biāo)；通過投影圖像上的4對原始頂點坐標(biāo)與最大內(nèi)接矩形校正坐標(biāo)所建立的透視變換矩陣，對投影圖像的所有像素坐標(biāo)進(jìn)行透視變換，分離出需要裁剪和投影的區(qū)域，生成投影圖像處理模板；把模板套用到幀緩存器中準(zhǔn)備輸出的投影圖像，同時執(zhí)行插值運算保全投影圖像內(nèi)容；最后傳輸?shù)酵队靶酒队拜敵觯瑢崿F(xiàn)梯形幾何校正。

3" 硬件結(jié)構(gòu)框架

3.1" 三軸加速度傳感器模塊

三軸加速度傳感器模塊利用微機電系統(tǒng)（Micro Electro Mechanical System， MEMS）技術(shù)在半導(dǎo)體材料上搭建測量加速度的力學(xué)系統(tǒng)或利用壓電效應(yīng)感知質(zhì)量塊對壓電材料的施力變化[8]，通過電信號的變化換算加速度數(shù)據(jù)。為轉(zhuǎn)換加速度數(shù)據(jù)為所需的投影儀空間姿態(tài)角，建立如圖4所示的加速度空間坐標(biāo)系對傳感器進(jìn)行空間變換分析，坐標(biāo)系O-asxasyasz表示廠商定義的系統(tǒng)坐標(biāo)系，坐標(biāo)系O-auxauyauz表示實際應(yīng)用場景中自行定義的用戶坐標(biāo)系，通過重力加速度g分解到用戶坐標(biāo)系下x、y、z軸的分量，結(jié)合式（1～3）所示各姿態(tài)角空間旋轉(zhuǎn)矩陣和預(yù)先定義的yaw-pitch-roll空間旋轉(zhuǎn)順序，得到姿態(tài)角換算關(guān)系為式（4）。

對式（1～4）計算整理后得式（5），可知三軸加速度傳感器模塊只能換算投影儀的pitch、roll，無法換算yaw。

3.2" DToF傳感器模塊

DToF傳感器模塊可拆分為由激光發(fā)射器組成的發(fā)射區(qū)和由單光子雪崩二極管（Single Photon Avalanche Diode， SPAD）陣列和時間數(shù)字轉(zhuǎn)換器（Time Digital Converter， TDC）組成的接收區(qū)[9]，發(fā)射區(qū)發(fā)射近紅外光脈沖到被測物體，接收區(qū)接收返回的脈沖并根據(jù)發(fā)射和接收的時間差算出距離。利用SPAD矩陣的最左區(qū)域、中間區(qū)域、最右區(qū)域構(gòu)建三角形可求得yaw。為簡化分析過程，只考慮圖5中脈沖從被測物體返回接收區(qū)的光路，圖5中DToF模塊已發(fā)生水平向左的偏航旋轉(zhuǎn)。

圖5中的OA、OB、OC長度和所選SPAD矩陣區(qū)域間的夾角θ可通過模塊數(shù)據(jù)直接讀取，AB、BC長度可先通過余弦定理分別求出，最后結(jié)合余弦定理和三角形內(nèi)角和得式（6）求出∠ BOO'，即yaw。

投影儀空間旋轉(zhuǎn)姿態(tài)角yaw、pitch、roll的獲取，能輔助軟件算法計算投影儀在不同空間姿態(tài)下動態(tài)的“投影圖像-成像畫面”單應(yīng)性矩陣，實時感知梯形畸變成像畫面。

4" 軟件算法框架

4.1" 空間變換

透視投影模型能建立二維平面和三維空間坐標(biāo)映射關(guān)系的特性，常用于建立相機靜態(tài)的“捕獲圖像-拍攝物體”單應(yīng)性矩陣，但本系統(tǒng)能夠?qū)崟r獲取投影儀的空間姿態(tài)角，可考慮對透視投影模型進(jìn)行空間變換，建立動態(tài)的“投影圖像-成像畫面”單應(yīng)性矩陣，生成與空間姿態(tài)角相關(guān)的單應(yīng)性矩陣通式。在圖6的透視投影線性模型中，等效投影芯片像素坐標(biāo)系OL-xLyL上任意點P（xL，yL）映射到世界坐標(biāo)系OW-xWyWzW的P'（x'W，y'W，z'W）可用式（7～9）表示。

式（7）表示等效投影芯片上的像素坐標(biāo)通過投影儀的內(nèi)參轉(zhuǎn)換為基于投影儀坐標(biāo)系OP-xPyPzP下的空間長度坐標(biāo)，其中kPixel表示像素密度（單位：像素/毫米），u和v分別表示等效投影芯片像素坐標(biāo)系與投影儀坐標(biāo)系原點間x、y軸方向上像素偏移量，f表示投影儀的焦距；式（8）表示計算等效投影芯片相對于當(dāng)前投影距離中最佳投影位置（投影儀正對成像平面）的坐標(biāo)，其中Ru表示投影儀的空間姿態(tài)，對應(yīng)式（4）中的Ru；式（9）表示基于“光沿直線傳播”的理想條件下，光線從投影光心穿過等效投影芯片傳播到成像平面的成像畫面坐標(biāo)，其中Dist表示投影光心距離成像平面的投影距離，H表示聯(lián)立式（7～9）所得“投影圖像-成像畫面”動態(tài)單應(yīng)性矩陣。H主要有兩個用途，一是求得投影儀在不同空間姿態(tài)下的成像畫面大小、形狀、位置等狀態(tài)；二是求得成像畫面最大內(nèi)接矩形區(qū)域所映射的投影圖像區(qū)域。

4.2" 最大內(nèi)接矩形校正

在圖像處理學(xué)中，常用遍歷法、中心擴散法、遍歷中心擴散法、邊界排序生長法計算最大內(nèi)接矩形[10]，這些方法適用于任意形狀的圖形，但需要消耗大量時間來遍歷像素尋找特征點。為快速確定最大內(nèi)接矩形的邊界，基于“投影圖像-成像畫面”動態(tài)單應(yīng)性矩陣H，提出一種頂點預(yù)標(biāo)定的最大內(nèi)接矩形算法。根據(jù)H計算得到的梯形畸變成像畫面頂點坐標(biāo)，構(gòu)造畫面輪廓直線方程，結(jié)合內(nèi)接矩形相鄰頂點坐標(biāo)x或y相等的特性和式（10）所示的內(nèi)接矩形長寬比限制條件來計算最大內(nèi)接矩形的四個頂點坐標(biāo)。式（10）中的數(shù)字代表預(yù)標(biāo)定矩形頂點的取點順序。

最大內(nèi)接矩形校正的MATLAB仿真效果如圖7所示，圖中黑色虛線為梯形畸變成像畫面輪廓，深灰色矩形為最大內(nèi)接矩形校正區(qū)域。然而圖7只是梯形畸變成像中的4種畸變情況和對應(yīng)的最大內(nèi)接矩形，不同的投影儀空間姿態(tài)，會呈現(xiàn)高度差異化的成像畫面，導(dǎo)致最大內(nèi)接矩形頂點的取點順序、位置和數(shù)量包含不確定性，可通過腳本遍歷投影儀在任意空間姿態(tài)下的成像畫面輪廓，手工標(biāo)定內(nèi)接矩形頂點的取點順序、數(shù)量和所在輪廓，生成多個最大內(nèi)接矩形數(shù)學(xué)模型，在執(zhí)行校正時，根據(jù)畫面輪廓直線方程斜率的正負(fù)組合來調(diào)取對應(yīng)的數(shù)學(xué)模型，輔助畸變校正畫面實現(xiàn)面積最大化和長寬比例不失真。

4.3" 透視變換與插值運算

本文最大內(nèi)接矩形校正的結(jié)果只能得到4個投影圖像頂點校正坐標(biāo)，為投影輸出完整矩形成像畫面，需要對投影圖像內(nèi)所有像素坐標(biāo)進(jìn)行透視變換，以分離出像素裁剪區(qū)和像素投影區(qū)。為避免復(fù)雜的空間幾何和透視投影分析工作，把校正前后的4對頂點像素坐標(biāo)分別代入式（11）構(gòu)建非齊次線性方程組式（12）求得透視變換矩陣T，其中（x'，y'，1）是頂點校正齊次坐標(biāo)，（x'，y'，1）表示初始頂點齊次坐標(biāo)，σ表示尺度因子。

投影圖像內(nèi)的所有像素坐標(biāo)與透視變換矩陣T和尺度因子倒數(shù)σ-1相乘后，分離出裁剪區(qū)和投影區(qū)的像素，令裁剪區(qū)的像素RGB值都賦為（0，0，0），以屏蔽像素顯示；令投影區(qū)的像素RGB值重新采樣，以保全因圖像裁剪而丟失的圖像內(nèi)容。

投影區(qū)的RGB值采樣將使用透視變換逆矩陣T-1和尺度因子σ與投影區(qū)像素坐標(biāo)相乘，讓投影區(qū)的像素坐標(biāo)取相乘結(jié)果所對應(yīng)的RGB值，其間會遇到如圖8所示像素坐標(biāo)存在浮點數(shù)的RGB取值問題，這就涉及通過插值運算從一個或多個相鄰像素之間加權(quán)取RGB值。插值運算常用雙線性插值法，規(guī)定1個像素的RGB值由相鄰4個像素決定，由于i或j軸相鄰像素點的RGB值存在線性關(guān)系，通過求得它們之間的線性方程，就可以推算出處于該兩點之間的像素點的RGB值。以圖8為例，根據(jù)像素點0（[i]，[j]）、1（[i]，[j+1]）、2（[i+1]，[j]）、3（[i+1]，[j+1]）來確定像素點4（i，j）的RGB值，其構(gòu)造的RGB值線性方程組如式（14）所示。

對式（14）整理計算后得式（15），即可根據(jù)相鄰4個像素求出目標(biāo)像素的RGB值。

5" 實驗結(jié)果

圖9表示在內(nèi)置了DToF傳感器模塊和三軸加速度傳感器模塊的無光學(xué)偏軸投影儀上執(zhí)行梯形幾何校正，圖9（a）表示投影儀在復(fù)雜擺放表面的空間姿態(tài)進(jìn)行側(cè)投成像的梯形畸變成像畫面，圖9（b）表示執(zhí)行梯形幾何校正后的矩形成像畫面，可以明顯觀察到成像畫面的形狀由不規(guī)則四邊形校正為矩形，同時盡可能還原了源成像畫面內(nèi)容。

6" 結(jié)" 論

針對家用投影儀沒有正對成像平面而引發(fā)梯形畸變成像的問題，設(shè)計了一款便捷式梯形幾何校正系統(tǒng)。實驗表明，該系統(tǒng)便捷性好，投影儀在復(fù)雜擺放平面上進(jìn)行側(cè)投成像時，能實現(xiàn)一鍵式自動修正梯形畸變成像畫面；魯棒性好，與傳統(tǒng)外置相機方案相比，DToF傳感器受環(huán)境光影響較小；適配性強，數(shù)字光處理（Digital Light Processing， DLP）和液晶成像（Liquid Crystal Display， LCD）投影儀的不同成像方式不影響該系統(tǒng)的梯形幾何校正效果，同時可調(diào)節(jié)透視投影模型中等效投影芯片像素坐標(biāo)系和投影儀坐標(biāo)系原點的相對位置，適配任意光學(xué)偏軸投影儀；克服了現(xiàn)有幾何校正方案存在成本高昂、校正操作煩瑣復(fù)雜等問題，更適用于家用投影儀。

參考文獻(xiàn)：

[1] 胡錫豐.家用投影儀：新興家電背后的榮光與陰影 [N].中國質(zhì)量報，2023-03-15（T14）.

[2] SHI L Z，LIU C Y，YANG S C，et al. Auto-alignment Design of Projection Robotics [C]//2019 Chinese Control Conference（CCC）.Guangzhou：IEEE，2019：4565-4570.

[3] 馮春東，陳姚節(jié)，薛雅婷，等.多通道曲面投影的B樣條幾何校正 [J].計算機仿真，2019，36（7）：234-238.

[4] 王明冬，蓋孟，賴舜男，等.面向球幕投影系統(tǒng)的幾何校正方法 [J].圖學(xué)學(xué)報，2019，40（4）：631-636.

[5] ZHAO S H，ZHAO M Y，DAI S L. Automatic Registration of Multi-Projector Based on Coded Structured Light [J].Symmetry，2019，11（11）：1397

[6] ZHANG C，MAN X C，HAN C. Geometric Correction for Projection Image Based on Azure Kinect Depth Data [C]//2020 International Conference on Virtual Reality and Visualization （ICVRV）.Recife：IEEE，2020，196-199.

[7] TEHRANI M A，GOPI M，MAJUMDER A. Automated Geometric Registration for Multi-Projector Displays on Arbitrary 3D Shapes Using Uncalibrated Devices [J].IEEE Transactions on Visualization and Computer Graphics，2021，27（4）：2265-2279.

[8] 牛偉萌，房立清，齊子元，等.基于MEMS加速度傳感器的位移測量系統(tǒng) [J].儀表技術(shù)與傳感器，2020（3）：62-66+72.

[9] 楊旭.基于DTOF的鎖相環(huán)研究和設(shè)計 [D].西安：西安電子科技大學(xué)，2022.

[10] 鄒哲康，朱錚濤，陳映謙，等.基于機器視覺的最大內(nèi)接矩形快速檢測算法 [J].計算機測量與控制，2021，29（6）：194-198.

作者簡介：陳健鋒（1999—），男，漢族，廣東東莞人，碩士研究生，研究方向：光電信息；洪坤（1977—），男，漢族，安徽霍山人，副總經(jīng)理，研究方向：光電信息；郭焰芳（1997—），男，漢族，福建莆田人，碩士研究生，研究方向：物聯(lián)網(wǎng)技術(shù)；張偉（1968—），男，漢族，湖北武漢人，副教授，碩士生導(dǎo)師，博士，研究方向：光電信息。