一種基于交比不變性的視線補償方法

摘 要：由于交比不變模型在計算視線時存在將角膜面理想化以及未區分光軸和視軸的問題，導致計算的視線落點誤差較大，為此提出一種構建虛擬平面并通過注視軌跡校準的方法來計算視線落點。該方法根據人眼生理特征建立虛擬平面，并使用一種新的校準方法進行校準，使用最小二乘法對校準點進行擬合，改善了多點校準方法過程復雜性和體驗差的問題。通過對不同處理條件下的視線落點偏差進行比較，說明該方法可在保證視線計算精度的前提下簡化校準過程。

關鍵詞：視線落點；交比不變性；最小二乘法；校準

中圖分類號：TP391.4 文獻標識碼：A 文章編號：2095－414X（2023）04－0052－07

0" 引言

通過人眼接受信息是大腦獲取信息的最主要來源，視線追蹤是一種利用人眼運動信息來計算視線方向或關注點的技術，在人機交互系統、醫學輔助、廣告、駕駛輔助等方面[1-4]有著廣泛應用，在虛擬現實等新起領域[5]有良好的應用前景，受到國內外相關學者的廣泛關注。

精度是視線追蹤系統的關鍵技術指標之一，kappa角、視線映射模型的模型誤差等因素會影響視線落點的精度，通常需要對視線落點進行校準。常用的校準方法有光源參照校準法、屏幕參照校準法等，相關學者也對此進行了大量研究，如yoo[6]等人提出的四參數校準法，該方法有效地提高了精度，但是會導致視線方向整體偏移，countinho[7]等人

提出對每個用戶提取一個最佳參數的方法，有效地解決了yoo的方法中視線偏移的問題，但在精度方面略有不足。

上述的視線追蹤系統的視線落點校準過程較為復雜和困難，本文在基于交比值法的視線追蹤系統的基礎上進行研究，對該系統進行視線落點計算存在的系統誤差進行補償，并使用追蹤動點軌跡的方法來進行校準，保證視線落點計算的準確性和減低校準過程的復雜度和難度。

1" 視線映射模型——交比法構建映射模型

通過交比不變性構建視線映射模型應用了射影幾何學中的交比射影不變性原理，即空間中一條直線經過幾何變換后直線上的對應點的交比不變。

圖1通過交比不變性構造的視線計算模型示意圖，主要由屏幕平面、相機丞相平面以及角膜反射平面三個平面構成，在該模型中將角膜反射面這一曲面理想化為一個平面。其中L1、L2、L3、L4是屏幕平面上的四個光源點，G1、G2、G3、G4是光源在人眼角膜上形成的反射光斑，g1、g2、g3、g4是反射光斑在相機成像面上所形成的像。P0是瞳孔中心，c是眼球中心，瞳孔中心與眼球中心的連線是眼球的光軸，在此模型中將光軸方向視為人眼視線的方向，光軸與屏幕的交點S即為該模型求得的視線落點。

角膜平面上的反射點和相機平面上的光斑成像點可以認為是屏幕上光源點的映射，故可再此將交比不變性原理由二維應用到三維空間。構建該視線映射的模型最終目的是通過各個平面之間相關點構成的平面圖形的各線段之間的交比值固定計算出視線落點S的位置。如圖1所示，三個平面中的角膜反射面-相機成像面以及角膜反射面和屏幕平面之間具有比較直觀的映射關系，對這兩組對應平面進行分析，得出各關鍵點線的交比值。

圖2是瞳孔中心和光斑在相機成像平面上的像，g1-g4分別為四個光斑點，p為瞳孔中心，將g1-g4四個點連線組成的平面四邊形的邊長延長交于M、N兩點，繪制對角線交于點e，過點M、N各作兩條射線穿過點p、e交于線段g1g2和g2g3，記為N1、N2、M1、M2。

圖3是屏幕平面示意圖，L1-L4是四個光源點、ps為視線的落點，繪制平面四邊形L1L2L3L4的對角線交于es，過點ps和es分別作水平和垂直射線交線段L1L2于點N1s、N2s，交線段L2L3于點M1s、M2s。w和h為屏幕的長和寬。

設成像平面中 gi 的坐標為（xgi，ygi）（i=1，2，3，4），Mis 的坐標為（ Xi M ，Yi M ）（i=1，2），Nis 的坐標為（ Xi N ，Yi N ）

則直線 g1g2 上四個點的交比值為：

直線 g2g3 上四個點的交比值為：

設屏幕平面中注視點 Ps 的坐標為（xp，yp），屏幕的長為 w，寬為 h，將點 L1 的坐標置為（0，0），則 L2（w，0），L3（w，h），L4（0，h），e（w/2，h/2），N1s（xp/2，0），N2s（w/2，0），M1s（w，yp/2），M2s（w，h/2）

直線 L1L2 上的交比值為：

直線 L2L3 上的交比值為：

根據交比不變性原理，可知只成像平面的交比值和屏幕平面的交比值相等，即

根據兩平面的交比值可算出注視點ps的位置

2" 誤差來源分析

2.1" 角膜曲面

在構建交比不變性視線映射模型時為了方便計算將反射點和瞳孔中心理想化的認為在同一平面內（瞳孔切面），而在實際情況中人眼角膜是一種曲面的結構，所以反射點和瞳孔中心并不是共面的，如圖4所示，在進行交比計算時，我們將直線ab作為角膜面上相鄰兩反射點之間的距離，而實際距離則是曲線AB，長度要明顯大于ab，這種模型構造上出現的錯誤會給視線方向的估計帶來誤差。

2.2" 光軸與視軸夾角

光軸是通過角膜表面中央部且垂直角膜面的直線，視軸是眼外注視點與黃斑中間凹的連線。交比不變模型計算出的視線方向是光軸的方向而不是視軸方向。視軸與光軸之間存在一個夾角kappa，kappa角的大小一般在4～8度之間[8]，并且角是一個空間角，難以確定唯一的視軸，我們也無法直接給出一個角度來對kappa角造成的視線落點偏差進行補償，致使最終求得的視線落點位置與實際的視線落點位置產生偏差，如圖5所示。

以上兩點的誤差來源于模型構造時為了便于計算而簡化模型帶來的系統誤差，對于系統誤差的消除一般通過對照試驗、空白試驗、矯正試驗這三種方法進行操作，綜合考慮本文所研究的視線追蹤系統的特點，采用矯正實驗的思路對誤差進行矯正。

3" 視線落點矯正

3.1" 建立虛擬平面

為了減少角膜表面是一個曲面而非理想平面導致的視線計算誤差，可通過建立一個與角膜相切的虛擬平面，根據人眼角膜的曲率特點建立一種映射關系，將角膜上的反射點映射到虛擬平面上，以虛擬平面作為視線映射模型中的角膜平面，如圖6所示。

在理想的角膜反射面中，瞳孔中心與反射點共面，在此情況下的映射模型中各反射點之間的距離是直線，在實際情況中人眼為球形結構，研究統計表明成年人眼球的直徑平均長度為24mm[9]。在幾何關系中兩點之間直線最短，這意味著在該模型上的角膜反射面的線段長度一定是小于實際長度的。設角膜反射面上按照圖7a建立平面坐標系，取任意相鄰兩點Ga=（a，0），Gb=（0，b），則在理想平面中兩點之間的距離應是L=√2+2，而在實際的人眼中，ab兩點的距離為弧，按照圖7b以眼球中心為原點建立空間坐標系，Ga=（a，0，z）Gb=（0，b，z），（其中z=√R2?r2，R為球半徑，r為截面半徑），則ab兩點之間的弧長為|ab|=，|ab|大于L，兩點之間的長度誤差為|ab|-L。設這兩個相應的光源點在屏幕上的距離為l，則視線落點的計算誤差為（l/L）*（|ab|-L）。

可通過構建虛擬平面的方法對該問題進行補償，構建虛擬平面的實質就是在原有的交比不變性視線映射模型的相機成像面-角膜反射面-屏幕平面之間再加入一個角膜反射面-虛擬平面的映射關系，以此補償由于角膜的曲面特性帶來的系統誤差。從上面的角膜反射面的誤差分析中可知，理想角膜面的線段距離是小于實際角膜面的弧長長度的，但是如果將曲面的弧長帶入交比不變的映射模型中將會大大提高計算的難度，故此構建一個平行與理想角膜反射面且以瞳孔中心為切點與眼球相切的平面，如圖7所示。兩個平面在幾何上都與人眼眼球結構相關，可通過交比不變的原理求出兩個平面之間的交比。

由上述的誤差分析和圖7所示的虛擬平面結構示意圖可知，倆平面之間的交比值為r/R。兩個面的對應點之間的映射在求得交比值且兩平面平行（共z軸）的情況下可通過簡單的線性擬合進行映射

ω=弧長/弦長，xv，yv：虛擬平面點坐標，xr，yr理想平面點坐標

3.2" 最小二乘法擬合注釋軌跡進行kappa角修正

光軸和視軸之間的夾角是一空間角，角度的變化是一種非線性的變化[10]，沒有明顯的規律可循，常規的方法通過多點校準求系數從而對kappa角進行補償[11-12]。多點校準的方法要求使用者在校準過程中需要對每個點進行較長時間的注視，會給人眼帶來不適，影響用戶體驗，且由于用戶用眼習慣導致人眼在注視校準點時容易出現掃視點周圍區域的情況，會增大產生實驗誤差的概率，影響最終的校準結果。實驗誤差致使校準結果出現誤差。為了解決這些問題，本文提出基于注視軌跡的方法進行注視點校準，并通過最小二乘法擬合多組注視點運動軌跡取平均值從而給出補償的方法。該方法不需要用戶長時間注視某個校準點，減少由校準給人眼帶來的不適，且最小二乘法擬合多組運動軌跡并取平均值的方法可降低校準過程中由于用戶不自主的掃視行為產生的實驗誤差，保證校準結果的有效性。

該方法是通過人眼注視屏幕上的勻速動點，按照一定時間間隔截取出若干幀圖像按照交比不變模型計算注視點，動點的軌跡是一規則的二維圖形（半圓或圓）通過最小二乘擬合的方法擬合出注視點最佳曲線，與動點的軌跡方程之間進行比較，給出相應的補償值。

由于最小二乘法受到奇異值影響時會對結果造成較大的偏差，在人眼注視屏幕時出現不經意的撇視動點周邊區域的情況極易發生，會造成經交比法視線映射模型計算出的個別注視點偏差大大的異于其他點，為保證結果的準確性需對奇異點進行去除。過程如下：

設選取了n個注視點，每個注視點的偏差距離為Li

當Li/L的比值大于2或小于0.5時，認為該點為奇異點，去除該點。

按照不同的第一幀選取時間選擇出三組注視點分別進行擬合并進行補償。

3.2.1" 補償

擬合出的曲線在圓心位置、半徑大小、曲線密度等方面與原始軌跡不同，根據兩個曲線之間的差距給出補償值。

3.2.2" 位姿處理

擬合的半圓和原始軌跡之間的夾角，記為θ，原始軌跡半徑記為Rr，擬合半圓的半徑記為Rf，原始軌跡圓心坐標，擬合軌跡的圓心坐標為.如圖8所示：

首先將擬合曲線以為圓心按照偏移角度的反方向進行θ度旋轉，設，如圖9。

則第一次變換后的落點補償公式為

然后按照R/r的比例對擬合曲線的大小進行調整，如圖10。

第二次變換后的落點坐標補償公式為：

最后對擬合曲線的圓心進行水平方向和垂直方向的平移，如圖11。

第三次變換后的落點坐標補償公式為：

3.2.3" 曲線密度處理

由于kappa角等引起的誤差變化是非線性的，導致擬合曲線的曲線密度和原軌跡的密度是不一樣的，即擬合曲線經過位姿調整后雖然與原始軌跡重合，但是擬合曲線上某一角度的點并不是原始軌跡上相同角度的對應點。可通過多項式擬合的方法建立兩曲線之間的密度映射關系，為了使結果更加直觀，用角度作為多項式的變量。

：原始軌跡上的點與圓心連線與x軸正方向（逆時針）形成的夾角；：擬合軌跡上的點與圓心連線與x軸正方向（逆時針）形成的夾角；a、b、c：多項式系數。

由于人眼的結構特征導致不同個體之間人眼的光軸和視軸之間的相對位置不盡相同，有醫學研究統計表明，人群中最多的人眼光軸視軸的分布規律為視軸分布在光軸的偏鼻側[13]，這種分布規律會導致人眼在注視不同方位時光軸和視軸之間相對的總體方位不同，因此一個二次多項式無法清楚地表達出光軸和視軸在不同方位上的偏差給擬合曲線的密度帶來的影響，為此本文以軌跡圓心為原點，將屏幕分為四個象限，在每個象限內建立兩曲線之間的多項式映射。

將包括象限邊界角（0°、90°、180°、270°）在內的若干特殊角帶入多項式求解，為了保證函數的連續性，將象限邊界角分別帶入相鄰兩個象限的多項式（如90°，原始軌跡上的90°在擬合軌跡上對應一個角度，將90°、這一對數據分別帶入第一象限和第二象限的多項式映射函數），最終將分段的二次多項式作為兩曲線密度之間的映射函數。該方法不僅可以滿足視軸位于光軸偏鼻側這一絕大多數情況，而且在視軸位于非偏鼻側的少數情況下同樣適用。

為原始軌跡上角度，為擬合軌跡上的對應角度。

4" 實驗與分析

實驗裝置包括一個攝像頭、4個紅外led燈、顯示屏（長360mm、寬310mm、分辨率1280*1024），給定小球的運動速度和運動軌跡的短視頻或動圖。

實驗數據通過攝像頭采集，利用攝像頭采集的人眼視頻時間信息和屏幕上的動點運動時間信息，確定注視屏幕上任一點時的人眼圖像幀，通過人眼圖像中的眼動參數由交比法計算視線落點，從而對算法進行驗證。

本文主要對交比不變性映射模型的兩類系統誤差進行分析，故分別在不進行任何補償、進行虛擬平面補償、進行kappa角補償三種不同的情況下進行，并對誤差進行比較。

不做補償：根據相機獲取的人眼相關參數通過交比模型計算視線落點位置，比較其和屏幕校準點的偏差（圖12）。

構建虛擬平面：根據相機獲取的人眼相關參數通過經構建虛擬平面后變形的交比模型計算視線落點位置，比較其和屏幕校準點的偏差（圖13）。

重構虛擬平面后的視線計算誤差小于直接使用交比法的視線計算誤差，說明重構虛擬平面可在一定程度上提高視線估計算法的精度。

kappa角補償：根據相機獲取的人眼相關參數通過交比模型計算視線落點位置，將其落點作為離散點通過最小二乘法進行擬合，根據兩軌跡差異給出補償公式對交比法計算式進行修改，再次注視屏幕計算視線落點，并比較與標準位置的偏差（圖14）。

使用追蹤動點進行校準的方法對kappa角進行修正后的視線計算誤差有了較大改善，說明該校準方法可以有效地提高視線估計的計算精度。

與九點校準的結果對比：為了驗證本文的校準方法可以滿足視線估計的精度要求，將本文算法的估計誤差與常規的九點校準的估計誤差進行比較（圖15）。

本文所用的校準方法補償后計算出的視線落點誤差與九點校準補償后計算出的視線落點誤差相比精度有較為明顯提升，說明該校準方法在精度上可以滿足視線估計的要求。

5" 結論

本文以近眼式系統的交比法視線估計模型為研究對象，針對交比法模型存在的兩類系統誤差和傳統的多點校準方法存在的一些問題，提出一種基于注視軌跡的改進的交比法視線估計。

本文所提出的方法相對于傳統算法在提高一定精度的同時避免了傳統算法操作過程中的對每個校準點進行長時間注視的問題，降低了對用戶的技能要求，減少了操作過程中人眼的不適感。由于本文未考慮實際應用場景中的頭動干擾，無法保證在有頭動干擾的同時保證其精度，這是今后的研究重點。

參考文獻：

[1]Huang J， Zhang Z， Xie G， et al. Real-time precise human-computer interaction system based on gaze estimation and tracking[J]. Wireless Communications and Mobile Computing， 2021.

[2]Zammarchi G， Conversano C. Application of eye tracking technology in medicine： a bibliometric analysis[J]. Vision， 2021， 5（4）： 56.

[3]Lee S， Kim S P. Effect of Gaze Direction of Human Faces on Cosmetic Paper Advertisement： An Eye Tracking Study[J]. ?? HCI ?? ????， 2017： 936-939.Xu Junli，Min Jianliang，Hu Jianfeng. Real-time eye tracking for the assessment of driver fatigue.[J]. Healthcare technology letters， 2018，5（2）.

[4]Khan M Q， Lee S. Gaze and eye tracking： Techniques and applications in ADAS[J]. Sensors， 2019， 19（24）： 5540.

[5]Liu H， Qin H. Perceptual self-position estimation based on gaze tracking in virtual reality[J]. Virtual Reality， 2022， 26（1）： 269-278.

[6]Yoo D， Chung M. A novel nonintrusive eye gaze estimation using cross-ratio under large head motion[J]. Computer" Vision and Image Understanding （CVIU）， 2005， 98（1）： 25-51

[7]Coutinho F， Morimoto C. Augmenting the robustness of cross-ratio gaze tracking methods to head" movement[C] //In Proceedings of Symposium on Eye- Tracking Research and Applications （ETRA’12）， 2012： 59-66.

[8]Salouti R， Nowroozzadeh M H， Azizi A， et al. Angle κ and its effect on the corneal elevation maps in refractive surgery candidates[J]. Journal of Cataract amp; Refractive Surgery， 2022， 48（10）： 1148-1154.

[9]鄭立冬. 眼睛的大與小[J]. 中國眼鏡科技雜志， 1999 （4）： 58-58.

[10]Ning L， Guosheng Z， Jiannan C. A New Method for Calibration of Kappa Angle in 3D Line of Sight Tracking System[J]. Science Innovation， 2018， 6（4）： 182.

[11]胡鍇， 穆平安， 黃世龍. 基于角膜反射法的視線追蹤系統的視線落點校正研究[J]. 計量學報， 2022， 43（3）： 331-337.

[12]任冬淳， 張鵬， 王敏， 等. 一種基于標準化人眼圖像的視線估計算法[J]. 電子學報， 2015， 43（3）： 536.

[13]alpha角和kappa角在人群中的分布[C]//.第二十屆國際眼科學學術會議、第二十屆國際視光學學術會議、第七屆國際角膜塑形學術論壇、中國研究型醫院學會眼科學與視覺科學專業委員會2020學術年會論文摘要集， 2020： 14.

An improved line-of-sight estimation method based on intersection invariance

SUN Jia-wei， LIN Zi-zhen， LIU Yi-hang， FAN Liang-zhi

（School of Mechanical Engineering and Automation， Wuhan Textile University， Wuhan Hubei 430200， China）

Abstract： Due to the problem of idealizing the corneal surface and not distinguishing between the optical axis and the visual axis in the calculation of the line of sight of the cross-ratio invariant model， the calculated line-of-sight landing point error is large.This paper proposes a method to construct a virtual plane and calculate the line-of-sight point by calibrating it by gaze trajectory.This method establishes a virtual plane according to the physiological characteristics of the human eye， and uses a new calibration method for calibration， and uses the least squares method to fit the calibration points， which improves the complexity of the multi-point calibration method and the poor calibration experience. By comparing the deviation of the line of sight under different treatment conditions， it is shown that this method can simplify the user's calibration process under the premise of ensuring the accuracy of line of sight calculation.

Key words： Line of sight drop; Cross-ratio invariant; Least squares; Calibration

（責任編輯：周莉）