眼動(dòng)追蹤中的坐標(biāo)+追蹤原理

目前的追蹤方案都是基于CV的，使用紅外燈光打亮眼底，使用高幀率的相機(jī)來捕獲光源在角膜上面的位置。其實(shí)這個(gè)不難，難點(diǎn)在多個(gè)坐標(biāo)之間的轉(zhuǎn)換，因?yàn)橛行┦枪潭ǖ?，有些是不固定的，這就需要各種轉(zhuǎn)換了，這個(gè)也是我們的眼動(dòng)中最重要也是最需要研究的東西。 所有注視數(shù)據(jù)都映射到與活動(dòng)顯示區(qū)域?qū)R的 2D 坐標(biāo)系中。將眼動(dòng)儀與監(jiān)視器一起使用時(shí)，活動(dòng)顯示區(qū)域是不包括監(jiān)視器框架的顯示區(qū)域。對(duì)于在沒有顯示器的情況下使用的眼動(dòng)儀，活動(dòng)顯示區(qū)域是在對(duì)用戶眼睛進(jìn)行眼動(dòng)儀校準(zhǔn)時(shí)用于顯示校準(zhǔn)點(diǎn)的區(qū)域。 活動(dòng)顯示坐標(biāo)系的原點(diǎn)是活動(dòng)顯示區(qū)域的左上角。點(diǎn) (0, 0) 表示左上角， (1, 1) 表示右下角。

主動(dòng)顯示坐標(biāo)系 (ADCS)

大多數(shù)描述 3D 空間坐標(biāo)的數(shù)據(jù)，來自 Tobii 的基于屏幕的眼動(dòng)儀，都在所謂的用戶坐標(biāo)系或簡稱 UCS 中給出。UCS 是一個(gè)基于毫米的系統(tǒng)，其原點(diǎn)位于眼動(dòng)儀正面的中心。 坐標(biāo)軸的方向如下：x 軸水平指向用戶的右側(cè)，y 軸垂直指向用戶的上方，z 軸指向用戶，垂直于眼動(dòng)儀的前表面。

用戶坐標(biāo)系 (UCS)

跟蹤框是眼動(dòng)儀理論上能夠跟蹤眼睛的體積。因此，用戶可以自由移動(dòng)頭部，并且只要眼睛保持在框內(nèi)，就仍然可以跟蹤。在 SDK 中，有一些方法可以找出軌道盒體積的大小和位置，以及眼睛在其中的位置。用于描述眼睛在軌跡框內(nèi)的位置的坐標(biāo)系稱為軌跡框坐標(biāo)系（TBCS）。 TBCS 是一個(gè)歸一化坐標(biāo)系，在這種情況下，這意味著 trackbox 的對(duì)角坐標(biāo)為 0,0,0（最靠近眼動(dòng)儀的右上角）和 1,1,1（左下角） ，最遠(yuǎn)，角）分別。 坐標(biāo)軸的方向如下：x 軸水平指向用戶左側(cè)，y 軸垂直指向用戶下方，z 軸指向用戶。

軌道盒坐標(biāo)系 (TBCS)

使用眼動(dòng)儀時(shí)，最感興趣的通常是注視，即一個(gè)人在看什么。但是，一個(gè)人不會(huì)將事物視為空間中的一個(gè)點(diǎn)，而是將其視為向量方向內(nèi)的所有事物，該向量從被跟蹤的人的眼睛開始，并在它碰到不透明的物體時(shí)結(jié)束。我們稱之為凝視向量。（這是一種簡化，因?yàn)樗僭O(shè)你只能看到中央凹中心記錄的內(nèi)容。） 視線來源 為左眼和右眼分別提供注視原點(diǎn)，并描述注視矢量開始的位置。三個(gè)浮點(diǎn)值分別用于描述 x、y 和 z 坐標(biāo)。對(duì)于基于屏幕的眼動(dòng)儀，位置總是在用戶坐標(biāo)系中描述，有時(shí)在跟蹤框坐標(biāo)系中。 凝視點(diǎn) 注視點(diǎn)是為左眼和右眼分別提供的，它描述了活動(dòng)顯示區(qū)域平面與源自與注視矢量方向相同的注視原點(diǎn)的線之間的交點(diǎn)位置。注視點(diǎn)的坐標(biāo)在用戶坐標(biāo)系中作為 3D 點(diǎn)給出，在活動(dòng)顯示坐標(biāo)系中作為歸一化的 2D 點(diǎn)給出。 凝視矢量 對(duì)于基于 HMD 的眼動(dòng)儀，沒有活動(dòng)顯示區(qū)域，因此無法計(jì)算注視點(diǎn)（如上所述）。相反，注視由（標(biāo)準(zhǔn)化）注視向量描述。分別為左眼和右眼提供注視矢量。注視向量源自注視原點(diǎn)，在HMD 坐標(biāo)系中進(jìn)行了描述。

這里需要寫一下中HMD的眼動(dòng)儀，我去找圖哈~

這個(gè)就是所謂的HMD眼動(dòng)儀

HMD 坐標(biāo)系是一個(gè)基于毫米的系統(tǒng)，其原點(diǎn)位于 HMD 設(shè)備的鏡頭之間的一點(diǎn)，與每個(gè)鏡頭中心的距離相等。 坐標(biāo)軸方向如下：從佩戴者的角度看，x 軸水平指向左側(cè)，y 軸垂直向上指向，z 軸指向（向前）遠(yuǎn)離 HMD，垂直到 HMD 跟蹤器的鏡頭。

追蹤區(qū)域和前面的眼動(dòng)有些不一樣

HMD Tracking Area 是一個(gè)標(biāo)準(zhǔn)化的二維坐標(biāo)系，其原點(diǎn) (0, 0) 在右上角（從佩戴者的角度來看），而 (1, 1) 在左下角。每只眼睛應(yīng)位于跟蹤區(qū)域的中間，坐標(biāo)為 (0.5, 0.5)。 瞳孔大小定義為瞳孔的實(shí)際內(nèi)部物理大小，而不是從外部看眼睛時(shí)看起來的大小。記住這一點(diǎn)很重要，因?yàn)槿绻銖耐獠靠吹较嗤膬?nèi)部瞳孔大小可能會(huì)有所不同，具體取決于你從哪個(gè)角度看眼睛。這是因?yàn)檠劬Φ那安炕旧鲜且粋€(gè)透鏡，通過它你可以看到瞳孔。根據(jù)你通過鏡頭觀察的角度，瞳孔或多或少會(huì)出現(xiàn)扭曲。 然而，在大多數(shù)科學(xué)研究中，瞳孔的實(shí)際大小不如其隨時(shí)間變化的大小重要。在眼動(dòng)追蹤會(huì)話期間記錄瞳孔大小的變化。瞳孔直徑數(shù)據(jù)分別為左眼和右眼提供，是對(duì)瞳孔大小的估計(jì)，以毫米為單位。 眼睛張開度定義為上下眼瞼之間可以安裝的最大球體的直徑（以毫米為單位）。上下眼瞼由鞏膜和睫毛/眼瞼結(jié)構(gòu)之間的對(duì)比線定義。

大眼睛

這里再補(bǔ)一個(gè)眼動(dòng)儀器的原理：

瞳孔中心角膜反射 (PCCR)。基本概念是使用光源照亮眼睛，引起高度可見的反射，并使用相機(jī)捕捉顯示這些反射的眼睛圖像。然后使用相機(jī)捕獲的圖像來識(shí)別光源在角膜（閃光）和瞳孔中的反射。然后可以計(jì)算由角膜和瞳孔反射之間的角度形成的向量——這個(gè)向量的方向，結(jié)合反射的其他幾何特征，然后用于計(jì)算注視方向。 近紅外照明用于在對(duì)象眼睛的角膜和瞳孔上創(chuàng)建反射圖案，并且圖像傳感器用于捕獲眼睛的圖像和反射圖案。然后使用圖像處理算法和眼睛的生理 3D 模型以高精度估計(jì)眼睛在空間中的位置和注視點(diǎn)。

結(jié)合上面的一些坐標(biāo)空間的概念就可以看到這個(gè)東西的意思啦

我之前寫過一個(gè)pupill的眼動(dòng)儀，這個(gè)是單眼追蹤的方案

（A）當(dāng)以球形坐標(biāo)表示地面真實(shí)注視方向dgt時(shí)，可以將其可視化為球體上的一個(gè)點(diǎn)（參見上下面板中的藍(lán)色圓盤；兩個(gè)面板都顯示相同的球體部分，盡管從不同的角度）。將瞳孔不可見注視估計(jì)管道應(yīng)用于相應(yīng)的并發(fā)左眼和右眼圖像對(duì)，導(dǎo)致注視估計(jì)d dev，它們分布在地面真實(shí)值（上下面板中的紅色圓盤）周圍。

（B） 正交投影到局部切線平面中，有效地展平了球體的曲率。因此，凝視估計(jì)值可以被視為 2D 平面中的點(diǎn)（白色圓盤）。因此，它們會(huì)產(chǎn)生點(diǎn)的2D分布，這可以通過2D高斯（密度顯示為熱圖）來解釋。

審核編輯 ：李倩