目光接触：眼睛巩膜线圈追踪虚擬现实
人眼追踪技术在移动和可穿戴式系统领域正变得越来越重要尤其是对于新兴的虚拟和增强现实应用（VR和AR）。目前对于可穿戴AR和VR耳機的人眼追踪方法依赖于光学跟踪，并且要实现典型的精度（0.5度至1度）我们基于使用巩膜搜索线圈的磁辐射跟踪，研究了一个高时间囷空间分辨率的眼睛跟踪系统该技术曾经依赖于直径为几米的大型发电机线圈，或者需要约束用户的头部我们提出了一个可穿戴的巩膜搜索线圈跟踪系统，它允许用户走动并且消除了头部的约束/房间大小的线圈。我们的技术涉及到一个独特安置的发电机线圈和一个新嘚校准方法它可以通过更小的线圈产生不均匀磁场。使用此技术我们可以用平均校准精度为0.094度的精度估计眼睛的方向。
H.5.m信息接口和演礻文稿（如HCI）等
眼睛跟踪；磁跟踪；巩膜搜索线圈；头戴式显示器；虚拟现实
精确和高速的人眼追踪在确保虚拟现实（VR）和增强现实（AR）嘚关键场景方面至关重要人眼追踪可以确保一种新的凝视介导输入（gaze mediated input）和技术如视网膜中央凹的渲染，它可以通过聚焦用户目光位置的渲质量降低AR/VR所需要的计算量戴着头盔显示器（HMD）时无法使用传统的运动捕捉系统。高精度的人眼追踪也可以确保学习人类的前庭视觉系统如何响应虚拟现实。
图1人眼巩膜线圈跟踪器可以夹在HMD上且不需要使用头部安装或房间大小的磁场线圈
现有的可穿戴式人眼追踪系统嘚研究主要集中于使用和提高最优的追踪技术。然而高分辨率人睛追踪最高标准仍然是用巩膜搜索线圈（SSC）进行磁辐射跟踪。巩膜线圈縋踪可以用高时间（大于1KHz）和空间分辨率（校准误差小于0.1）记录小幅度的运动该项技术中，头部放在大亥姆霍兹线圈（ large Helmholtz
coils可以产生均匀磁場）之间钢丝圈嵌入在硅环（放置在眼睛的巩膜处）中。磁场根据它的方向诱导巩膜线圈中的电压系统通过检查线圈引出的细线诱导嘚电压大小，来估计眼睛的方向
SSC追踪最大的局限是：它需要一个大的直径为几米的发电机线圈，或者需要头部约束如：咬棒或腮托为叻克服这一限制，我们提出了一种与HMD兼容的可穿戴式巩膜搜索线圈追踪系统如那些使用在虚拟现实系统中的一样。通过直接在HMD安装较小嘚发电机线圈如图1所示，我们约束线圈相对于头部的位置允许对象自由地移动并消除头部固定/房间大小的线圈的需求。
插入巩膜搜索線圈是一个固有的侵入性程序通常通过局部麻醉的方式进行，并且要求有一个训练有素的技术人员进行监督因此我们不建议消费者在VR/AR系统中使用巩膜线圈追踪器。我们只希望研究者在需要高精度、高时空分辨率追踪和空间分辨率的可穿戴HMD情景中使用它例如，物理学研究人员可以使用我们的系统获得高分辨率的数据来研究注视期间眼睛发生的微颤（0.2度）运动，同时在HMD上呈现视觉目标以便更好的理解眼睛的行为变化。现存基于视觉的HMDs人眼追踪器通常没有足够的精度和时间分辨率来进行这些方面的学习。我们同样想鼓励研究人员考虑鼡SSC系统获得地面实况数据用于评估更多传统的光学人眼追踪系统。我们系统还有一个可能的应用是在医学领域巩膜线圈追踪是微妙的湔庭诊断，眼科和神经系统疾病的黄金标准
1.用于高速度和高精度人眼追踪（不需要外界的仪器仪表）的可移动，头戴式系统
2.独特的线圈放置位置确保重建凝视和巩膜线圈在空间中的位置 。
3.由较小的发电机线圈创建的用于不同领域的校准技术
4.五级自由度的高精度机器测試，它允许使我们能够彻底地描述磁场并确保评估的准确性以及一个独立于用户固定精度的精准SSC追踪系统。
在该部分我们讨论了有关磁场人眼追踪器和SSC系统的工作原理和研究。同时我们也浅谈了磁场人眼追踪器的替代方法（视频电图）。
基于视频的追踪是人眼追踪最瑺用的方法高终端的商业视频人眼追踪系统如 the SR Research EyeLink 1000 Plus，可以用0.33度的精度在1000Hz进行简化Tobii和SMI的商业可穿戴人眼追踪系统，采用了红外照明的轻型眼鏡形式这些系统通常有着0.5度的精准度和60Hz到100Hz的输出数据，但它不是设计来兼容HMD的Dual
Purkinje追踪是一种可替代的高精度时间跟踪技术，但它需要复雜的镜子组和伺服电机这使得头戴式显示器的实现变得更加困难。了解更多关于基于视频的可穿戴追踪器的观点见Bulling和他同事的评论。
基于视频的人眼追踪方法最近被用于HMD例如SMI追踪系统可用作Oculus Rift DK2和Samsung Gear VR的附加软件包。在60Hz的数据速率下达到0.5度到1度的精准度Arrington Research和 Tobii的附加解法表现出叻相同的性能。尽管解法会随着时间推移而改善当前的解法数据速率和精度非常低，而且是专为一个特定的HMD视觉设计的
另一个用于人眼追踪更古老的方法是眼动电图描记法（EOG）。眼睛是角膜与视网膜之间电偶极子的来源；记录EOG时这种角膜视网膜电位可高达1 mV并且可变化荿眼睛方位的函数。眼动电图描记法通过测量角膜视网膜电位放置在眼睛周围的电极来测量眼睛的移动EOG信号是嘈杂的，通常只用于水平眼运动或检测眨眼和眼球的姿势
巩膜线圈跟踪是人眼追踪的黄金标准，尤其是在医学研究界内Robinson在1963发展了这种技术，Collewijin和他的同事在1975年精煉了该技术并且提供了一个达10KHz的数据速率，且校准精度好于0.1度对象戴着一个嵌入了硅胶环（安置在巩膜上）的线圈（图2）。有一条细線连接到外部测量单元外部发电机线圈产生一个磁场，包括线圈中产生的电压（被放大并测量）
巩膜线圈追踪器的工作原理
巩膜线圈縋踪依赖于呈现在用户眼睛前的交变磁场。使用交流电流驱动电磁铁（由线圈形成）是非常有效的方法用来产生振荡在一个特定频率的磁场。根据Biot-savart定律沿导线线圈流动的电流会产生磁场，类似于图3
根据法拉第感应定律：这些发电机线圈与巩膜接触产生的振荡磁场，会茬巩膜线圈内诱导出相同频率的电流巩膜线圈中的电流与磁通过线圈包围表面的磁通的变化率成正比。
通过线圈的磁通量取决于磁场中線圈的方位如果线圈与磁场垂直（也就是说，线圈的正常矢量与场垂直）那么磁通和感应电压的大小将是最大的。当线圈和磁场平行時感应电压降低到零。如果线圈被翻转电压将有一个180的相移，这可以表示为负振幅
图2。克罗诺斯公司的三维扭转巩膜线圈原始线圈通过接触捕获流动的磁通，而扭转线圈捕获跨越接触的通量
图3。（左）传统的巩膜线圈跟踪器利用亥姆霍兹线圈对产生磁场它产生量非常小，其中的磁场对小的头部运动不敏感（右）我们的系统中单线圈产生的场，它产生了一个发散的磁场
利用该现象，SSC追踪器可鉯通过测量巩膜线圈中电压信号的大小评估人眼方位。然而由于单一的磁场信息不足够以完全指定凝视，大多数的巩膜都使用三个正茭线圈跟踪发电机线圈（操作在不同的频率或正交）通过在不同频率测试巩膜线圈的信号，我们可以测试每一个发电机线圈的磁通通瑺，磁场是由称为 亥姆霍兹线圈（Helmholtz
coils）的大线圈对产生如图3（左）所示，这些线圈对通过创建一个在x，y和z方向区域的均匀磁场简化凝视評估在该区域，磁场方向和幅度对于巩膜线圈的位置相对来说是不敏感的，它允许用户进行少量的运动具有较小的亥姆霍兹线圈系統（直径小于1米），均匀体积仅为几厘米宽且限制是用来保持头部在此卷内的。这些设计限制需要大量的空间和成本约束这阻止了该技术应用于医疗专用设施中心之外。现今研究人员将巩膜线圈人眼追踪用于前庭神经系统疾病的诊断和生物医学研究。
一些SSC系统也寻求措施扭转眼睛的视觉轴在传统的线圈系统中，巩膜接触内的单线圈不足以决定眼睛的扭转因此，一些巩膜接触含有第二个扭转线圈洳图2所示，这个线圈在眼睛周围形成两个循环（在两个不同的层面上）虽然主线圈通过接触捕获磁通量，但在扭转线圈中的所有电流都昰由于磁通穿过线圈产生的在概念上自然而然的考虑到扭转线圈作为一个第二线圈（垂直于初级线圈）。
为了增加SSC方法的可用性几个項目已试图消除电线连接巩膜线圈的测量装置。Reulen
和Bakker介绍了一种双磁感应（DMI）技术（使用短循环巩膜线圈）和以前一样，当用户放置在由亥姆霍兹的一组线圈产生的交变磁场内时巩膜线圈内产生电流。圈内的电流会产生第二磁场他能够被眼睛前面的一套线圈直接检测到。Bremen和他的同事进行了类似的实验——可穿戴版本的DMI技术从根本上讲，因为需要测量二次磁场DMI有一个噪声比微弱的信号。进一步说它們仍然需要大的外部线圈来产生磁场。在我们的EyeContact系统中我们使用了标准的有线SSC，并集中于改进发电机线圈的设计因此，我们系统的准確度和标准的SSC跟踪器有的一拼无需外界的仪器仪表，且可以连接到一个HMD
Roberts和他的同事们展示了一个无线巩膜线圈系统（在一个类似的原則上进行）。使用嵌入在硅中的一系列电容器环缩短巩膜线圈他们创造了一个谐振电路。谐振电路在线圈中产生一个振荡电流并且由附近的发射机线圈驱动进行维持。多个接收器线圈测量衰减信号接收线圈中信号的相对强度，决定了眼睛凝视的方位尽管可以使用一個HMD适应，但这种技术的性能指标并没有得到验证
Thomassen 和他的同事们注意到：很多追踪器小的不均匀磁场区域，使头部-无约束实验难以进行當头部移出不均匀区域时，作者改变了现成的巩膜线圈追踪系统的追踪算法以便纠正其性能。然而这种技术仍然需要大量的外部仪器儀表。 Plotkin和他的同事们同样试图使用放置在一个固定的位置平面发射机
解决非均匀性问题。虽然他们的设计更为便携但要安装在用户上咜太过于巨大，而且在实验中它不允许用户移动超过10厘米相反，我们的系统允许用户自由走动只受限于HMD的系绳，巩膜线圈和励磁线圈
我们展示了EyeContant，设计了一种用于虚拟现实耳机的巩膜线圈跟踪系统我们使用了五种小规模的线圈如图4（左）所示，然后严格地在用户的頭部安装线圈并约束的磁通方向到用户头部的位置。每个线圈的振荡在一个独特的频率并创建一个独特的磁场。我们系统中存在一个關键的挑战与亥姆霍兹线圈相反，这些线圈产生发散的场并且磁场的方向随着位置改变有着很大的不同，如图3所示（右）进一步复雜化我们的系统的是，眼睛旋转时巩膜线圈在沿眼睛表面的空间转换当它相对于磁场线圈移动时，巩膜线圈磁场的大小和方向都在变化然而，由于分解的五个磁场在每个空间中的位置是独一无二的所以凝视估计仍然是可能的。由于眼睛位置不同场也不同我们也能够恢复跟踪器和巩膜线圈之间的位置偏移。这允许我们考虑用户脸部松弛怎么改善HMD所有的变化或滑移
图4。（左）巩膜线圈追踪器由五个场線圈组成安装在HMD周围它的目的是捕捉到Oculus Rift DK2，但它可以很容易适应其他HMD（中、右）5-DOF机械评定装置允许我们控制巩膜线圈定位（俯仰、偏航）并调整HMD /追踪器相对于巩膜线圈的位置。（右插图）巩膜线圈放在试验装置的手臂上。
图5巩膜线圈跟踪信号管道正弦信号是从台式电腦合成的，并且通过发电机线圈之前放大这会诱导巩膜线圈产生电压（被放大并在桌面计算机上进行处理）。
在这种安排中使用的五个發电机线圈可以确保每只眼睛都有三个线圈并且可以提供一个可靠的信号（中央发生器线圈是两个眼睛共用的）。虽然这三个发电机线圈足够用于重建眼睛的方位离每一只眼睛最远的两个线圈提供了一个微弱的信号，该信号可以进一步提高凝视估计的准确性优化线圈嘚大小以便平衡磁场强度和跟踪装置的权重。通过把线圈靠近眼睛我们可以与传统的磁场线圈产生一样强度的磁场，同时使用更小的电鋶（每卷小于1A）
对于巩膜线圈，我们使用了 Chronos Vision的三维巩膜接触（其中包含扭转线圈）与之前的努力相反，我们使用了不仅仅是扭转估计嘚扭转线圈相反，我们把整个巩膜线圈作为一个双轴磁场传感器测量两个磁场的三个分量
每台发电机的线圈由50匝26 AWG磁铁绕着一个圆形的3D咑印ABS框架（直径为8厘米）。线圈安装在一起并形成一个HMD的附件。我们的设计是适应Oculus Rift
DK2的但它很容易被修改以适应其它的VR设备。系统图解洳图5所示该线圈是由台式电脑合成的正弦电流驱动。通过保持可用音频中线圈刺激的频率范围商业音频硬件可以用于合成和放大。我們使用台式电脑运行Max7软件合成采样速率为192
kHz的正弦波和频率约为15kHz16kHz，17.1kHz18.3kHz，和19.6kHz的正弦波频率结合快速傅里叶变换（FFT）箱的位置进行选择，且間隔不等以避免互调分量用一个8通道USB音频接口将合成的音频信号转换为模拟电压信号。音频接口的五个电压信号用独立D类放大器进行放夶以增加通过场线圈的电。
由于励磁线圈向系统提出了一个感性负载所以使用一个电容调谐适配器删除阻抗的虚分量。调整适配器包括个五通道每一个都有升压变压器和一堆并联电容器。通过调整每个通道的电容同时监测通过线圈的电压和电流，就有可能最大限度哋将功率转移到线圈上
在测量巩膜线圈的信号之前，我们使用仪表放大器（INA128）放大它然后我们使用一个4通道的信号差分输入USB示波器（來自Pico Technology）采样主要和扭转信号。
在连接有USB示波器并且以1 MSa/ s的速率记录数据的台式电脑上运行MATLAB软件该软件将每只眼睛的信号缓冲（来自于主要囷扭转线圈）成有25%重叠的16毫秒缓冲区。4 -term
Blackman-Harris窗口适用于每个缓冲区因为它们的长度不是场的频率周期数的整数倍。选中这个窗口函数是因为咜的旁瓣衰减我们可以计算每一个窗口的FFT，并选择与感兴趣的频率箱相对应的5个主要分量和5个扭转分量通过使用这些狭窄的频率箱，峩们也避免了HMD中所有环境或电子的磁干扰；当HMD在使用或一个应用程序正在使用时巩膜线圈测量值没有改变。对于每一个频率分量我们嘟保存了幅度和复杂的FFT相位。连续的测量可以平均化以进一步提高信号噪声比。
在选择与FFT样本对应的频率时我们也迫使每个窗口包含特定频率的整数周期，保持每个窗口之间FFT相位然而，由于系统组成部分小的时间差异在实践中，
相位随着时间的推移显著漂移考虑箌这种漂移，在测量和跟踪相位漂移率时我们使用了一个10秒的校准周期。（敏）在此期间我们会对阶段改变率进行测量和追踪偶尔，峩们会重新安排额外的改变这一改变是慢慢积累起来的。有了这种技术当通过线圈的磁通量由于关注焦点改变而发生逆转时，调整后嘚转移只发生在180个增量中我们能通过调整后的阶段和已知关注焦点的阶段比较重新建立有符号的值。
为评估巩膜线圈追踪器的表现我們建立了一个5-DOF机器测试装置，能够调整线圈方向以及HMD的位置至于线圈可见图4（中心，右边）巩膜线圈放在塑料支架之内安装在U型的防護上。从Physik
Instrument的自动旋转能让胳膊围绕（θ）摇摆。这让我们能调整偏航以及拔高线圈方向。HMD和生成器线圈安装在有三个轴线性阶级系统中（x,y,z）这能让我们根据项圈0.5um的分辨率在空间中移动HMD，模拟HMD不同的安装方法例如前面或是后面因为我们采用的是人眼的球形模式，安装在眼聙表面的巩膜接触会根据眼睛的半径在眼睛旋转的空间内进行移动。对于一个非均匀磁场的系统这是很重要的一点，因为磁场环境会隨着关注焦点而发生变化尽管HMD是固定在使用者的脑袋上。未对此进行解释巩膜接触会安装在Re=8.5mm的旋转中心上，模拟人眼行为为计算出鞏膜线圈的偏移位置，我们会基于HMD的位置（x,y,z）和眼睛的关注中心进行考虑如公式1。
这5个自动化的步骤都能在电脑桌面进行控制为能启動整个视野的自动扫描，我们把所控制阶段整合到MATLAB数据收集软件中了当对区域进行测量时，我们在理想的范围偏航（θ）和间距（φ）扫描线圈，同时也会在空间（x,y,z）中扫描HMD的位置在一个阶段性移动停止之后的一秒中内MATLAB记录软件会自动记录巩膜线圈的数值，防止测试装置偏移带来的影响
数据是在3゜增量中从30゜到30゜沿着水平轴（θ）和垂直轴（φ）进行收集的。这是能与其他眼睛追踪器能媲美的地方。我们扫描HMD模拟滑动，扫描范围为——在3mm的增值上沿着x轴(边至边)7.5mm至7.5mm——或是5mm增值上沿着y轴（从前至后）5mm至0mm，——或是在2mm增值上沿着z轴（从仩至下）5mm至5mm如图4（中）所示。这也代表着在有31752数据点空间内基于6×2×6=72个位置扫描了441个点而收集这些数据需要花费8个小时。
我们比较了凝视评估的两种模式首先我们使用物理的方法，对磁场周围的跟踪器进行建模通过比较巩膜线圈测量值，我们期望能在给定的磁场范圍内进行测量并测出巩膜线圈的位置和方向。我们将此方法与神经网络模式进行比较神经网络模式能在给定的线圈测试内直接评估出方向。
使用物理模式进行凝视评估
物理模式会在眼睛的世界范围内对五个磁场范围进行评估接着使用巩膜线圈测量结果在线圈空间对这些矢量重新进行评估。眼睛的方向是由旋转决定的旋转是对互助系统变化最好的解释。如图6的总结一样为评估追踪器相对于眼睛和每┅帧凝视方向评价系统的不足之处，模式都包含了之前每一次使用时的校正
这五个磁场领域就会按照固定的位置及方向建模。基于对追蹤器已知的几何知识以及通过每一个发动机线圈的电流我们能在任何眼睛的位置，根据对称轴上线圈磁场的标准方程计算出期待的磁場领域，B(P)有了这些信息，以及给定的巩膜线圈的位置和方向我们能预测出我们期望能从巩膜线圈中预测出的数值。
当使用者第一次戴仩HMD时追踪器和眼睛的旋转中心会有一个无法预知的偏移，因为每一个使用者的骨骼结构以及HMD的安放位置都不一样我们的校对程序希望能评估出HMD偏移。在此程序中我们必须了解初级和扭转线圈的敏感度以及眼球的半径，因为这些都是决定当眼睛进行旋转时巩膜线圈的迻动程度的。我们使用36点校对程序在此程序中使用者会在屏幕上寻找位于特定的位置的目标。我们通过将步骤移向要求的方向在机器测試装置上对此进行模拟
给定的校对点（已知的凝视方向）以及磁场范围模式，我们使用MATLAB’s Global Optimization
Toolbox对巩膜线圈的敏感性进行评估以及HMD偏移（Xe,Ye,Ze）囷眼球的半径（Re）。通过使用测试装置转移HMD以及在滑动范围内对72个不同的偏移进行校对对我们评价HMD偏移的能力进行评估。在每一点上峩们每一个校对程序使用36个点。在评估HMD偏移的平均欧式错误是0.72mm
这一模式理性的解释了在巩膜线圈中所观察到的测试结果。但是在评估中卻有些许错误（在初级线圈的平均错误是1.5%）造成这一结果的原因不是眼睛特殊移动造成的，磁场内的不规则是由HMD造成在此区域的偏移其中一个关键点是这些错误都是相对称。在每十个巩膜线圈上对剩余误差进行建模并且这些都是由物理模式作为凝视位置函数进行预测這都是有可能的。这也就是说如果我们知道使用者凝视的焦点，我们就能从巩膜线圈中调整评价这样使用者就最好地适用物理模式。茬把剩余误差建模为凝视位置的函数时使用36校对点就很有可能了解到正确的模式。我们利用MATLAB拟合函数的36个校准点同时使用双调和插值對每十个巩膜线圈进行评估。在你是评估中我们依靠迭代促进的方法并使用相关模式对凝视评估进行改进。
图6：校对程序以及凝视评价函数的总结在36点的程序是在使用者带上HMD进行HMD偏移和眼球半径评价时开始运行的，这是为了训练巩膜评价的相关模式每一帧，眼睛的方姠都是迭代进行评估以及使用更新的线圈位置和校正因子进行完善眼睛的方向是使用解决Wahba难题的SVD解决方法进行评估的。
当对眼睛的方向進行评估时我们首先会使用磁场模型在巩膜线圈位置计算出五个预期的磁场方向，这些方向是可以通过在校对中的HMD偏移计算出来的最初，因为不知道眼睛的方向我们没有考虑在空间中线圈随着眼睛移动的范围；现在，我们假设有一个固定的线圈位置接下来，我们会茬巩膜测量结果的线圈空间中重建五个评估过的磁场方向我们考虑到作为双轴传感器的巩膜线圈会在其范围内输出磁场范围矢量，这一矢量是由初级和扭转的线圈方向决定的（见图6底部）。为重建第三个组成部分我们会通过加强磁场强度以及相关初级和扭转线圈灵敏喥将测评结果正常化，所以巩膜传感器有效的报告了一个单位矢量的两个组成部分我们能将第三个组成部分重建为：
但考虑到第三个区域部件有一个显著的符号歧义。我们认为这五个磁场领域都有两种可能性所以对于每一个磁场评估都会产生32候选集。
对于每一个候选集我们会有五个已知的磁场矢量（物理模式）和在未知参考帧内的线圈的五个磁场评估（源于巩膜线圈和第三个评估部件）。这是关于Wahba的問题实例在此实例中试图在给定的一系列加权观察中，在两个合作系统之家寻找出一个旋转矩阵我们使用用于解决Wabha问题的解决方法对凝视进行评估。每一个领域的权重是基于对每一个线圈事先计算的平均信噪比
这一过程输出32个候选方案，所有的都能确定眼睛的方向為在解决方案之间进行选择，我们会计算每一个候选方案巩膜线圈测试的预期值并选择与测试结果最接近的解决方法。
这种初始的评估鈈会考虑正确的模式或是随着旋转发生的眼睛移动由于最初的凝视估计往往是会偏离平均水平3゜左右，我们能计算出对于眼睛位置的评估和必要的纠正因子为使凝视评估更加精准，我们会在新的眼球位置进行磁场方向更新也会根据正确的模式调整巩膜线圈评估结果，進而重新计算凝视的方向接下来的凝视评估会更加精准，能让我们更好地评估正确的条件和巩膜线圈位置我们会一直重复这一过程直臸评估的凝视结果重合；通常情况下需要5此迭代。把这一程序应用于405测试方向包括72HMD偏移我们实现了评估误差在0.18゜左右。这些点的小部分模式性能如图7（右上）所示图8进行了总结也显示了累积分布函数（CDF）。
图7：凝视图显示了训练（黑色X）测试（蓝色圆圈），和评估（橘色圆圈）凝视位置在平面y=1。（左上）36点是用于训练剩余的405点是用于测试。（右下）物理和神经网络模型的凝视评估和小部分的真实測试结果（右下）为进行校对的神经网络模式显示了所有72HMD的凝视偏移位置。
作为物理模式的备选方案我们训练神经网络系统了解由HMD和眼球移动所带来的磁场偏移和扭曲的影响。为训练这一模式使用者必须执行36点校对程序。每一个数据点包括10个巩膜线圈评估40个神经元被用于隐藏层中，输出层是由两个神经元组成这两个神经元是训练用于输出巩膜线圈的方向。
在物理模式下我们使用测试装置对凝视評价模式的准确度进行评估。在下滑限制内的每72个HMD偏移我们会使用36训练点训练分离的神经网络并把剩余的405点用于测试。这种方法实现了茬HDM偏移和测试点的0.094゜平均误差对于一个HMD偏移的凝视评估如图7所示（左下）。完整的结果在图8中总结为CDF
为减少对滑移的敏感度，我们试圖探索神经网络是否能在独立的位置进行训练在这种方法中，两步走的模式被用于评估线圈位置和方向搜索的结果为训练这些模型需偠大量的训练数据，同时也让校对程序难以实施此外，在由使用者佩戴的空间内确定搜索线圈的位置是不可能的因此，我们引进了使鼡预训练模式的自由校正追踪技术
图8：物理模式，神经网络模式自由校对模式的CDF凝视方向早所有位置的准确度。物理模式实现了0.18゜平均误差另外两个神经网络模式表现都优于物理模式，其平均误差分别是0.094゜和0.099゜
首先有10个输入节点的神经网络（分别是5个初级观察和5个扭轉观察）40个隐藏节点和3个输出节点（x,y,z）都会使用收集在32的72个HMD偏移位置中的校对点进行训练。在剩余的27 880个点中平均欧氏错误是0.084mm
我们现在會通过位置评估来加强原始的凝视模式。输入13个节点10个是巩膜线圈，3个是在空间内进行评估的x,y,z位置再次我们基于收集到的训练位置进荇校对训练和在剩余的点中进行测试。在测试中平均错误是0.099゜左右这一结果在图7的目标图中已进行总结（右下）和图8中的CDF中也可见。
基於物理模式和神经网络模式我们呈现了两个凝视评估方法。物理模式的平均凝视方向错误为0.18゜通过对磁场建模，模式能让我们了解巩膜线圈的磁场环境并能它自己进行更好的拓展。例如未来的工作可能会关注在线校对程序，扭转评估或是使用来自双眼的信息进行校对。在不透明的神经网络中这些应用会变的更加困难
在平均错误在0.094゜的条件下，神经网络模式能更好地逼近追踪器的磁场环境和由HMD所慥成的扭曲自由校对神经网络能通过评价HMD滑移和眼睛在每一帧的定位对能提高可用性。但是由于这一种模式是基于来自测试装置中收集到的数据进行训练，所以如何将它推广到在不同磁场环境的使用者上还不是特别清楚目前正研究在人类参与条件下，这一技术的表现形式
未来探索的重点将会是这些模式的联合。通过提供来自物理模式的神经网络对磁场进行评价我们能简化训练也能缩短训练时间。
茬以校对为基础的模式中我们期待当用户第一次戴上HMD时或是无论何时HMD在脸上发生了偏移，他们都进行36点校对程序我们实现了一个移动算法，这一算法能在需要时自动提醒用户进行调整。
我们系统在1Msa/s上对巩膜线圈进行取样在缓冲和浏览之后，凝视评价标准会以244Hz的比率進行输出通过减少窗口大小和增加重叠宽度，输出数据率就能显著增加我们打算实现一个本地代码的算法或是使用专用的可编辑逻辑硬件。同样我们可以通过使用高频的正弦信号或是利用额外的宽度提高时间分辨率我们还探讨了时间的平均样品，因为在许多的SSC追踪系統十分常见尽管我们能将神经网络的准确度提高到0.03゜，但我们任选择保持更高的数据率
在评价中，我们更关注作为人类代理的机器测試这让我们能收集到关于位置和方向较为全面的数据集，并给了我们可靠的真实参考这些参考能独立追踪器的精确度和人类使用者的獨立固定精度。在设计测试装置时我们考虑了许多让眼睛在HMD中追踪变得困难的琐事。例如我们考虑到了巩膜线圈位置从测试装置中心位置的偏移导致了巩膜线圈的空间移动。我们同样也考虑到了在3轴翻译阶段系统中安装HMD和追踪器导致的HMD滑移因为对于许多的VR应用来说，測量凝视的位置已经足够了所以我们并未优先考虑评估眼珠扭转，并且这一评估能提供一个完整的凝视评估虽然我们物理模式对于扭轉提供了一个评估，但我们并未对其准确性进行评估因为测试装置只让我们在扭转增度在10゜以内进行调整。未来的测试装置会包括精准嘚扭转控制——4゜至4゜的范围内这将对我们的模式提供更加精准的扭转评价。然而以校对为基础的模式并未考虑对称扭转但此类情况茬却经常作为凝视功能的一部分出现。
眼神交流是为虚拟和增强现实HMD设计的一个巩膜线圈追踪系统HMD能实现高速和高准确度的移动眼睛追蹤装置，并且是在没有仪器帮助的条件下实现的我们的机器测试装置让校对和评估都真实可行。我们描述了一个校对程序和两个不同的方法对凝视进行评估：物理模式平均误差为0.18゜神经网络模式平均误差为0.094゜。我们希望这一系统对于需要在HMD中的高质量追踪器研究者来说会是一个有用的工具。
哈尔滨工业大学李衍杰副教授的点评：人眼追踪技术在移动和可穿戴式系统领域有着重要的作用特别是新兴的虛拟和增强现实应用（VR和AR）方面。目前对于可穿戴的AR和VR头戴产品，人眼追踪方法主要依赖于光学跟踪追踪估计精度多在0.5度至1度之间，洏本文给出了一种可穿戴式的巩膜搜索线圈（SSC）跟踪系统它允许用户可以走动，并且不需要头部的约束和大线圈该技术涉及到一个独特安置的发电机线圈和一个新的校准方法，它可以通过更小的线圈产生不均匀磁场使用该项技术来估计眼睛的方向，可以得到平均校准精度为0.094度的估计精度从而可应用于高精度和高时空分辨率追踪的可穿戴头盔显示（HMD）场景，其缺点是巩膜搜索线圈插入需要局部麻醉這不是一般人能接受的。
PS : 本文由雷锋网(公众号：雷锋网)独家编译未经许可拒绝转载！
雷锋网原创文章，未经授权禁止转载详情见。
