眼动跟踪系统使用普通手机摄像头

过去 40 年来，眼动跟踪技术 — — 这可以确定在哪里的场景中人们指导他们的目光 — — 已被广泛用于心理实验和市场营销的研究，但它是必需一直从找到使用者应用程序的昂贵硬件。
研究人员在麻省理工学院的计算机科学和人工智能实验室和佐治亚大学希望能改变的与任何智能手机也可以变成一个眼动跟踪设备的软件。他们描述他们在一份文件，他们计算机视觉和模式识别会议 6 月 28 日提出的新系统。
除了制作更多的眼球追踪技术的现有应用程序可访问，系统可以启用新的计算机接口或帮助检测早期神经疾病或精神疾病的迹象。
“我们的领域非常的困惑在这鸡和蛋的循环中，”说，阿迪蒂亚科斯拉，麻省理工学院电气工程和计算机科学和共同第一作者，在纸上的研究生。”因为很少有人在外部设备，那里是没有大的激励，为他们开发应用程序。既然目前没有应用程序，就没有激励人们去购买这些设备。我们以为我们应该打破这种循环，尝试用只是你的前置摄像头来使工作在一个单一的移动设备，眼动仪。
科斯拉和他的同事 — — 共同第一作者 Kyle Krafka 的乔治亚大学、 麻省理工学院教授的电气工程和计算机科学沃伊切赫 · Matusik 和安东尼奥 · 托拉尔巴，和其他三人 — — 建立使用机器学习他们视线跟踪设备，电脑学会执行任务通过寻找模式在大型技术设置的训练示例。
在数字科斯拉和他的同事们先前的研究优势的力量是他们不得不处理的数据量。目前，科斯拉说，他们的训练集包括凝视模式从 1500 名移动设备用户的例子。以前，最大的数据集，用来训练实验眼动跟踪系统已经到顶在大约 50 个用户。
组装的数据集，”大多数其他群体往往叫人进了实验室，”科斯拉说。”它是真的很难，放大。调用 50 人本身已经是一个相当繁琐的过程。但我们意识到我们可以做这通过众包。
在文件中，研究人员报告的实验中，首轮使用来自 800 移动设备用户的培训数据。在此基础上他们得以克服以前的实验系统的错误到 1.5 厘米，有两个方面改善系统的边缘。
本文提交以来，然而，他们已经获得数据上另有 700 人，和额外的培训数据已减少到大约一厘米的误差范围。
要了解如何大训练集可能会提高性能，研究人员培训和再培训他们使用不同大小的数据子集内他们的系统。这些实验表明约 10,000 培训例子应该足以降低到半厘米，科斯拉估计会足够好，可以使系统商业上可行的误差范围。
若要收集他们的训练样本，研究人员开发了一个简单的应用程序使用苹果公司的 iOS 操作系统的设备。应用程序闪烁一个小点在某个地方在设备的屏幕上，吸引用户的注意力，然后简要地替换为它的”R”或”L”，指示用户可以点击或者屏幕的左侧或右侧。正确执行水龙头可确保用户实际上已被他或她的目光转移到预定位置。在此过程中，设备相机不断捕捉图像的用户的脸。
研究人员招募通过亚马逊机械土耳其人众包网站的应用程序用户和支付他们一小笔费用为每个成功执行的水龙头。平均来看，数据集包含为每个用户的 1,600 图像。
收紧网研究者的机器学习系统是一个神经网络，这是一个软件抽象，但可以被认为是非常简单的信息处理器安排入离散层庞大的网络。培训修改单个处理器的设置以便数据项目 — — 在这种情况下，静止图像的移动设备用户 — — 美联储到底部图层将处理由随后的层数。最上面一层的输出将计算问题的解决办法 — — 在这种情况下，估计用户的注视的方向。
神经网络很大，然而，格鲁吉亚和麻省理工学院的研究人员使用一种叫做”黑暗知识”技术缩小他们。黑暗知识涉及到产出完全训练好的网络，这是一般近似解，并使用那些和真正的解决方案，很多规模较小的网络进行训练。技术减少约 80%，使它能够更加有效地运行在智能手机上的研究者的网络规模。降低网络，与眼动跟踪可以操作在约 15 帧 / 秒，速度够快到记录甚至短暂的一瞥。
“很多情况下 — — 如果你想要做个用户研究，计算机视觉，在营销方面，开发新的用户界面 — — 眼动跟踪是东西人们一直很感兴趣，但还真的没有可访问的”说挪亚斯内夫利，康奈尔大学计算机科学系副教授。”你需要昂贵的设备，或者它必须很好干扰校正，以工作。所以将工作在每个人都有一个设备上的东西，这似乎很有说服力。从我看到的是，他们得到的精度似乎像在棒球场，你可以做一些有趣的事情。
“兴奋的一部分，他们也创造了这种方式收集数据，并且数据集本身，”斯内夫利补充道。”他们没有会让其他人在这一问题感兴趣的所有跑腿。事实，社会将开始这项工作将导致快速改善。