机器之心报道
作者：杜伟涵盖2D和3D特征点、语义分割、3D眼球注释以及注视向量和眼动类型等因素，德国图宾根大学的研究者创建了全球最大的人眼图像公开数据集——TEyeD。在当今世界，基于图像的眼动追踪（eyetracking）变得越来越重要，这是因为人眼运动有可能变革我们与周围计算机系统交互的方式。此外，眼动的方式可以识别甚至在某种程度上预测我们的行动和意图，所以眼动分析可以赋能新的应用，特别是与VR或AR等现代显示技术结合时。例如，人眼注视（gaze）信号连同人机交互的可能性，使得残疾人能够借助专门为其疾症设计的特殊设备来与环境进行交互。在手术显微镜的应用场景中，外科医生必须进行多种控制行为，这时视觉信号可以用于自动对焦。人眼注视行为还可用于诊断精神分裂症、自闭症、阿尔茨海默症、青光眼等多种疾病。在VR或AR游戏中，人眼注视信号可用于减少渲染资源的计算。除了人眼注视信息以外，对人眼的观察还可以带来更多信息源。例如人眼闭合的频率可用于衡量人的疲劳程度，这是汽车驾驶和航空飞行场景中的一种有效安全特征。另一个重要的信息源是瞳孔大小，它可以作为估计指定任务中人们认知负荷的基础，然后调整内容（如基于媒介的学习）以更好地适应人的精神状态。最后，借助虹膜特征以及个人的人眼注视行为，人眼相关的信息可以在生物识别过程中得到应用。近日，来自德国图宾根大学的研究者创建了世界上最大的、统一人眼图像公开数据集TEyeD，这些图像均通过头戴式设备拍摄获取。具体而言，TEyeD的创建过程中使用了七种不同的头戴式眼动追踪器，其中两个还结合了VR或AR设备。TEyeD中的图像在不同的任务场景中获得，包括乘车、模拟飞行、户外体育运动以及日常室内活动。此外，数据集中的人眼图像包括2D和3D特征点、语义分割、3D眼球注释以及注视向量（gazevector,GV）和眼动类型。对瞳孔、虹膜和眼睑均提供了特征点和语义分割，视频长度从几分钟到几小时不等。TEyeD数据集拥有多万张精心注释的人眼图像，为推动现代VR和AR应用中计算机视觉、眼动追踪和注视估计领域的研究提供了独特且一致的资源和良好的基础。论文