只管不是面向消费者，但Facebook的系统可以作为“韶光机器”来研究AR/VR交互原型的可用性
（映维网 2018年07月05日）光学动捕是目前普遍采取的高精度，高帧频动捕方法。对付可以供应高达2000Hz可靠亚毫米精确追踪的商业系统，这能够支持殊效，游戏，VR/AR，可用性研究和生物力学等领域的运用。值得把稳的是，实时全身动捕技能使得游戏和电影的虚拟制作运用成为可能。但当涉及到风雅机动的手指动作时，纵然是在风雅的捕获环境，目前任何商业或学术软件都无法产生类似的实时追踪结果。
图1：基于马克点的手部追踪系统，包括双手和手-物交互。Facebook演示了一种新颖的马克点标记与追踪系统，可以在包含频繁遮挡的交互场景中实现全自动的实时的手势预测。标记为左手和右手的马克点分别渲染为橙色和蓝色球体，而与预定义刚体干系联的马克点则渲染为绿色球体。
基于光学马克点的动捕是为殊效，电影和游戏带来高保真人体动画的紧张办法。但是，由于难以在自相似的手指上自动识别（或标记）相同的马克点，因此动捕在人手方面的运用十分有限。Facebook 提出了一种技能：将标记问题架构为有助于采取卷积神经网络的办理方案的关键点回归问题，并演示了这种标记办理方案对遮挡，重影马克点，手形，以及涉及双手或手持物体动作的稳定性。Facebook表示，该技能同样适用于稀疏或密集型标记集，并且能够实时运行以支持高保真手部追踪的交互原型和虚拟现实中的手部临在。
实时捕捉的寻衅在于识别或标记类似的被动马克点。虽然标记问题可以通过主动马克点进行办理，但连线电子或笨重传感器令它们不受欢迎，而主动系统在可以同时追踪的马克点数量上有限。对基于马克点标记的全身追踪而言，一个常见地决方案是从预定义的T-pose型或A-pose开始，然后依赖高帧追踪来向前传播标记。当由于马克点遮挡，虚假反射带来的重影马克点，或者须要捕捉细微枢纽关头所需的密集马克点集而导致追踪失落败时，这种办理方案将失落效。对付身体运动，我们可以通过小心放置摄像头和马克点布局设计来最小化追踪缺点。遗憾的是，由于手指运动的高清晰度，自相似性和小尺寸，这带来了额外的寻衅。特殊是，乃至在常见的姿势中也无法避免频繁的遮挡，比如说拳头。
最近的研究寻求减少手部的马克点密度，并且优化马克点布局，从而肃清标记歧义并最小化对姿势重修的影响。然而，基于稀疏马克点集的方法依赖于首先产生关于手指运动的缺失落信息。这特殊随意马虎受到遮挡或重影马克点的影响。虽然这可以规范化结果，但它们可能导致无相应的动画，或者对付捕捉履行操作任务而言可能不足准确。
Facebook发明的技能可以将前辈的标记与追踪技能用于稀疏马克点集，以及捕捉完全手部26自由度的密集马克点集。Facebook依赖卷积神经网络（CNN）来预测由动捕系统检测到的3D马克点位置标签。值得把稳的是，Facebook将问题作为2D图像上的关键点估计问题，由于CNN已经证明了厥后果。为了知足对高质量ground truth的需求，Facebook在精心设计的数据增强程序中利用了合成数据进行演习。在运行时，每当须要重新初始化标记追踪的时候，CNN的输出就用于初始化标记。这种在线标签使Facebook能够实时重修手部姿势。只管是利用合成数据来演习网络，但结果表明它很好地概括了实际数据，包括各种全新的手部比例和演习集中所短缺的活动。其余，对付与工具和环境交互中涌现的遮挡和重影马克点而言（见图1），结果表明Facebook的网络十分稳定。合成数据的灵巧性同时许可测试不同的马克点布局。Facebook的研究结果表明，CNN标记同时支持Alexanderson及其同事研究的类似稀疏马克点集。
只管Facebook的马克点标记步骤不是特定于用户，但可以在运行时以交互办法校准用户的马克点配置，从而实现最高质量的追踪。捕捉引人入胜的演出，Facebook演示了实时标记和追踪系统的稳健性，如工具操纵，手手交互，舞蹈，以及演奏乐器。只管不是面向消费者，但Facebook的系统可以作为“韶光机器”来研究AR/VR交互原型的可用性，从而为未来的产品供应即时反馈。其余，自然手手交互和手物交互数据可以渲染成深度图或RGB图，为办理无标记点手部追踪演习深度学习模型。
为了支持后续的研究，Facebook公开了演习数据集，以及Facebook的演习卷积神经网络。
干系论文：Online Optical Marker based Hand Tracking with Deep Labels
原文链接：https://yivian.com/news/47649.html
