作者信息

楼小龙 博士

杭州电子科技大学

硕士生导师、本文第一/通讯作者。毕业于浙江大学计算机科学与技术专业，研究方向包括虚拟现实与人机交互技术、感知计算与自然用户界面设计等。近年来在虚拟现实与人机交互、人因工程领域知名期刊和国际会议发表多篇学术论文。先后主持承担中国国家自然科学基金、科技部计算机软件新技术国家重点实验室开放课题、浙江省自然科学基金、浙江省软科学重大研发项目 (课题) 等。论文研究工作获得中国国家自然科学基金委、北京航空航天大学虚拟现实技术与系统国家重点实验室开放课题经费支持，并得到重点实验室赵沁平教授 (本文第二作者) 团队技术支持。

引言

基于上臂运动感知的自然手势交互技术与人机交互界面，对虚拟现实 (Virtual Reality, VR) 应用中的操作任务绩效具有重要影响。

来自杭州电子科技大学的楼小龙博士团队在 Applied Sciences 期刊发表了题为 "Arm Posture Changes and Influences on Hand Controller Interaction Evaluation in Virtual Reality" 的文章。研究团队关注到 VR 应用中的自然手势交互界面由于缺乏科学、统一的设计范式和指导原则而出现良莠不齐的设计解决方案。本文从人类上臂的生物力学结构和运动学特征出发，探索不同手臂弯曲姿态和操作角度下的手势操作精度和用户感知疲劳度差异，继而提出了基于上臂操作姿势感知的自然手势交互界面工效学优化策略，并拓展了以费兹定理为代表的传统交互界面评估方案。

研究过程

本研究通过一个基础且具有代表性的目标选取自然手势，利用交互实验来模拟并采集用户在不同手臂操作位置和姿势下的交互任务完成绩效。然后实验员通过 Unity 3D 完成目标选取、实验程序和交互界面的开发。

▪ 第一部分

实验以多轮重复测量任务进行设计。实验中设计的自变量包括手臂的水平操作角度、手臂弯曲姿态，以及手臂操作垂直高度 3 项 (如图 1 所示)。由于在 VR 自然手势交互任务中，目标操作的准确性 (精确性) 和操作舒适性是影响人机交互工效和体验度的核心要素，因此实验中将目标选取准确率和用户主观感知疲劳度作为任务绩效评估指标。

图 1. 实验自变量：(a) 手臂操作水平角度；(b) 手臂弯曲姿态；(c) 手臂操作高度。

▪ 第二部分

实验中采用 Oculus Rift 作为 VR 头显设备，Oculus Touch 作为自然手势操作控制器，并通过一个 ASUS Xtion RGB-Depth 深度传感器配合 OpenNi 自然交互开源框架实现了一个基于用户骨骼关节点捕捉与追踪的目标定位技术。

▪ 第三部分

实验采用 SPSS 软件作为分析工具，通过多因素方差分析方法和 T 检验进行统计学意义上的分析。针对不同手臂弯曲姿态下的目标选取任务绩效对比发现，完全弯曲的手臂姿态下交互任务产生的错误率最低，半弯曲的手臂姿态次之，而伸直的手臂姿态产生的错误率最高，而且以上差异化结果具有统计学上的显著性 (如图 2 所示)。

图 2. 不同手臂弯曲姿态下的自然手势交互任务错误率对比结果。

针对不同手势操作高度上的目标选取交互任务绩效对比发现 (如图 3 所示)， 手势操作位置越低则产生的交互任务错误率越低，且差异化显著。

图 3. 不同操作高度上的自然手势交互任务错误率对比结果。

研究总结

基于以上实验发现，本文详细探讨了面向一般 VR 应用的自然手势交互界面设计规范和工效学优化策略。结论如下：

●相比手臂伸直姿态下的手势交互 (或在较远距离空间中的手势操作任务)，手臂弯曲姿态下的 VR 自然手势交互 (或在近距离空间中的手势操作任务)，有更高的精确性和主观体验评价；

●相比低位空间中的手势操作，在高位空间中的自然手势操作会产生更高的错误率，且后者产生的主观感知疲劳度更为明显，影响 VR 应用中的自然手势交互任务的持续性；

●手势交互在 VR 空间中呈非对称性结果，即无论是左手交互还是右手交互，操作手在顺手侧空间中的交互比逆手侧空间中的交互更为准确；

●利手性优势在自然手势交互的持久性和主观感知体验方面有体现，但是在 VR 空间目标选取操作的准确性上无体现。

原文出自 Applied Sciences 期刊

Lou, X.; Zhao, Q.; Shi, Y.; Hansen, P. Arm Posture Changes and Influences on Hand Controller Interaction Evaluation in Virtual Reality. Appl. Sci. 2022, 12, 2585.

微信链接：https://mp.weixin.qq.com/s/C4ARL2IUCD4ZzB-zLzhEvg

Applied Sciences 期刊介绍：

主编：Takayoshi Kobayashi, The University of Electro-Communications, Japan

期刊主题涵盖应用物理学、应用化学、工程、环境和地球科学以及应用生物学的各个方面。截止目前被 SCIE、Scopus 等多种数据库收录，JCR 分区在多学科工程以及应用物理领域都在 Q2。

2020 Impact Factor：2.679

2021 CiteScore：3.7

Time to First Decision：16 days

Time to Publication：37 Days