新闻与事件

IIDE学术报告会：赵晨博士分享回顾

VR，AR&MR in HCI Research and Design

IIDE学术报告会邀请海内外具有丰富设计经验和重要影响力的产业界专家和成熟设计师等，分享业界前沿设计案例，共同交流行业内的主流设计内容和新技术运用，旨在宣传创新设计理念，营造国际化设计教育氛围，丰富学生设计经验、实践经验和行业视野。

IIDE Academic Lectures invites industry experts and senior designers with rich design experience and important influence from home and abroad to share cutting-edge design cases and exchange design trend and new technology application in the industry. It aims to spread innovative design ideas, create an atmosphere of international design education, and enrich students' design experience, practical experience and industry vision.

10月17日上午10点，上海交大设计学院设计系特邀阿里巴巴达摩院NHCILab的负责人赵晨博士，在zoom会议室分享了她在人机交互领域里关于ARVRMR 设计与研究方面得多年从业心得。本次讲座由张湛老师主持。讲座题目为《VR，AR&MR in HCI Research and Design》。

赵晨博士先从概念解释入手，先对HCI，Human Factor 和 Ergonomics 几个领域名词进行了解释。考虑到学生是处在研究生阶段，未来可能继续读博或者毕业照设计相关的工作，赵博士着重介绍了HCI领域里三个顶级学术会议的信息，和HCI相关的就业方向。有了这些基本信息的铺垫，赵博士进入到本次分享的正题。她从VR/AR/MR的定义介绍开始，通过对几组学术界近几年优秀学术论文的解读，她重点阐述了四个HCI Community对VRARMR领域研究的兴趣点，同时，她将自己的丰富的工业界实战经验融入到分享中，既有广度，亦有深度，让同学们对VR/AR/MR领域里的设计和研究问题有了大致的了解。

赵博士首先从定义出发，她说：“在许多新科技领域，都是先有技术，后有定义和名字。”VR/AR/MR 还处在十分早期的阶段，对于这些名字的理解学术界，工业界，和消费者都有自己不同的解释，她引用了密歇根大学Michael Nebelling 的一篇论文，其中详细讨论了对于不同业界从事者对于VR/AR/MR概念不同理解。但正是这些不同的观点，正是这些对于这些概念的不断定义和完善的过程中，VR/AR/MR领域逐渐的壮大，成熟起来。

赵博士把现阶段的VR/AR/MR产品和技术和1970年代出现的触屏技术作对比，触屏技术作为HCI的第二波浪潮（second wave），从出现到成为消费级产品，横跨了30年。VR/AR/MR可以说是HCI领域的第三波浪潮，也必经历类似的历史轮回。借此，她提醒大家想要成为VR/AR/MR领域的设计者，大家要能耐得住性子，时间是检验真理的一切标准。而赵晨博士所领导的NHCI Lab 也正是在这波浪潮的最前面，做着大胆而研究的学术研究，并尝试将创新落地。什么是下一代交互设计是她的团队所探讨的问题。在触屏时代，人们机器交互的方式全由一两根手指来完成，但人作为一个多感官动物，我们体验的丰富度，很大程度上并不是单单又视觉和手部活动决定的。赵晨博士说，人机交互的未来一定是能够将人类的六感信息都应用起来的多模态交互，而且这种交互方式会让我们与机器的交流更加的自然，不可以，甚至可以不占用过多的认知资源，这也是她的实验室叫NHCI （Natural Human Computer Interaction）Lab的原因。

VR/AR/MR技术的发展不断增大了这种自然人机交互的可能性。但是新生领域也带来了大量的新型问题，过去几十年2D人机交互领域里发展出来的如设计规范和可用性法则，到了3D的VR/AR/MR应用场景里，却不那么好使了。赵博士为我们重点讲解了现阶段HCI领域对于VR/AR/MR研究的四个主要关注点：

1.      Design & Evaluation

2.      Haptics

3.      Accessibility 

4.      Development Tool

首先Design & Evaluation，她列举了开发一个AR/VR应用8个核心障碍，其中包括缺乏合理详细的设计范式，功能有限的设计工具，以及无普适的用户测试和评估的方法。

接下来，她从四个方面解读AR/VR设计的难点和可行方案：

1.      Navigation

2.      Object Selection

3.      Object Manipulation

4.      Whole Body Movement

因为AR/VR其本质上是对于信息的一个升维处理，从可看，可点击，可听，逐步到可摸，可（全身）动，可闻，对于人多感官的调动，从而营造immersive的交互体验。赵博士说Immersion是AR/VR设计的关键词。导航（Navigation），物体选择（Object Selection），物体操控（Object Manipulation）和躯体移动（Movement） — 这四种基本交互行为，在2D人机交互里，不过是动动手指的简单事情，到了AR/VR这里，却变得复杂无比。导航（Navigation）在2D应用上是纯视觉任务，但在AR/VR应用里，问题就变成了，什么时候有Visual Aid?在哪里显示，放在中心会不会打扰用户的沉浸式体验，放在视周围，用户会不会注意不到？光有视觉够够不够？赵晨博士给我们着重介绍了两种方式，一种是利用用户的眼动数据训练了一个LSTM模型，在应用运行过程中，如果识别到具有迟疑特征的眼动数据，则会显示视觉提示，其余时候，用户可以自由探索虚拟世界[1]。这种方法既提供了有效的路径寻找的提示，也没有过多破坏沉浸式体验。第二种是利用声音提示，纯音乐，音乐+对话提示，纯对话提示[2]在不同情景下的利弊。结合着两个研究，也许视听组合拳才是打败AR/VR导航问题的葵花宝典。

对于物体选择（Object Selection），赵博士给我们介绍了这样一个研究，Ludwig Sidenmark,等人用眼动数据辅助用户选择虚拟环境中被遮挡的物体，相较于纯手柄控制选择，眼动辅助的方式，取得了不错的准确度和速度[3]。物体操控（Object Manipulation）in VR/AR是指用户借由虚拟手抓取，摆弄虚拟物体。研究显示，模拟人真实的抓取行为，更受到用户的喜爱[4]。最后是躯体移动（Movement）， VR/AR应用给全身运动提供了可能性，赵博士在这里提到了一个用AR可以用来辅助指导人们做复健的案例[5]，也提醒设计者们，这个案例显示，老年人对于这种新型技术的接受度也是随着年龄的增大逐渐减小的。

接下来，赵博士也着重探讨了VR/AR/MR领域里关于触感 (Haptics)的研究。她先从提供触感的设备说起，以力反馈触感装置为主，现阶段比较热门的触屏触感装置也致力于模拟不同的材质，这也是赵博士十分感兴趣的方向。她说在阿里巴巴新零售的背景下，假想未来，也许你不用去商店购物，在家里就能触摸感受衣服的材质。在VRAR领域里的触感装置主要集中在手套，制服，鞋子上。其中RealWalk[6]就是一款触感反馈的鞋子，用户可以在虚拟世界中行走，感受不同的地面情况，草地，还是雪地，全凭造物者心意。而赵晨博士的NHCI 实验室现在做的触感相关的研究，则使用到了Mir-Air Haptics, 就如这个名字，空气将里的变化传递到之间，配合是3D动画，也能产生不错的视觉触感（Haptic illusion）。

关于VR/AR/MR里Assembility 的问题，赵博士向我们表达了她的忧虑，现阶段VR/AR/MR是依赖于视觉主导的交互模式的，但对于盲人等残障人士来说，他们怎样也能获益于这种技术，是设计师需要解决的问题。如果设计的用心，阻碍他们使用这种技术的原因会转变成使用这种技术的益处，就比如VR/AR/MR技术则可以帮助盲人导航。

对于想要进入VR/AR/MR设计者来说，没有合适的原型开发工具，也是很多设计师对这个领域望而却步的原因，因为对他们来说，这个领域现在似乎充斥着极客和游戏爱好者，但在Rapid Prototyping of Augmented Reality & Virtual Reality Interfaces这篇文章里，作者就详细介绍了几种不同的快速原型制作的方法和工具，好消息是，纸面原型还是一如既往的方便快捷。

分享的最后赵博士介绍了NHCI Lab团队近期的一个实验性产品叫做Refinity，这个产品调动用户的多重感官，它使用眼动追踪的裸眼3D显示器，允许用户手动操控，提供空中触觉，让用户自由的选择虚拟产品并与之互动，无需可穿戴设备。机遇和挑战共存，赵晨博士和一批HCI前沿设计师，研究者和工程师一起大胆的面对挑战，重新定义人机交互的可能性，描绘人机交互的未来。她也希望能看到更多的优秀设计力量能加入到这个浪潮中来。

最后的Q&A环节里吴湛微老师对本次讲座做了相关总结并提问互动，赵晨博士从自身经历出发勉励学生们探索新技术新科技与设计的关系，韩挺院长也参与进来与赵晨博士进行了亲切交流，本次讲座圆满结束！

[1]Rawan Alghofaili, Yasuhito Sawahata, Haikun Huang, Hsueh-Cheng Wang, Takaaki Shiratori, and Lap-Fai Yu. 2019. Lost in Style: Gaze-driven Adaptive Aid for VR Navigation. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (CHI '19). Association for Computing Machinery, New York, NY, USA, Paper 348, 1–12. DOI:https://doi.org/10.1145/3290605.3300578

[2]Paulo Bala, Raul Masu, Valentina Nisi, and Nuno Nunes. 2019. "When the Elephant Trumps": A Comparative Study on Spatial Audio for Orientation in 360º Videos. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (CHI '19). Association for Computing Machinery, New York, NY, USA, Paper 695, 1–13. DOI:https://doi.org/10.1145/3290605.3300925

[3] Ludwig Sidenmark, Christopher Clarke, Xuesong Zhang, Jenny Phu, and Hans Gellersen. 2020. Outline Pursuits: Gaze-assisted Selection of Occluded Objects in Virtual Reality. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems (CHI '20). Association for Computing Machinery, New York, NY, USA, 1–13. DOI:https://doi.org/10.1145/3313831.3376438

[4]Katja Rogers, Jana Funke, Julian Frommel, Sven Stamm, and Michael Weber. 2019. Exploring Interaction Fidelity in Virtual Reality: Object Manipulation and Whole-Body Movements. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (CHI '19). Association for Computing Machinery, New York, NY, USA, Paper 414, 1–14. DOI:https://doi.org/10.1145/3290605.3300644

[5]Fariba Mostajeran, Frank Steinicke, Oscar Javier Ariza Nunez, Dimitrios Gatsios, and Dimitrios Fotiadis. 2020. Augmented Reality for Older Adults: Exploring Acceptability of Virtual Coaches for Home-based Balance Training in an Aging Population. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems (CHI '20). Association for Computing Machinery, New York, NY, USA, 1–12. DOI:https://doi.org/10.1145/3313831.3376565

[6]H. Son, I. Hwang, T. Yang, S. Choi, S. Kim and J. R. Kim, "RealWalk: Haptic Shoes Using Actuated MR Fluid for Walking in VR," 2019 IEEE World Haptics Conference (WHC), Tokyo, Japan, 2019, pp. 241-246, doi: 10.1109/WHC.2019.8816165.

[7]Michael Nebeling. 2019. Rapid Prototyping of Augmented Reality & Virtual Reality Interfaces. In Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems (CHI EA '19). Association for Computing Machinery, New York, NY, USA, Paper C12, 1–6. DOI:https://doi.org/10.1145/3290607.3298813

文字 / 图片：鹰兔兔设计

审核：张湛