自闭症XR将自闭症的学生与虚拟人配对，虚拟人在社交场合指导他们。我们与这个屡获殊荣的基于Web的AR程序背后的老师Marc Petz进行了交谈。

当马克·佩茨(Marc Petz)是密歇根州肯特职业技术中心的一年级计算机图形/动画讲师时，一位同事正在努力满足自闭症学生的需求。Petz的班级被要求开发视觉吸引人的故事，让学生可以用来进行有针对性的社交行为，Autism XR诞生了。

基于网络的增强现实计划让学生与虚拟人一起参与场景，这些人通过面部识别和自然语言处理，在特定的社交场合指导他们。基于应用程序的虚拟现实原型Autism XR的第一版，在三星的“为美好的明天而奋斗”竞赛中名列前十名。现在，它已被重新构建为通用的AR程序。

Petz还一直与同事Mary Musto合作编写一本有关包容性学习环境的儿童书籍，并通过一家名为Kit Tales的初创公司与他的孩子们编写了互动故事。我们最近与他交谈以了解更多信息。这是我们对话的摘录和摘录。

马克(Marc)，请解释自闭症XR如何发展。

我们决定将想法的方向转向完全基于Web的交互式AR环境，该环境目前是一个实验平台。鉴于与Google ARCore，WebXR和电话技术相关的当前限制，我们被迫即兴创作。

一个示例是应用程序的眼睛检测组件。当浏览器中有AR会话处于活动状态时，我们无法拆分前后摄像头的分配。因此，我们必须使用相机所面对位置的相对坐标，而不是实时的眼睛跟踪。

该应用程序的当前迭代中包含多少种方案?哪些被证明是最有用的?

当前已构建了9个方案和一个方法/教程方案。我们的两个研究场景之一已在具有高中学生的多个教室的小型研究中使用。“与您认识的人开始对话”非常有用，并且产生了惊人的结果。

马克·佩茨在教室里

您雇用配音演员了吗?

不，大部分角色配音来自我的妻子，孩子和我自己。一些学生也为表演做出了贡献。我在为语音表演而建的小型便携式录音棚中录制了所有语音表演。

需要特别注意的是，只要用户的设备可以运行WebXR，该程序就可以在不需要特殊设备的情况下工作-无需VR头戴式耳机或AR修饰眼镜。

我们肯定看到了一个机会，来建立一种有潜力使许多人受益的工具，消除任何障碍是当务之急。高端VR和AR设备具有许多巨大的优势，但是我们很早就决定希望我们的解决方案易于访问，易于使用且价格合理。WebXR是使我们能够实现这些目标的平台。

与我们讨论安装过程。

自闭症XR使用WebXR功能，这仍然是一项实验性技术，如果用户拥有受支持的电话，则必须采取一些步骤。这项技术的主要参与者将受支持的设备限制为大多数最新的移动设备。确定是否支持Android设备的一种简单方法是访问Google Play商店，然后尝试安装Google ARCore应用。如果Play商店提供了它，那么您的设备完全支持WebXR看起来不错。

安装了ARCore之后，我们需要在移动设备上安装Chrome Canary实验性浏览器。Canary浏览器已启用所有XR技术(与主流的Chrome浏览器不同)，我们发现版本70对于当前版本是最稳定的。

安装了Google ARCore应用和浏览器后，下一步该怎么做?

完成Google Chrome Canary v70浏览器的安装后，在您的Canary v70浏览器中输入Chrome：// flags。在Chrome：// flags页面上搜索WebXR，并启用搜索返回的所有结果。这将使您的设备通过浏览器使用WebXR内容。如果您能够成功完成前三个步骤，则可以打开Chrome Canary v70浏览器并导航到marcpetz.com并开始使用Web应用程序。

自闭症XR

您在应用程序中嵌入了哪些机器学习元素，它们如何增强体验?

我们正在使用TensorFlow作为机器学习元素。我们正在使用它在应用程序中构建面部/情绪识别组件。由于要使AR会话在移动设备上拆分前后共享摄像头的挑战，该应用程序的这一部分尚未完全实现。当前的情绪检测构建具有良好的信心，因此，我相信，一旦将其完全集成到Web应用程序中，它将通过指导用户针对各种情况练习适当的面部表情和情绪响应，从而极大地增强学习体验。

您与肯特ISD过渡中心(特殊教育/赠予计划)的教师顾问和干预专家Mary Musto合作。您是否一起进行了特定的学术研究?

她的经验和背景是开发有效内容不可或缺的一部分。关于VR / AR和自闭症的研究很少，但是我们确实发现许多研究表明，关于技术在改善自闭症谱系障碍者的交流和社交行为方面的潜力，结果令人鼓舞。

您是如何测试程序的?

我们能够从我们的学区获得批准，以进行很小规模的研究，以验证该计划以及该计划在改善定位行为方面的有效性。尽管由于参与者很少，我们的研究可能被认为是微不足道的，但我们的研究结果令人瞩目，并且无疑证明了扩大研究试验的合理性。学生从训练中改善了目标行为，并将从训练中学到的行为推广到其他行为。

在研究结束后，我们进行了调查，所有参与研究的学生都表示他们很喜欢使用该应用程序，并且有趣且易于使用。他们对改善目标行为给予积极评价，并推荐其他人使用该应用程序。他们还表示，他们希望将其用于其他社交技能和行为。

自闭症XR的下一步是什么?

我们目前正在寻求资金以继续开发该应用程序。到目前为止，它已经由高中和大学生组成的小型小组全面开发，我们的目标是让学生参与开发。我们的目标是继续发展自闭症XR，其愿景是最终将帮助人们并改善他们的生活的应用程序。

---

版权说明： 本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。

---

标签： 社交