把混合现实装进车里？微软和大众这么干了！

作为探索混合现实技术的先行者，大众汽车在2020年就已为 ID. 系列电动汽车引入了 MR 平视显示屏，将导航箭头、车道标记和其他信息投射到汽车前方的环境之中。

大众汽车集团数据科学团队负责人 Andro Kleen 表示：“我们认为，混合现实是我们能够提供的最直观信息，它可以增强客户的用户体验。”所以，大众对于混合现实潜力的探索，在更早的时候就已开始。

这正是大众汽车所设想的未来，将增强现实技术作为未来移动概念的主要组成部分。为了实现这一愿景，大众选择与微软合作，并首先将 HoloLens 2用于移动车辆。

在2015年，大众汽车启动了一个结合无人驾驶汽车和混合现实技术的培训项目Race Trainer。在测试时，这个系统可以在学员前方的平视显示器叠加箭头线和制动提示，从而引导他们完成一系列的课程。

与此同时，大众也开始在汽车驾驶项目中使用 HoloLens 2。但在研究如何使用增强现实耳机来教司机如何更快地绕过赛道时，大众发现传感器“晕车”了，失去了追踪能力，全息图也消失了。HoloLens 使用相机传感器和惯性测量单元（IMU）来跟踪运动，测量加速度和旋转速度。但在移动环境中，这两个传感器的读数会出现冲突，进而导致无法识别。为此，大众汽车向微软寻求帮助，双方从2018年开始了合作之旅。

“在经过大量的讨论后，我们了解到大众汽车的用例，以及希望实现的目标。为 HoloLens 2开发移动平台功能，是首先要解决的难题。”微软3D计算机视觉和机器学习专家 Marc Pollefeys 如是说。

为解决这一问题，Marc Pollefeys 团队开始对传感器之间的差异进行建模，以支持HoloLens继续追踪和提供合适视图的算法。由于 Covid-19 的限制，分布在全球各地的研究人员，以远程的方式，通过搭乘有轨电车和公共汽车、上下乘坐电梯等方式，来测试全息图在车辆移动时能保持恒定。

最终克服种种困难，微软和大众汽车联合开发出了 HoloLens 2移动平台功能，从而确保设备在移动平台中提供稳定的全息图像显示，允许汽车在连接的 HoloLens 2 上显示实时信息, 并将虚拟对象投放在汽车内外部。

HoloLens 2将虚拟地图投影到汽车仪表板上，如导航箭头和关键十字路口的信息。

HoloLens 2将移动平台投影到汽车仪表板上，能提醒司机即将出现人行横道。

HoloLens 2与车辆数据直接通信，可以通过手势调节温度或控制气流的强度和方向。

HoloLens 2的移动平台功能对海事公司也有很大的吸引力，能帮助他们在出海过程中进行设备故障维修。未来，微软还将继续完善 HoloLens 2 的功能，在电梯、火车、汽车和其他移动环境投入使用，同时为更多的消费者提供无缝、互联的移动体验。

HoloLens 2是一款不受线缆束缚的头戴式全息计算机，采用符合人体工程学的设计，具有企业级应用程序，可提高用户准确性和输出，提高组织的工作效率。利用 HoloLens 2缩短停机时间，促进员工队伍转型，构建敏捷工厂；使团队安全工作，缩短护理时间，远程与专家保持联系，提供实时数据更新迭代；借助 3D 形式传达复杂概念的课程时间，改革课程设置，开展体验式学习。