高通最新的VR/AR芯片揭示了关于Quest 3及其后续产品的许多信息
高通VR/AR芯片透露了有关Quest 3及其后续产品的许多信息
如果你想了解虚拟现实（VR）和增强现实（AR）的未来发展方向，首先要看芯片。多年来，高通的芯片一直驱动着大部分的VR和AR设备，通常在设备采用之前就已经预示了哪些头戴设备将会采用它。高通的新一代Snapdragon XR2和AR1芯片，首次亮相于Meta的新Quest 3和更新的Ray-Ban眼镜上，值得关注的是它们并不限于Meta的产品。它们也将出现在其他许多地方。
随着苹果准备在明年推出Vision Pro硬件，VR/AR（或XR、空间计算，无论你选择称之为什么）领域的其他厂商也在跟进。三星、谷歌和高通正在准备某种混合现实硬件平台。高通还与游戏开发商Niantic合作开发某种AR眼镜，并且仍然与微软合作开发Hololens之外的未来混合现实软件/硬件。高通与Meta有合作伙伴关系，其AR/VR芯片首先出现在Meta的硬件上，但它们不会止步于此：想想HTC、Pico和其他厂商。
我们与高通的XR负责人Hugo Swart进行了交谈，以了解这些变化对未来产品的影响。
VR获得混合现实和人工智能的提升
新的Snapdragon XR2 Gen 2芯片组最大的优势，除了提升的图形和处理能力外，是其改进的透视混合现实功能。目前这是头戴设备的一个趋势：与其试图通过在透明显示器上浮动图像来实现增强现实（虚拟物体和音频似乎出现在现实世界中），当前的一波VR头戴设备现在显示通过它们的摄像头捕捉到的真实世界的视频，并在其上叠加图形，以创建一种类似AR的效果，而不需要透明镜片。
一些现有的头戴设备已经这样做了，例如Varjo XR-3和Aero以及HTC Vive XR Elite。苹果的Vision Pro也是如此，Meta Quest 3也是如此，Meta的下一代VR头戴设备将于十月份发布。
不过，XR2 Gen 2芯片似乎可以做更多的事情。Quest 3没有眼部或面部追踪功能，但XR2 Gen 2可以同时追踪多达10个摄像头或传感器：全身追踪器、面部和眼部追踪、外部摄像头等等都可以轻松地混合到未来的头戴设备上。它看起来是一款更适合同时运行多个传感器的芯片。
已经有很多VR健身应用程序，例如Supernatural（如图所示）。我们会不会终于看到与VR配合使用的健身追踪器和传感器？
Within
通过配件实现健身的可能性
这些额外的带宽可以应用于更好地与配件配合使用，尤其是健身方面。Swart认为，XR2 Gen 2芯片上的人工智能处理的进步有助于更智能的虚拟训练。他说：“你可以更好地了解用户所进行的动作，然后在有虚拟教练的情况下提供指导，它不仅告诉你该做什么，还可以监测你的动作，并给出建议。”
高通已经在探索将VR、AR和手机结合在一起。这种关系也可能扩展到其他配件，并且XR2 Gen 2芯片可能更适合处理这些多重关系。Swart表示：“它可以是一个专用的配件。或者它可以是一款智能手表，可以与体验相结合。或者传感器。”他说：“我坚信这些事物的潜力。”
高通已经在使用手机摄像头进行VR健身的原型研究，Swart说：“我们正在开展一个以健身为基础的项目，你可以将手机用作摄像头。”他说：“你将手机背对着自己，在VR中进行健身运动，捕捉用户的动作。我们可能会看到更多的传统健身和健康品牌将XR功能添加到他们的服务中。”
混合现实中手部追踪的改进
虽然Meta尚未在Quest 3上展示手部追踪的重大变化，但这很可能会发生。Swart说：“我们的AI处理能力是以前平台的八倍。我认为手部追踪是一个真正从人工智能中受益的例子。”但他指出，同时进行头部和手部追踪以及环境感知是更具挑战性的组合。“当你谈论环境映射、物体映射、在体验中识别物体，以及在你面前移动的事物时，这是很多事情，可能我在旧平台上可以分别完成，但要同时运行所有这些，那就是魔力所在。”
人工智能的重点
今年热门的技术——人工智能（AI）——在增强现实（AR）和虚拟现实（VR）领域发挥了一个有趣的变数。Swart认为，人工智能在混合现实中提供更多即时体验方面起着重要作用。像Roblox这样以元宇宙为重点的公司已经开始依赖人工智能。
Swart说：“最理想的情况是，我走进一个房间，立即通过通用人工智能（gen AI）为我创造一个新世界的房间。但我认为像与数字化身NPC互动并与其进行对话这样的简单事情，这种技术现在就已经存在。”
Meta最新款的Ray-Ban智能眼镜使用了AR1 Gen 1芯片，承诺提供更好的音频和摄像质量。
Scott Stein/CNET
高通的AR1 Gen 1芯片：智能眼镜的中间路径
高通宣布推出另一款芯片，也将在新的Meta产品中首次亮相：Snapdragon AR 1 Gen 1。Meta最新款的Ray-Ban配备了摄像头和音频的智能眼镜利用了该芯片的部分功能，但并非全部。尽管有“AR”的名称，但该芯片完全不侧重于3D视觉。相反，它侧重于相机、音频和人工智能在更小、看起来几乎正常的智能眼镜上的性能提升。Meta最新款的Ray-Ban眼镜就是一个典型例子。它们拥有更好的麦克风和更好的摄像头，但没有显示屏。然而，高通的AR 1 Gen 1芯片确实可以支持显示屏，每只眼睛的分辨率高达1280×1280像素。
新的眼镜芯片还支持最多八个麦克风（Meta使用了五个），Wi-Fi 7以及许多关于眼镜上的人工智能改进，如基于文本的视觉搜索（类似于Google Lens）和AI辅助噪音消除，这可能会带来类似于苹果的AirPods Pro 2自适应音频所能做到的音频技巧。
高通推广其新的人工智能改进，旨在用于基于语音的助手、导航、物体识别等方面，这些听起来很像多年前Google Glass所梦想的东西。此外，还有适用于健身传感器的可能性。Swart表示，由于芯片处理带宽的提高，这种运用健身传感器的可能性更多是一个理论上的可能，这让我想知道何时会有配备传感器的健身眼镜开始出现。这是非常有意义的。
高通计划推出与手机兼容的AR眼镜。现在技术已经存在，但仍在不断发展中。
Qualcomm
AR眼镜如何？
这款新的眼镜芯片无法实现完全的6DoF（六自由度）3D增强现实（AR）。高通去年推出了另一款更高功率的AR眼镜芯片——AR 2 Gen 1，它能够实现这些功能，但迄今为止，还没有使用该芯片的眼镜问世。
Swart表示：“推出这些（AR眼镜）产品的时间比预期要长一些。芯片并不是制约这种类型眼镜的唯一障碍……我认为我们必须关注显示屏和光学领域，这是阻碍设备更快上市的领域之一。” Swart认为，高端AR眼镜的开发与更简化、非AR眼镜的开发是“并行进行”的，前者将使人们在未来接受更先进的硬件之前对这个概念感到舒适。
目前，虚拟现实（VR）头盔似乎被临时用作大多数人尝试增强现实（AR）的方式。新款Quest 3依赖混合现实作为其真正的重要新功能，而苹果的Vision Pro也在做同样的事情。
这可能意味着在接下来的几年里，虚拟现实（VR）头盔将成为探索增强现实（AR）理念的地方，然后AR眼镜最终可以以更小的尺寸接管这一领域。当然，这一切取决于硬件的发展。目前来看，2023年及以后的时期仍然将以虚拟现实（VR）头盔和智能眼镜为主，可能仍然是分开的，并且仍然有合并的未来梦想。
三星、谷歌和高通的神秘产品是基于这些芯片之一吗？
预计下一波虚拟现实（VR）和增强现实（AR）设备的浪潮正在进行中：除了苹果的Vision Pro外，三星、谷歌和高通还有一些神秘设备平台预计将在今年晚些时候或明年公布。根据三星的说法，这可能是一种连接到Android手机的产品。
这款产品很可能是基于高通最新的XR2 Gen 2芯片运行的，但当然，Swart也不会作出任何评论。他说：“在这里，我不能多说。”但是当我询问手机与即将推出的头盔互动的未来时，Swart确实对一个关键功能发表了评论。
他说：“将手机、电脑上的2D内容带到视野中进行整理，我觉得非常有趣。我的16岁的儿子是个重度游戏玩家，他有三个显示器，还有手机，他们都在使用不同的应用程序。这里有一个游戏，那里有Discord，还有Snap。你可以轻松地将它们放在一个护目镜中。我不需要在他的房间里搞这么大的装置。我只需要戴上护目镜，就可以将所有这些2D屏幕整理到那个视野中。”
这是在暗示谷歌在三星产品中的地位吗？苹果的Vision Pro强调在虚拟显示屏上运行数千个iOS应用程序。三星、谷歌和高通可能正在展示类似的东西，用于Android和Google Play。这是VR/AR生态系统中缺失的一部分，也许下一个阶段不是重新思考VR或AR是什么：而是将所有这些与其他一切整合在一起。
