苹果iPhone在Beta版中推出了空间视频, 在Vision Pro上看起来非常棒!

苹果iPhone推出了空间视频的Beta版, 在Vision Pro上展现出色的效果!

我正盯着一盘悬浮在我面前的3D寿司。厨师在黄尾卷和金枪鱼上添加配料,边做边和我聊天。看起来栩栩如生,仿佛真实。令人惊讶的是,这段视频是我刚刚用iPhone 15 Pro自己拍摄的。现在它变成了一段3D的VR体验,我使用苹果的Vision Pro头盔在美丽的3D画面中观看。

我用手指轻划屏幕,观看苹果提供的其他幽灵般的视频。家庭成员在家里,在草地上一起走动,亲密地拥抱在一起。一切都是逼真的3D。我感觉自己像是在窥探他们的生活,这有些奇怪但又亲密。然而,逼真程度是不可否认的。

我正在体验苹果的最新功能——Spatial Video iPhone相机功能,现已在苹果的iOS 17.2公测版中提供,最终版本将于今年晚些时候推出17.2。这项功能允许你录制3D视频,但你需要苹果最好的手机——售价1,000美元的iPhone 15 Pro。而要在3D画面中观看这些视频,你需要售价3,500美元的Vision Pro头盔,该产品将于明年年初发布。

这些视频看起来很棒,3D效果非常逼真。录制也很简单,并且可以保存为普通视频格式的2D回放。但最终这个功能是为2024年的产品设计的,可以肯定的是,以3,500美元的价格,大多数人不会很快购买它。不过,体验确实令人印象深刻。

观看这个视频:

Vision Pro再次给我留下深刻印象

我在六月份的苹果WWDC开发者大会上第一次使用Vision Pro,再次让我想起它非凡的显示效果。苹果的头盔上的照片和视频看起来棒极了。我敢说Vision Pro的显示效果甚至超过了我家里任何一个地方的显示器。如果我有Vision Pro,我会愿意看各种视频和照片,无论是3D还是普通的。

我第二次体验Vision Pro时,还专门配上了符合我的视力需求的验光镜片,这让我意识到头盔比我记忆中的要小得多。而且,界面设计也十分简洁。

进行眼动跟踪设置非常迅速;我只需要盯着圆圈周围的点并点击它们。我还尝试了一组新的缩放手势,用手指捏合并伸展照片,图像会根据眼动跟踪的位置进行缩放。感觉就像是有心灵感应一样。我在照片应用程序中查看了几张测试照片,并回顾了其中的回忆照片。最近我刚使用了Quest 3,苹果的透视相机和显示分辨率真是超然一世。

全景照片给我带来了惊喜。它们向我敞开,仿佛是通向其他地方的窗户,几乎可以说是3D的。而空间视频的效果也不错。它们逼真的3D效果,几乎鬼魅般的回放质量更像是为了营造一种沉浸式的记忆,而不仅仅是简单的视频回放。不过,尽管我只是进行了简短的体验,还是发现了一些限制。

遗憾的是,我在这里无法展示我所看到或录制的内容:这些照片都是苹果提供的,所以你只能跟着阅读和体验我的经历。

侧摆式摄影机以1080P和30fps的分辨率录制3D视频,将相关信息合并为一个单一文件,如果明年没有Vision Pro,该文件仍可在其他设备上以2D播放。

Apple

iPhone 15 Pro上的空间视频:它们是如何工作的

记录空间视频时,需要将手机水平持握。iPhone 15 Pro的主摄像头和超广角摄像头并排放置,以横向模式创建3D视频。它同时以1080P和30fps的速度录制两段视频,并通过计算摄影技术解决镜头和距离之间的差异问题。文件以HEVC格式保存,类似其他苹果视频文件,每分钟大约占用130MB的存储空间。这并不太多,可能是因为该文件的分辨率和帧速率都相对较低(1080P和30fps)。

空间视频剪辑可以通过消息或AirDrop共享,但可能会出现在其他应用中对文件进行压缩,从而丢失3D数据的情况。不过,这些视频剪辑应该可以在任何地方使用作为日常视频文件,对于那些曾经想知道(包括我自己)是否需要选择“特殊”的3D视频格式的人来说,这是个好消息。

您需要在苹果的相机应用设置中或相机应用本身的Vision Pro遮罩形状开关中,切换到空间视频模式。这将限制您的视频分辨率和帧率,并意味着您必须以横向拍摄。抱歉,不能拍摄垂直的3D视频。

相机应用会建议您将相机转向一侧,并保持一定的拍摄距离。我被告知要保持距离我所拍摄对象在3到8英尺的范围内,才能得到一个良好的空间视频效果。但当我拍摄一张测试记录某人在桌子上做寿司的视频时,我靠得更近,看起来仍然非常好。我还在一个光线充足的房间里进行了录制,但显然,空间视频录制模式无法调整亮度和对比度,这意味着低光录制的视频可能会比普通视频更有噪点。

苹果的相机应用中内置了基本相机应用的空间视频录制开关,但您需要iPhone 15 Pro才能录制3D视频。

苹果

空间视频将如何演变或被编辑?

目前还没有Apple的3D HEVC视频格式的API,这意味着第三方应用程序还不能识别这些文件。但是,可能应用开发者会找到某种解决方案。此外,令人失望的是,除了在Vision Pro上观看视频之外,没有其他方式可以以3D形式查看这些视频。

理论上,立体3D录制的过程听起来可以适用于其他VR头显,比如售价为500美元的Meta Quest 3。它是直接的立体视频,不使用激光雷达或深度感知来进行全动态空间拍摄。不过,目前这不在苹果的计划之中。

这些视频没有录制时间限制,因此理论上您可以制作一部空间视频3D的长片。但是,这些片段只能在iPhone或Vision Pro上进行裁剪。苹果的视频编辑软件Final Cut Pro将获得空间视频编辑支持,但需要等到明年才能使用。与此同时,如果您尝试在Mac或iOS视频编辑器中编辑这些视频文件,它们将被转换为仅支持2D的文件。

令人有点失望的是,这些视频不能以4K分辨率进行录制。苹果的Vision Pro头显具有惊人的质量和分辨率,当我在头显中查看iPhone照片并放大它们,或者在环绕模式下查看全景照片时,我感觉就像身临其境进入一个生动的沉浸式场景,类似于360度照片。这些空间视频看起来非常好,但我希望能以更流畅的60fps、4K或两者兼具的方式来观看它们。也许将来会实现。

为3D未来留下回忆

苹果似乎常常试图成为不仅仅是一家有型有款的公司,而是成为一家回忆公司。自动化的相片集合已经被称为“回忆”。而在Vision Pro上观看3D空间视频就是这样一种模糊的框架,就像一些《少数派报告》或《银翼杀手》未来中的数字记忆。这也让我想起了在谷歌的实时3D光场对话《Project Starline》中使用过的一些沉浸式3D真实感,但这次只是在看视频。

苹果选择用一种模糊的方式来呈现空间视频,使得视频看起来几乎像是以全息的方式投射到房间中,边缘有些溶解。不过,我希望视频可以有一个标准的画框。

苹果的空间视频格式出现在照片应用程序中的一个新类别,并且目前还没有出现在回忆中。也许,这个新的空间视频选项卡在照片中成为新的3D体验存储库。现在,苹果不允许在iPhone 15 Pro上拍摄3D空间照片,只能拍摄视频,尽管Vision Pro可以自己拍摄照片。但苹果显然希望每个人在头显到来之前都开始使用这种格式进行录制,以建立一个可靠的视频库。

这意味着你需要记住打开空间视频,并且小心使用它。未来视觉 Pro 的所有者将默认在 iPhone 15 Pro 上打开此功能,但这只是 iPhone 用户中的一小部分。我会打开它,因为我想看看明年在 Vision Pro 上我的视频会是什么样子。但是,除非你计划购买 Vision Pro,否则现在没有太多理由来录制空间视频,尽管有可能,将来可能会后悔没有以3D方式记录下生日派对的片段。我已经在想我上周在我侄女的成人礼上拍的视频,如果我也能以3D方式观看它会是什么样子。这个新的空间视频相机切换已经在引发我对未来的遗憾。