刚刚,OpenAI 发布了 Apple Vision Pro 版 ChatGPT,允许用户与 OpenAI 的 GPT-4 Turbo 模型进行交互,用户通过这款应用可以提出问题、获取答案、接收建议、学习新的话题,并且还能直接在应用内生成图像和文本。
据悉,OpenAI 的 ChatGPT 应用是 Apple Vision Pro 为其新推出的增强现实头戴设备开发的 600 多个新应用之一。
Vision Pro 版 ChatGPT 描绘了人类与 AI 互动未来可能的面貌:一个更自然、更直观、更沉浸的互动方式。
未来,人们更有可能通过口述需求给 AI 助理应用,而不是通过键入指令与之交互。例如,用户可以通过简单地查看需要解决的问题——比如查看厨房中的食材以制定食谱——而直接向 AI 提供图像。
此外,ChatGPT 成为 visionOS 开发的首批应用之一,标志着其在 Apple Vision Pro 操作系统中的重要地位。
Apple 的全球开发者关系副总裁 Susan Prescott 表示:“Apple Vision Pro 正在激发我们全球开发者社区的想象力,我们对他们为这个激动人心的新平台创造的空间体验范围感到鼓舞。在全新的 App Store 中,超过 600 种新的空间体验等待探索,加上 iOS 和 iPadOS 上超过 100 万个兼容应用,用户可以发现广泛的应用,拓展可能性的边界。
这些不可思议的应用将改变我们体验娱乐、音乐和游戏的方式;用新的学习和探索方式激发我们的想象力;以前所未有的方式提升生产力;等等。开发者们已经开始捕捉空间计算的承诺,我们迫不及待想看到他们接下来会创造什么。”
Apple 强调,visionOS 应用能够利用 Vision Pro 的多项特性,如 Optic ID 生物识别系统、Spatial Audio 立体声系统和 VisionKit 开发框架,尽管目前还不清楚新的 ChatGPT 应用是否会利用这些高级功能。
新的 ChatGPT 应用也是推动多模态 AI 发展的一部分,这种类型的 AI 能够处理并理解来自不同模态的输入,包括文本、语音、图像和视频。这意味着它能识别并解释多种形式的数据,使其能够适应不同的情境,更加灵活和适应性强。
随着 Vision Pro 的发布,与 AI 聊天的方式将更加便捷,用户可以更容易、更直观地向 ChatGPT 展示图像,从而使得复杂的问题解决变得可能。无论是解决汽车引擎启动问题,规划饭菜,还是分析数学问题,用户都能通过直接口述或查看问题物体与 ChatGPT 互动。
即日起,ChatGPT 应用开始免费向 visionOS 用户提供,同时提供了 ChatGPT Plus 订阅选项,为用户提供 GPT-4 的高级特性和更快的响应时间。该应用可从 visionOS App Store 下载,用户还可以在那里找到为不同目的和兴趣量身定制的数百个其他应用,如创意写作、马拉松训练或数学辅导。
根据 Apple 官方介绍,Vision Pro 提供了一个无限画布,应用可以超越传统显示器的界限进行缩放,并引入了一种直观而强大的三维用户界面,用户可以通过眼睛、手和声音来导航。
办公中的无限画布
为 visionOS 特别构建的应用程序,如 Box,使得协作和安全管理文件及内容变得简单,包括 3D 对象,而 MindNode 应用则帮助用户通过在用户空间周围漂浮的思维气泡来头脑风暴。OmniFocus 和 OmniPlan 利用美观的数据和项目管理可视化,在大窗口中查看完整的项目计划。
Microsoft 365 生产力应用、Fantastical 和 Numerics 充分利用 Apple Vision Pro 的无限画布和清晰的文本渲染,使日常任务变得轻而易举。JigSpace 结合了 3D 内容、音频、视频和文本,在交互式的、逐步的空间演示中,而 Navi 实时翻译对话,创建实时字幕,使用户能够准确看到周围人们正在说什么。
"Aaron Levie,Box 的联合创始人兼 CEO 说:“Apple Vision Pro 是技术上的一个巨大飞跃,类似于 iPhone 和 iPad。这项突破性技术引入了沉浸式体验,从根本上重新定义了我们的工作方式,提供了视觉上令人惊叹的互动,没有物理限制。从开发下一个突破性产品到重新想象客户体验,可能性是无限的。”
在与同事合作时,用户可以通过 Apple Vision Pro 加入 Webex、Zoom 和 Microsoft Teams,创建终极会议体验,多个窗口和共享内容可以填满用户周围的空间。成千上万的流行生产力应用程序在发布时也与 Vision Pro 兼容,如 Slack、Notion、Todoist 等,它们是日常工作流程中重要的一部分。
玩游戏的全新方式
游戏方面,Apple Vision Pro 为所有技能水平的玩家提供乐趣和有益的游戏体验。玩家可以在 App Store 上的游戏中潜入,这些游戏转变了他们周围的空间,使用环境获得更加沉浸的体验,或者在他们想要的大屏幕上玩兼容游戏。为了支持广泛的游戏和空间体验,Vision Pro 与包括 PlayStation DualSense 和 Xbox Wireless Controller 在内的流行游戏控制器无缝工作。
通过 Apple Arcade,玩家可以在 Apple Vision Pro 上访问超过 250 款游戏的目录,没有应用内购买或广告,包括热门标题如 NBA 2K24 Arcade Edition、Sonic Dream Team 和 TMNT Splintered Fate。Arcade 玩家还将体验到为 Vision Pro 特别创建的沉浸式标题选择的空间游戏世界。当玩家被传送到令人惊叹的游戏环境中时,这些体验将呈现出全新的维度,如在 Synth Riders 中,玩家可以用手指旋转乐高砖块,在 LEGO Builder’s Journey 中,用手切苹果在 Super Fruit Ninja 中,等等。Apple Arcade 在启动时可用的额外空间游戏包括 Game Room、WHAT THE GOLF?、Cut the Rope 3、Jetpack Joyride 2、Bloons TD 6+、stitch.、Patterned、Illustrated 和 Wylde Flowers。
沉浸式的影音娱乐体验
华纳兄弟探索公司的 Max 平台推出了热门电影和系列剧、全新原创作品、家庭最爱、突发新闻和现场体育赛事,精选标题提供 4K 和 Dolby Atmos 空间音频。HBO 和 Max 内容的董事长兼 CEO Casey Bloys 说:“通过 Apple Vision Pro 的 Max 应用,粉丝可以使用铁王座室环境转换他们的空间,为观众提供一种沉浸式体验,将他们带入标志性的红堡中。”
通过 Apple TV 应用,用户还可以体验所有来自 Apple TV+ 的 Apple 原创作品、超过 200 部 3D 电影,以及 Apple 沉浸式视频,后者通过使用空间音频捕捉的 180 度、8K 3D 录像,将观众置于行动中心。
在 Apple Music 上,听众可以下载和流式传输超过 1 亿首无广告歌曲,这些歌曲配备了 Dolby Atmos 的空间音频和使用 USB-C 的 AirPods Pro(第二代)可实现超低延迟的无损音频。
除原生应用提供了充分利用空间计算能力的体验以外,Apple Vision Pro 用户还可以在 Safari 中享受他们最喜爱的视频和音乐流媒体服务,包括能够打开多个窗口、全屏观看、使用空间音频聆听以及启动环境,以获得前所未有的娱乐体验。
新的赛事直播
Apple Vision Pro 拥有超高分辨率显示屏,为每只眼睛提供比 4K 电视更多的像素,因此用户可以在 100 英尺的屏幕上观看他们最喜欢的内容。体育迷将会喜欢 Vision Pro 上的观看体验,例如 PGA TOUR Vision 这样的应用,它使用实时击球跟踪技术,叠加在真实高尔夫球场的 3D 模型上,同时显示关键统计数据——包括排行榜、记分卡、赛程、球场信息和其他比赛细节——将巡回赛带入用户的空间。
PGA TOUR 的数字运营高级副总裁 Scott Gutterman 表示:“借助 Apple Vision Pro 和空间计算的力量,Apple 正在为我们提供一种创新且沉浸式的职业高尔夫体验方式。PGA TOUR Vision 是为 Apple Vision Pro 开发的第一款高尔夫应用,它将球迷带入球场内部,直接走上世界上最标志性球场的果岭,从 Pebble Beach 到 TPC Sawgrass,无论他们在哪里。”
通过 Apple Vision Pro 上的 NBA 应用,篮球迷可以实时或点播观看多达五场直播赛事,使用 Multiview 功能,实时关注球员和球队统计数据,并轻松查看其他比赛和得分。MLB 使用户沉浸在棒球场的体验中,从本垒板位置观看比赛,并提供每次投球的统计数据。
Red Bull TV 展示与高质量视频和沉浸式环境配对的赛事 3D 地图。足球迷可以在 Apple TV 应用上访问 MLS Season Pass,这是大联盟足球的家。通过与顶级有线服务的兼容应用——包括 Charter Spectrum、Comcast Xfinity、Cox Contour、Sling TV 和 Verizon Fios ——以及体育广播公司——包括 ESPN、CBS、Paramount+、NBC、NBC Sports、Peacock、FOX Sports 和 UFC ——Vision Pro 用户始终能拥有最佳的观赛席位。
探索新旅程与地理
Apple Vision Pro 提供了一个沉浸式的三维学习环境,通过应用程序如 solAR,将太阳系的奇观带到用户的家门口,或是 Sky Guide 和 Night Sky,将用户带入他们自己的个人天文馆。用户甚至可以通过 Exploring Mars 探索红色星球,通过目前在火星表面的三辆 NASA 火星车之一的视角。
Insight Heart 让用户以前所未有的方式理解人类心脏,而 CellWalk 带领用户游览生命的分子机器,探索一个完整的细菌细胞,直至单个原子。Complete HeartX 展示了一种新的方法,将定制的 3D 解剖学和生理学与诊断和治疗相结合,更好地为学生准备治疗患者的现实世界压力。
新的发现方式、可视化和购物
Apple Vision Pro 的强大功能解锁了前所未有的高度沉浸和动态购物体验。J.Crew Virtual Closet 和 Mytheresa: Luxury Experience 通过 FaceTime 的实时咨询和与朋友分享造型的新方式,重新想象购物。Decathlon 帮助购物者在他们的个人环境中以 3D 查看、选择和购买产品。
家居改善应用程序如 Lowe’s Style Studio 利用空间计算让用户在他们眼前设计完美的厨房,而 Wayfair Decorify 帮助他们快速轻松地重新设计他们的空间。房屋搜寻者可以使用 Zillow Immerse 通过虚拟家庭游览和交互式 3D 平面图近距离查看精选房源。
通过 Apple Vision Pro,用户可以通过帮助他们反思、呼吸和专注的应用程序,沉浸在私人和平静的空间中。像 Healium 这样的正念应用程序为 Vision Pro 用户带来精美设计的体验,通过创造减压的自然基础逃避记忆帮助他们放松和建立韧性。
Lungy: Spaces 通过互动的呼吸练习和基于声音的积极冥想引导用户,而健康应用 Odio 将用户带入他们自己的个人声音茧中,用空间声景将他们运送到一个平静与安宁的境界。Endel 创造了一个全新的视听体验,配备沉浸式的光和声音,非常适合 Vision Pro。