在 2024 年 I/O 大会上，谷歌发布了许多激动人心的人工智能公告，但其中最受关注的是 Project Astra。从本质上讲，Project Astra 就是谷歌所谓的“高级视觉和语音响应代理”。这意味着未来的谷歌人工智能将能够从你周围的事物中获取背景信息，你可以提出问题并实时得到答复。它几乎就像是 Google Lens 的增强版。

Astra 项目由谷歌的 DeepMind 团队开发，该团队的使命是开发能够负责任地造福人类的人工智能;这个项目只是其实现这一目标的方式之一。谷歌表示，Astra 项目建立在其Gemini 1.5 Pro 的基础上，后者在翻译、编码、推理等领域取得了进步。作为该项目的一部分，谷歌表示他们已经开发出原型人工智能代理，通过不断编码视频帧并将视频和语音输入结合到事件时间轴中，可以更快地处理信息。该公司还在使用他们的语音模型来增强其人工智能代理的声音，以实现更广泛的语调。

谷歌发布了两部分演示视频，展示 Project Astra 的工作原理。视频的前半部分展示了 Project Astra 在 Google Pixel 手机上的运行情况;后半部分展示了新 AI 在原型透视 设备上运行的情况。

在演示视频中，我们可以看到用户使用 Pixel 手机，打开相机取景器，在房间里移动设备，同时询问下一代 Gemini AI 助手：“当你看到发出声音的东西时告诉我”，AI 会通过指出桌子上的扬声器来做出回应。视频中的其他示例包括询问计算机屏幕上的某部分代码的作用、他们目前所在的城市街区以及为狗和它的玩具老虎想出一个乐队名称。

虽然我们还需要很长时间才能看到 Project Astra 的下一代人工智能进入我们的日常生活，但看看它的未来仍然是一件很酷的事情。