Google Lens теперь позволяет записывать видео и задавать голосовые вопросы о его содержимом. Функция голосового запроса также стала доступна для фотографий.

Новая функция доступна в Search Labs на Android и iOS с сегодняшнего дня.

Google впервые представила предварительный показ поиска по видео на конференции I/O в мае. В демонстрационном видео Gemini AI ответил на вопрос, почему рыбы в аквариуме плавают вместе.

Вице-президент по инженерным разработкам Google Раджан Патель сообщил, что ИИ способен понимать последовательные кадры в видео, и для этого была разработана специальная модель Gemini. На данный момент звуки в видео не распознаются, но Патель отмечает, что они работают над этим.

Google Lens также добавляет возможность задавать вопросы голосом в функции поиска по фотографиям. Для этого направьте камеру на объект и удерживайте кнопку. Голосовые вопросы стали доступны глобально на Android и iOS, но пока только на английском языке.