Google DeepMind представила новую ИИ-модель Genie 4, способную в реальном времени создавать интерактивные виртуальные миры со звуком. Разработчики заявили о более реалистичной картинке, улучшенном моделировании физики и поведении персонажей.
Genie 4 относится к классу моделей мира (world models). В отличие от обычных генераторов видео, такие системы не просто создают последовательность кадров, а моделируют изменения окружающей среды в ответ на действия пользователя.
Например, человек может перемещаться по виртуальному пространству с помощью клавиатуры и управлять камерой. Текстовыми командами можно менять сцену: добавить объект или персонажа, сменить погоду. Gemini подстраивает такие запросы под происходящее, а между командами следит, чтобы мир развивался последовательно.
По данным TechCrunch, Genie 4 удерживает согласованную сцену до двух минут — вдвое дольше предшественника.
Одним из главных изменений стала встроенная генерация звука. Genie 4 создает окружающие шумы, музыку и речь одновременно с изображением.
Персонажи ведут диалоги, реагируют на действия пользователя и события в мире и меняют реплики по ходу сцены.
Разработчики также заявили об улучшении моделирования аэродинамики, столкновений и других физических взаимодействий. Самым заметным шагом вперед в Google назвали симуляцию людей: персонажи естественнее двигаются и реагируют на окружение, а их действиями можно управлять в реальном времени.
В демонстрационных роликах компания показала полет на воздушном шаре над Антарктидой и сельскую японскую станцию 1980-х годов. Среди примеров также гонки на драконах и мир из витражного стекла.
Genie 4 опирается на модели семейства Gemini. Gemini Omni отвечает за реалистичный внешний вид и поведение объектов, а другие модели Gemini помогают сохранять связность симуляции.
Для сложных многоэтапных событий Google задействует Gemini 3.8 Flash в роли управляющего агента. Модель наблюдает за сценой, разбивает задачу на шаги, анализирует новые кадры и проверяет выполнение каждого этапа. Если мир меняется или вмешивается пользователь, агент корректирует план.
