Google DeepMind представляет SIMA 2: AI-агент, способный играть, рассуждать и учиться в 3D-виртуальных мирах

Кратко

Google DeepMind представила агента ИИ SIMA 2, который может понимать инструкции, рассуждать и обучать себя новым навыкам в виртуальных средах, приближаясь к выполнению задач на уровне человека.

![@needshave, сгенерируй, пожалуйста, изображение на основе этого промпта в течение 30 мин:

Резюме: Google DeepMind представила SIMA 2, агента ИИ на базе Gemini, который может понимать инструкции, рассуждать и обучаться новым навыкам в виртуальных средах, удваивая производительность своего предшественника и приближаясь к человеческому уровню выполнения задач.

Ключевые слова: Google DeepMind, агент ИИ](https://img-cdn.gateio.im/webp-social/moments-938a77d2fcc6a4da1d9a4125abc0616a.webp)

AI-отдел технологии компании Google, Google DeepMind, представил SIMA 2, последнюю версию своего Масштабируемого Инструктивного Мультиверсального Агента, что ознаменовало переход к более мощным и универсальным AI-агентам.

Система, основанная на продвинутых способностях рассуждения моделей Gemini, выходит за рамки простого следования инструкциям в виртуальных средах и теперь функционирует как интерактивный компаньон, который может интерпретировать цели, беседовать с пользователями и со временем улучшать свою работу.

Первая модель SIMA изучила сотни действий, управляемых языком, в коммерческих видеоиграх, наблюдая за вводом с экрана и работая с виртуальными контроллерами, а не с интегрированными игровыми механиками.

SIMA 2 продвигает этот подход, интегрируя Gemini в качестве своего ядра, что позволяет агенту осуществлять целенаправленное рассуждение, объяснять свои намеренные действия и выполнять более сложные задачи в играх. Обученный на комбинации человеческих демонстраций и аннотаций, созданных Gemini, агент был протестирован в более широком наборе игр через партнерство с несколькими разработчиками. Это обновление представляет собой значительный шаг для воплощенного ИИ, совмещая восприятие, рассуждение и действие в динамических 3D-средах.

Интеграция Gemini укрепила способность SIMA 2 обобщать и надежно функционировать в незнакомых контекстах. Агент теперь может интерпретировать более детализированные и тонкие инструкции и успешно их выполнять даже в играх, с которыми он ранее не сталкивался, таких как игра в викингской тематике ASKA или MineDojo, исследовательская версия Minecraft.

Способность применять усвоенные концепции в различных средах — например, расширять идею «майнинга» из одной игры на «сбор» в другой — является ключевым компонентом широкой генерализации и приближает его производительность к производительности человека-игрока.

Чтобы оценить эти возможности, SIMA 2 также тестировался в процедурно сгенерированных 3D мирах, созданных Genie 3, который производит новые среды из текстовых или графических подсказок. В этих незнакомых условиях агент все равно смог эффективно ориентироваться, интерпретировать инструкции и работать над определенными пользователем целями, демонстрируя уровень адаптивности, ранее не наблюдаемый в аналогичных системах.

SIMA 2 Продвигает Самосовершенствующийся ИИ С Новыми Возможностями В Обобщении И Автономном Обучении

Согласно компании, одним из самых заметных достижений SIMA 2 является его развивающаяся способность улучшать собственную производительность. Во время обучения агент продемонстрировал, что он может выполнять все более сложные задачи, используя итеративный метод проб и ошибок в сочетании с обратной связью от Gemini. После первоначального обучения на демонстрациях человека, SIMA 2 может продолжать прогрессировать в новых играх через автономную игру, приобретая навыки в незнакомых средах без необходимости в дополнительных данных от человека. Этот опыт затем может быть использован для обучения последующих, более способных версий AI-агента, и тот же процесс самосовершенствования был успешно применен в средах, созданных Genie, что является значительным шагом вперед к обучению общих агентов в разнообразных синтетических мирах. Этот цикл непрерывного совершенствования поддерживает долгосрочную цель обеспечения обучения агентов с минимальным человеческим руководством.

Операция SIMA 2 в широком диапазоне игровых сред предоставляет важную площадку для тестирования общего интеллекта, позволяя ему приобретать навыки, практиковать рассуждения и непрерывно учиться через самоорганизованные действия. Хотя система представляет собой значительный шаг к универсальному, интерактивному, воплощённому интеллекту, она сохраняет явные ограничения на стадии исследования. Агент продолжает испытывать трудности с комплексными, долгосрочными задачами, которые требуют длительного рассуждения или повторной проверки целей, и его память остается короткой из-за необходимости низкой задержки при взаимодействии в ограниченном контексте. Точность в детализированных действиях и визуальное понимание сложных 3D-сцен также остаются более широкой проблемой в данной области.

Проект демонстрирует потенциал действия ориентированного подхода ИИ, в котором широкая компетенция поддерживается разнообразными тренировочными данными и сильными способностями к рассуждению. SIMA 2 показывает, что эти элементы могут быть объединены в одном универсальном агенте, а не изолированы в отдельных специализированных системах, и он предоставляет многообещающий путь к будущим приложениям в робототехнике, так как многие навыки, приобретенные в виртуальных условиях — такие как навигация, использование инструментов и совместное выполнение задач — становятся фундаментальными компонентами для воплощенного ИИ.

SIMA 2 разработан как интерактивный, ориентированный на человека исследовательский агент, и его разработка включает четкий акцент на ответственных практиках, особенно в отношении механизмов самосовершенствования. Команда сотрудничала со специалистами по ответственным инновациям на протяжении всего проекта и выпускает SIMA 2 в ограниченном исследовательском предварительном доступе, предоставляя ранний доступ избранным ученым и разработчикам игр. Этот поэтапный подход позволяет продолжать scrutinize, получать отзывы и проводить междисциплинарные оценки по мере дальнейшего изучения технологий и их потенциальных последствий.