Google DeepMind представила Dream-RSI: AI-агенты учатся на «снах» о прошлых попытках
Команда Google DeepMind представила метод Dream-RSI (Dreaming with Reflection, Search, and Imagination), который позволяет AI-агентам «мечтать» — мысленно воспроизводить и анализировать свои прошлые попытки выполнения задачи. На двух тестовых заданиях такой подход позволил сохранить прежнее качество работы, сократив при этом количество реальных запусков агента в 2.43 раза.
Что произошло
DeepMind опубликовала описание нового подхода к обучению AI-агентов. Вместо того чтобы каждый раз запускать агента в реальной среде для поиска лучшего решения, Dream-RSI даёт агенту возможность «проиграть» свой прошлый опыт в воображаемом пространстве и на основе этого скорректировать стратегию. Ключевой измеренный результат: на двух задачах (их названия не уточняются) агент с Dream-RSI достиг той же производительности, что и базовая версия, но выполнил в 2.43 раза меньше запусков. Это означает, что агент быстрее находил нужное поведение, затрачивая меньше вычислительных ресурсов на реальные симуляции.
Как это работает
Термин «мечтание» в контексте ИИ означает генерацию и анализ внутренних цепочек рассуждений или действий без обращения к настоящей среде. Агент запоминает свои предыдущие попытки, а затем, подобно человеку, обдумывающему ошибки, строит гипотетические сценарии — «сны». На основе этого он уточняет, какой следующий шаг сделать в реальном мире. Такой подход напоминает известную концепцию мира в модели (world model), но здесь акцент сделан именно на пересмотре собственного опыта, а не на предсказании внешней среды.
Почему это важно
Сокращение количества запусков без потери производительности — практически значимый результат. В задачах, где каждый запуск агента требует времени или затрат (например, поиск в интернете, управление роботом, многошаговые логические цепочки), возможность «подумать» перед действием может существенно ускорить обучение и снизить вычислительную нагрузку. Редакционный анализ: если метод масштабируется на более сложные сценарии, он способен изменить подход к построению автономных агентов — вместо грубой силы перебора агент получит механизм внутреннего рассуждения, основанный на собственном опыте.
Что это даёт пользователю
Для разработчиков AI-агентов Dream-RSI может стать инструментом, который без изменения базовой модели (например, большой языковой модели) улучшает эффективность поиска решений. На практике это означает: 1) меньше времени на обучение или выполнение серии задач; 2) более низкие затраты на облачные вычисления при тех же результатах; 3) возможность применять агентов в средах с дорогими или редкими возможностями для тестирования.
Что пока неизвестно
В публикации не раскрыты детали тестовых задач — насколько они репрезентативны для реальных промышленных сценариев. Также нет информации о том, как метод ведёт себя при большом количестве шагов или в соревновательных средах с изменяющимися условиями. Неясно, требуется ли дополнительная настройка гиперпараметров для достижения 2.43-кратного сокращения на других задачах.