LLM научились предсказывать поведение людей в дилемме заключенного: новое исследование
**⚠️ Status: preprint This article is based on a preprint published on arXiv. The work may not have undergone independent peer review. Conclusions reflect the authors' position.
Что произошло
Ученые провели серию экспериментов, в которых LLM-агенты играли в повторяющуюся дилемму заключенного — сценарий, где два участника должны решить, сотрудничать или предать друг друга, зная, что их выбор повлияет на будущие раунды. В отличие от предыдущих работ, в этом исследовании у моделей был компонент памяти, позволяющий запоминать действия оппонента. Кроме того, использовались только открытые модели: TII Falcon 7B Instruct, Google Gemma 7B, Meta Llama 3.1 8B Instruct, Microsoft Phi Mini MoE Instruct и Qwen 2.5 7B Instruct.
Как проводилось исследование
Авторы разработали стандартизированный набор промптов для симуляции взаимодействий. Было два типа испытаний: с фиксированным партнером (когда агент играет с одним и тем же оппонентом на протяжении всех раундов) и с перемешиванием (когда партнер меняется случайным образом). Это позволило проверить, влияет ли знание LLM о том, что ее оппонент будет заменен, на принимаемые решения. Полученные данные сравнивались с эмпирическими данными о поведении реальных людей в аналогичных играх.
Почему это важно
Редакционный анализ: Способность LLM моделировать человеческое поведение в стратегических играх открывает новые возможности для поведенческой экономики и социального моделирования. Если модели могут достаточно точно воспроизводить человеческие решения, их можно использовать для тестирования экономических теорий, разработки переговорных стратегий или обучения ИИ-ассистентов взаимодействию с людьми. Однако стоит отметить, что исследование пока не прошло рецензирование, а значит, выводы требуют дополнительной проверки.
Что это даёт пользователю
На практике результаты могут быть полезны разработчикам ИИ-агентов, которые должны взаимодействовать с людьми в кооперативных сценариях — например, в чат-ботах для поддержки клиентов или в симуляторах переговоров. Понимание того, как LLM принимают решения в зависимости от памяти и смены партнера, может помочь создавать более адаптивные и реалистичные модели поведения.
Что пока неизвестно
Пока неясно, насколько универсальны полученные результаты для других типов социальных дилемм и более сложных сценариев взаимодействия. Также не раскрыты точные метрики сравнения с человеческими данными — насколько велико расхождение между поведением LLM и людей. Кроме того, исследование не дает ответа, как влияют на результаты другие параметры, например, размер модели или температура генерации.