Новые ИИ-модели галлюцинируют имена пакетов в 4-6% случаев, угроза сохраняется
**⚠️ Status: preprint This article is based on a preprint published on arXiv. The work may not have undergone independent peer review. Conclusions reflect the authors' position.
Кратко: Исследователи повторили методологию Spracklen et al. на пяти frontier-моделях, выпущенных с октября 2025 по март 2026 года. Уровень галлюцинаций (выдача несуществующих имён пакетов PyPI и npm) снизился до 4,62–6,10%, но не исчез. Обнаружено 127 новых имён пакетов, которые могут быть использованы для атак.
Что произошло
Авторы работы "The Range Shrinks, the Threat Remains: Re-evaluating LLM Package Hallucinations on the 2026 Frontier-Model Cohort" (arXiv:2605.17062v3) повторили исследование Spracklen et al. (USENIX Security '25) на пяти новых моделях: Claude Sonnet 4.6, Claude Haiku 4.5, GPT-5.4-mini, Gemini 2.5 Pro и DeepSeek V3.2. По 199 845 парным Python и JavaScript запросам, проверенным по актуальным спискам PyPI и npm, измерены уровни галлюцинаций от 4,62% (Claude Haiku 4.5) до 6,10% (GPT-5.4-mini).
Что изменилось по сравнению с предыдущей версией
Spracklen et al. (2025) фиксировали разброс от 5,2% на коммерческих моделях до 21,7% на открытых. Новое исследование показывает сжатие разброса до одного порядка — от 4,62% до 6,10%. Однако угроза не устранена: идентифицировано 127 новых имён пакетов (109 на PyPI, 18 на npm), которые могут быть зарегистрированы злоумышленниками (slopsquatting).
Цены и доступность
Все модели доступны через API своих провайдеров. Исследование — препринт arXiv, не прошло рецензирование.
Почему это важно
Галлюцинации имён пакетов создают поверхность для атаки: злоумышленник может зарегистрировать несуществующий пакет под именем, которое сгенерировала модель, и внедрить вредоносный код. Даже сниженный до 4-6% уровень означает тысячи потенциальных имён для эксплуатации.
Для пользователей AI-Sphere
При использовании ИИ-ассистентов для генерации кода всегда проверяйте имена зависимостей вручную. Даже современные frontier-модели ошибаются в 1 из 20 вызовов. В карточке модели на ai-sphere.ru мы добавили пометку об этом риске для каждой из протестированных моделей.
Источники