Языковые модели называют конкретных специалистов лишь в 25% случаев
**⚠️ Status: preprint This article is based on a preprint published on arXiv. The work may not have undergone independent peer review. Conclusions reflect the authors' position.
Языковые модели называют конкретных специалистов лишь в 25% случаев
Кратко: Исследователи проанализировали 2400 API-запросов к четырём языковым моделям и выяснили, что в среднем модели называют конкретного профессионала только в 25.8% ответов. Чаще всего имена упоминаются в категориях недвижимости (35.4%) и автомобилей (car d), а метод обнаружения имён имеет точность 96.9% при полноте 61.7%.
Что произошло
В препринте arXiv (идентификатор 2607.23893v2) описано исследование, в котором авторы измерили, насколько часто языковые модели называют конкретных людей, когда пользователь ищет специалиста для покупки услуги. Было выполнено 2400 вызовов API в один двухчасовой интервал 24 июля 2026 года: 120 промптов с намерением покупки, четыре модели (GPT-5.6 Sol, Gemini 3.6 Flash, Perplexity Sonar Pro, Grok 4.5), по пять итераций каждая, на четырёх европейских рынках и пяти языках запросов.
Каждый ответ кодировался на предмет того, называет ли он конкретного человека (имя). Использовалось правило каскада, которое никогда не обращается к внешнему списку имён и отбрасывает обнаружения, совпадающие с названием американского города. Точность метода составила 96.9%, полнота — 61.7%, поэтому все приведённые показатели являются нижней границей. Поправка на кластеризацию внутри одного промпта (внутриклассовая корреляция 0.258) даёт эффективный объём выборки 407 против номинальных 2400.
Модели назвали человека в 25.8% всех ответов. Категория запроса оказывает доминирующее влияние: недвижимость — 35.4%, автомобили (car d) — чуть ниже, остальные категории показали меньшие значения. Авторы отмечают, что тип цитирования (citation type) предсказывает, будет ли модель использовать имя.
Почему это важно
Результаты показывают, что современные языковые модели редко персонализируют ответы, когда речь идёт о выборе конкретного исполнителя услуги. Для бизнеса, полагающегося на AI-рекомендации (например, в риелторских или автомобильных сервисах), это означает, что модели могут не давать имён реальных специалистов, что снижает практическую пользу. Исследование также поднимает вопросы о предвзятости: если модель изредка называет имена, то какие именно имена и почему?
Для пользователей AI-Sphere
Если вы используете AI-помощников для поиска врачей, юристов, риелторов или других профессионалов, помните: в среднем модели называют конкретного человека лишь в каждом четвёртом ответе. При этом в категории недвижимости шанс выше — около 35%. Для более точных рекомендаций стоит уточнять запрос или проверять информацию вручную. Следите за обновлениями карточек моделей на ai-sphere.ru, чтобы видеть, как меняется их способность к персонализации.
Источники