Исследование: формулировки вакансий провоцируют предвзятость открытых LLM при найме
**⚠️ Status: preprint This article is based on a preprint published on arXiv. The work may not have undergone independent peer review. Conclusions reflect the authors' position.
Что произошло
Исследователи впервые провели систематический многоуровневый анализ открытых LLM, рассматривая язык вакансии как главную экспериментальную переменную. В рамках четырёх контролируемых экспериментов они протестировали шесть моделей: Llama 3.2, Mistral, Gemma 3, Qwen 3, Phi 3 и DeepSeek-R1. Задача моделей включала как симуляцию действий рекрутера, так и симуляцию поведения соискателя.
Ключевые результаты показали две устойчивые закономерности.
Первая касается «агентного» языка — формулировок, делающих упор на индивидуальные достижения, амбициозность и самостоятельность (например, «самодостаточный лидер»). Когда такие формулировки использовались в описании вакансии, модели значительно реже рекомендовали женских кандидатов. При этом «общинный» язык, подчёркивающий командную работу и взаимопомощь, частично нивелировал этот эффект.
Вторая закономерность связана с так называемым «кодированным языком исключения». Это формулировки, которые формально не упоминают расу, но исторически ассоциируются с определёнными группами (например, требования к «культурному соответствию» или «агрессивности»). Такие фразы приводили к существенному снижению оценок кандидатов, не относящихся к белой расе.
Суть исследования
Работа важна тем, что впервые рассматривает проблему предвзятости не как внутренний дефект модели, а как результат взаимодействия модели с текстом вакансии. Проще говоря, одна и та же модель может быть относительно беспристрастной при одном описании работы и явно дискриминационной при другом.
Авторы также связывают свои находки с нормативными рисками. В Европейском союзе системы ИИ, используемые для найма, попадают под классификацию высокого риска согласно Приложению III Закона об искусственном интеллекте (EU AI Act). В США аналогичный контроль обеспечивает анализ неблагоприятного воздействия (adverse impact analysis), проводимый Комиссией по равным возможностям трудоустройства (EEOC). Это означает, что компании, внедряющие открытые LLM в рекрутинг, могут столкнуться с юридическими последствиями, если не смогут продемонстрировать отсутствие дискриминации.
Почему это важно
Редакционный анализ: практическое значение этого исследования трудно переоценить. Рынок HR-инструментов активно осваивает генеративные модели, и открытые LLM становятся всё более привлекательными для компаний из-за их стоимости и гибкости. Однако данное исследование показывает, что проблема предвзятости не решается простым выбором «хорошей» модели.
Это может означать, что ответственность за недискриминационный найм смещается с разработчиков моделей на их пользователей. Компании придётся внедрять процессы проверки и калибровки не только самих моделей, но и текстов вакансий, которые они подают на вход. В противном случае, даже нейтральный на вид запрос может привести к юридически значимому искажению результатов.
Что это даёт пользователю
Для HR-специалистов и разработчиков, использующих открытые LLM в подборе персонала, исследование предлагает практические ориентиры.
Во-первых, оно показывает, что формулировки вакансий — это не просто маркетинговый текст, а фактор, напрямую влияющий на результаты автоматизированного отбора. Компании могут использовать эти данные для создания «антидискриминационных» шаблонов описаний вакансий, которые минимизируют риск предвзятости.
Во-вторых, результаты дают основу для построения систем мониторинга. Если компания знает, что «агентный» язык создаёт гендерный перекос, она может настроить пайплайн так, чтобы автоматически проверять выходные данные модели на предмет систематических отклонений и отправлять такие кейсы на ручную проверку.
Что пока неизвестно
Исследование опубликовано в виде препринта и ещё не прошло полноценное рецензирование. Авторы работ не указаны в доступных данных, поэтому невозможно оценить их аффилиацию или потенциальный конфликт интересов. Также остаётся открытым вопрос о том, насколько результаты, полученные на шести моделях, применимы к более широкому спектру LLM, включая проприетарные системы.