Исследование: аудит LLM в здравоохранении затруднён из-за различий режимов доступа
**⚠️ Status: preprint This article is based on a preprint published on arXiv. The work may not have undergone independent peer review. Conclusions reflect the authors' position.
Что произошло
В препринте, опубликованном на arXiv (не прошёл рецензирование), авторы показывают, что ответы LLM на медицинские запросы зависят не только от самой модели, но и от способа взаимодействия с ней. Оценки безопасности и качества обычно проводятся через API, тогда как конечные пользователи общаются с моделью через чат-интерфейсы с различными настройками (например, температура, системные промпты). Исследование выявило, что эти различия приводят к значимым расхождениям в ответах, делая результаты API-оценок плохо применимыми к реальному пользовательскому опыту.
В чём проблема для аудита
Традиционный аудит LLM предполагает, что модель ведёт себя одинаково независимо от точки входа. Однако на практике каждый интерфейс добавляет собственные модификации: предустановленные инструкции, фильтры, контекстные подсказки. Например, ChatGPT Health может дополнительно смягчать или, наоборот, ужесточать рекомендации по сравнению с обычным ChatGPT. API, в свою очередь, позволяет тонко настраивать параметры, которые в чат-версиях фиксированы. Такая вариативность означает, что оценка, проведённая через API, не отражает того, что реально увидит пользователь. Авторы подчёркивают: для достоверного аудита необходимо, чтобы провайдеры моделей предоставляли возможность точно воспроизвести пользовательские настройки и интерфейс.
Почему это важно
Редакционный анализ. Если выводы исследования подтвердятся, это означает, что многие существующие оценки безопасности медицинских LLM могут быть невалидными. Регуляторы, клиники и разработчики, полагающиеся на API-тесты, рискуют пропустить опасные ответы, которые появляются только в чат-версии. С другой стороны, проблема открывает путь к более строгим стандартам аудита: провайдерам придётся документировать все модификации, вносимые каждым режимом доступа, и предоставлять инструменты для точной репликации. Это повысит прозрачность, но также увеличит нагрузку на разработчиков.
Что это даёт пользователю
Для обычного человека, использующего ChatGPT для здоровья, новость означает, что доверять «официальным» отчётам о безопасности стоит с осторожностью. Если вы получаете совет через чат, он может отличаться от того, что модель выдала бы через API. Пока провайдеры не внедрят единые стандарты аудита, рекомендуется перепроверять критически важные медицинские рекомендации у специалиста. Разработчикам приложений на базе LLM стоит тестировать свои продукты именно в том интерфейсе, который увидят пользователи, а не полагаться на API-скрипты.
Что пока неизвестно
Исследование не раскрывает, какие именно модели и режимы доступа сравнивались, а также не указывает авторов. Неизвестно, насколько велики расхождения — являются ли они единичными случаями или систематической проблемой для всех популярных LLM. Также неясно, какие конкретные настройки (например, температура, частота штрафов) сильнее всего влияют на разницу. Для полной картины потребуются более масштабные и рецензированные работы.