Оценка LLM в праве: новый фреймворк учитывает риски, а не только точность

**⚠️ Status: preprint This article is based on a preprint published on arXiv. The work may not have undergone independent peer review. Conclusions reflect the authors' position.

Что произошло

Группа авторов опубликовала препринт «Beyond Accuracy and Surface Fluency: Risk-Sensitive Evaluation of LLMs for Legal Clause Generation». Исследование описывает эмпирический дизайн и фреймворк для оценки моделей при генерации контрактных оговорок. В эксперименте участвуют четыре модели: Claude Haiku 4.5, Gemini 2.5 Flash Lite, GPT 5.4 Nano и Qwen 3.5 Flash. Тестирование проведено на 22 категориях оговорок и 34 юридически значимых сценариях отказа (failure modes). Работа пока не прошла рецензирование, так как опубликована на платформе препринтов arXiv.

Как оценивали модели: два компонента фреймворка

Авторы применили две взаимодополняющие системы оценки. Первая — CLAUSE — классифицирует промты по юридической функции оговорки и целевому типу отказа. Это позволяет не просто проверять, правильно ли модель поняла запрос, но и выявлять, в каких именно аспектах права она ошибается. Вторая — LENS-CRAFT — оценивает выход модели по девяти параметрам юридического качества: от полноты и однозначности до соблюдения регуляторных норм.

Вместо того чтобы усреднять баллы по всем параметрам, исследователи применили принцип максимальной серьёзности (Max Severity Principle). Это означает, что общая оценка определяется наихудшим показателем среди критических аспектов. Если модель допускает серьёзную юридическую ошибку в одном параметре, это не компенсируется хорошими оценками по другим.

Почему это важно

С юридической точки зрения последствия ошибки LLM могут быть гораздо выше, чем, скажем, неверного перевода или стилистического недочёта. Например, пропуск оговорки об ограничении ответственности способен привести к многомиллионным искам. Традиционные тесты на точность (accuracy) или предпочтение экспертов (preference) не улавливают такие риски, поскольку модель может выдать внешне идеальный текст, но с фатальным изъяном. Новый фреймворк нацелен именно на обнаружение этих скрытых дефектов.

Редакционный анализ: предложенный подход может стать стандартом для оценки юридических LLM-решений. Он смещает фокус с «как звучит» на «какие последствия». Это особенно актуально для применения AI в договорной работе, где цена ошибки крайне высока.

Что это даёт пользователю

На практике результат исследования означает появление более надёжного инструмента для выбора и настройки моделей под юридические задачи. Разработчики legal-tech смогут тестировать свои решения не по общим метрикам, а по специфическим сценариям рисков (например, «сможет ли модель корректно обработать оговорку о подсудности в международном контракте?»). Юристы, использующие AI-помощников, получат возможность оценивать, насколько модель безопасна для конкретного типа документов. Фреймворк также может лечь в основу бенчмарков для сравнения моделей в домене права.

Что пока неизвестно

На данный момент в открытом доступе есть только аннотация работы. Полные результаты тестирования четырёх моделей, включая сравнительные оценки CLAUSE и LENS-CRAFT, ещё не опубликованы. Неизвестно, какая из моделей показала лучшую устойчивость к рискам, а какая — худшую. Также остаётся неясным, как фреймворк будет масштабироваться на другие юрисдикции и языки (текущее исследование, вероятно, выполнено для английского договорного права). Авторы декларируют эмпирический дизайн, но детали выборки и воспроизводимость результатов пока не раскрыты.

Источники

• Препринт на arXiv: https://arxiv.org/abs/2609.22127