ArguLens: открытая система для автоматической оценки эссе с обратной связью
**⚠️ Status: preprint This article is based on a preprint published on arXiv. The work may not have undergone independent peer review. Conclusions reflect the authors' position.
Кратко: Исследователи представили ArguLens — открытую, локально развертываемую систему для автоматической оценки эссе (AES). Система разбивает задачу на три независимых компонента: классификатор дискурсивных ходов, оценщик на основе LightGBM и генератор обратной связи с учетом меток, что обеспечивает интерпретируемость и снижает зависимость от закрытых API.
Что произошло ArguLens состоит из трех модулей:
- Классификатор дискурсивных ходов на базе Qwen2.5-7B-Instruct, дообученный с LoRA на датасете PERSUADE 2.0.
- Оценщик LightGBM, не зависящий от оценок, работающий на 31 лингвистическом и дискурсивном признаке.
- Генератор обратной связи с учетом меток, работающий через vLLM с Qwen2.5-14B-Instruct. Система имеет веб-интерфейс Gradio, поддерживает пакетную обработку эссе и выгрузку детальных разборов. На тестовом разделе PERSUADE 2.0 классификатор достиг точности 82.6% и макро-F1 0.727. При кросс-валидации с группировкой по промптам оценщик показал средний QWK 0.813 в режиме oracle-дискурсивных признаков.
Что изменилось по сравнению с предыдущей версией Ранее большинство AES-систем выдавали только общую оценку без интерпретируемых обоснований и полагались на закрытые API, что создавало проблемы с приватностью данных и стоимостью. ArguLens предлагает открытую, локально развертываемую альтернативу с прозрачной архитектурой.
Цены и доступность ArguLens является открытой системой с открытым исходным кодом. Публикация доступна в виде препринта arXiv (2608.17356v1). Система предназначена для локального развертывания, что устраняет затраты на API.
Почему это важно ArguLens демонстрирует возможность построения эффективной AES-системы без использования проприетарных API, что снижает барьеры для внедрения в образовательных учреждениях с ограниченным бюджетом и требованиями к конфиденциальности данных. Разделение на модули повышает интерпретируемость и упрощает доработку.
Для пользователей AI-Sphere ArguLens может быть полезна разработчикам образовательных платформ и исследователям в области NLP, ищущим открытую альтернативу коммерческим сервисам оценки эссе. Система позволяет локально развернуть полный пайплайн оценки и генерации обратной связи, что особенно актуально при работе с чувствительными данными.
Источники