MORFES: Новый бенчмарк для оценки словоизменения в новогреческом языке
**⚠️ Status: preprint This article is based on a preprint published on arXiv. The work may not have undergone independent peer review. Conclusions reflect the authors' position.
Кратко: Исследователи представили MORFES — бенчмарк для оценки способности языковых моделей работать со словоизменением в новогреческом языке. Набор данных включает 500 экспертно проверенных заданий и доступен на Hugging Face.
Что произошло
Опубликован препринт статьи, описывающий бенчмарк MORFES (Morphological Open-class Recognition-and-Formation Evaluation Suite). Он состоит из 500 заданий, проверенных экспертами, которые тестируют распознавание и образование словоформ новогреческого языка. Задания намеренно составлены на основе низкочастотных лемм, чтобы правильный ответ отражал знание правил, а не запомненную форму. Бенчмарк доступен по адресу https://huggingface.co/datasets/KIEFERSA/MORFES.
Что изменилось по сравнению с предыдущей версией
Ранее для новогреческого языка не существовало специализированного бенчмарка по словоизменению. Существующие тесты для моделей, работающих с греческим, в основном оценивают фактические знания. MORFES заполняет этот пробел.
Цены и доступность
Бенчмарк MORFES опубликован как открытый набор данных на Hugging Face. Доступ к нему бесплатный.
Почему это важно
Новогреческий язык обладает богатой системой словоизменения, однако до сих пор не было инструмента для целенаправленной проверки этой компетенции у языковых моделей. MORFES позволяет оценить, насколько хорошо модели понимают грамматические правила, а не просто запоминают частотные формы. В рамках работы авторы протестировали ряд открытых моделей, включая LLaMA, Qwen3, DeepSeek-R1, Magistral и Kimi K2, и представили собственную модель Sophea-Genesis-1, также выпущенную с открытыми весами.
Для пользователей AI-Sphere
Для разработчиков и исследователей, работающих с новогреческим языком, MORFES становится новым инструментом для валидации моделей. Пользователи могут загрузить бенчмарк с Hugging Face и протестировать свои решения. Наличие открытой модели Sophea-Genesis-1 позволяет сразу начать эксперименты.
Источники
https://arxiv.org/abs/2607.28274v1 https://huggingface.co/datasets/KIEFERSA/MORFES