TALKFA: новый бенчмарк для генерации и понимания диалогов на фарси
**⚠️ Status: preprint This article is based on a preprint published on arXiv. The work may not have undergone independent peer review. Conclusions reflect the authors' position.
Что произошло
В препринте на arXiv описан TALKFA, объединяющий три датасета: WIKI-FADIAL (4,2 тыс. диалогов на основе статей Википедии), DAILYDIALOG-FA (6,6 тыс. диалогов с аннотациями речевых актов и эмоций) и PLAYDIAL-FA (2,1 тыс. театральных диалогов с тональными метками). Все диалоги прошли многоэтапную проверку носителями фарси. Эксперименты проведены на моделях LLaMA и Mistral.
Как устроен TALKFA и что показали эксперименты
LoRA (Low-Rank Adaptation) — метод тонкой настройки больших языковых моделей без полного переобучения — показал значительное улучшение генерации диалогов. При этом для восстановления более 90% итоговых улучшений потребовалось лишь от четверти до половины полного объёма обучающих данных. Среди классификационных моделей FABERT лучше всех справился с задачей определения речевого акта, а вариант LoRA-Mistral-7B — с распознаванием эмоций.
Почему это важно
Персидский язык, на котором говорят более 120 миллионов человек, до сих пор не имел комплексного бенчмарка для диалоговых систем. TALKFA закрывает этот пробел, предоставляя стандартизированную основу для сравнения моделей. Редакционный анализ: использование LoRA подтверждает, что эффективное дообучение возможно даже с ограниченным количеством размеченных данных — это особенно ценно для языков с меньшими ресурсами. Комбинация автоматической генерации с ручной верификацией носителями повышает качество данных и доверие к результатам.
Что это даёт пользователю
Для разработчиков систем на фарси TALKFA позволяет объективно оценивать и улучшать модели генерации диалогов, классификации эмоций и речевых актов. Методика с LoRA сокращает затраты на сбор и разметку данных, ускоряя создание локальных NLP-решений. Исследователи других языков могут перенять подход к построению бенчмарка с участием LLM и последующим контролем человека.
Что пока неизвестно
В препринте не указаны планы по открытию датасетов и кода, а также детали лицензирования. Неясно, будет ли бенчмарк расширен на другие диалекты или смежные задачи.