Pleias-RAG: маленькие модели с цитированием источников для RAG
**⚠️ Status: preprint This article is based on a preprint published on arXiv. The work may not have undergone independent peer review. Conclusions reflect the authors' position.
Что произошло
На arXiv опубликована preprint-статья, описывающая модели Pleias-RAG. Их ключевая особенность — встроенная поддержка цитирования с буквальными цитатами из найденных документов. Модели также умеют выполнять такие операции, как маршрутизация запросов (query routing), переформулировка запросов (query reformulation) и переранжирование источников (source reranking). Это позволяет использовать их в полноценных RAG-конвейерах без дополнительных инструментов.
Как работают модели
Pleias-RAG обучались на синтетических данных, которые эмулируют реальный поиск по многоззычным текстам. Благодаря этому модели сохраняют высокую производительность на ведущих европейских языках. По заявлению авторов, это единственные малые языковые модели (SLM), которые систематически обеспечивают привязку каждого утверждения к конкретному источнику. На стандартных бенчмарках HotPotQA и 2wiki модели превосходят другие SLM с числом параметров до 4 миллиардов и конкурируют с более крупными моделями, такими как Qwen-2.5-7B, Llama-3.1-8B и Gemma-3-4B.
Почему это важно
Редакционный анализ: появление компактных моделей, способных конкурировать с семи- и восьмимиллиардными аналогами в задачах RAG, может снизить порог внедрения этой технологии. Многие организации не имеют ресурсов для развёртывания больших моделей, а Pleias-RAG благодаря размеру можно запускать на ограниченном оборудовании. Кроме того, встроенное цитирование повышает доверие к ответам: пользователь может проверить, откуда модель взяла информацию. Это особенно ценно в сценариях, где требуется фактологическая точность.
Что это даёт пользователю
На практике модели Pleias-RAG можно использовать для:
- создания локальных поисковых систем по корпоративным документам с автоматическим указанием источников;
- суммаризации новостей или научных статей с цитатами;
- построения чат-ботов, которые не просто генерируют ответ, а показывают, на какие документы они опираются. Благодаря поддержке нескольких европейских языков такие решения могут работать с разноязычными базами знаний без дополнительной адаптации.
Что пока неизвестно
На данный момент не раскрыты детали лицензии и дата выхода моделей. Также не указано, проходили ли модели тестирование на русском языке — в статье упоминаются «ведущие европейские языки», но конкретный список не приведён. Отсутствует информация о точных требованиях к оборудованию для инференса.