Paris: первая диффузионная модель, обученная децентрализованно
**⚠️ Status: preprint This article is based on a preprint published on arXiv. The work may not have undergone independent peer review. Conclusions reflect the authors' position.
Paris: первая диффузионная модель, обученная децентрализованно
Кратко: Исследователи представили Paris — первую публично доступную диффузионную модель, предобученную полностью через децентрализованные вычисления. Модель демонстрирует, что высококачественная генерация текста в изображение возможна без централизованной инфраструктуры. Paris открыта для исследований и коммерческого использования.
Что произошло
В препринте на arXiv описана модель Paris, которая состоит из 8 экспертных диффузионных моделей (от 129M до 605M параметров каждая). Эти модели обучались в полной изоляции без синхронизации градиентов, параметров или промежуточных активаций. Вместо синхронизированных обновлений градиентов на тысячах GPU данные разбиваются на семантически связные кластеры, где каждый эксперт независимо оптимизирует свой подмножество, коллективно аппроксимируя полное распределение. Для выбора подходящего эксперта на этапе инференса используется легковесный трансформер-роутер. Качество генерации сопоставимо с централизованно координируемыми моделями.
Что изменилось по сравнению с предыдущей версией
Это первая публично выпущенная диффузионная модель, обученная полностью децентрализованно. Ранее все известные диффузионные модели (например, Stable Diffusion, DALL-E) требовали централизованной координации обучения на больших кластерах GPU. Paris предлагает альтернативный подход, где обучение может выполняться на географически распределённых, не синхронизированных вычислительных узлах.
Цены и доступность
Модель Paris открыта для исследований и коммерческого использования. Публикация доступна на arXiv (препринт, не прошёл рецензирование). Дата выхода модели не указана. Точные требования к оборудованию для запуска не раскрыты, но учитывая размеры экспертов (до 605M параметров), модель может работать на потребительских GPU.
Почему это важно
Paris демонстрирует, что децентрализованное обучение диффузионных моделей возможно без потери качества. Это открывает путь к созданию больших генеративных моделей с использованием распределённых вычислительных ресурсов, что снижает порог входа для исследовательских групп и стартапов, не имеющих доступа к крупным GPU-кластерам. Кроме того, децентрализация может улучшить конфиденциальность данных, так как каждый эксперт обучается на своём подмножестве данных.
Для пользователей AI-Sphere
Для пользователей, интересующихся генерацией изображений, Paris представляет собой экспериментальную альтернативу централизованным моделям. Модель может быть полезна для задач, где важна конфиденциальность данных или требуется кастомизация на специфических доменах. Следите за обновлениями на ai-sphere.ru — мы добавим карточку модели, когда появятся практические реализации и инструкции по запуску.
Источники