StraightDP: новый подход к дифференциальной приватности для rectified-flow трансформеров
**⚠️ Status: preprint This article is based on a preprint published on arXiv. The work may not have undergone independent peer review. Conclusions reflect the authors' position.
Что произошло
Опубликована статья StraightDP: Geometry-Aware Differential Privacy for Rectified-Flow Transformers (arXiv:2607.29100v1). Метод решает проблему резкого падения качества (utility cliff) при сильной приватности в тексто-обусловленных генеративных моделях. Подход использует геометрию rectified-flow: вдоль прямой интерполяции между шумом и данными байесовски-оптимальная скорость на шумовом конце определяется несколькими условными моментами, а ближе к данным — деталями конкретных сэмплов. StraightDP делит бюджет приватности: небольшая доля расходуется на однократное освобождение выбеленных условных моментов (которые затем дистиллируются в веса или используются при сэмплировании), а остаток тратится на предварительно объявленный DP-SGD на стороне данных.
Что изменилось по сравнению с предыдущей версией
Сравнение с uniform DP-SGD (все шаги обрабатываются одинаково): на MNIST при ε=1 моментальные оценки дают 0.76 точности с FID 237, uniform DP-SGD — 0.21 точности. Полный пайплайн StraightDP достигает 0.81 точности при FID 56. Это показывает, что учёт геометрии процесса значительно улучшает качество при сохранении приватности.
Цены и доступность
Статья опубликована на arXiv в виде препринта (не рецензирована). Код и веса модели не указаны. Для использования требуется доступ к инфраструктуре для обучения rectified-flow трансформеров и DP-SGD.
Почему это важно
Проблема utility cliff при сильной приватности долгое время ограничивала применение DP в генеративных моделях. StraightDP предлагает практичный способ обойти это, используя естественную геометрию rectified-flow. В перспективе метод может быть адаптирован для текстовых и других условных генераторов, где важна приватность.
Для пользователей AI-Sphere
Для специалистов по дифференциальной приватности и генеративным моделям: StraightDP — новый инструмент, который стоит учитывать при проектировании приватных систем. Мы добавили карточку модели в базу AI-Sphere для отслеживания дальнейших публикаций и реализаций.