Новый метод PSS повышает устойчивость детекции AI-текста к парафразированию
**⚠️ Status: preprint This article is based on a preprint published on arXiv. The work may not have undergone independent peer review. Conclusions reflect the authors' position.
Кратко: Предложен новый метод Pattern Stability Score (PSS) для детекции текста, сгенерированного большими языковыми моделями. Он использует локальные статистические признаки и анализ стабильности при парафразировании, что позволяет сохранять точность даже после многократного переписывания и на коротких фрагментах.
Что произошло На arXiv опубликована работа «Stability-Aware Feature Design for Robust Watermark Detection in Machine-Generated Text». Авторы разработали фреймворк PSS, который комбинирует глобальные и локальные z-оценки, статистику высших порядков для паттернов длин серий, автокорреляционные сигналы и оценку стабильности на разных уровнях парафразирования. Метод протестирован на трёх датасетах (PG-19, CNN/DailyMail, WikiText) с моделями Llama-3-8B и Qwen2-7B в качестве генераторов и парафразерами Mistral-7B, Qwen2-7B и Gemma-7B.
Что изменилось по сравнению с предыдущей версией Работа является новым исследованием, а не обновлением существующего метода. Предыдущие подходы к детекции вотермаркированного текста (например, на основе пороговых z-тестов) резко теряют точность при многократном парафразировании и на коротких текстах. PSS вводит концепцию «паттерна стабильности» и использует динамику признаков при парафразировании, что принципиально отличает его от статических детекторов.
Цены и доступность Статья опубликована на arXiv в виде препринта (идентификатор 2608.18102v1) и не прошла рецензирование. Код и данные, по всей видимости, пока не опубликованы. Исследование носит академический характер.
Почему это важно С ростом числа AI-сгенерированных текстов растёт потребность в надёжных методах их идентификации. Существующие вотермарки и детекторы уязвимы к атакам парафразирования — злоумышленник может переписать текст, сохранив смысл, но удалив метки. PSS предлагает устойчивый подход, который учитывает не только отдельные токены, но и статистические закономерности, сохраняющиеся при переформулировках. Это шаг к более надёжной атрибуции контента.
Для пользователей AI-Sphere Если вы разрабатываете или используете системы детекции AI-текста, обратите внимание на концепцию PSS. Она может лечь в основу будущих инструментов для проверки оригинальности контента, особенно в сценариях, где текст мог быть многократно переписан (например, SEO-статьи, рерайты). Следите за выходом кода — возможно, его можно будет протестировать на русскоязычных моделях.
Источники