ИИ под прицелом: OpenAI внедрит невидимые водяные знаки в тексты ChatGPT и Codex

OpenAI готовит новую систему маркировки ИИ-контента, которая должна помочь отличать тексты, созданные нейросетями, от материалов, написанных человеком. Технология получила название textGrain и будет работать незаметно для пользователя: при чтении текста обнаружить специальную метку визуально невозможно.

При этом специальные инструменты смогут анализировать структуру сгенерированного материала и определять наличие характерного для OpenAI скрытого паттерна.

Метка прячется не в символах и пробелах

textGrain не добавляет в текст специальные знаки, невидимые символы или необычные пробелы. Вместо этого OpenAI изменяет статистическое распределение выбора токенов непосредственно во время генерации.

В результате в тексте формируется определенный паттерн, который остается незаметным при обычном чтении. Специализированная система распознавания, напротив, сможет проверить материал и определить, соответствует ли его структура сгенерированной нейросетью.

Такой подход напоминает технологию SynthID от Google DeepMind, которая используется для маркировки созданного ИИ контента.

Когда появится textGrain

Запуск новой системы начнется в ближайшие недели. Автоматическая маркировка будет включена для пользователей ChatGPT и Codex в странах Европейского союза.

Разработчики, которые работают с моделями OpenAI через официальный API, получат возможность самостоятельно включать textGrain для поддерживаемых моделей. Эта возможность будет доступна независимо от региона.

При этом OpenAI пока не рассматривает textGrain как универсальный мировой стандарт маркировки AI-текстов.

Короткие тексты распознавать сложнее

У технологии есть важное ограничение, связанное с объемом материала. В OpenAI отмечают, что текстовая маркировка в целом менее надежна, чем аналогичные технологии для изображений или аудио.

Чем меньше текста доступно для анализа, тем труднее детектору обнаружить скрытый паттерн. Во внутренних тестах система распознавала примерно 80% текстов с маркировкой объемом около 200 токенов. При увеличении объема до 400 токенов показатель поднимался примерно до 90%.

Еще серьезнее на результат влияет последующее редактирование. Если изменить около 10% слов, заменив их синонимами, эффективность обнаружения, согласно приведенным данным, может снизиться с 92% до 66%. При изменении четверти текста показатель падает уже примерно до 17%.

Это означает, что наличие textGrain не превращает обнаружение ИИ-контента в безошибочный тест.

Водяной знак не доказывает авторство всего текста

Еще один важный нюанс касается интерпретации результатов. Обнаружение метки textGrain не означает, что весь материал целиком был скопирован из ChatGPT или Codex.

Такая система показывает прежде всего, что при создании или последующей обработке текста использовалась модель OpenAI. Если автор самостоятельно написал часть материала, а затем отредактировал или расширил ее с помощью ИИ, наличие метки не позволяет автоматически определить, какая именно часть принадлежит нейросети.

Поэтому textGrain скорее должен стать инструментом для дополнительной проверки происхождения контента, а не абсолютным доказательством его авторства.

Не пропустите интересное!

Підписывайтесь на наши каналы и читайте анонсы хай-тек новостей, тестов и обзоров в удобном формате!

Мы в Facebook Мы в Instagram Мы в Telegram