OpenAI запустит в Евросоюзе машинно-читаемую маркировку текста согласно требованиям EU AI Act. В ближайшие недели невидимые водяные знаки начнут появляться в части ответов ChatGPT и Codex.

При этом компания признает, что технология пока не позволяет надежно определять происхождение любого текста.

В ближайшие недели невидимый водяной знак появится в подходящем текстовом контенте ChatGPT и Codex для пользователей из ЕС. Маркировка будет распространяться на все тарифные планы.

Технология получила название textGrain. Она добавляет в текст статистический сигнал за счет выбора слов моделью. Специальный детектор затем проверяет, присутствует ли в тексте такой сигнал.

OpenAI объясняет внедрение требованиями EU AI Act, который обязывает поставщиков генеративного ИИ делать созданный моделями текст машинно-читаемым для идентификации. При этом компания подчеркивает, что современные методы текстовой маркировки все еще находятся на ранней стадии развития.

По данным OpenAI, эффективность textGrain зависит от длины и содержания текста. При заданной доле ложных срабатываний в 1% система обнаруживала водяной знак примерно в 80% текстов объемом 200 токенов и примерно в 95% текстов объемом 400 токенов в тестах с психологическими вопросами.

Для математических текстов показатели были значительно ниже из-за меньшей свободы выбора слов.

Еще одна проблема — редактирование. В тестах с текстами объемом 400 токенов замена 10% слов синонимами снизила обнаружение водяного знака примерно с 92% до 66%. При замене 25% слов показатель упал до 17%.

Поэтому OpenAI пока не открывает детектор для всех желающих. Компания начала принимать заявки от исследователей и экспертных организаций, которые смогут тестировать технологию и помогать оценивать ее надежность.

OpenAI отдельно предупреждает, что наличие водяного знака не означает автоматического доказательства авторства ИИ.