watermarks

[sab123]

"Can Simple Averaging Defeat Modern Watermarks?"
https://neurips.cc/virtual/2024/poster/94798

Человек нашел,что "водяные знаки" в картинках легко выцепляются усреднением большого количества картинок, и потом вырезаются вычитанием этого среднего. Говорит, что еще они очень чувствительны к позиции, даже тупо отрезав с одной тстороны один-два пикселя, многие водяные знаки перестают распознаваться.

С другой стороны, Мета там выступала (ссылку я похоже не сохранил) со своими водяными знаками, которые должны быть устойчивы ко многим преобразованиям.

"Watermarking Makes Language Models Radioactive"
https://neurips.cc/virtual/2024/poster/93506

С третьей стороны, народ изучает и скрытые пометки в тексте LLMов. И пришли к выводу, что если результаты одних LLMов используются в тренировке других, то пометки первых ЛЛМов вылезут и во вторых. В-общем, с расширением количества в интернетах текстов, сгенерированных ЛЛМами, скоро все их пометки будут везде.

Comments

[sobriquet9]

Вычитание среднего будет работать только если ко всем изображениям прибавляется одинаковый водяной знак. В статье проводится разделение алгоритмов на contect agnostic и content sensitive, но это необязательно. Например, можно создать N разных водяных знаков, которые между собой некоррелированы, и применять один из них, выбранный для каждой новой картинки случайно. Получаем content agnostic метод, против которого описываемая атака не работает (потому что среднее будет к нулю стремиться).

[sab123]

Среднее будет стремиться не к нулю, а к комбинации всех водяных знаков сразу (более слабой). На самом деле сделать водяной знак, устойчиый к кроппингу, должно быть в теории не так уж и сложно: представим себе кодирование через комбинацию частотных паттернов, как в джипеге/мпеге. Добавляем яркости подмножеству этих паттернов, сцентрированных вокруг некой случайно выбранной точки. При проверке же сканируем по картинке и ищем точку, которая удовлетворит паттерну.

[sobriquet9]

Если водяные знаки некоррелированы, их среднее будет стремиться к нулю. Например, так работает GPS. Все спутники передают одновременно и постоянно на одной частоте, каждый модулирует свой псевдослучайный сигнал. На приёмнике стоит двенадцать корреляторов, каждый использует псевдослучайную последовательность своего спутника. Сигналы других спутников ему не мешают, потому что кросс корреляция равна нулю. Если все сигналы усреднить, получится тоже ноль (плюс шум).

[sab123]

Это только если знаки дют в среднем равномерное распределение по площади. А если они скажем представляют собой тонкие полоски в разных местах, то вылезут все сразу полоски, только более бледно. Собственно, поэтому знаки и вылазят, что сумма большого количества случайных картинок приблизительно равна нулю (ну то есть на самом деле не нулю, а некоему одинаковому среднему значению пикселя для всех пикселей), знаки дают на этом фоне среднее значение знаков (т.е. для разных пикселей будет разное среднее).

[sobriquet9]

Отсутствие корреляции именно это и означает. Там в числителе матожидание произведения отклонений. Псевдослучайные последовательности выбираются так, чтобы в автокорреляционной функции был только один пик, безо всяких лишних полосок.

[sab123]

Но как тогда проверять такой водяной знак? По картинке надо каким-то образом выбрать, какой из знаков был использован, и сделать это одинаково при генерации и при проверке. Эта выборка должна быть устойчива к многим трансформациям картинки.

Кстати, интересно, что эти генераторы знаков делают, если скормить им одноцветную картинку? Ведь на ней любые знаки должны быть сразу видны.

[sobriquet9]

Проверять на наличие одного из N возможных знаков. Так же как приёмник GPS одновременно принимает и декодирует сигналы нескольких спутников. Число N не обязано быть большим.

В картинках много избыточности, стеганографию прячут в младшие биты и размазывают по площади. На пустом кадре водяной знак может быть видно, особенно если поиграть с уровнями.

[sab123]

Стеганография скорее всего потеряется, если картинку тупо пережать заново jpeg-ом.

Для совсем пустой картинки решением может быть ограничивать яркость знака каким-то процентом от перепадов яркости в картинке, тогда пустая картинка просто не пометится (но ее и метить незачем, в ней нет ничего ценного!). Сложнее с картинками с одной тонкой яркой полосой.

Для небольшого числа N можно пытаться для целей взлома групировать тестовые картинки в разных подмножествах и смотреть, что вылазит. Ну и опять же, для целей проверки знаков оно не решает проблемы, что делать с обрезанием (cropping) картинки, которое сдвинет знак.

[sobriquet9]

Чтобы заметно увеличить соотношение сигнал/шум (в данном случае водяной знак/исходная картинка), надо усреднить много изображений. Комбинаторика намекает, что количество возможных группировок растёт очень быстро, перебор в лоб вряд ли поможет.

[sab123]

У меня есть ощущение, что комбинаторика тут определяется не столько количеством изображений сколько количеством вариантов знака. Но сформулировать конкретный алгоритм на лету я затрудняюсь.

Кстати, водяные знаки - это по своей сути и есть стеганография, устойчивая к трансформациям.