Patreon больше не намерен действовать в режиме мягких просьб.
В течение многих лет эта платформа для поддержки авторов опиралась на цифровой аналог таблички «Пожалуйста, не ешьте растения». Речь идет о файле robots.txt. Этот текстовый файл инструктирует поисковых роботов не посещать определенные страницы. Это устаревший способ управления доступом. Для компаний, разрабатывающих искусственный интеллект, такое ограничение воспринималось, в лучшем случае, как рекомендация, а в худшем — как досадная помеха.
Теперь правила игры изменились.
Patreon сменил тактику. Теперь платформа активно блокирует ИИ-боты, пытающиеся собирать контент создателей для обучения моделей. Никаких вежливых просьб. Только жесткий запрет.
Как Patreon блокирует ИИ-краулеры
Сами по себе механизмы блокировки не являются новым изобретением, но меры enforcement стали гораздо строже. Patreon сотрудничает с Cloudflare — одним из крупнейших провайдеров интернет-инфраструктуры. В частности, они внедряют технологию Cloudflare AI Crawl Control.
Речь идет не только о скрытии контента за платной стеной, хотя это всегда помогало. Последние обновления платформы, такие как переработанная главная лента и функция «Quips» (короткие посты, похожие на твиты), сделали больше контента технически доступным для сканирования роботами. Это представляло определенную угрозу. Поэтому старых пассивных мер защиты больше недостаточно.
Переход от пассивных запросов к активным блокировкам позволяет Patreon использовать инфраструктурные инструменты, которые многие сайты игнорируют.
Согласие не должно зависеть от того, решит ли краулер вести себя «правильно».
Именно эта философия лежит в основе подхода платформы. И она работает. В ходе ранних тестов результаты были впечатляющими. Количество попыток ИИ-краулеров получить доступ к страницам Patreon, которые ранее исчислялись тысячами, упало до нуля. До нуля. Потому что боты ранее игнорировали установленные правила. Файл robots.txt был для них лишь декорацией. Теперь же это закрытый шлюз.
Какие ИИ-боты блокируются, а какие разрешены
Не все боты под запретом.
Существует четкое разделение, которое важно для видимости в поисковой выдаче. Роботы, которые просто индексируют страницы, чтобы помочь пользователям находить авторов и возвращаться на Patreon, по-прежнему приветствуются. Это двигатели открытия нового контента. Вы же хотите, чтобы вас находили через Google или Bing, верно?
Блокируются конкретные типы ботов: те, которые предназначены для обучения ИИ-моделей на основе этого контента. Цель — не невидимость, а контроль.
Этот шаг отражает более широкие тренды в отрасли. Недавно сама Cloudflare обновила свою политику, добавив по умолчанию блокировку «универсальных» краулеров на страницах с рекламой. Они также внедрили концепцию «Плата за сканирование», позволяющую издателям взимать плату за доступ. Пока Patreon не взимает плату, но они проводят четкую границу.
Почему это важно для согласия авторов на использование ИИ
Большинство авторов находятся в неудобном положении. Если вы размещаете свои работы в сети, чтобы набрать аудиторию, ИИ-компании обычно собирают этот контент независимо от ваших пожеланий. Это плата за охват. Как правило.
Patreon утверждает, что эта динамика должна измениться. Они стремятся к тому, чтобы авторы могли расти, не отдавая свои интеллектуальные права на обучение «черных ящиков» моделей ИИ.
«Авторы заслуживают реального права голоса в том, как их…», — как выразился Drew Rowny, глава продукта в Patreon.
Это, конечно, видение будущего. Интернет по-прежнему во многом построен на сборе данных (скрапинге). Но, применяя строгие блокировки через Cloudflare, Patreon проверяет, можно ли масштабировать такой подход. Защищает ли он доходы авторов или просто вынуждает скраперы искать менее регулируемые уголки сети.
Инструменты уже существуют. Вопрос в том, последуют ли за этим другие платформы.
Patreon высказал свое мнение. Боты высланы. Будет ли остальная часть интернета двигаться в том же направлении — это уже другая история.
