Cloudflare объявила, что теперь AI-боты по умолчанию не смогут сканировать сайты, если владелец явно не разрешит доступ. Параллельно компания тестирует новую модель монетизации контента — Pay Per Crawl.
Cloudflare обслуживает около 20% сайтов в интернете, поэтому изменение не «локальное», а потенциально влияет на весь рынок: от медиа и блогов до SaaS и интернет-магазинов.
Что изменилось: блокировка AI-ботов по умолчанию
Раньше многие сайты жили в логике «поисковик индексирует — люди приходят по ссылке». Cloudflare говорит прямо: эта схема ломается, потому что AI-краулеры забирают тексты и изображения, но не возвращают трафик к первоисточнику.
-
Теперь доступ AI-краулеров требует разрешения (если владелец сайта сам не отключит блокировку).
-
AI-компании должны понятнее обозначать цель обхода: обучение, инференс или поиск — чтобы владелец сайта мог принимать решение осознанно.
-
Смысл простой: контроль возвращается к владельцу контента, а не к ботам «по умолчанию».
Идеологически Cloudflare подает это как защиту будущего открытого интернета: если авторы перестанут зарабатывать на оригинальных материалах, стимул создавать качественный контент исчезнет.
Pay Per Crawl: «плати за каждый заход бота»
Вторая часть — эксперимент с рыночной моделью: владелец сайта сможет разрешать скрейпинг за цену, и это будет микроплатеж за каждый crawl.
Логика похожа на API-экономику:
-
потребляешь ресурс — платишь за потребление
-
хочешь масштаб — учитываешь стоимость масштаба
Сторонники идеи считают, что так появится нормальная компенсация авторам в AI-экономике. Скептики же говорят о рисках:
-
непонятно, как AI-провайдеры понесут эти расходы и не уйдут ли «в обходные источники»
-
возможна ситуация, где платят только «топовым» площадкам, а остальные остаются ни с чем
-
есть эффект FOMO: «если я запрещу, конкурент разрешит и получит выгоду/видимость»
Почему это важно владельцам сайтов и хостингу
Практический эффект может быть двояким:
-
плюс: меньше неконтролируемого скрейпинга, ниже нагрузка, больше контроля и потенциальная монетизация
-
минус: если часть интернета «потемнеет» для ботов, новым AI-игрокам будет сложнее собирать разнообразные и свежие данные
Отдельно звучит аргумент про безопасность: управляемые и аутентифицируемые боты снижают шанс злоупотреблений, «плохих» краулеров и перерасхода полосы.
Пятница, Декабрь 12, 2025
