Компания Cloudflare, обслуживающая около 20% глобального интернет-трафика, объявила о двух нововведениях: теперь все новые сайты на платформе будут по умолчанию блокировать известные ИИ-краулеры, а сервис Pay per Crawl позволит авторам контента получать оплату за доступ к их сайтам со стороны ИИ.
Компания Cloudflare, обслуживающая около 20% глобального интернет-трафика, объявила о двух нововведениях: теперь все новые сайты на платформе будут по умолчанию блокировать известные ИИ-краулеры, а сервис Pay per Crawl позволит авторам контента получать оплату за доступ к их сайтам со стороны ИИ.
Новые клиенты Cloudflare автоматически получают настройку, запрещающую ИИ-ботам сканировать содержимое сайтов без явного разрешения. Если раньше блокировка работала только в рамках директив `robots.txt`, то теперь технология способна остановить даже тех ботов, которые ее игнорируют.
Среди поддержавших инициативу — The Associated Press, The Atlantic, Fortune, Stack Overflow, TIME и Quora. Издания обеспокоены тем, что все больше пользователей обращаются к ИИ-чатам, минуя оригинальные источники информации.
Новая система Pay per Crawl позволяет владельцам сайтов самостоятельно установить цену за доступ ИИ-компаний к их контенту. Это может быть микроплатеж за каждый случай сканирования — в зависимости от цели: обучение, генерация ответов, ИИ-поиск и т. д.
Сейчас модель работает в закрытом бета-режиме с участием «ведущих издателей и авторов». Публикаторы смогут видеть, как часто их контент посещают ИИ-боты, и требовать плату за доступ — или полностью блокировать его.
Cloudflare утверждает, что это даст авторам возможность защищать свои права и получать компенсацию за сбор контента, который ранее был бесплатным и происходил без согласия. По данным Cloudflare, краулеры OpenAI сканировали сайты 1700 раз на один переход по ссылке, тогда как Google — 14 раз, а Anthropic — 73000 раз на каждое перенаправление.
На фоне интереса к автоматическим платежным системам для AI-агентов CEO Cloudflare Мэттью Принс заявил о возможной разработке собственной стейблкоин-монеты, которая могла бы использоваться в Pay per Crawl.
Пока же транзакции в новой системе происходят через Cloudflare напрямую, без криптовалют. «Искусственный интеллект без разрешения и оплаты бесконтрольно сканирует интернет. Мы хотим вернуть контроль в руки авторов», — подчеркнул Принс.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.