Cloudflare обвинила Perplexity в сборе данных для ИИ в обход запретов, заблокировала ботов

Cloudflare утверждает, что Perplexity меняет названия своих ботов в поле User-Agent и использует автономные системы для обхода блокировок, например имитацию браузера Google Chrome на macOS. Компания обнаружила это после жалоб клиентов, которые внесли правила в robots.txt и установили дополнительные блокировки для известных ботов Perplexity. В результате Cloudflare исключила ботов Perplexity из своего официального списка доверенных краулеров и внедрила дополнительные механизмы их блокировки.

В Perplexity назвали пост Cloudflare маркетинговым ходом и сказали, что её скриншоты не подтверждают факт доступа к контенту. Там дообавили, что упомянутый в отчёте бот не принадлежит стартапу. Cloudflare настаивает на достоверности своих данных.

Ранее Cloudflare уже выступала с критикой агрессивного скрапинга со стороны ИИ-компаний, а глава Cloudflare Мэтью Принс заявлял, что массовый сбор данных подрывает экономику интернета, особенно для новостных изданий. Компания выпустила бесплатный инструмент для защиты от копирования контента для обучения моделей и запустила торговую платформу, позволяющую владельцам сайтов брать плату с ИИ-разработчиков за доступ к данным.

Это не первое обвинение в адрес Perplexity. В прошлом году издания, в том числе Wired, обвиняли стартап в воспроизведении их материалов без должного указания источника.