Cloudflare обвинила Perplexity в массовом скрапинге веб-сайтов, которые прямо запрещают сбор данных. Согласно свежему исследованию облачной компании, боты Perplexity игнорируют технические ограничения, установленные в файле robots.txt, и продолжают извлекать и копировать контент с десятков тысяч доменов, делая миллионы запросов ежедневно.
Cloudflare обвинила Perplexity в массовом скрапинге веб-сайтов, которые прямо запрещают сбор данных. Согласно свежему исследованию облачной компании, боты Perplexity игнорируют технические ограничения, установленные в файле robots.txt, и продолжают извлекать и копировать контент с десятков тысяч доменов, делая миллионы запросов ежедневно.
Cloudflare утверждает, что Perplexity меняет названия своих ботов в поле User-Agent и использует автономные системы для обхода блокировок, например имитацию браузера Google Chrome на macOS. Компания обнаружила это после жалоб клиентов, которые внесли правила в robots.txt и установили дополнительные блокировки для известных ботов Perplexity. В результате Cloudflare исключила ботов Perplexity из своего официального списка доверенных краулеров и внедрила дополнительные механизмы их блокировки.
В Perplexity назвали пост Cloudflare маркетинговым ходом и сказали, что её скриншоты не подтверждают факт доступа к контенту. Там дообавили, что упомянутый в отчёте бот не принадлежит стартапу. Cloudflare настаивает на достоверности своих данных.
— Perplexity (@perplexity_ai) August 5, 2025
Ранее Cloudflare уже выступала с критикой агрессивного скрапинга со стороны ИИ-компаний, а глава Cloudflare Мэтью Принс заявлял, что массовый сбор данных подрывает экономику интернета, особенно для новостных изданий. Компания выпустила бесплатный инструмент для защиты от копирования контента для обучения моделей и запустила торговую платформу, позволяющую владельцам сайтов брать плату с ИИ-разработчиков за доступ к данным.
Это не первое обвинение в адрес Perplexity. В прошлом году издания, в том числе Wired, обвиняли стартап в воспроизведении их материалов без должного указания источника.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Ну блин, надеюсь всё с ним будет нормально.
Только недавно открыл perplexity и то какой он удобный и классный. Сбор информации по интернету с ним раз в 5 быстрее гугла
Почему если ботам гугла можно собирать информацию то другим нет?
Пользователь отредактировал комментарий 5 августа 2025, 16:05
Гугл ограничивается через robots.txt