Живешь в Польше? Подпишись на полезный канал о финансах Złoty Dzik
Support us

Cloudflare обвинила Perplexity в сборе данных для ИИ в обход запретов, заблокировала ботов

Cloudflare обвинила Perplexity в массовом скрапинге веб-сайтов, которые прямо запрещают сбор данных. Согласно свежему исследованию облачной компании, боты Perplexity игнорируют технические ограничения, установленные в файле robots.txt, и продолжают извлекать и копировать контент с десятков тысяч доменов, делая миллионы запросов ежедневно.

2 комментария

Cloudflare обвинила Perplexity в массовом скрапинге веб-сайтов, которые прямо запрещают сбор данных. Согласно свежему исследованию облачной компании, боты Perplexity игнорируют технические ограничения, установленные в файле robots.txt, и продолжают извлекать и копировать контент с десятков тысяч доменов, делая миллионы запросов ежедневно.

Cloudflare утверждает, что Perplexity меняет названия своих ботов в поле User-Agent и использует автономные системы для обхода блокировок, например имитацию браузера Google Chrome на macOS. Компания обнаружила это после жалоб клиентов, которые внесли правила в robots.txt и установили дополнительные блокировки для известных ботов Perplexity. В результате Cloudflare исключила ботов Perplexity из своего официального списка доверенных краулеров и внедрила дополнительные механизмы их блокировки.

В Perplexity назвали пост Cloudflare маркетинговым ходом и сказали, что её скриншоты не подтверждают факт доступа к контенту. Там дообавили, что упомянутый в отчёте бот не принадлежит стартапу. Cloudflare настаивает на достоверности своих данных.

Ранее Cloudflare уже выступала с критикой агрессивного скрапинга со стороны ИИ-компаний, а глава Cloudflare Мэтью Принс заявлял, что массовый сбор данных подрывает экономику интернета, особенно для новостных изданий. Компания выпустила бесплатный инструмент для защиты от копирования контента для обучения моделей и запустила торговую платформу, позволяющую владельцам сайтов брать плату с ИИ-разработчиков за доступ к данным.

Это не первое обвинение в адрес Perplexity. В прошлом году издания, в том числе Wired, обвиняли стартап в воспроизведении их материалов без должного указания источника.

Flo урегулировала многомиллиардный 4-летний иск о передаче пользовательских данных
Flo урегулировала многомиллиардный 4-летний иск о передаче пользовательских данных
По теме
Flo урегулировала многомиллиардный 4-летний иск о передаче пользовательских данных
Perplexity запустил ИИ-браузер
Perplexity запустил ИИ-браузер
По теме
Perplexity запустил ИИ-браузер
Читайте также
Нейросеть «оживляет» классические пиксельные игры
Нейросеть «оживляет» классические пиксельные игры
Нейросеть «оживляет» классические пиксельные игры
Meta разработала ИИ для «чтения мыслей»
Meta разработала ИИ для «чтения мыслей»
Meta разработала ИИ для «чтения мыслей»
Во Франции искусственный интеллект помогает искать нелегальные бассейны и штрафовать нарушителей
Во Франции искусственный интеллект помогает искать нелегальные бассейны и штрафовать нарушителей
Во Франции искусственный интеллект помогает искать нелегальные бассейны и штрафовать нарушителей
4 комментария
В России создали бесплатного конкурента генератора картинок DALL-E 2
В России создали бесплатного конкурента генератора картинок DALL-E 2
В России создали бесплатного конкурента генератора картинок DALL-E 2
2 комментария

Хотите сообщить важную новость? Пишите в Telegram-бот

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

0

Ну блин, надеюсь всё с ним будет нормально.
Только недавно открыл perplexity и то какой он удобный и классный. Сбор информации по интернету с ним раз в 5 быстрее гугла

Почему если ботам гугла можно собирать информацию то другим нет?

Пользователь отредактировал комментарий 5 августа 2025, 16:05

m-yan
m-yan Аналитик в Компании
0

Гугл ограничивается через robots.txt