Cloudflare абвінаваціла Perplexity у зборы дадзеных для ШІ у абход забарон, заблакавала ботаў
Cloudflare абвінаваціла Perplexity у масавым скрэйпінгу вэб-сайтаў, якія наўпрост забараняюць збор дадзеных. Паводле свежага даследавання воблачнай кампаніі, боты Perplexity ігнаруюць тэхнічныя абмежаванні, усталяваныя ў файле robots.txt, і працягваюць вымаць і капіяваць кантэнт з дзесяткаў тысяч даменаў, робячы мільёны запытаў штодня.
Cloudflare сцвярджае, што Perplexity змяняе назвы сваіх ботаў у полі User-Agent і выкарыстоўвае аўтаномныя сістэмы для абыходу блакіровак, напрыклад імітацыю браўзера Google Chrome на macOS. Кампанія выявіла гэта пасля скаргаў кліентаў, якія ўнеслі правілы ў robots.txt і ўсталявалі дадатковыя блакіроўкі для вядомых ботаў Perplexity. У выніку Cloudflare выключыла ботаў Perplexity са свайго афіцыйнага спіса давераных краўлераў і ўкараніла дадатковыя механізмы іх блакіроўкі.
У Perplexity назвалі пост Cloudflare маркетынгавым хадом і сказалі, што яе скрыншоты не пацвярджаюць факт доступу да кантэнту. Там дадалі, што згаданы ў справаздачы бот не належыць стартапу. Cloudflare настойвае на дакладнасці сваіх дадзеных.
Раней Cloudflare ўжо выступала з крытыкай агрэсіўнага скрэйпінгу з боку ШІ-кампаній, а кіраўнік Cloudflare Мэцью Прынс заяўляў, што масавы збор дадзеных падрывае эканоміку інтэрнэту, асабліва для навінавых выданняў. Кампанія выпусціла бясплатны інструмент для абароны ад капіявання кантэнту для навучання мадэляў і запусціла гандлёвую платформу, якая дазваляе ўладальнікам сайтаў браць плату з ШІ-распрацоўшчыкаў за доступ да дадзеных.
Гэта не першае абвінавачванне на адрас Perplexity. У мінулым годзе выданні, у тым ліку Wired, абвінавачвалі стартап ва ўзнаўленні іх матэрыялаў без належнага ўказання крыніцы.
Читать на dev.by