«Мы вернем кантроль аўтарам»: Cloudflare закрыла ШІ-краўлерам бясплатны доступ да сайтаў

Новыя кліенты Cloudflare аўтаматычна атрымліваюць наладу, якая забараняе ШІ-ботам сканаваць змест сайтаў без яўнага дазволу. Калі раней блакіроўка працавала толькі ў рамках дырэктыў `robots.txt`, то цяпер тэхналогія здольная спыніць нават тых ботаў, якія яе ігнаруюць.

Сярод падтрымаўшых ініцыятыву — The Associated Press, The Atlantic, Fortune, Stack Overflow, TIME і Quora. Выданні занепакоены тым, што ўсё больш карыстальнікаў звяртаюцца да ШІ-чатаў, мінаючы арыгінальныя крыніцы інфармацыі.

Новая сістэма Pay per Crawl дазваляе ўладальнікам сайтаў самастойна ўсталяваць кошт за доступ ШІ-кампаній да іх кантэнту. Гэта можа быць мікраплацёж за кожны выпадак сканавання — у залежнасці ад мэты: навучанне, генерацыя адказаў, ШІ-пошук і г. д.

Цяпер мадэль працуе ў закрытым бэта-рэжыме з удзелам «вядучых выдаўцоў і аўтараў». Публікатары змогуць бачыць, як часта іх кантэнт наведваюць ШІ-боты, і патрабаваць плату за доступ — ці цалкам блакаваць яго.

Cloudflare сцвярджае, што гэта дасць аўтарам магчымасць абараняць свае правы і атрымліваць кампенсацыю за збор кантэнту, які раней быў бясплатным і адбываўся без згоды. Па дадзеных Cloudflare, краўлеры OpenAI сканавалі сайты 1700 разоў на адзін пераход па спасылцы, тады як Google — 14 разоў, а Anthropic — 73000 разоў на кожнае перанакіраванне.

На фоне цікавасці да аўтаматычных плацежных сістэм для AI-агентаў CEO Cloudflare Мэцью Прынс заявіў аб магчымай распрацоўцы ўласнай стэйблкоін-манеты, якая магла б выкарыстоўвацца ў Pay per Crawl.

Пакуль жа транзакцыі ў новай сістэме адбываюцца праз Cloudflare напрасткі, без крыптавалют. «Штучны інтэлект без дазволу і аплаты бескантрольна скануе інтэрнэт. Мы хочам вярнуць кантроль у рукі аўтараў», — падкрэсліў Прынс.