Reddit ещё сильнее обороняется от веб-краулеров: за последние недели площадка стала запрещать поисковым системам отображать в выдаче ссылки на свои посты и комментарии, если те не платят, пишет The Verge.
Reddit ещё сильнее обороняется от веб-краулеров: за последние недели площадка стала запрещать поисковым системам отображать в выдаче ссылки на свои посты и комментарии, если те не платят, пишет The Verge.
Например, Google сейчас единственный крупный поисковик, который выдает свежие страницы Reddit при добавлении в запрос «site:reddit.com». Bing, DuckDuckGo и другие его альтернативы за бортом — вероятно, потому, что Google заключила с Reddit сделку на $60 млрд, которая позволяет первой обучать свои модели на контенте второй.
В Reddit изданию заявили, что сделка ни при чём. Там добавили, что вели переговоры с несколькими поисковиками, но к соглашению пришли не со всеми, поскольку некоторые не смогли или не захотели принять условия Reddit по использованию контента, в том числе для тренировки ИИ. В Microsoft подтвердили, что Bing больше не трогает Reddit.
The Verge называет блокировку популярных поисковиков со стороны Reddit смелым шагом, но ничуть не удивительным. Последний год площадка более ревностно относится к своему контенту, поскольку видит в нём источник доходов и способ привлечь новых инвесторов. Ранее компания подняла цену на свой API для некоторых сторонних разработчиков, а также якобы угрожала отгородить от своего контента Google, если та не перестанет пользоваться им бесплатно для нужд ИИ. Недавно Reddit обновил файл robots.txt с инструкциями для краулеров, чтобы помешать сбору данных.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.