Битва за веб: издатели и бигтех яростно спорят о стандартах ИИ-поиска
Внутри Internet Engineering Task Force (IETF), организации, создавшей такие ключевые стандарты интернета, как TCP/IP, HTML и robots.txt, разгорается один из самых острых споров последних лет. Рабочая группа обсуждает новые правила, которые должны определить будущее сети в эпоху генеративного искусственного интеллекта.
Внутри Internet Engineering Task Force (IETF), организации, создавшей такие ключевые стандарты интернета, как TCP/IP, HTML и robots.txt, разгорается один из самых острых споров последних лет. Рабочая группа обсуждает новые правила, которые должны определить будущее сети в эпоху генеративного искусственного интеллекта.
По данным Business Insider, предлагается закрепить различие между поисковыми системами и ИИ-движками, напрямую выдающими ответы, а также дать сайтам возможность блокировать ботов, собирающих данные для обучения и работы ИИ, сохраняя при этом доступ для краулеров классических поисковиков.
В основе инициативы — желание издателей сохранить старую модель «большого обмена», при которой сайты бесплатно разрешают индексацию, а поисковики приводят им трафик, монетизируемый рекламой и подписками. С появлением AI Overviews и AI Mode у Google, ChatGPT от OpenAI и других сервисов все больше ответов формируется прямо на страницах, что снижает переходы на оригинальные источники и угрожает бизнес-модели качественного контента.
Крупные технологические компании, включая Google, Microsoft, OpenAI и Amazon, выступили против ряда предложений. По их мнению, невозможно отделить поиск от ИИ, так как современные поисковые системы глубоко интегрированы с алгоритмами машинного обучения. Юристы Google предупредили, что новые стандарты могут вызвать путаницу и даже привести к исключению сайтов из поиска.
Издатели и медиакомпании, напротив, настаивают на проведении четкой границы между поисковыми системами, которые направляют пользователей к источникам, и генеративными ИИ, которые подменяют контент собственными пересказами. По их данным, внедрение ИИ-резюме уже резко снижает трафик: исследование Pew показало, что пользователи кликают по ссылкам почти вдвое реже, если им показывается сводка, а примеры вроде Trusted Reviews фиксируют миллионы обращений ботов при минимальном количестве реальных визитов.
Под давлением крупных игроков из последней версии рабочего документа исчезла отдельная категория «AI Use», но сохранилось ключевое определение поиска как инструмента, который должен вести к оригиналу. Обсуждения продолжатся в ближайшие недели, и эксперты ожидают, что крупные компании будут пытаться смягчить формулировки, но отдельно выделить поисковые системы они считают жизненно важным.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.