Исследователи запустили проект Poison Fountain, цель которого — саботировать обучение ИИ-моделей за счет «отравления» данных, которые собирают веб-сканеры крупных технологических компаний.
Исследователи запустили проект Poison Fountain, цель которого — саботировать обучение ИИ-моделей за счет «отравления» данных, которые собирают веб-сканеры крупных технологических компаний.
Инициатива призывает владельцев сайтов специально подсовывать ИИ-краулерам наборы данных, способные нарушить работу моделей и снизить их качество.
Проект стартовал на прошлой неделе. По данным The Register, в нем участвуют специалисты, работающие в крупных американских ИИ-компаниях. Один из источников издания утверждает, что «ситуация обостряется гораздо сильнее, чем это осознает широкая публика».
Авторы Poison Fountain прямо заявляют, что считают машинный интеллект угрозой человечеству, ссылаясь на позицию Джеффри Хинтона — одного из основателей современной ИИ-индустрии и ее известного критика. В ответ на эту угрозу участники проекта, по их словам, хотят «наносить ущерб системам машинного интеллекта».
Идея основана на уязвимости, лежащей в основе современного ИИ-бума: качество моделей напрямую зависит от данных, на которых они обучаются. Массовый сбор информации из интернета стал ключевым фактором успеха больших языковых моделей, но одновременно вызвал волну споров об авторском праве и законности такого скрейпинга. Poison Fountain предлагает использовать этот же механизм против самих ИИ-систем.
Проект распространяет ссылки на «отравленные» датасеты, которые владельцы сайтов могут незаметно встраивать в свои страницы. По замыслу авторов, ИИ-сканеры будут автоматически забирать эти данные вместе с остальным контентом. Внутри таких наборов содержится код с логическими ошибками и багами, которые, по словам участников, способны повредить модели при обучении и привести к деградации их «когнитивных» способностей.
Авторы называют свои действия формой оружия против неконтролируемого распространения ИИ, утверждая, что одних лишь регуляторных мер уже недостаточно, поскольку технологии стали глобально доступными. При этом остается неясно, сможет ли инициатива получить массовое распространение и насколько легко ИИ-компании смогут отфильтровывать подобные данные из своих обучающих корпусов.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
после того как свои модели обучили на открытых данных, начинают отравливать их, чтобы конкуренты не смогли проследовать по их стопам.
атрутай слоп не сапсуеш)