Месяц назад компания xAI Илона Маска запустила чат-бота Grok. На днях он попался на плагиате: исследователь Джакс Уинтерборн выложил в Х скриншот, на котором Grok отказался выполнять запрос, потому что «он противоречит правилам пользования OpenAI» — разработчице бота-конкурента ChatGPT.
Причём в xAI даже не пытались опровергнуть такое поведение своего чат-бота. Там все объяснили тем, что в сети полным-полно ответов, сгенерированных ChatGPT, и какие-то подвернулись разработчикам при обучении Grok на огромном массиве данных из интернета. «Для нас стало огромной неожиданностью, когда мы впервые столкнулись с этим. Как бы там ни было, проблема довольно редкая, мы о ней знаем и сделаем так, чтобы в будущих версиях Grok её не было», — написал сотрудник xAI, добавив, что код OpenAI при создании бота не использовался.
The issue here is that the web is full of ChatGPT outputs, so we accidentally picked up some of them when we trained Grok on a large amount of web data. This was a huge surprise to us when we first noticed it. For what it’s worth, the issue is very rare and now that we’re aware…
— Igor Babuschkin (@ibab_ml) December 9, 2023
Уинтерборн возразил, что проблема отнюдь не редкая и часто всплывает при просьбе сгенерировать код. Экспертов по большим языковым моделям объяснение тоже не убедило, поскольку модели (почти никогда) не выдают тренировочные данные кусками дословно, что могло бы случиться, если Grok подцепил случайные упоминания политики OpenAI где-то на просторах сети. По их мнению, отказываться от ответа на запрос со ссылкой на политику OpenAI бот мог быть только обучен целенаправленно. И дообучение происходило OpenAI на базе ответов, сгенерированных моделями OpenAI.
Иронично, что в сентябре Маск, который стоял у истоков OpenAI и сейчас владеет Х, полностью запретил сканирование и парсинг соцсети, чтобы сторонние разработчики не тренировали на её данных свои ИИ-модели.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.