Project Bulba: Google использовала ChatGPT, чтобы победить ChatGPT

Подрядчики стартапа генерили тысячи ответов ChatGPT, потом брали ответы Bard, переписывали их и сравнивали с ответами ChatGPT — чтобы были лучше или хотя бы не хуже, после чего скармливали назад боту Google. Кроме того, им ставилась задача тщательно изучать ответы GPT-4, чтобы понять, почему именно они лучше ответов Bard, и поделиться выводами с коллегами.

Менеджеры Scale AI в деталях зафиксировали, что ответы ChatGPT были лучше отформатированы и содержали более интересные факты. Работники дожны были делать лучше модели под капотом бота OpenAI. Например, в одном документе собраны имена десятков подрядчиков, чьи ответы были постоянно хуже GPT-4. А в другом подрядчикам обещают 15%-ный бонус за ответы, которые лучше, чем у ChatGPT.

К слову, 49% долей в стартапе из Сан-Франциско, который занимается разметкой данных для технокомпаний, недавно за $15 млрд купила Meta. А его СЕО Александр Ван возглавит здесь новую команду по созданию сверхинтеллекта, которую собирает сам Марк Цукерберг.

Project Bulba

Связанный с Bard проект проходил в Scale AI под кодовым названием Bulba — в честь покемона Бульбазавра. Scale AI никогда не называл Google напрямую во внутренних документах и ссылался на неё как на анонимного «клиента». Но в файлах есть упоминания Bard, а в один из обучающих документов прокрался логотип Google.

Ответы ChatGPT использовались для улучшения ответов Bard в том числе по физике и разработке. Причём Scale AI и Google запрещали полностью копипастить ответы ChatGPT.

OpenAI в правилах пользования запрещает использовать своего бота «для разработки конкурирующих моделей». Но в Scale AI изданию сказали, что ответы ChatGPT или каких-либо других ботов не использовались для тренировки моделей Google или чьих-либо ещё. Они использовались для рутинной оценки ответов — стандартной практики в отрасли. Мол, это не то же самое, что скармливать одному боту ответы другого для обучения — здесь так не делали. В Google тоже сказали, что не использовали чужие модели для тренировки Gemini, в которую был переименован Bard.

Тем не менее эксперты отмечают, что даже такие сравнительные данные влияют на ответы моделей: выставление оценок ответам и делается для калибровки моделей, то есть можно сказать, что ChatGPT всё равно вовлечён в процесс тренировки.

Улики в свободном доступе

До этого в публичном пространстве не было подробностей о сотрудничестве Scale AI и Google. Однако стартап оставил в открытом доступе файл Google Docs более чем на 300 страниц с кучей ссылок на другие Google-документы. Многие из них общедоступны и содержат чувствительную информацию, например об оплате подрядчиков, личные емейлы и результаты перфоманс-ревью, а также актуальные пароли к тренировочным сессиям. Некоторые документы даже могут быть отредактированы всеми, у кого есть ссылка.

В Scale AI сказали, что «активно расследуют», кто мог получить доступ к файлу, и пытаются что-то делать, чтобы всё починить. BI пишет, что через два дня после того, как сообщил стартапу о файле, он всё ещё оставался лежать в сети, доступный для скачивания всем, у кого есть ссылка.