OpenAI: ИИ научился сам генерировать новые знания

В интервью журналу Nature Пахоцки рассказал, как так называемые модели рассуждений готовы самостоятельно создавать знания. «Я бы сказал, что это форма рассуждения, но это не значит, что она идентична человеческому мышлению», — отметил он.

Пахоцки описал двухэтапный процесс обучения этих моделей. Первый этап — это неконтролируемое предварительное обучение, в ходе которого ИИ поглощает огромные объемы данных для построения «модели мира» — внутреннего представления реальности без сознательной структуры или временной шкалы.

Второй этап использует обучение с подкреплением и обратной связью от человека (RLHF), чтобы превратить эту базу в функционального помощника. RLHF особенно важен для моделей рассуждений, подчеркнул Пахоцки, хотя OpenAI также применяет традиционное обучение с подкреплением для задач с четкими правильными и неправильными ответами. RLHF лучше справляется со сложными, неоднозначными проблемами, но менее масштабируема.

Ученый подверг сомнению традиционное разделение предварительного обучения и обучения с подкреплением, предположив, что они тесно связаны. «Модели рассуждений не учатся думать в вакууме, они основаны на модели, которая обучалась в ходе предварительного обучения», — пояснил он.

Взгляд Пахоцки на общий искусственный интеллект (AGI) со временем эволюционировал. Будучи студентом, он считал освоение игры в го далекой целью, но победа AlphaGo в 2016 году перевернула его ожидания. Последующие этапы, такие как прохождение теста Тьюринга и решение сложных математических задач, были достигнуты гораздо быстрее, чем предполагал ученый.

Теперь исследователь определяет AGI в экономических терминах: ИИ-системы, которые приносят значительную коммерческую ценность и проводят автономные исследования. «Для меня это ближе всего к тому, что я раньше эмоционально считал AGI», — сказал он в интервью.

Исследователь прогнозирует «существенный прогресс» в автономных исследованиях ИИ к концу десятилетия, а ранние практические применения — такие как ИИ-системы, способные разрабатывать программное обеспечение «почти автономно» — могут появиться уже в этом году.