Бывший исследователь OpenAI Джерри Творек заявил, что современные ИИ-модели не способны эффективно учиться на собственных ошибках — и это может стать серьезным препятствием на пути к созданию общего ИИ.
Бывший исследователь OpenAI Джерри Творек заявил, что современные ИИ-модели не способны эффективно учиться на собственных ошибках — и это может стать серьезным препятствием на пути к созданию общего ИИ.
В подкасте Unsupervised Learning ученый отметил, что у нынешних систем отсутствует надежный механизм пересмотра внутренних знаний после неудач. «Если они терпят неудачу, довольно быстро возникает ощущение безысходности. У моделей нет хорошего способа обновлять свои убеждения и внутренние знания на основе ошибок», — сказал Творек.
Исследователь участвовал в разработке рассуждающих моделей OpenAI, включая o1 и o3, однако недавно покинул компанию, чтобы сосредоточиться на решении этой проблемы. По его словам, пока ИИ не научится самостоятельно преодолевать трудности и «выбираться из тупиков», говорить о настоящем общем ИИ преждевременно. Он также назвал процесс обучения современных моделей «фундаментально хрупким».
Творек противопоставил это человеческому интеллекту, который обладает способностью к самокоррекции. «Интеллект всегда находит выход», — подчеркнул он. В беседе ученый также объяснил, что именно эта проблема подтолкнула его покинуть OpenAI и заняться поиском новых подходов к созданию систем, способных к непрерывному обучению.
Проблему уязвимости ИИ отмечают и другие исследователи. Так, ученые Apple ранее обнаружили, что модели рассуждения могут сталкиваться с так называемым «коллапсом рассуждений», когда им приходится решать задачи, выходящие за пределы шаблонов, усвоенных во время обучения.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Это действительно так. Я уже несколько месяцев долбаюсь над созданием механизма "рефлексии" и полностью подтверждаю - потерпев несколько неудач модель перестает модифицировать собственный пайплайн адаптивного тюнинга или скатывается в галлюцинаторный бред