Исследование компании Anthropic показало, что использование ИИ-ассистентов при изучении новых навыков программирования может ухудшать обучение, если разработчики бездумно делегируют работу модели.
Исследование компании Anthropic показало, что использование ИИ-ассистентов при изучении новых навыков программирования может ухудшать обучение, если разработчики бездумно делегируют работу модели.
В исследовании участвовали 52 разработчика с опытом работы на Python не менее года, которые ранее не использовали библиотеку Trio для асинхронного программирования. Участников случайным образом разделили на две группы: одна могла пользоваться ИИ-ассистентом на базе GPT-4o, вторая работала только с документацией и поиском.
Обе группы выполняли одинаковые задачи, после чего проходили тест на понимание ключевых концепций. Разработчики с доступом к ИИ набрали в среднем на 17% меньше баллов, чем контрольная группа, при том что разница во времени выполнения заданий оказалась статистически незначительной.
Ключевым фактором оказалась не сама доступность ИИ, а то, как именно им пользовались. Исследователи выделили шесть типичных моделей взаимодействия с ассистентом. Те, кто полностью перекладывал написание кода на ИИ, справлялись быстрее всех, но почти ничего не усваивали.
Наихудшие результаты показали участники, которые постоянно использовали ИИ для отладки, не пытаясь самостоятельно понять ошибки. В то же время разработчики, которые просили объяснения, задавали концептуальные вопросы или сначала генерировали код, а затем разбирались в нем, сохраняли высокий уровень понимания материала.
Отдельно исследование опровергло распространенное ожидание, что ИИ неизбежно ускоряет обучение. Многие участники тратили значительную часть времени на формулирование запросов и общение с ассистентом, из-за чего общее время работы почти не отличалось от группы без ИИ. При этом контрольная группа чаще сталкивалась с ошибками, но именно это, по мнению авторов, помогало лучше понять устройство библиотеки и развить навыки отладки.
Авторы предупреждают, что чрезмерная зависимость от ИИ на этапе обучения может привести к деградации критически важных навыков, особенно умения читать и проверять код. Это создает риски для областей, где человек должен контролировать и исправлять результаты работы ИИ. Исследователи считают, что ИИ не является «коротким путем к компетентности»: он может помогать в обучении, но только если используется как инструмент для понимания, а не как замена мышлению.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.