Разработка GPT-4 потребовала огромных усилий. Но сейчас, имея на руках GPT-4.5, OpenAI могла бы воссоздать GPT-4 с нуля проще и с гораздо меньшей командой. Об этом шла речь в недавнем подкасте компании.
Разработка GPT-4 потребовала огромных усилий. Но сейчас, имея на руках GPT-4.5, OpenAI могла бы воссоздать GPT-4 с нуля проще и с гораздо меньшей командой. Об этом шла речь в недавнем подкасте компании.
Гендиректор Сэм Альтман отметил, что в создании GPT-4 участвовали «сотни людей, практически весь ресурс OpenAI». Но как только модель перестаёт быть передовой, работа над ней становится проще. Он спросил трёх ключевых инженеров, стоящих за GPT-4.5, сколько сейчас понадобилось бы людей, чтобы с нуля обучить её предшественницу.
Алекс Пейно, руководивший предобучением GPT-4.5, сказал, что это можно сделать с командой всего в 5-10 человек. «Мы обучили GPT-4o — модель уровня GPT-4, использовав многое из того, что появилось в рамках исследований по GPT-4.5. И сам процесс занял намного меньше людей», — отметил он.
С ним согласился исследователь Дэниел Селсам, отвечающий за эффективность данных и алгоритмы: «Как только кто-то уже сделал это — становится в разы проще. Сам факт, что что-то возможно, — это как чит-код».
В феврале OpenAI представила GPT-4.5 — свою крупнейшую и наиболее мощную модель. Альтман описывал её как «первую модель, с которой ощущается разговор как с вдумчивым человеком». GPT-4.5 в 10 раз масштабнее предыдущих поколений, и её релиз стал поворотным моментом для компании.
Кроме того, Альтман заявил, что OpenAI больше не ограничена вычислительными мощностями, то есть теперь «железо» не сдерживает развитие новых моделей. Ранее нехватка GPU и инфраструктуры была главным барьером. Эту проблему решают не только внутренние инвестиции OpenAI, но и огромные вложения бигтехов: в 2025 году Microsoft, Google, Amazon и Meta планируют потратить на ИИ-инфраструктуру $320 млрд.
Однако другим ограничивающим фактором является доступ к данным. Даже при бесконечных вычислительных мощностях объём доступной информации растёт медленно. Чтобы двигаться дальше, OpenAI делает ставку на повышение эффективности работы с данными и новые алгоритмы, способные извлекать больше знаний из тех же объёмов.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.