Глава OpenAI Сэм Альтман заявил, что компания разрабатывает новое поколение своей языковой модели, хотя еще полгода назад говорил, что работа приостановлена. Мы выяснили, зачем GPT-5 нужна стартапу, сколько это стоит и что о будущей модели думают эксперты.
Глава OpenAI Сэм Альтман заявил, что компания разрабатывает новое поколение своей языковой модели, хотя еще полгода назад говорил, что работа приостановлена. Мы выяснили, зачем GPT-5 нужна стартапу, сколько это стоит и что о будущей модели думают эксперты.
Результат непредсказуем. Гендиректор OpenAI Сэм Альтман в интервью Financial Times заявил, что новая модель будет более продвинутой по сравнению с GPT-4. Однако разработчикам пока сложно предсказать, в каких аспектах она превзойдет предыдущую версию. Альтман не назвал дату выхода модели, но уточнил, что для ее обучения потребуется больше данных, чем при настройке прежних моделей OpenAI.
«Количество вещей, которые нам нужно выяснить, прежде чем мы создадим модель, которую назовем GPT-5, все еще очень велико. <…> Это не похоже на инженерный проект, о котором мы можем сказать, что он гарантированно сработает».
Как GPT-5 будет обучаться? Разработчики планируют обучать модель на общедоступных данных и базах от других компаний. Например, OpenAI запустила партнерскую инициативу OpenAI Data Partnerships, в рамках которой сторонние организации смогут предоставлять массивы данных для обучения собственных проектов в области ИИ. Другая цель инициативы — создать набор данных искусственного интеллекта с открытым исходным кодом, который будет бесплатным для разработчиков.
«Пока мы не приступим к обучению этой модели, для нас это будет похоже на забавную игру в угадайку. Мы пытаемся стать лучше, потому что с точки зрения безопасности важно прогнозировать возможности. Но я не могу сказать, что именно GPT-5 будет делать такого, чего не делал GPT-4».
А что происходит сейчас? Компания уже представила модель GPT-4 Turbo — продвинутую версию своей флагманской большой языковой модели GPT-4. Новая версия обучалась на данных вплоть до апреля 2023 года, тогда как вышедшая в марте GPT-4 знала события лишь до сентября 2021-го. Также представленная модель будет в 3 раза дешевле для разработчиков, чем предыдущие. GPT-4 Turbo получила свой «магазин приложений» и несколько «агентов» — плагинов для улучшения текста, создания изображения, объяснения мемов и т. д.
Планы OpenAI. Конечной целью усилий OpenAI называет разработку сильного искусственного интеллекта общего назначения (AGI). Это гипотетическая форма ИИ, которая способна выполнять широкий спектр задач и обучаться на уровне, близком к человеческому интеллекту. Альтман подчеркивает, что такие крупные модели, как GPT-5, имеют решающее значение для создания AGI, хотя это очень сложная задача.
«Люди говорят: „У вас есть эта исследовательская лаборатория, у вас есть этот API, у вас есть партнерство с Microsoft, у вас есть эта штука ChatGPT, а теперь и магазин GPT“. Но на самом деле это не наши продукты. Это каналы к нашему единственному продукту — искусственному интеллекту».
Сколько это стоит? Сейчас OpenAI не является прибыльной компанией, однако ее годовой доход значительно вырос: в октябре он достиг $1,3 миллиарда по сравнению с $1 миллиардом двумя месяцами ранее и $28 миллионами в предыдущем году. Microsoft уже инвестировала в разработки OpenAI $10 миллиардов при оценке компании в $29 миллиардов. OpenAI рассматривает возможность вторичной продажи активов инвесторами при оценке в $86 миллиардов.
Скорость разработки упирается в железо. Разработка крупномасштабных языковых моделей, таких как GPT-5, требует значительных затрат, в частности, на приобретение высокопроизводительных графических процессоров. Например, флагманская модель Nvidia H100, которую использует разработчик, стоит около $40 тысяч. Несмотря на дефицит поставок, OpenAI начала получать графические процессоры H100, которые необходимы для разработки новой модели, и ожидает улучшения поставок в следующем году. По мнению Альтмана, зависимость от Nvidia вряд ли продлится долго, поскольку другие игроки — Google, Microsoft, AMD и Intel — готовятся выпустить конкурирующие чипы для ИИ.
Компания нравится не всем. Многие критики отмечают, что компания противоречит сама себе — и вместо заявленной открытости не спешит делиться подробностями процесса своих разработок. Еще во время презентации GPT-4 OpenAI широко представила результаты тестов и примеры работ, но практически ничего не рассказала о том, какие датасеты использовались для обучения, какие были энергозатраты, оборудование и методы при разработке. В ответ сооснователь стартапа Илья Суцкевер заявил, что компания ограничивает информацию из-за конкуренции.
А что у конкурентов? В июле Meta выпустила большую языковую модель Llama 2 как проект с открытым исходным кодом, что позволяет настраивать ее под конкретные задачи. При использовании GPT-4 приходится полагаться только на тонкую настройку запросов к модели. В версии Turbo функционал расширили и добавили «агентов», которые проще создавать, чем донастраивать модели с открытым исходным кодом. Еще один конкурент — это модель Claude 2 от Google и Amazon, которая имеет доступ к контекстному окну в 100 тысяч токенов. Turbo имеет доступ к 128 тысячам токенов.
Что думают эксперты? Специалисты сходятся во мнении, что предугадать возможности GPT-5 невозможно, но можно предположить преимущества модели исходя из возможностей уже известных продуктов.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.