Как дорожало обучение ИИ-моделей и сколько стоили самые популярные (инфографика)
Visual Capitalist показал, как много долларов разработчики передовых ИИ-моделей тратят на их обучение и как быстро растут эти расходы вместе с потребностью в вычислительных мощностях. Инфографика составлена на основе доклада 2024 Artificial Intelligence Index Report Стэнфордского университета.
Стоимость тренировки моделей оценивалась исходя из цен на облачные вычислительные мощности. Анализировалась длительность обучения, нагрузка «железа» и его цена.
Например, GPT-4 обошлась OpenAI в $78,4 млн, что намного больше $12,4 млн, которые Google потратила на модель PaLM (540B) всего годом ранее. Для сравнения, модель Transformer 2017 года разработки стоила, по оценкам авторов, всего $930. При этом она сыграла ключевую роль в формировании архитектуры многих сегодняшних LLM.
Gemini Ultra от Google стоила целый $191 млн. По состоянию на начало 2024 года она превосходила GPT-4 по ряду метрик, в частности, на бенчмарке Massive Multitask Language Understanding (MMLU), который позволяет оценивать знания языковых моделей и их умение справляться с заданиями в 57 предметных областях.
Читать на dev.by