Meta выпустила самую большую и мощную опенсорсную ИИ-модель в мире

Помимо этого, компания расширила список стран и языков, поддерживаемых её ИИ-ассистентом, и добавила функцию генерации картинок. Марк Цукерберг считает, что к концу года Meta AI обгонит ChatGPT по популярности.

Llama 3.1 значительно сложнее моделей Llama 3, которые были выпущены несколько месяцев назад. Старшая версия насчитывает 405 млрд параметров, а для её обучения было задействовано 16 тысяч дорогущих GPU H100 от Nvidia. Затраты на разработку Llama 3.1 компания держит в секрете, но даже если исходить только из стоимости чипов Nvidia, сумма может достигать сотен миллионов долларов.

Цукерберг добавил, что опенсорсные ИИ-модели уже развиваются быстрее проприетарных и в дальнейшем превзойдут их, а также провёл параллель с Linux. «Я убеждён, что релиз Llama 3.1 станет переломным моментом для отрасли, после которого большинство разработчиков начнут преимущественно пользоваться опенсорсом», — написал предприниматель.

Meta сотрудничает примерно с тремя десятками компаний, включая Microsoft, Amazon, Google, Nvidia и Databricks, чтобы помочь разработчикам развёртывать свои версии модели. В Meta говорят, что эксплуатация Llama 3.1 обходится примерно вдвое дешевле по сравнению с GPT-4o. Также она выложила веса модели, чтобы сторонние разработчики могли тренировать её на своих данных и кастомизировать по своему усмотрению. Информацию о данных, на которых обучалась Llama 3.1, Meta не раскрывает — кроме того, что использовала синтетические данные, то есть сгенерированные моделью, а не человеком, для улучшения младших Llama 3.1 на 70 млрд и 8 млрд параметров посредством старшей версии.