Meta представила крупнейшую в мире открытую ИИ-модель Llama 3.1. Компания заявляет, что по производительности она превосходит частные модели OpenAI и других конкурентов, включая GPT-4o и Claude 3.5 Sonnet от Anthropic, на некоторых бенчмарках. Она вышла вперёд по общим знаниям, математике и языковому переводу.
Meta представила крупнейшую в мире открытую ИИ-модель Llama 3.1. Компания заявляет, что по производительности она превосходит частные модели OpenAI и других конкурентов, включая GPT-4o и Claude 3.5 Sonnet от Anthropic, на некоторых бенчмарках. Она вышла вперёд по общим знаниям, математике и языковому переводу.
Помимо этого, компания расширила список стран и языков, поддерживаемых её ИИ-ассистентом, и добавила функцию генерации картинок. Марк Цукерберг считает, что к концу года Meta AI обгонит ChatGPT по популярности.
Llama 3.1 значительно сложнее моделей Llama 3, которые были выпущены несколько месяцев назад. Старшая версия насчитывает 405 млрд параметров, а для её обучения было задействовано 16 тысяч дорогущих GPU H100 от Nvidia. Затраты на разработку Llama 3.1 компания держит в секрете, но даже если исходить только из стоимости чипов Nvidia, сумма может достигать сотен миллионов долларов.
Цукерберг добавил, что опенсорсные ИИ-модели уже развиваются быстрее проприетарных и в дальнейшем превзойдут их, а также провёл параллель с Linux. «Я убеждён, что релиз Llama 3.1 станет переломным моментом для отрасли, после которого большинство разработчиков начнут преимущественно пользоваться опенсорсом», — написал предприниматель.
Meta сотрудничает примерно с тремя десятками компаний, включая Microsoft, Amazon, Google, Nvidia и Databricks, чтобы помочь разработчикам развёртывать свои версии модели. В Meta говорят, что эксплуатация Llama 3.1 обходится примерно вдвое дешевле по сравнению с GPT-4o. Также она выложила веса модели, чтобы сторонние разработчики могли тренировать её на своих данных и кастомизировать по своему усмотрению. Информацию о данных, на которых обучалась Llama 3.1, Meta не раскрывает — кроме того, что использовала синтетические данные, то есть сгенерированные моделью, а не человеком, для улучшения младших Llama 3.1 на 70 млрд и 8 млрд параметров посредством старшей версии.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
гонево
Их достаточно неплохо умеют расцензуривать. Прогоняют через специальные датасеты на снятие цензуры и добавляют инструкций. Плюс во всяких чатах гпт половина цензуры случается еще до входа в модель - тупо анализируют запросы на табу темы и заставляют модель отказываться отвечать. То есть это не ее внутренняя логика, а принудительная команда отказаться отвечать. На huggingface есть расцензуренные версии всех предыдущих "Ламм", так что и эта скоро подтянется. Правда, страшно представлять, сколько ей нужно железа для запуска
А куда делся комментарий, на который я отвечал? Вроде бы, там не было ничего криминального