Meta паказала найбуйнейшую ў свеце адкрытую АІ-мадэль Llama 3.1. Кампанія заяўляе, што прадукцыйнасцю яна пераўзыходзіць прыватныя мадэлі OpenAI і іншых канкурэнтаў, уключаючы GPT-4o і Claude 3.5 Sonnet ад Anthropic, на некаторых бэнчмарках. Яна выйшла наперад па агульных ведах, матэматыцы і моўным перакладзе.
Meta паказала найбуйнейшую ў свеце адкрытую АІ-мадэль Llama 3.1. Кампанія заяўляе, што прадукцыйнасцю яна пераўзыходзіць прыватныя мадэлі OpenAI і іншых канкурэнтаў, уключаючы GPT-4o і Claude 3.5 Sonnet ад Anthropic, на некаторых бэнчмарках. Яна выйшла наперад па агульных ведах, матэматыцы і моўным перакладзе.
Акрамя гэтага, кампанія пашырыла спіс краін і моў, падтрымваных яе АІ-асістэнтам, і дадала функцыю генерацыі малюнкаў. Марк Цукерберг лічыць, што пры канцы года Meta AI абгоніць ChatGPT па папулярнасці.
Llama 3.1 значна складанейшая за мадэлі Llama 3, якія былі выпушчаныя некалькі месяцаў таму. Старэйшая версія налічвае 405 млрд параметраў, а для яе навучання было задзейнічана 16 тысяч дарагіх GPU H100 ад Nvidia. Выдаткі на распрацоўку Llama 3.1 кампанія трымае ў сакрэце, але, нават калі зыходзіць толькі з кошту чыпаў Nvidia, сума можа дасягаць сотняў мільёнаў долараў.
Цукерберг дадаў, што оўпэнсорсныя АІ-мадэлі ўжо развіваюцца хутчэй за прапрыетарныя і ў далейшым перасягнуць іх, а таксама правёў паралель з Linux. «Я перакананы, што рэліз Llama 3.1 стане пераломным момантам для галіны, пасля якога большасць распрацоўшчыкаў пачне пераважна карыстацца оўпэнсорсам», — напісаў прадпрымальнік.
Meta супрацоўнічае прыкладна з трыма дзесяткамі кампаній, уключаючы Microsoft, Amazon, Google, Nvidia і Databricks, каб дапамагаць распрацоўшчыкам разгортваць свае версіі мадэлі. У Meta кажуць, што эксплуатацыя Llama 3.1 абыходзіцца прыкладна ўдвая танней у параўнанні з GPT-4o. Таксама яна выклала вагі мадэлі, каб іншыя распрацоўшчыкі маглі трэніраваць яе на сваіх даных і кастамізаваць на сваё меркаванне. Інфармацыі пра даныя, на якіх навучалася Llama 3.1, Meta не раскрывае — акрамя таго, што выкарыстоўвала сінтэтычныя даныя, то-бок згенераваныя мадэллю, а не чалавекам, для паляпшэння малодшых Llama 3.1 на 70 млрд і 8 млрд параметраў з дапамогай старэйшай версіі.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.
гонево
Их достаточно неплохо умеют расцензуривать. Прогоняют через специальные датасеты на снятие цензуры и добавляют инструкций. Плюс во всяких чатах гпт половина цензуры случается еще до входа в модель - тупо анализируют запросы на табу темы и заставляют модель отказываться отвечать. То есть это не ее внутренняя логика, а принудительная команда отказаться отвечать. На huggingface есть расцензуренные версии всех предыдущих "Ламм", так что и эта скоро подтянется. Правда, страшно представлять, сколько ей нужно железа для запуска
А куда делся комментарий, на который я отвечал? Вроде бы, там не было ничего криминального