Николай Чикишев 23 красавіка 2024, 15:54

Microsoft паказала сваю самую маленькую AI-мадэль

Кампанія паказала наступную версію сваёй мадэлі Phi-3 Mini. Гэта першая версія лінейкі невялікіх АІ-мадэляў, створаных для вырашэння простых задач.

1 каментарый

Microsoft паказала сваю самую маленькую AI-мадэль

Кампанія паказала наступную версію сваёй мадэлі Phi-3 Mini. Гэта першая версія лінейкі невялікіх АІ-мадэляў, створаных для вырашэння простых задач.

Phi-3 Mini мае 3,8 мільярда параметраў. Мадэль навучалася на меншым масіве даных, чым вялікія моўныя мадэлі (LLM). Цяпер новая мадэль даступная на воблачнай платформе Azure, у Hugging Face і Ollama. Таксама Microsoft плануе выпусціць АІ-мадэлі Phi-3 Small (7 мільярдаў параметраў) і Phi-3 Medium (14 мільярдаў параметраў).

Папярэдняя мадэль Phi-2 паказала магчымасці, параўнальныя з буйнейшымі мадэлямі, такімі як Llama 2. Паводле слоў распрацоўшчыкаў, Phi-3 можа даваць адказы, блізкія да тых, якія даюць мадэлі ў дзесяць разоў большыя. Паводле слощ прадстаўнікоў Microsoft, мадэль па сваіх магчымасцях не саступае GPT-3.5 і іншым падобным мадэлям.

Віцэ-прэзідэнт Microsoft Azure AI Platform Эрык Бойд заявіў, што Phi-3 навучалі на дзіцячых кнігах, паколькі гэта тэксты з прасцейшымі словамі і структурамі прапаноў, але ў іх часцяком паднімаюцца важныя тэмы. Дзіцячай літаратуры не хапала для навучання мадэлі, таму распрацоўшчыкі склалі спіс з 3000 тэм і згенеравалі дадатковыя тэксты для навучання.

Перавагай невялікіх АІ-мадэляў з’яўляецца іх танная распрацоўка і эксплуатацыя, а таксама вялікая прадукцыйнасць на персанальных прыладах. Раней СМІ паведамлялі, што Microsoft стварыла асобную каманду для стварэння невялікіх мадэляў. Напрыклад, кампанія выпусціла мадэль Orca-Math, арыентаваную на рашэнне матэматычных задач. Невялікія мадэлі могуць быць эфектыўнымі ў вырашэнні простых задач, напрыклад, абагульненні дакументаў або дапамозе ў напісанні праграмнага кода.