Microsoft показала свою самую маленькую ИИ-модель

Phi-3 Mini имеет 3,8 миллиарда параметров. Модель обучалась на меньшем массиве данных, чем большие языковые модели (LLM). Сейчас новая модель доступна на облачной платформе Azure, в Hugging Face и Ollama. Также Microsoft планирует выпустить ИИ-модели Phi-3 Small (7 миллиардов параметров) и Phi-3 Medium (14 миллиардов параметров).

Предыдущая модель Phi-2 показала возможности, сравнимые с более крупными моделями, такими как Llama 2. По словам разработчиков, Phi-3 может давать ответы, близкие к тем, которые дают модели в десять раз больше. По словам представителей Microsoft, модель по своим возможностям не уступает GPT-3.5 и другим подобным моделям.

Вице-президент Microsoft Azure AI Platform Эрик Бойд заявил, что Phi-3 обучали на детских книгах, поскольку это тексты с более простыми словами и структурами предложений, но в них зачастую поднимаются важные темы. Детской литературы не хватало для обучения модели, поэтому разработчики составили список из 3000 тем и сгенерировали дополнительные тексты для обучения.

Преимуществом небольших ИИ-моделей является их дешевая разработка и эксплуатация, а также большая производительность на персональных устройствах. Ранее СМИ сообщали, что Microsoft создала отдельную команду для создания небольших моделей. Например, компания выпустила модель Orca-Math, которая ориентирована на решение математических задач. Небольшие модели могут быть эффективными в решении простых задач, например, обобщение документов или помощь в написании программного кода.