В Германии разработали генератор текста, который превосходит GPT-3, но имеет в сотни раз меньше параметров

Двое исследователей искусственного интеллекта из Мюнхенского университета Людвига-Максимилиана (Ludwig Maximilian University, LMU) представили языковую модель, которая бьёт GPT-3 на языковых бенчмарках, но для её обучения использовалось в несколько сотен раз меньше параметров, чем для топового генератора текстов от OpenAI, сообщает The Next Web.

Оставить комментарий
В Германии разработали генератор текста, который превосходит GPT-3, но имеет в сотни раз меньше параметров

Двое исследователей искусственного интеллекта из Мюнхенского университета Людвига-Максимилиана (Ludwig Maximilian University, LMU) представили языковую модель, которая бьёт GPT-3 на языковых бенчмарках, но для её обучения использовалось в несколько сотен раз меньше параметров, чем для топового генератора текстов от OpenAI, сообщает The Next Web.

GPT-3 способна порождать относительно естественно звучащие тексты и даже неделями дурачить тысячи ничего не подозревающих читателей интернет-блогов.

GPT-3 имеет колоссальные 175 млрд параметров. Для сравнения, учёные из LMU обучили свою AI-систему всего на 223 млн параметров. При этом немецкая модель показывает лучшие результаты в тестах на бенчмарке superGLUE для задачи общего понимания языка. Считается, что чем больше параметров имеет модель, тем выше её способности.

Тем не менее утверждать, что новая система «лучше» GPT-3, нельзя — как и то, что она окажется мощнее на каких-либо других бенчмарках, кроме SuperGLUE, который не отражает все возможности разработки OpenAI, отмечает TNW.

Для создания системы использовался метод тренировки под названием «pattern-exploiting training» и предобученная нейросеть Albert. В OpenAI говорят, что хотя немецкая разработка не сможет превзойти GPT-3 на всех задачах, она откроет новые перспективы для разработки искусственного интеллекта на более скромном оборудовании.

Подробности опубликованы в научной работе на arXiv.org.

Подписывайтесь на «Что к чему» —
анамнез и главные симптомы беларуского ИТ.
Цифры, графика, ничего лишнего. Выходит раз в 2 недели.
Спасибо! На указанный адрес отправлено письмо для подтверждения подписки.
Читайте также
Нейросеть «оживляет» классические пиксельные игры
Нейросеть «оживляет» классические пиксельные игры
Нейросеть «оживляет» классические пиксельные игры
Meta разработала ИИ для «чтения мыслей»
Meta разработала ИИ для «чтения мыслей»
Meta разработала ИИ для «чтения мыслей»
«Будут проблемы». Что нас ждёт, когда картинок от нейросетей станет слишком много
«Будут проблемы». Что нас ждёт, когда картинок от нейросетей станет слишком много
Bubble
«Будут проблемы». Что нас ждёт, когда картинок от нейросетей станет слишком много
Во Франции искусственный интеллект помогает искать нелегальные бассейны и штрафовать нарушителей
Во Франции искусственный интеллект помогает искать нелегальные бассейны и штрафовать нарушителей
Во Франции искусственный интеллект помогает искать нелегальные бассейны и штрафовать нарушителей

Хотите сообщить важную новость? Пишите в Telegram-бот

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментариев пока нет.