Google нашла способ тренировать ИИ в 13 раз быстрее и в 10 раз энергоэффективнее

Новый метод обучения называется JEST (Joint Example Selection). По данным опубликованного исследования, технология обеспечивает 13-кратное снижение числа итераций при обучении модели и 10-кратное снижение энергопотребления по сравнению с существующими методами. Однако метод JEST является гораздо более сложным для разработчиков, чем большинство других, поскольку для получения исходных данных для обучения потребуются высокие исследовательские навыки.

Новый подход основан на обучении целым пакетом данных, а не отдельными частями. Сначала JEST создает меньшую модель ИИ, которая оценивает качество данных и ранжирует пакеты по их качеству. Затем она сравнивает оценку с набором более низкого качества и определяет пакеты, которые наиболее подходят для обучения. Наконец, большая модель обучается на самых качественных данных, отобранных меньшей моделью.

Преимущество такого метода — в значительном снижении энергопотребления, которое является одной из основных проблем при разработке ИИ. Например, в 2023 году нагрузки ИИ составляли около 4,3 ГВт электроэнергии. Чем больше модель — тем больше энергии она затрачивает: один запрос ChatGPT потребляет в десять раз больше энергии, чем обычный поисковый запрос Google.

Технология JEST позволяет снижать энергопотребление ИИ-модели при сохранении текущей производительности. Эксперты полагают, что внедрении технологии может оказать значительное влияние на индустрию, поскольку затраты на обучение моделей могут достигать сотен миллионов долларов. Например, на обучение GPT-4 было потрачено около $100 миллионов. Будущие модели могут потребовать еще больших инвестиций.