Подразделение Google DeepMind разработало новый метод обучения искусственного интеллекта, который повышает эффективность системы и снижает энергопотребление. Высокое потребление энергии при обучении ИИ-моделей — одна из главных проблем быстро развивающейся отрасли.
Подразделение Google DeepMind разработало новый метод обучения искусственного интеллекта, который повышает эффективность системы и снижает энергопотребление. Высокое потребление энергии при обучении ИИ-моделей — одна из главных проблем быстро развивающейся отрасли.
Новый метод обучения называется JEST (Joint Example Selection). По данным опубликованного исследования, технология обеспечивает 13-кратное снижение числа итераций при обучении модели и 10-кратное снижение энергопотребления по сравнению с существующими методами. Однако метод JEST является гораздо более сложным для разработчиков, чем большинство других, поскольку для получения исходных данных для обучения потребуются высокие исследовательские навыки.
Новый подход основан на обучении целым пакетом данных, а не отдельными частями. Сначала JEST создает меньшую модель ИИ, которая оценивает качество данных и ранжирует пакеты по их качеству. Затем она сравнивает оценку с набором более низкого качества и определяет пакеты, которые наиболее подходят для обучения. Наконец, большая модель обучается на самых качественных данных, отобранных меньшей моделью.
Преимущество такого метода — в значительном снижении энергопотребления, которое является одной из основных проблем при разработке ИИ. Например, в 2023 году нагрузки ИИ составляли около 4,3 ГВт электроэнергии. Чем больше модель — тем больше энергии она затрачивает: один запрос ChatGPT потребляет в десять раз больше энергии, чем обычный поисковый запрос Google.
Технология JEST позволяет снижать энергопотребление ИИ-модели при сохранении текущей производительности. Эксперты полагают, что внедрении технологии может оказать значительное влияние на индустрию, поскольку затраты на обучение моделей могут достигать сотен миллионов долларов. Например, на обучение GPT-4 было потрачено около $100 миллионов. Будущие модели могут потребовать еще больших инвестиций.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Это всё прекрасно. Но где же результаты? Модели, которая в прикладном использовании дотягивала хотя бы до GPT 3.5 - до сих пор нету. Подчеркну, не в оценках на датасетах, а именно в реальном использовании под нужды пользователя. Да и изначально у гугла было вычислительных мощностей больше. Так, может быть, проблема не в том?
Пользователь отредактировал комментарий 11 июля 2024, 22:16