Новая ИИ-модель DeepSeek сделает работу вдвое дешевле предыдущей
Компания выпустила экспериментальную модель V3.2-Exp с новой архитектурой Sparse Attention. Технология позволяет значительно снизить вычислительные расходы при работе с длинным контекстом и вдвое сократить стоимость API-запросов.
Компания выпустила экспериментальную модель V3.2-Exp с новой архитектурой Sparse Attention. Технология позволяет значительно снизить вычислительные расходы при работе с длинным контекстом и вдвое сократить стоимость API-запросов.
Ключевой элемент системы — модуль Lightning Indexer, который отбирает наиболее важные фрагменты текста для обработки. Далее система выбирает конкретные токены внутри этих фрагментов, загружая их в ограниченное «окно внимания». Такой подход позволяет модели эффективно работать с большими объемами текста без чрезмерной нагрузки на серверы.
Предварительные тесты DeepSeek показали, что в долгих сессиях стоимость одного API-вызова может снизиться на 50%. Хотя пока независимые эксперименты не подтверждали эти данные, модель уже доступна на Hugging Face в открытом доступе, а исходная статья опубликована на GitHub.
Сравнение результатов бенчмарков моделей DeepSeek-V3.1-Terminus и новой экспериментальной DeepSeek-V3.2-Exp. Источник: DeepSeek.
Sparse Attention не является новой идеей: похожие методы использовались OpenAI и Google в предыдущих поколениях моделей. Однако DeepSeek утверждает, что впервые реализовала эффективный вариант технологии, который сочетает качество и эффективность.
Ранее DeepSeek утверждала, что ее модель R1 сумела показать результаты, сопоставимые с OpenAI, при гораздо меньших затратах на обучение. Эксперты отмечают, что успех V3.2-Exp может оказать влияние на всю индустрию: снижение затрат на инференс позволит компаниям предоставлять ИИ-сервисы дешевле и быстрее, особенно при работе с длинными контекстами.
Профессии будущего со скидкой 75% от Udacity: разработка роботов, дронов и робомобилей
Искусственный интеллект уже стал повседневностью: голосовой помощник включает музыку, робот-пылесос сканирует пространство и убирает квартиру, алгоритм ранжирования настраивает ленту в TikTok, а беспилотные такси уже свободно курсируют по городам. Получить профессию в сфере ИИ с зарплатой от $100k в год тоже стало проще — собрали 5 интересных курсов от Udacity.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.