Компания выпустила экспериментальную модель V3.2-Exp с новой архитектурой Sparse Attention. Технология позволяет значительно снизить вычислительные расходы при работе с длинным контекстом и вдвое сократить стоимость API-запросов.
Компания выпустила экспериментальную модель V3.2-Exp с новой архитектурой Sparse Attention. Технология позволяет значительно снизить вычислительные расходы при работе с длинным контекстом и вдвое сократить стоимость API-запросов.
Ключевой элемент системы — модуль Lightning Indexer, который отбирает наиболее важные фрагменты текста для обработки. Далее система выбирает конкретные токены внутри этих фрагментов, загружая их в ограниченное «окно внимания». Такой подход позволяет модели эффективно работать с большими объемами текста без чрезмерной нагрузки на серверы.
Предварительные тесты DeepSeek показали, что в долгих сессиях стоимость одного API-вызова может снизиться на 50%. Хотя пока независимые эксперименты не подтверждали эти данные, модель уже доступна на Hugging Face в открытом доступе, а исходная статья опубликована на GitHub.
Sparse Attention не является новой идеей: похожие методы использовались OpenAI и Google в предыдущих поколениях моделей. Однако DeepSeek утверждает, что впервые реализовала эффективный вариант технологии, который сочетает качество и эффективность.
Ранее DeepSeek утверждала, что ее модель R1 сумела показать результаты, сопоставимые с OpenAI, при гораздо меньших затратах на обучение. Эксперты отмечают, что успех V3.2-Exp может оказать влияние на всю индустрию: снижение затрат на инференс позволит компаниям предоставлять ИИ-сервисы дешевле и быстрее, особенно при работе с длинными контекстами.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.