Новая ИИ-модель DeepSeek сделает работу вдвое дешевле предыдущей

Ключевой элемент системы — модуль Lightning Indexer, который отбирает наиболее важные фрагменты текста для обработки. Далее система выбирает конкретные токены внутри этих фрагментов, загружая их в ограниченное «окно внимания». Такой подход позволяет модели эффективно работать с большими объемами текста без чрезмерной нагрузки на серверы.

Предварительные тесты DeepSeek показали, что в долгих сессиях стоимость одного API-вызова может снизиться на 50%. Хотя пока независимые эксперименты не подтверждали эти данные, модель уже доступна на Hugging Face в открытом доступе, а исходная статья опубликована на GitHub.

Sparse Attention не является новой идеей: похожие методы использовались OpenAI и Google в предыдущих поколениях моделей. Однако DeepSeek утверждает, что впервые реализовала эффективный вариант технологии, который сочетает качество и эффективность.

Ранее DeepSeek утверждала, что ее модель R1 сумела показать результаты, сопоставимые с OpenAI, при гораздо меньших затратах на обучение. Эксперты отмечают, что успех V3.2-Exp может оказать влияние на всю индустрию: снижение затрат на инференс позволит компаниям предоставлять ИИ-сервисы дешевле и быстрее, особенно при работе с длинными контекстами.