Кампанія прадставіла і адкрыла зыходны код DSpark — сістэмы для паскарэння генерацыі адказаў у вялікіх моўных мадэлях. Паводле дадзеных DeepSeek, тэхналогія можа павялічыць хуткасць выдачы токенаў для аднаго карыстальніка на 57–85% у залежнасці ад мадэлі і нагрузкі.
Кампанія прадставіла і адкрыла зыходны код DSpark — сістэмы для паскарэння генерацыі адказаў у вялікіх моўных мадэлях. Паводле дадзеных DeepSeek, тэхналогія можа павялічыць хуткасць выдачы токенаў для аднаго карыстальніка на 57–85% у залежнасці ад мадэлі і нагрузкі.
DSpark ужо выкарыстоўваецца ў мадэлях DeepSeek-V4-Flash і DeepSeek-V4-Pro. Кампанія сцвярджае, што пры параўнальнай вылічальнай магутнасці сістэма павысіла хуткасць генерацыі на 60–85% для V4-Flash і на 57–78% для V4-Pro у параўнанні з папярэднім механізмам MTP-1.
Звычайна моўныя мадэлі генеруюць тэкст паслядоўна — токен за токенам. Гэта зніжае эфектыўнасць GPU пры доўгіх адказах і павялічвае затрымку для карыстальніка. DSpark выкарыстоўвае speculative decoding: лёгкая дапаможная мадэль загадзя прапануе некалькі наступных токенаў, а асноўная мадэль затым правярае іх пакетна. Калі прагноз аказаўся слушным, сістэма можа згенераваць адразу некалькі токенаў замест аднаго.
Распрацоўка DeepSeek адрозніваецца ад звычайных схем speculative decoding двума механізмамі. Першы — паўаўтарэгрэсіўная генерацыя: сістэма фармуе невялікія блокі токенаў, але ўлічвае сувязь паміж імі, каб знізіць колькасць памылак у прагнозах. Другі — планавальнік, які рэгулюе аб’ём праверкі ў залежнасці ад упэўненасці мадэлі і бягучай нагрузкі на інфраструктуру.
DeepSeek таксама апублікавала DeepSpec — набор інструментаў для навучання і ацэнкі такіх сістэм, а таксама гатовыя кантрольныя кропкі для некалькіх адкрытых сямействаў мадэляў. У тэстах кампаніі DSpark працавала не толькі з DeepSeek-V4, але і з Qwen і Gemma.
Тэхналогія распаўсюджваецца па ліцэнзіі MIT. Гэта азначае, што распрацоўшчыкі і кампаніі змогуць адаптаваць яе для ўласных адкрытых мадэляў, хоць для гэтага спатрэбіцца доступ да вагаў мадэлі і інфраструктуры інферэнсу. Карыстальнікі закрытых API, напрыклад OpenAI або Anthropic, не змогуць падключыць DSpark самастойна: такую аптымізацыю павінен укараняць сам правайдэр.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.