DeepInfer адказвае за інферэнс. Інструмент аптымізуе працу мадэляў, паскараючы вылічэнні і дазваляючы эканомней расходаваць магутнасці чыпаў. Цяпер ён адаптаваны пад DeepSeek V4.1-Flash, але ў кампаніі абяцаюць дадаць падтрымку будучых мадэляў.
DeepSeek прыадчыніў заслону над тым, як утрымлівае ўмераныя цэннікі на інферэнс — звычайна ШІ-распрацоўшчыкі трымаюць падобныя вытворчыя алгарытмы ў найстражэйшым сакрэце. Цяпер жа воблачныя правайдары і хостынг-кампаніі змогуць укараніць гэтыя метады аптымізацыі на сваёй інфраструктуры.
Праца адной і той жа нейрасеткі можа каштаваць па-рознаму ў залежнасці ад таго, які софт яе абслугоўвае. Больш эфектыўны софт зніжае выдаткі магутнасці на кожны запыт і спажыванне электраэнергіі. DeepInfer аб’ядноўвае ў сабе комплекс рашэнняў, уключаючы размеркаваны інферэнс — размазванне нагрузкі па розным абсталяванні, што дазваляе выціскаць максімум з кожнага чыпа і выдаваць больш вынікаў за меншы час. Падобныя метады выкарыстоўваюцца многімі, але DeepSeek тонка наладзіла іх менавіта пад сваю архітэктуру.
Зніжэнне выдаткаў на інферэнс павялічыць маржынальнасць воблачных правайдараў і можа прывесці да зніжэння цэн для канчатковых кліентаў. Для буйнога бізнесу гэта шанс зменшыць цану запуску мадэляў DeepSeek на ўласных серверах. Зрэшты, незалежных тэстаў эфектыўнасці DeepInfer пакуль няма. І хоць інструмент створаны пад архітэктуру DeepSeek, староннія распрацоўшчыкі змогуць вывучыць адкрыты код і адаптаваць гэтыя прыёмы пад свае сістэмы.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.