ШІ-кампаніі ўсё часцей сварацца праз дыстыляцыю — тэхнікі, пры якой адну мадэль навучаюць на адказах іншай. Першапачаткова гэта быў даследчы метад, але цяпер ён ператварыўся ў адзін з галоўных рызык для эканомікі ШІ-індустрыі.
ШІ-кампаніі ўсё часцей сварацца праз дыстыляцыю — тэхнікі, пры якой адну мадэль навучаюць на адказах іншай. Першапачаткова гэта быў даследчы метад, але цяпер ён ператварыўся ў адзін з галоўных рызык для эканомікі ШІ-індустрыі.
OpenAI, Anthropic, Google ды іншыя лідары выдаюць мільярды долараў на дадзеныя, інжынераў і вылічэнні, каб ствараць франтальныя мадэлі і прадаваць доступ да іх па высокай цане. Калі канкурэнты могуць хутка і танна ўзнавіць значную частку іх магчымасцей праз дыстыляцыю, акупнасць такіх інвестыцый аказваецца пад пагрозай.
Асабліва балюча гэтая тэма ўспрымаецца на фоне росту кітайскіх open-source-мадэляў. Яны часта каштуюць танней за амерыканскія аналагі, хутка даганяюць лідараў па якасці і могуць ціснуць на маржу кампаній, якія разлічвалі зарабляць на прэміальных мадэлях.
Anthropic наўпрост апісвае дыстыляцыю як пагрозу амерыканскаму лідарству ў ШІ. Кампанія нядаўна абвінаваціла Alibaba ў злачыннай дыстыляцыі Claude: паводле версіі Anthropic, кітайская кампанія нібыта стварала дзесяткі тысяч фэйкавых акаўнтаў, каб масава збіраць адказы мадэлі.
Кіраўнік палітыкі Anthropic Сара Хек напісала ў лісце амерыканскім кангрэсменам, што такая практыка «пераварочвае эканамічную логіку», на якой трымаецца лідарства ЗША ў ШІ: мільярды долараў інвестыцый у даследаванні, распрацоўку і вылічэнні фактычна ператвараюцца ў субсідыю для канкурэнтаў.
OpenAI таксама папярэджвала, што дыстыляцыя можа дазволіць суперніках не проста капіраваць асобныя мадэлі, а камбінаваць магчымасці некалькіх сістэм. У кампаніі лічаць, што пры змешванні адказаў розных амерыканскіх мадэляў канкурэнты могуць стварыць рашэнні, якія пераўзыдуць любога асобнага «настаўніка».
Пры гэтым мяжа паміж дапушчальным выкарыстаннем і злоўжываннем застаецца размытай. Першапачаткова дыстыляцыя азначала, што кампанія навучае меншую мадэль на адказах уласнай вялікай мадэлі. Пасля запуску ChatGPT падыход пашырыўся: кампаніі пачалі выкарыстоўваць адказы чужых мадэляў, каб паскорыць распрацоўку сваіх.
Некаторыя даследчыкі мяркуюць, што кітайскія ШІ-кампаніі асабліва актыўна прымяняюць дыстыляцыю праз абмежаваны доступ да перадавых чыпаў. Замест таго каб збіраць дарагія датасэты з дапамогай экспертаў, яны могуць прасіць ChatGPT, Claude ці Gemini генераваць адказы, тлумачэнні і палепшаныя рашэнні, а потым выкарыстоўваць іх як навучальныя дадзеныя.
Даследчык з Google DeepMind Яо Шунью падзяляе «тупую» і «разумную» дыстыляцыю. Першая проста капіруе адказы іншай мадэлі. Другая выкарыстоўвае некалькі мадэляў, якія генеруюць, ацэньваюць і паляпшаюць адказы адна адной, ствараючы больш якасныя навучальныя дадзеныя.
Аднак цалкам спыніць дыстыляцыю складана. Як адзначаюць даследчыкі, пакуль адказы мадэляў даступны карыстальнікам, хтосьці знойдзе спосаб збіраць іх у вялікіх аб’ёмах.
Anthropic ужо ўзмацніла доступ да Claude: кампанія блакуе карыстальнікаў з Кітая, патрабуе замежныя нумары тэлефонаў і плацежныя рэквізіты, а ў некаторых выпадках — пацверджанне асобы праз дакумент і сэлфі. Але такія меры ствараюць новыя абыходныя рынкі.
Даследчыца Oxford China Policy Lab Цзылань Цянь апісала сетку кітайскіх «transfer stations» — пасрэднікаў, якія дапамагаюць карыстальнікам абыходзіць абмежаванні. Такія сервісы выкарыстоўваюць замежныя акаўнты, проксі і чужыя даныя для верыфікацыі, а доступ да мадэляў прадаюць па цане да 10% ад афіцыйнай.
Пры гэтым самі пасрэднікі атрымліваюць каштоўны пабочны прадукт: усе запыты і адказы праходзяць праз іх інфраструктуру. Гэтыя дадзеныя можна выкарыстоўваць для навучання іншых мадэляў або перапрадаваць.
Паніка вакол дыстыляцыі можа нашкодзіць невялікім ШІ-кампаніям і акадэмічным лабараторыям. Для іх дыстыляцыя застаецца адным з нямногіх спосабаў ствараць і вывучаць мадэлі без бюджэтаў узроўню OpenAI ці Anthropic. У выніку індустрыя сутыкаецца з супярэчнасцю: лідары хочуць абараніць дарагія мадэлі ад капіравання, але занадта жорсткія абмежаванні могуць падштурхнуць распрацоўшчыкаў да больш танных open-source-мадэляў.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.
Как же корежит.
Вор у вора дубинку украл.
А ничего, что изначально все "обучение" шло невзирая на копирайты?
Ага. Инвестиции в субсидии китайских конкурентов превращаются, понимаешь, ужас-ужас. Подросткам за файлы на Napster миллионный иск выставить это защита правообладателя, а забить на неё глобальный болт когда это мешает корпорациям, то это технический и гуманистический прогресс, не перепутайте