Распрацоўшчык абышоў абмежаванні Apple і запусціў навучанне ШІ на чыпах M4
Энтузіястам удалося ўзламаць праграмныя ліміты свежых працэсараў Apple Silicon. Даследчык пад мянушкай @0×0SojalSec здолеў абысці абмежаванні нейрасупрацэсара Apple Neural Engine (ANE) і прымусіў яго лакальна навучаць ШІ-мадэлі — тое, што Apple блакуе на ўзроўні софту.
Энтузіястам удалося ўзламаць праграмныя ліміты свежых працэсараў Apple Silicon. Даследчык пад мянушкай @0×0SojalSec здолеў абысці абмежаванні нейрасупрацэсара Apple Neural Engine (ANE) і прымусіў яго лакальна навучаць ШІ-мадэлі — тое, што Apple блакуе на ўзроўні софту.
Паводле задумы Apple, нейрапрацэсар у чыпах M4 (а таксама ў працэсарах iPhone) павінен выкарыстоўвацца выключна для інферэнсу — гэта значыць для хуткага запуску ўжо гатовых, папярэдне навучаных нейрасетак. Паводле афіцыйных спецыфікацый, кампанія заяўляе магутнасць да 38 TOPS.
Аднак распрацоўшчык метадам зваротнага інжынірынгу прыватных API здолеў разблакіраваць схаваны патэнцыял чыпа — 15,8 TFLOPS чыстай вылічальнай магутнасці — і запусціў паўнавартасны працэс навучання ШІ, у тым адваротны распаўсюд памылкі на мадэлях-трансфармерах.
Apple hid 15.8 TFLOPS of raw AI power in every M4 Mac & iPhone.
They only let you use the Neural Engine for inference. Reverse-engineered their private APIs and ran full backpropagation & transformer training directly on the ANE, No CoreML, No Metal, No GPU,
Каб прымусіць жалеза працаваць у абход правілаў, аўтар праекта адмовіўся ад стандартных фрэймворкаў Apple (Core ML і Metal) і напісаў кастамную мову прамежкавых праграмаў — Model Intermediate Language (MIL). Яна кампілюе граф нейрасеткі наўпрост у памяць чыпа ANE.
Асноўныя фішкі гэтага рашэння:
ніякіх вонкавых залежнасцяў: код напісаны выключна на сістэмных фрэймворках Apple;
праца толькі ў аператыўнай памяці: увесь працэс (прамы і зваротны праход, разлік градыентаў і аптымізатар) ідзе ў RAM без павольнага запісу файлаў канфігурацый на дыск. Крок навучання трансфармера на M4 займае ўсяго 9,3 мілісекунды;
хітрае абыходжанне завісанняў: калі працэс навучання тармозіць праз абмежаванні сістэмы, праграма аўтаматычна захоўвае чэк-поінт і імгненна перазапускаецца праз сістэмную каманду exec ().
Як адзначае Gizmochina, гэта даводзіць, што ў «жалеза» Apple закладзена значна больш патэнцыялу, чым кампанія гатова даць карыстальнікам. Праект ужо выклалі ў адкрыты доступ на GitHub. Калі тэхналогія маштабуецца, звычайныя Mac, iPad і нават iPhone могуць ператварыцца ў магутныя лакальныя станцыі для навучання невялікіх ШІ-мадэляў, пазбавіўшы распрацоўшчыкаў неабходнасці арандаваць дарагія хмарныя серверы.
Узлом падсвятляе даўні канфлікт паміж Apple і суполкай распрацоўшчыкаў. Кампанія традыцыйна прасоўвае канцэпцыю «закрытага саду», жорстка кантралюючы, як выкарыстоўваецца яе «жалеза». Але ў эпоху ШІ і барацьбы за кожны токен і тэрафлопс магутнасці любыя штучныя абмежаванні выклікаюць пратэст. Паўнавартаснае ШІ-навучанне на спажывецкіх Mac можа пахіснуць манаполію Nvidia на рынку інструментаў для распрацоўшчыкаў.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.