Дапамажыце dev.by 🤍
Падтрымаць

«Няма шляху да рэальнага ўжывання»: ветэран Microsoft звольніўся праз тое, што ягоныя даследаванні, здольныя ўдвая зменшыць цану ШІ, не ўспрынялі ўсур'ёз

З Microsoft Research сышоў Джон Лэнгфорд, які прапрацаваў тут больш за 14 гадоў і стаяў каля вытокаў лабараторыі AI Frontiers. Прычынай стала паглынанне ягонай каманды прыкладна з 50 чалавек падраздзяленнем Microsoft AI, якім кіруе Мустафа Сулейман. Паводле навукоўца, новае кіраўніцтва робіць стаўку выключна на маштабаванне мадэляў у шкоду фундаментальным даследаванням — і, здаецца, да такой жа высновы прыйшлі іншыя заснавальнікі AI Frontiers.

Пакінуць каментарый
Дадай у Google
«Няма шляху да рэальнага ўжывання»: ветэран Microsoft звольніўся праз тое, што ягоныя даследаванні, здольныя ўдвая зменшыць цану ШІ, не ўспрынялі ўсур'ёз

З Microsoft Research сышоў Джон Лэнгфорд, які прапрацаваў тут больш за 14 гадоў і стаяў каля вытокаў лабараторыі AI Frontiers. Прычынай стала паглынанне ягонай каманды прыкладна з 50 чалавек падраздзяленнем Microsoft AI, якім кіруе Мустафа Сулейман. Паводле навукоўца, новае кіраўніцтва робіць стаўку выключна на маштабаванне мадэляў у шкоду фундаментальным даследаванням — і, здаецца, да такой жа высновы прыйшлі іншыя заснавальнікі AI Frontiers.

Як піша Windows Latest, Лэнгфорд — прыкметная постаць у машынным навучанні: ён далучыўся да Microsoft Research у 2012 годзе пасля працы ў Yahoo! Research і IBM, стварыў опэнсорсную сістэму Vowpal Wabbit, увёў тэрмін «кантэкстныя бандыты» (метад персаналізацыі кантэнту ў дадатках і на сайтах) і узначальваў канферэнцыю ICML з 2019 па 2021 год. У 2023 годзе пасля выхаду ChatGPT ён з калегамі заснаваў унутры Microsoft Research лабараторыю AI Frontiers, якая выпусціла фрэймворк AutoGen і мадэль Fara-7B.

Падраздзяленне Microsoft AI было створана ў сакавіку 2024 года, калі Сат’я Надэла наняў сузаснавальнікаў Inflection Мустафу Сулеймана і Карэна Сіманяна для развіцця Copilot і спажывецкага ШІ. У пачатку верасня 2026 года ў яго склад уліліся AI Frontiers. У сваім блогу Лэнгфорд напісаў, што канцэптуальна такое зліццё магло б мець сэнс, аднак у «былога кіраўніцтва Inflection» цалкам несумяшчальны падыход.

«Асноўная філасофія там — маштабаванне і агрэсіўнае непрыняцце даследаванняў», — напісаў Лэнгфорд.

Ён прызнае, што для бізнесу маштабу Microsoft больш буйныя мадэлі даюць больш прадказальную аддачу, але фокус выключна на росце аб’ёмаў пераводзіць асноўныя намаганні ў працу з дадзенымі. Паводле навукоўца, было «болей чым дастаткова доказаў таго, што мы ім насамрэч былі не патрэбныя».

Праблема ў тым, што распрацоўкі Лэнгфорда маглі б істотна зэканоміць кампаніі грошы. У жніўні ён з сямю суаўтарамі прадставіў архітэктуру Full Bandwidth Transformer. Звычайныя моўныя мадэлі на кожным кроку сціскаюць вынікі вылічэнняў у адзін токен, адкідаючы астатняе, а метад Лэнгфорда вяртае гэты схаваны стан назад у мадэль разам з наступным токенам. На тэстах мадэлі на 1 млрд параметраў, навучаныя на 400 млрд токенаў, набліжаліся па якасці да стандартных трансфармераў, навучаных на аб’ёме дадзеных у 1,5 разы большым, амаль без росту выдаткаў на токен.

Назад к телефонам и факсам: глобальный сбой у Microsoft парализовал банки инвестфирмы и авиакомпании
Назад к телефонам и факсам: глобальный сбой у Microsoft парализовал банки, инвестфирмы и авиакомпании
По теме
Назад к телефонам и факсам: глобальный сбой у Microsoft парализовал банки, инвестфирмы и авиакомпании

У кастрычніку каманда Seed з ByteDance апублікавала працу Recycler, якая выкарыстоўвае падобны прынцып паўторнага прымянення схаваных станаў і абыходзіць мадэлі ў два-тры разы буйнейшыя (асабліва ў логіцы і матэматыцы). Лэнгфорд адзначыў у X, што Recycler — гэта, за вылікам дробных дэталяў, і ёсць Full Bandwidth Transformer, папросту ByteDance правяла больш маштабныя эксперыменты. Абапіраючыся на гэтыя дадзеныя, навуковец лічыць, што яго архітэктура «можа быць параўнальная з мадэллю ўдвая большага памеру», і задаецца пытаннем, колькі каштуе «скараціць выдаткі на навучанне ды інферэнс удвая, улічваючы, што інвестыцыі ў індустрыю набліжаюцца да трыльёна долараў». Пры гэтым ён удакладніў, што не сцвярджае пра прамы адказ менавіта ў гэтым пункце — ён папросту «не мог дамагчыся ўкаранення інавацый (ці хаця б іх сур’ёзнага разгляду)».

Уладкаваўшы супрацоўнікаў сваёй каманды настолькі добра, наколькі змог, Лэнгфорд сышоў, адмовіўшыся вяртацца нават у само падраздзяленне Microsoft Research з двух прычынаў: «Мне папросту няёмка знаходзіцца ў кампаніі, дзе ў маіх даследаванняў няма шляху да рэальнага прымянення», — патлумачыў ён, дадаўшы, што негалосная дамова ўнутры Microsoft Research («рабі добрую працу — і ўсё складзецца добра») аказалася парушана, калі ягоная каманду «без яе згоды расфармавалі ў ходзе рэарганізацыі».

«Такім чынам, з AI Frontiers скончана», — падвёў рысу навуковец, дадаўшы, што ў наступным годзе стажыровак у гэтай групе не будзе, а саму сітуацыю назваў у X «сапраўднай катастрофай». Тым не менш Лэнгфорд дапускае, што ў будучыні Microsoft зноў можа стаць «прывабнай для даследаванняў», калі людзі ля руля «праявяць крыху больш мудрасці».

«Работа здесь стала унылой и деморализующей»: сотрудники говорят что ИИ уничтожает культуру Microsoft
«Работа здесь стала унылой и деморализующей»: сотрудники говорят, что ИИ уничтожает культуру Microsoft
По теме
«Работа здесь стала унылой и деморализующей»: сотрудники говорят, что ИИ уничтожает культуру Microsoft
«Все здесь одержимы краткосрочными бизнес-целями». Разработчик Microsoft о минусах бигтеха
«Все здесь одержимы краткосрочными бизнес-целями». Разработчик Microsoft о минусах бигтеха
По теме
«Все здесь одержимы краткосрочными бизнес-целями». Разработчик Microsoft о минусах бигтеха
Чытайце таксама
«Сотні мільярдаў»: гендырэктар Microsoft AI аб кошце ўдзелу ў ШІ-гонцы
«Сотні мільярдаў»: гендырэктар Microsoft AI аб кошце ўдзелу ў ШІ-гонцы
«Сотні мільярдаў»: гендырэктар Microsoft AI аб кошце ўдзелу ў ШІ-гонцы
«Маск — гэта бульдозер»: кіраўнік Microsoft AI ацаніў лідараў ШІ-індустрыі
«Маск — гэта бульдозер»: кіраўнік Microsoft AI ацаніў лідараў ШІ-індустрыі
«Маск — гэта бульдозер»: кіраўнік Microsoft AI ацаніў лідараў ШІ-індустрыі
Топы Microsoft заклікалі не ставіць крыж на джунах, а то будзе дрэнна ўсёй індустрыі
Топы Microsoft заклікалі не ставіць крыж на джунах, а то будзе дрэнна ўсёй індустрыі
Топы Microsoft заклікалі не ставіць крыж на джунах, а то будзе дрэнна ўсёй індустрыі
1 каментарый
Біць адбой: кіраўнік Microsoft AI перадумаў звальняць юрыстаў і бухгалтараў праз ШІ
Біць адбой: кіраўнік Microsoft AI перадумаў звальняць юрыстаў і бухгалтараў праз ШІ
Біць адбой: кіраўнік Microsoft AI перадумаў звальняць юрыстаў і бухгалтараў праз ШІ

Хочаце паведаміць важную навіну? Пішыце ў Telegram-бот

Галоўныя падзеі і карысныя спасылкі ў нашым Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментариев пока нет.