«Нет пути к реальному применению»: ветеран Microsoft уволился из-за того, что его исследования, способные вдвое удешевить ИИ, не восприняли всерьёз
Из Microsoft Research ушёл Джон Лэнгфорд, проработавший здесь более 14 лет и стоявший у истоков лаборатории AI Frontiers. Причиной стало поглощение его команды примерно на 50 человек подразделением Microsoft AI, которым руководит Мустафа Сулейман. По словам учёного, новое руководство делает ставку исключительно на масштабирование моделей в ущерб фундаментальным исследованиям — и, похоже, к такому же выводу пришли и другие основатели AI Frontiers.
Из Microsoft Research ушёл Джон Лэнгфорд, проработавший здесь более 14 лет и стоявший у истоков лаборатории AI Frontiers. Причиной стало поглощение его команды примерно на 50 человек подразделением Microsoft AI, которым руководит Мустафа Сулейман. По словам учёного, новое руководство делает ставку исключительно на масштабирование моделей в ущерб фундаментальным исследованиям — и, похоже, к такому же выводу пришли и другие основатели AI Frontiers.
Как пишет Windows Latest, Лэнгфорд — заметная фигура в машинном обучении: он присоединился к Microsoft Research в 2012 году после работы в Yahoo! Research и IBM, создал опенсорсную систему Vowpal Wabbit, ввёл термин «контекстные бандиты» (метод персонализации контента в приложениях и на сайтах) и возглавлял конференцию ICML с 2019 по 2021 год. В 2023 году после выхода ChatGPT он с коллегами основал внутри Microsoft Research лабораторию AI Frontiers, которая выпустила фреймворк AutoGen и модель Fara-7B.
Подразделение Microsoft AI было создано в марте 2024 года, когда Сатья Наделла нанял сооснователей Inflection Мустафу Сулеймана и Карена Симоняна для развития Copilot и потребительского ИИ. В начале сентября 2026 года в его состав влили AI Frontiers. В своём блоге Лэнгфорд написал, что концептуально такое слияние могло бы иметь смысл, однако у «бывшего руководства Inflection» совершенно несовместимый подход.
«Основная философия там — масштабирование и агрессивное неприятие исследований», — написал Лэнгфорд.
Он признаёт, что для бизнеса масштаба Microsoft более крупные модели дают более предсказуемую отдачу, но фокус исключительно на росте объёмов переводит основные усилия в работу с данными. По словам учёного, было «предостаточно доказательств того, что мы им на самом деле были не нужны».
Проблема в том, что разработки Лэнгфорда могли бы существенно сэкономить компании деньги. В августе он с семью соавторами представил архитектуру Full Bandwidth Transformer. Обычные языковые модели на каждом шаге сжимают результаты вычислений в один токен, отбрасывая остальное, а метод Лэнгфорда возвращает это скрытое состояние обратно в модель вместе со следующим токеном. На тестах модели на 1 млрд параметров, обученные на 400 млрд токенов, приближались по качеству к стандартным трансформерам, обученным на объёме данных в 1,5 раза больше, почти без роста затрат на токен.
Назад к телефонам и факсам: глобальный сбой у Microsoft парализовал банки, инвестфирмы и авиакомпании
В октябре команда Seed из ByteDance опубликовала работу Recycler, использующую схожий принцип повторного применения скрытых состояний и обходящую модели в два-три раза крупнее (особенно в логике и математике). Лэнгфорд отметил в X, что Recycler — это, за вычетом мелких деталей, и есть Full Bandwidth Transformer, просто ByteDance провела более масштабные эксперименты. Опираясь на эти данные, учёный считает, что его архитектура «может быть сопоставима с моделью вдвое большего размера», и задаётся вопросом, сколько стоит «сократить затраты на обучение и инференс вдвое, учитывая, что инвестиции в индустрию приближаются к триллиону долларов». При этом он уточнил, что не утверждает о прямом отказе именно по этой статье — он лишь «не мог добиться внедрения инноваций (или хотя бы их серьёзного рассмотрения)».
Устроив сотрудников своей команды настолько хорошо, насколько смог, Лэнгфорд ушёл, отказавшись возвращаться даже в само подразделение Microsoft Research по двум причинам: «Мне просто некомфортно находиться в компании, где у моих исследований нет пути к реальному применению», — пояснил он, добавив, что негласный договор внутри Microsoft Research («делай хорошую работу — и всё сложится хорошо») оказался нарушен, когда его команду «без её согласия расформировали в ходе реорганизации».
«Итак, с AI Frontiers покончено», — подытожил учёный, добавив, что в следующем году стажировок в этой группе не будет, а саму ситуацию назвал в X «настоящей катастрофой». Тем не менее Лэнгфорд допускает, что в будущем Microsoft снова может стать «привлекательной для исследований», если люди у руля «проявят немного больше мудрости».
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.