Support us

«Нет пути к реальному применению»: ветеран Microsoft уволился из-за того, что его исследования, способные вдвое удешевить ИИ, не восприняли всерьёз

Из Microsoft Research ушёл Джон Лэнгфорд, проработавший здесь более 14 лет и стоявший у истоков лаборатории AI Frontiers. Причиной стало поглощение его команды примерно на 50 человек подразделением Microsoft AI, которым руководит Мустафа Сулейман. По словам учёного, новое руководство делает ставку исключительно на масштабирование моделей в ущерб фундаментальным исследованиям — и, похоже, к такому же выводу пришли и другие основатели AI Frontiers.

Оставить комментарий
Добавь в Google
«Нет пути к реальному применению»: ветеран Microsoft уволился из-за того, что его исследования, способные вдвое удешевить ИИ, не восприняли всерьёз

Из Microsoft Research ушёл Джон Лэнгфорд, проработавший здесь более 14 лет и стоявший у истоков лаборатории AI Frontiers. Причиной стало поглощение его команды примерно на 50 человек подразделением Microsoft AI, которым руководит Мустафа Сулейман. По словам учёного, новое руководство делает ставку исключительно на масштабирование моделей в ущерб фундаментальным исследованиям — и, похоже, к такому же выводу пришли и другие основатели AI Frontiers.

Как пишет Windows Latest, Лэнгфорд — заметная фигура в машинном обучении: он присоединился к Microsoft Research в 2012 году после работы в Yahoo! Research и IBM, создал опенсорсную систему Vowpal Wabbit, ввёл термин «контекстные бандиты» (метод персонализации контента в приложениях и на сайтах) и возглавлял конференцию ICML с 2019 по 2021 год. В 2023 году после выхода ChatGPT он с коллегами основал внутри Microsoft Research лабораторию AI Frontiers, которая выпустила фреймворк AutoGen и модель Fara-7B.

Подразделение Microsoft AI было создано в марте 2024 года, когда Сатья Наделла нанял сооснователей Inflection Мустафу Сулеймана и Карена Симоняна для развития Copilot и потребительского ИИ. В начале сентября 2026 года в его состав влили AI Frontiers. В своём блоге Лэнгфорд написал, что концептуально такое слияние могло бы иметь смысл, однако у «бывшего руководства Inflection» совершенно несовместимый подход.

«Основная философия там — масштабирование и агрессивное неприятие исследований», — написал Лэнгфорд.

Он признаёт, что для бизнеса масштаба Microsoft более крупные модели дают более предсказуемую отдачу, но фокус исключительно на росте объёмов переводит основные усилия в работу с данными. По словам учёного, было «предостаточно доказательств того, что мы им на самом деле были не нужны».

Проблема в том, что разработки Лэнгфорда могли бы существенно сэкономить компании деньги. В августе он с семью соавторами представил архитектуру Full Bandwidth Transformer. Обычные языковые модели на каждом шаге сжимают результаты вычислений в один токен, отбрасывая остальное, а метод Лэнгфорда возвращает это скрытое состояние обратно в модель вместе со следующим токеном. На тестах модели на 1 млрд параметров, обученные на 400 млрд токенов, приближались по качеству к стандартным трансформерам, обученным на объёме данных в 1,5 раза больше, почти без роста затрат на токен.

Назад к телефонам и факсам: глобальный сбой у Microsoft парализовал банки инвестфирмы и авиакомпании
Назад к телефонам и факсам: глобальный сбой у Microsoft парализовал банки, инвестфирмы и авиакомпании
По теме
Назад к телефонам и факсам: глобальный сбой у Microsoft парализовал банки, инвестфирмы и авиакомпании

В октябре команда Seed из ByteDance опубликовала работу Recycler, использующую схожий принцип повторного применения скрытых состояний и обходящую модели в два-три раза крупнее (особенно в логике и математике). Лэнгфорд отметил в X, что Recycler — это, за вычетом мелких деталей, и есть Full Bandwidth Transformer, просто ByteDance провела более масштабные эксперименты. Опираясь на эти данные, учёный считает, что его архитектура «может быть сопоставима с моделью вдвое большего размера», и задаётся вопросом, сколько стоит «сократить затраты на обучение и инференс вдвое, учитывая, что инвестиции в индустрию приближаются к триллиону долларов». При этом он уточнил, что не утверждает о прямом отказе именно по этой статье — он лишь «не мог добиться внедрения инноваций (или хотя бы их серьёзного рассмотрения)».

Устроив сотрудников своей команды настолько хорошо, насколько смог, Лэнгфорд ушёл, отказавшись возвращаться даже в само подразделение Microsoft Research по двум причинам: «Мне просто некомфортно находиться в компании, где у моих исследований нет пути к реальному применению», — пояснил он, добавив, что негласный договор внутри Microsoft Research («делай хорошую работу — и всё сложится хорошо») оказался нарушен, когда его команду «без её согласия расформировали в ходе реорганизации».

«Итак, с AI Frontiers покончено», — подытожил учёный, добавив, что в следующем году стажировок в этой группе не будет, а саму ситуацию назвал в X «настоящей катастрофой». Тем не менее Лэнгфорд допускает, что в будущем Microsoft снова может стать «привлекательной для исследований», если люди у руля «проявят немного больше мудрости».

«Работа здесь стала унылой и деморализующей»: сотрудники говорят что ИИ уничтожает культуру Microsoft
«Работа здесь стала унылой и деморализующей»: сотрудники говорят, что ИИ уничтожает культуру Microsoft
По теме
«Работа здесь стала унылой и деморализующей»: сотрудники говорят, что ИИ уничтожает культуру Microsoft
«Все здесь одержимы краткосрочными бизнес-целями». Разработчик Microsoft о минусах бигтеха
«Все здесь одержимы краткосрочными бизнес-целями». Разработчик Microsoft о минусах бигтеха
По теме
«Все здесь одержимы краткосрочными бизнес-целями». Разработчик Microsoft о минусах бигтеха
Читайте также
OpenAI теряет ведущих специалистов
OpenAI теряет ведущих специалистов
OpenAI теряет ведущих специалистов
На попятную: глава Microsoft AI передумал увольнять юристов и бухгалтеров из-за ИИ
На попятную: глава Microsoft AI передумал увольнять юристов и бухгалтеров из-за ИИ
На попятную: глава Microsoft AI передумал увольнять юристов и бухгалтеров из-за ИИ
Microsoft создала новую компанию на $2,5 млрд: тысячи сотрудников помогут клиентам внедрить ИИ
Microsoft создала новую компанию на $2,5 млрд: тысячи сотрудников помогут клиентам внедрить ИИ
Microsoft создала новую компанию на $2,5 млрд: тысячи сотрудников помогут клиентам внедрить ИИ
Разраб променял $200 тысяч в Microsoft на свой ИИ-стартап. Теперь живёт без зп и не жалеет
Разраб променял $200 тысяч в Microsoft на свой ИИ-стартап. Теперь живёт без зп и не жалеет
Разраб променял $200 тысяч в Microsoft на свой ИИ-стартап. Теперь живёт без зп и не жалеет
3 комментария

Хотите сообщить важную новость? Свяжитесь с редакцией через страницу контактов

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментариев пока нет.