Сотрудники ведущих ИИ-компаний и исследовательских организаций всё чаще сталкиваются со стрессом и выгоранием из-за работы над системами, которые, как они опасаются, могут серьёзно навредить обществу, пишет Financial Times. Речь идёт о специалистах OpenAI, Anthropic и Google DeepMind, а также британского Института безопасности ИИ (AISI).
Сотрудники ведущих ИИ-компаний и исследовательских организаций всё чаще сталкиваются со стрессом и выгоранием из-за работы над системами, которые, как они опасаются, могут серьёзно навредить обществу, пишет Financial Times. Речь идёт о специалистах OpenAI, Anthropic и Google DeepMind, а также британского Института безопасности ИИ (AISI).
По данным людей, знакомых с ситуацией, несколько сотрудников AISI ушли на больничный из-за стресса и получают психологическую помощь. На состояние сотрудников влияют плотные сроки тестирования ещё не выпущенных моделей, быстрое развитие технологий и тревога из-за того, как стремительно ИИ внедряется в реальный мир.
Сотрудник DeepMind рассказал, что работа над безопасностью ИИ может приводить к выгоранию, поскольку кажется «невыполнимой задачей». Он также указал на неопределённость того, как будут использоваться разработанные технологии, в частности после сделки Google с Пентагоном, разрешившей применять ИИ-системы компании в секретных военных операциях.
«Так много людей расстроены, столько людей уволилось, а многие ушли в отпуск по состоянию здоровья. Отчасти это ощущение, что ты ничего не контролируешь, а ещё — что ты создаёшь что-то, что действительно причиняет вред», — сказал он.
По словам представителей отрасли, тревогу усиливает применение ИИ в критически важных сферах — от энергетики до военных действий — при недостаточных, на взгляд исследователей, мерах безопасности. Бывший сотрудник AISI рассказал, что особенно сильно недавний скачок возможностей ИИ встревожил специалистов по кибербезу и биохимии: модели уже способны искать ранее неизвестные уязвимости в коде и создавать вирусы, не встречавшиеся в природе.
«Есть ощущение, что безрассудные решения встроены в сам процесс выпуска технологий и ничего не меняется. Люди постоянно тревожатся и спрашивают: может ли вообще что-то это остановить, или мы просто будет смотреть, как мир горит?» — сказал он.
За последние два года из OpenAI, Anthropic и DeepMind ушли более десятка старших исследователей, открыто озвучив опасения по поводу безопасности и темпов развития ИИ. В начале сентября бывший сотрудник Anthropic и OpenAI Джейкоб Коксон заявил, что в играх лабораторий на кону стоит будущее человечества.
Исследователь безопасности ИИ Anthropic Мринак Шарма ушёл в феврале, чтобы изучать поэзию и переосмыслить свою работу. В письме коллегам он предупредил, что «мир в опасности», и написал, что под сильным давлением людям трудно руководствоваться собственными ценностями.
Бывший сотрудник OpenAI и xAI Хью Фам также ушёл из отрасли. «Не могу поверить, что когда-нибудь скажу это, но я выгорел. Всё это ухудшение психического здоровья, над которым я раньше посмеивался, оказалось реальным, мучительным, пугающим и опасным», — сказал он.
Многие исследователи считают, что ИИ-компании одновременно ускоряют развитие моделей и отодвигают безопасность на второй план. Глава комитета Палаты общин Великобритании по науке и технологиям Чи Онвура считает, что компании попросту так устроены.
«Стимулы устроены так, что инженерные или разработческие ресурсы направляют на то, что приносит прибыль или повышает стоимость акций, а не безопасность. Поэтому я могу представить, что культура и среда в некоторых из этих технологических компаний сейчас токсичны для разработчиков с чистой совестью», — сказала она.
На этом фоне глава Anthropic Дарио Амодеи недавно призвал замедлить развитие ИИ и ввести дополнительные меры безопасности, включая независимую проверку работы лабораторий. Его предложение поддержали Илон Маск и Сэм Альтман.
Сотрудник DeepMind считает, что нынешняя ИИ-гонка плохо сочетается с требованиями безопасности: «Эта необходимость двигаться быстрее… несовместима с безопасностью».
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Критерии отбора.
Просто набрали университетских крыс которые не тянут реальные задачи. Вот и стонут что им вместо рассуждений о "качастве" и мефических человекомесяцах прелдагают просто взять и сделать что-нибудь полезное.