«Мир в опасности»: глава команды безопасности Anthropic уволился и оставил загадочное письмо
Старший исследователь Anthropic Мринанк Шарма объявил об уходе из компании и опубликовал открытое письмо. В обращении он дал понять, что внутри компании не всегда удается действовать в соответствии с заявленными ценностями.
Старший исследователь Anthropic Мринанк Шарма объявил об уходе из компании и опубликовал открытое письмо. В обращении он дал понять, что внутри компании не всегда удается действовать в соответствии с заявленными ценностями.
Шарма работал в Anthropic с 2023 года и возглавлял команду Safeguards Research, созданную в начале прошлого года. По его словам, он занимался изучением причин «AI sycophancy» (склонности моделей соглашаться с пользователем), разработкой защит от «ИИ-ассистированного биотерроризма» и подготовкой одного из первых кейсов по безопасности ИИ.
В письме к коллегам исследователь не назвал конкретных причин ухода, однако дал понять, что испытывал внутренние сомнения. «На протяжении моего времени здесь я неоднократно видел, как трудно позволить нашим ценностям по-настоящему управлять нашими действиями», — написал он, добавив, что сотрудники «постоянно сталкиваются с давлением отодвинуть на второй план то, что действительно важно».
«Я все чаще размышляю о нашей ситуации. Мир в опасности. И не только из-за ИИ или биологического оружия, но из-за целой серии взаимосвязанных кризисов, разворачивающихся прямо сейчас», — написал исследователь. Он добавил, что человечество «приближается к порогу, где наша мудрость должна расти пропорционально нашей способности влиять на мир, иначе мы столкнемся с последствиями».
Уход Шармы произошел на фоне недавнего запуска модели Claude Cowork, который вызвал резонанс на рынке и опасения инвесторов относительно возможной автоматизации ряда офисных профессий, особенно в юридической сфере. СМИ сообщали, что некоторые сотрудники компании выражали обеспокоенность тем, что развитие ИИ может негативно повлиять на рынок труда.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.