«Мір у небяспецы»: кіраўнік каманды бяспекі Anthropic звольніўся і пакінуў загадкавы ліст
Старшы даследчык Anthropic Мрынанк Шарма абвясціў пра сыход з кампаніі і апублікаваў адкрыты ліст. У звароце ён даў зразумець, што ўнутры кампаніі не заўсёды атрымліваецца дзейнічаць у адпаведнасці з заяўленымі каштоўнасцямі.
Старшы даследчык Anthropic Мрынанк Шарма абвясціў пра сыход з кампаніі і апублікаваў адкрыты ліст. У звароце ён даў зразумець, што ўнутры кампаніі не заўсёды атрымліваецца дзейнічаць у адпаведнасці з заяўленымі каштоўнасцямі.
Шарма працаваў у Anthropic з 2023 года і ўзначальваў каманду Safeguards Research, створаную ў пачатку мінулага года. Па яго словах, ён займаўся вывучэннем прычын «AI sycophancy» (схільнасці мадэляў згаджацца з карыстальнікам), распрацоўкай абарон ад «ШІ-асіставанага біятэрарызму» і падрыхтоўкай аднаго з першых кейсаў па бяспецы ШІ.
У лісце да калег даследчык не назваў канкрэтных прычын сыходу, аднак даў зразумець, што адчуваў унутраныя сумневы. «На працягу майго часу тут я неаднаразова бачыў, як цяжка дазволіць нашым каштоўнасцям па-сапраўднаму кіраваць нашымі дзеяннямі», — напісаў ён, дадаўшы, што супрацоўнікі «пастаянна сутыкаюцца з ціскам адсунуць на другі план тое, што сапраўды важна».
«Я ўсё часцей разважаю пра нашу сітуацыю. Свет у небяспецы. І не толькі з-за ШІ ці біялагічнай зброі, але з-за цэлай серыі ўзаемазвязаных крызісаў, якія разгортваюцца проста зараз», — напісаў даследчык. Ён дадаў, што чалавецтва «набліжаецца да парога, дзе наша мудрасць павінна расці прапарцыйна нашай здольнасці ўплываць на свет, інакш мы сутыкнемся з наступствамі».
Сыход Шармы адбыўся на фоне нядаўняга запуску мадэлі Claude Cowork, які выклікаў рэзананс на рынку і пабойванні інвестараў наконт магчымай аўтаматызацыі шэрагу офісных прафесій, асабліва ў юрыдычнай сферы. СМІ паведамлялі, што некаторыя супрацоўнікі кампаніі выказвалі занепакоенасць тым, што развіццё ШІ можа негатыўна паўплываць на рынак працы.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.