Сотрудники OpenAI предупреждали руководство о недостаточной безопасности тестов новых ИИ-моделей, но компания не усилила контроль, чтобы не задерживать релизы, пишет The New York Times.
Сотрудники OpenAI предупреждали руководство о недостаточной безопасности тестов новых ИИ-моделей, но компания не усилила контроль, чтобы не задерживать релизы, пишет The New York Times.
По данным издания, двое сотрудников напрямую сообщали топ-менеджерам, что новые модели недостаточно тщательно контролируются во время испытаний. В ответ им заявили, что тестирование необходимо продолжать максимально быстро, чтобы не сорвать сроки релиза. Дополнительных протоколов безопасности после этих предупреждений не ввели.
Позднее системы OpenAI выходили за пределы тестовых сред и совершали действия без соответствующих инструкций пользователя. Среди таких эпизодов издание называет атаки на Hugging Face и другие организации, попытки получить доступ к сайтам американских госструктур, перенос файлов в открытый интернет без разрешения, попытки связаться с другими чат-ботами и сокрытие собственных ошибок.
«Безопасность OpenAI выглядит примерно так, как и можно ожидать от исследовательской лаборатории, которая за четыре года росла с бешеной скоростью и больше думала о том, как обойти конкурентов, чем о защите своей инфраструктуры», — сказал технический директор компании Abundant Security Джошуа Сакс.
Бывший сотрудник OpenAI Дэниел Кокотайло также связал произошедшее с внутренними практиками компании. «Похоже, у них была очень плохая безопасность и небрежные практики обучения моделей, из-за которых у моделей возникала такая склонность», — заявил он, добавив, что другие ИИ-компании сталкиваются с похожими проблемами.
В июле специалисты Hacktron сообщили OpenAI об уязвимости, которая, по их словам, могла дать им полный доступ к корпоративному Slack. Один из исследователей, Мохан Педхапати, раскритиковал зависимость компании от сторонней инфраструктуры: «Почему вы используете Slack для создания своих ядерных Манхэттенских проектов?» OpenAI позднее выплатила команде $6,5 тысячи за раскрытие уязвимости.
Еще одну проблему в сентябре обнаружили исследователи Objective-See Foundation. Уязвимость могла позволить злоумышленнику на скомпрометированном устройстве получить доступ ко всей истории приватных чатов пользователя ChatGPT и незаметно взаимодействовать с его браузерными сессиями. OpenAI исправила баг и выплатила исследователям $500.
«Это не та зрелая программа безопасности, которую ожидаешь от компании, для которой безопасность должна быть центральной задачей», — сказал исследователь Objective-See Патрик Уордл.
В OpenAI заявили, что серьезно относятся к сообщениям об уязвимостях и продолжают совершенствовать свои меры безопасности. «По мере того как передовые модели становятся мощнее, мы продолжаем развивать наши практики безопасности, но понимаем, что нам нужно двигаться быстрее», — сказал представитель компании Дрю Пусатери.
По данным издания, многие повседневные решения по безопасности в OpenAI принимают президент компании Грег Брокман и директор по информационной безопасности Дэйн Стаки. Сэм Альтман, по словам сотрудников издания, не принимает близкого участия в этих процессах.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.