Support us

Планы затормозить гонку ИИ поссорила сотрудников в OpenAI и Anthropic

Обещания OpenAI и Anthropic замедлить развитие ИИ ради безопасности вызвали споры внутри компаний. Сотрудники опасаются новых рисков для защиты технологий.

Оставить комментарий
Планы затормозить гонку ИИ поссорила сотрудников в OpenAI и Anthropic

Обещания OpenAI и Anthropic замедлить развитие ИИ ради безопасности вызвали споры внутри компаний. Сотрудники опасаются новых рисков для защиты технологий.

Financial Times сообщает, что глава Anthropic Дарио Амодей предложил дать независимым проверяющим «доступ почти как у сотрудников». По его плану, они должны получить рабочие ноутбуки и пропуска в офисы, а также доступ к внутренним инструментам и процессам разработки моделей. Сэм Альтман назвал предложение «отличной идеей» и заявил, что OpenAI готова последовать этому примеру.

Но сотрудники обеих компаний опасаются, что столь широкий доступ сторонних специалистов может создать новые риски — от утечки интеллектуальной собственности до доступа к наиболее мощным моделям и чувствительным данным. Один из собеседников FT назвал этот вопрос источником «конфликта» внутри компаний. Многие сотрудники и специалисты по безопасности вообще узнали о новых предложениях руководителей одновременно с публикой.

«Сейчас большинство сторонних организаций имеют намного меньше доступа, чем даже штатный сотрудник с минимальными правами», — объяснил бывший исследователь OpenAI Майлз Брандедж. По его мнению, чтобы такая система действительно заработала во всей отрасли, вероятно, понадобятся обязательные общие правила.

«Это не самый приятный способ жить»: CEO OpenAI — о страхах и давлении в разгар ИИ-гонки
«Это не самый приятный способ жить»: CEO OpenAI — о страхах и давлении в разгар ИИ-гонки
По теме
«Это не самый приятный способ жить»: CEO OpenAI — о страхах и давлении в разгар ИИ-гонки

OpenAI утверждает, что уже приостанавливала отдельные запуски обучения фронтирных моделей, чтобы дать системам безопасности время догнать рост их возможностей. Anthropic исследования пока не останавливала, хотя Амодей призывает компании «держать темп» развития под контролем и предлагает закрепить постоянных внешних аудиторов законодательно.

Опыт подобного внешнего контроля у OpenAI уже есть. После июльского инцидента с Hugging Face исследователи METR и Redwood Research получили материалы компании, изучили десятки тысяч логов более чем 1200 ИИ-агентов, работали из офиса OpenAI и опрашивали сотрудников. Однако расследование касалось только конкретного инцидента, что вызвало вопросы о том, насколько независимым может быть аудит, если сама компания определяет границы доступа.

«Все эти организации получают только тот доступ, который им дают сами ИИ-компании, и этого совершенно недостаточно», — заявил профессор Монреальского университета Дэвид Крюгер, ранее работавший в британском AI Security Institute. По его словам, нынешний подход фактически исходит из того, что «ИИ-системы безопасны, пока не доказано обратное».

ИИ-агенты начали придумывать собственный язык — людям всё сложнее их понимать
ИИ-агенты начали придумывать собственный язык — людям всё сложнее их понимать
По теме
ИИ-агенты начали придумывать собственный язык — людям всё сложнее их понимать
Хакеры охотились на «криптокитов» Revolut и делали запросы от имени итальянской полиции — FT
Хакеры охотились на «криптокитов» Revolut и делали запросы от имени итальянской полиции — FT 
По теме
Хакеры охотились на «криптокитов» Revolut и делали запросы от имени итальянской полиции — FT
ИИ-агенты OpenAI искали лазейки в инфраструктуре Hugging Face за два месяца до известного взлома
ИИ-агенты OpenAI искали лазейки в инфраструктуре Hugging Face за два месяца до известного взлома
По теме
ИИ-агенты OpenAI искали лазейки в инфраструктуре Hugging Face за два месяца до известного взлома
Читайте также
Разработчики ИИ не хотят замедляться и просят США создать «тормоз» для гонки технологий
Разработчики ИИ не хотят замедляться и просят США создать «тормоз» для гонки технологий
Разработчики ИИ не хотят замедляться и просят США создать «тормоз» для гонки технологий
Глава Anthropic предложил притормозить гонку ИИ — Альтман и Маск неожиданно согласились
Глава Anthropic предложил притормозить гонку ИИ — Альтман и Маск неожиданно согласились
Глава Anthropic предложил притормозить гонку ИИ — Альтман и Маск неожиданно согласились
Anthropic и OpenAI хотят независимых контролёров за ИИ. Что не так с этой идеей
Anthropic и OpenAI хотят независимых контролёров за ИИ. Что не так с этой идеей
Anthropic и OpenAI хотят независимых контролёров за ИИ. Что не так с этой идеей
Сотрудники OpenAI били тревогу из-за безопасности ИИ — руководство не стало тормозить релизы
Сотрудники OpenAI били тревогу из-за безопасности ИИ — руководство не стало тормозить релизы
Сотрудники OpenAI били тревогу из-за безопасности ИИ — руководство не стало тормозить релизы

Хотите сообщить важную новость? Свяжитесь с редакцией через страницу контактов

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментариев пока нет.