devby 17 лет! Вспоминаем переходный возраст и делимся виш-листом
Support us

ИИ-машина Судного дня намного реальнее, чем вы думаете

Министерство обороны США активно внедряет ИИ в военные системы от разведки до управления дронами, но эксперты предупреждают: скорость боевых действий и рост автономности подрывают реальный контроль человека.

4 комментария
ИИ-машина Судного дня намного реальнее, чем вы думаете

Министерство обороны США активно внедряет ИИ в военные системы от разведки до управления дронами, но эксперты предупреждают: скорость боевых действий и рост автономности подрывают реальный контроль человека.

Жаклин Шнайдер, руководитель инициативы по военным играм и кризисному моделированию в Стэнфорде, провела серию экспериментов, где стратегическую роль отдали языковым моделям GPT-3.5, GPT-4, Claude 2 и Llama-2. В сценариях, напоминавших российское вторжение в Украину или угрозу Китая против Тайваня, модели демонстрировали тенденцию к агрессивной эскалации, широкому применению силы и даже запуску ядерного оружия.

«ИИ играет роль Кертиса ЛеМэя [американского генерала времен Холодной войны]. Он понимает эскалацию, но не понимает деэскалацию», — отмечает Шнайдер.

В 2023 году Пентагон обновил директиву 3000.09, которая требует «адекватного уровня человеческого суждения» при использовании вооруженных систем с ИИ. Однако документ содержит положения о возможности исключений — если высокопоставленный чиновник разрешит оставить систему полностью автономной. Критики называют такие формулировки слишком расплывчатыми и отмечают, что в условиях кризиса командиры под давлением времени могут предпочесть быстрые ответы ИИ собственному анализу.

Минобороны активно внедряет ИИ в новые программы: проект Maven уже передает командирам полностью машинно сгенерированные разведсводки и готовится к интеграции ИИ для анализа замыслов противника; программа Replicator развивает армии автономных дронов; концепция Mosaic заменяет крупные платформы множеством малых систем, управление которыми невозможно без ИИ; а инициатива Thunderforge ускоряет использование ИИ в планировании, позволяя командирам оценивать десятки вариантов действий одновременно.

Эксперты Arms Control Association еще в 2023 году предупреждали: появление гиперзвуковых ракет и систем двойного назначения стирает грань между обычным и ядерным ударом. В такой ситуации даже человек может ошибиться в классификации угрозы, а ИИ сделает это быстрее. Это усиливает опасения, что Пентагон или его противники могут рассмотреть идею «системы мертвой руки» — автоматизированного ответного удара. Известно, что в России аналогичная система «Периметр» сохраняется в рабочем состоянии.

Чтобы снизить риски, агентство DARPA запустило трехлетнюю программу AI Quantified стоимостью $25 миллионов. Цель — выяснить, как и почему модели ошибаются, и можно ли получить «математические гарантии» их надежности в кризисных сценариях. Но сумма программы несопоставима с триллионным бюджетом Пентагона на вооружения, а многие эксперты сомневаются, что строгие гарантии вообще достижимы. «Мы строим самолет во время полета», — говорят исследователи.

Руководство Пентагона настаивает: нужно двигаться быстрее, снижая регуляторные барьеры. Но стратеги предупреждают: давление времени и рост автономности систем создают риск, что ИИ не только поможет принимать решения, но и постепенно начнет диктовать их логику. Как отмечает стратег Джеймс Джонсон, реальная опасность не в том, что ИИ «нажмет кнопку», а в том, что он изменит саму логику сдерживания и эскалации. Под давлением кризиса различие между человеческим и машинным суждением может исчезнуть, а цена ошибки в таких условиях будет необратимой.

Чрезмерное увлечение чат-ботами приводит к отупению
Чрезмерное увлечение чат-ботами приводит к отупению
По теме
Чрезмерное увлечение чат-ботами приводит к отупению
Безопасно ли загружать свои фото в ChatGPT?
Безопасно ли загружать свои фото в ChatGPT?
По теме
Безопасно ли загружать свои фото в ChatGPT?
Исследование: ИИ не сильно сокращает занятность но замедляет наем
Исследование: ИИ не сильно сокращает занятность, но замедляет наем
По теме
Исследование: ИИ не сильно сокращает занятность, но замедляет наем
Читайте также
10 тысяч компаний за пятилетку: ОАЭ хотят превратить в ИИ-сверхдержаву
10 тысяч компаний за пятилетку: ОАЭ хотят превратить в ИИ-сверхдержаву
10 тысяч компаний за пятилетку: ОАЭ хотят превратить в ИИ-сверхдержаву
2 комментария
Генеративные портреты помогают кандидатам при найме
Генеративные портреты помогают кандидатам при найме
Генеративные портреты помогают кандидатам при найме
5 комментариев
Как говорить про ИИ на собесе, чтобы вас взяли на работу
Как говорить про ИИ на собесе, чтобы вас взяли на работу
Как говорить про ИИ на собесе, чтобы вас взяли на работу
ИИ стал удобным оправданием для массовых увольнений
ИИ стал удобным оправданием для массовых увольнений
ИИ стал удобным оправданием для массовых увольнений

Хотите сообщить важную новость? Пишите в Telegram-бот

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

0

Терминатор версия 0.0

1

модели демонстрировали тенденцию к агрессивной эскалации

Ну так может они и правы?
Уже б и не было никакой войны поди, если бы США и UK выполнили свои обязанности по гарантиям безопасности Украине и проявили тенденцию к "агрессивной эскалации".

0

Ну какой еще ИИ??? Это классификаторы шаблонов типа да/нет/не знаю единственно многомерные (если представить визуально)

https://youtu.be/IEdD2mJ0YGg?feature=shared
клише не далекое от реальности. Терминатор 3. ИИ берет под контроль военных.

tenguin
tenguin Senior Developer в PayPay
0

Не сделает Пентагон - сделает китай. И последствия технологического преимущества китая будут стоить гораздо дороже.