Некоторых инцидентов при развитии ИИ избежать не удастся, но главный вопрос в том, как индустрия будет учиться на этих ошибках. Об этом глава OpenAI Сэм Альтман заявил во вторник на конференции Dreamforce, организованной Salesforce. По его мнению, техносектору нужно внедрять культуру прозрачной отчётности о таких кейсах — по аналогии с тем, как это устроено с авариями в гражданской авиации.
Некоторых инцидентов при развитии ИИ избежать не удастся, но главный вопрос в том, как индустрия будет учиться на этих ошибках. Об этом глава OpenAI Сэм Альтман заявил во вторник на конференции Dreamforce, организованной Salesforce. По его мнению, техносектору нужно внедрять культуру прозрачной отчётности о таких кейсах — по аналогии с тем, как это устроено с авариями в гражданской авиации.
«Я действительно считаю, что определённая степень аварийности с новой технологией неизбежна. Что для меня действительно важно, так это наличие у нас развитой культуры сообщения об инцидентах и обучения на них», — заявил Альтман.
В качестве примера для ИИ-отрасли он привёл работу Федерального управления гражданской авиации США (FAA) и Национального совета по безопасности на транспорте (NTSB). Подход этих ведомств к расследованию каждого происшествия повысил безопасность полётов.
«Аварии всё равно будут происходить», — прокомментировал он авиарегуляторов. И добавил, что «мы собираемся извлекать максимум уроков и реагировать на каждый отдельный случай».
Заявления Альтмана прозвучали на фоне всплеска дискуссий о том, что ведущие лаборатории слишком быстро продвигаются к созданию мощных автономных систем. Градус споров поднял исследователь Джейкоб Коксон, на прошлой неделе уволившийся из Anthropic (а до этого работавший в OpenAI). Он заявил, что компании напролом мчатся к самосовершенствующемуся сверхинтеллекту, рискуя жизнями.
Альтман признал, что страхи перед апокалиптическими сценариями оправданы: «Мир правомерно этого боится». Среди главных рисков он выделил вероятность потери контроля над системами и опасную концентрацию власти в руках узкой группы ИИ-разработчиков.
При этом Альтман убеждён, что полный отказ от технологий не решит проблему. Вместо этого компании обязаны гарантировать, что «алайнмент, безопасность и мониторинг» будут «значительно опережать возможности моделей». Он добавил, что разработчики должны быть готовы «замедлиться или остановиться», если не смогут обеспечить такой опережающий контроль.
Впрочем, подобные тезисы лишь усиливают критику со стороны защитников безопасности ИИ — мол, ИТ-гиганты на словах всё осознают, а на деле продолжают делать ещё более мощные модели.
Альтман признал, что людей пугает ощущение, будто коммерческие интересы могут «помешать компаниям или странам поступать правильно». Он добавил, что цель — не смириться с катастрофами, а своевременно раскрывать информацию об инцидентах, быстро учиться на них и не допускать их расползания. «Возможно, нам удастся вообще избежать ситуации, когда ставки поднимутся до такого уровня», — резюмировал он.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.