Meta пообещала остановить разработку ИИ, если риски будут слишком высоки

Согласно новому документу Frontier AI Framework, компания классифицирует ИИ-системы как «высокорискованные» и «критически рискованные». Обе эти категории систем могут быть использованы в кибератаках, химических и биологических атаках.

Основное различие между ними заключается в том, что «критически рискованные» системы могут привести к катастрофическим последствиям. В свою очередь, «высокорискованные» системы могут облегчить проведение атаки, но не так надежно и предсказуемо, как «критически рискованные» системы.

Компания классифицирует риск системы не на основе какого-либо эмпирического теста, а на  мнении внутренних и внешних исследователей, которые подлежат проверке со стороны руководителей высшего звена.

Meta поясняет, что не считает существующую оценку «достаточно надежной, чтобы предоставить окончательные количественные показатели» для определения степени риска системы.

• Если система считается «высокорискованной», Meta ограничит доступ к ней внутри компании и не выпустит ее до тех пор, пока не будут реализованы меры по снижению риска до умеренного уровня.
• Если же система будет признана «критически рискованной», Meta примет меры безопасности для предотвращения ее утечки и прекратит разработку до тех пор, пока систему не удастся сделать менее опасной.