После недавнего скандала, связанного с увольнением гендиректора стартапа Сэма Альтмана, компания пытается повысить ответственность разработчиков за выпуск больших языковых моделей.
После недавнего скандала, связанного с увольнением гендиректора стартапа Сэма Альтмана, компания пытается повысить ответственность разработчиков за выпуск больших языковых моделей.
По данным источников Bloomberg, контролировать и согласовывать выпуск новых нейросетей будет специальная «группа готовности» под руководством Александра Мадри. Он будет совмещать эту должность с научной работой в Массачусетском технологическом институте. Группа будет анализировать подготовленную к релизу ИИ-модель и выявлять потенциальные риски ее использования. Например, вероятные последствия применения модели, которые могут привести к миллиардным убыткам или человеческим жертвам.
Эксперты будут оценивать модели по шкале с четырьмя уровнями рисков: низким, средним, высоким и критическим. По замыслу руководства, компания сможет выпускать только те модели, которые в итоге получат оценку риска не выше низкого или среднего. Представитель OpenAI выразил надежду, что подобной шкалой будут пользоваться и другие разработчики.
Группа ежемесячно будет делиться отчетами о деятельности разработчиков со специальным советом безопасности, а тот будет делиться своими выводами с генеральным директором компании и советом директоров. Альтман сможет принимать решение о выпуске новой модели на рынок или ее задержке для доработки, совет директоров получит право вето на положительное решение гендиректора о выпуске модели в общий доступ.
Кроме того, в компании будут действовать еще две группы, которые займутся анализом разработок. Это группа безопасности как таковой, а также группа «сверхрегулирования», которая будет учитывать гипотетические угрозы от внедрения сверхмощных ИИ-систем в будущем.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.