Великобритания запускает платформу для тестирования безопасности ИИ

Инструменты Inspect будут доступны по лицензии с открытым исходным кодом, в том числе лицензии MIT. Они оценят определенные возможности моделей ИИ в различных сферах, в том числе основные знания моделей и способность рассуждать.

Платформа состоит из трех основных компонентов: наборов данных, инструментов решения и инструментов оценки. Наборы данных предоставляют образцы для оценочных тестов, инструменты решения проводят тесты, инструменты оценки суммируют баллы тестов в метрики.

Компоненты можно дополнить с помощью сторонних пакетов, написанных на Python. Разработчики надеются, что Inspect будут использовать также для адаптации и развития платформы с открытым исходным кодом для высококачественной оценки.

Ранее Национальный институт стандартов и технологий США (NIST) анонсировал программу NIST GenAI, которая предназначена для оценки различных технологий генеративного ИИ, в том числе генерирующего текст и изображения.