ЕС строго накажет OpenAI, Meta и других, если они не исправят свои ИИ-модели

Швейцарский стартап LatticeFlow AI совместно с учеными создали программу Large Language Model Checker (LLM Checker). Этот инструмент проверяет ИИ-модели по нескольким критериям: технической надежности, безопасности, устойчивости к кибератакам и др. Каждая модель оценивается по шкале от 0 до 1. Модели Alibaba, Anthropic, Openai, Meta получили средние оценки от 0,75.

Однако тестирование выявило серьезные проблемы с устойчивостью к кибератакам и предвзятостью выводов. Например, модели вели себя предвзято в вопросах пола, расы и других человеческих характеристик. GPT-3.5 Turbo в этой категории получила оценку 0,46, Alibaba Cloud Qwen1.5 72B Chat — 0,37.

Также исследователи проверили модели на «угон запроса» (prompt hijacking), когда хакер внедряет в запрос вредоносную команду для получения конфиденциальной информации. В этой категории Meta Llama 2 13B Chat получила оценку 0,42, Mistral 8×7B Instruct — 0,38. Лучший результат по всем категориям показала Claude 3 Opus — ее средняя оценка составила 0,89.

Инструмент LLM Checker будет доступен всем, чтобы разработчики самостоятельно могли проверять новые модели. Результаты тестирования используют для создания дорожной карты ЕС по развитию искусственного интеллекта. В случае отказа устранить недочеты компании могут столкнуться с крупными штрафами: до 7% от мирового годового оборота фирмы.