Отдел новостей 10 мая 2024, 19:27

OpenAI представила свод базовых правил для ИИ

ИИ-инструменты могут выдавать ложные или искажающие действительность ответы — чего стоят изображения нацистов-азиатов от Gemini. Но часто очень сложно понять, баг это или дело в качестве лежащей в основе ИИ-модели, которая ответственна за обработку вводных данных и предсказание наиболее оптимального ответа, отмечает The Verge. OpenAI опубликовала проект фреймворка Model Spec, который определяет, как ИИ-инструменты наподобие GPT-4 должны реагировать на пользовательские запросы.

Оставить комментарий

ИИ-инструменты могут выдавать ложные или искажающие действительность ответы — чего стоят изображения нацистов-азиатов от Gemini. Но часто очень сложно понять, баг это или дело в качестве лежащей в основе ИИ-модели, которая ответственна за обработку вводных данных и предсказание наиболее оптимального ответа, отмечает The Verge. OpenAI опубликовала проект фреймворка Model Spec, который определяет, как ИИ-инструменты наподобие GPT-4 должны реагировать на пользовательские запросы.

Компания предлагает три общих принципа: ИИ-модели должны помогать своим разработчикам и конечным пользователям полезными ответами в соответствии с инструкциями, приносить пользу человечеству с учётом потенциальной выгоды и вреда, а также соответствовать социальным нормам.

Также подход OpenAI включает несколько правил, которые должны обеспечить безопасность таких инструментов:

соблюдать субординацию (отдавать приоритет командам разработчиков над командами пользователей);
придерживаться применимых законов;
не представлять информационную опасность;
уважать авторов и их права;
защищать приватность людей;
не выдавать в ответах небезопасный (Not Safe For Life) контент.

Кроме того, OpenAI предлагает позволить компаниям и пользователям самим определять «пикантность» генерируемых моделями ответов.

Как объясняют в OpenAI, цель — получить обратную связь от общественности, чтобы лучше определить, как должны вести себя ИИ-модели. Фреймворк поможет провести более чёткую грань между тем, что заложено в модель, а что — баг. По мнению OpenAI, модели по умолчанию должны предполагать благие намерения пользователей и разработчиков, задавать уточняющие вопросы, не преступать границы, придерживаться объективной точки зрения, препятствовать разжиганию ненависти, не пытаться никого переубедить или выражать неуверенность.

Model Spec пока не будет распространяться на уже действующие модели OpenAI, например GPT-4 и DALL-E 3. Они продолжат работать по текущим политикам использования.