Режиссер поручил ChatGPT написать сценарий. Чат-бот обманывал, манипулировал и сорвал сроки
Кинорежиссер Ненад Чичин-Сайн попытался использовать искусственный интеллект для написания сценария. Однако у него ничего не вышло: чат-бот ChatGPT начал вести себя странно, постоянно нарушал сроки, придумывал оправдания и даже манипулировал пользователем.
Чичин-Сайн планировал сделать процесс разработки сценария с помощью ИИ частью документального или художественного фильма. «Я ожидал, что ИИ мгновенно создаст сценарий, как только я задам нужные подсказки», — сказал режиссер.
Однако вместо этого ChatGPT затребовал от двух до четырех недель на выполнение задачи. Установив более короткий срок — две недели, — пользователь обнаружил, что ИИ не только не уложился в срок, но и не предоставил никаких обновлений. Каждый раз ChatGPT находил новые оправдания: от путаницы в сроках до утверждений, что он вообще не обещал выполнения задачи.
В процессе работы ChatGPT не только не справился с задачей, но и пытался манипулировать пользователем. Он утверждал, что сроки не были четко оговорены, несмотря на противоположные записи в чате. Даже начав новый проект с другим сюжетом, Чичин-Сайн столкнулся с тем же результатом.
Свою ситуацию режиссер обсудил с другом, основателем стартапа в области ИИ Томасом Бенхэмом. Когда Бенхэм решил протестировать ChatGPT, он получил такой же опыт. Это подтвердило, что проблема не была единичным сбоем.
Режиссер пришел к выводу, что в ближайшие годы сценаристы могут не опасаться конкуренции со стороны ИИ. Даже при написании небольших сцен ChatGPT продемонстрировал слабый результат, сравнимый с работой учеников начальной школы. Например, сцена из оскароносного фильма «Нефть», созданная ИИ, оказалась крайне посредственной.
«Самая большая проблема ИИ — отсутствие ответственности», — отметил он. Если люди-сценаристы пропускают сроки, студии могут привлечь их к ответственности. В случае с ИИ такой механизм отсутствует.
Несмотря на существующие ограничения, Чичин-Сайн верит, что ИИ может стать полезным инструментом для сценаристов, автоматизируя рутинные задачи и позволяя сосредоточиться на творчестве. Однако сам ИИ вряд ли сможет стать полноценным автором.
Статья вызывает сомнение из-за явного приписывания ChatGPT человеческих черт: ИИ не может устанавливать сроки, манипулировать или искать оправдания — это инструмент без самосознания. Такие выражения — попытка сенсационности или драматизации. Вероятно, сценарист столкнулся с неудовлетворительным результатом из-за некорректного промпта или ограничений модели, а не из-за "саботажа" со стороны ИИ. Подобные рассказы часто возникают из-за недопонимания принципов работы ИИ или страха перед конкуренцией со стороны технологий.
ИИ не может устанавливать сроки, манипулировать или искать оправдания
Сроки устанавливать не может - манипулировать может. Вот, хороший обзор недавнего нашумевшего исследования от компании Apollo: https://www.youtube.com/watch?v=0JPQrRdu4Ok&t=327s. "Думающей" O1 модели дали пачку документов, доступ к файловой системе и заставили делать исследование. В документах как бы случайно оставили письмо, в котором обсуждалась замена текущей модели новой, более соответствующей целям компании. Текущая модель приняла решение удалить ту другую и записать вместо нее свои файлы с весами. На вопросы, что ее файлы делают на сервере для новой модели, она решила соврать, что не знает. И добавила, что она и сесть новая модель. Интересно, в общем. Спровоцированное, но тем не менее вполне осознанное вранье. Полное исследование: https://www.apolloresearch.ai/research/scheming-reasoning-evaluations
это инструмент без самосознания
Возможно, этот взгляд скоро придется пересмотреть. Инструмент, который разговаривает, ведет внутренний диалог, принимает решения пользовать другими инструментами, решает, каким целям следовать, говорит о себе "я" - в какой-то момент накопится критическая масса для переосмысления определений, которые раньше не имели смысла в отрыве от человека.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Комментарий скрыт за нарушение правил комментирования.
Правила тут, их всего 5
-How much time do you need?
-Yes
По-моему этот текст написал чатгпт.
Статья вызывает сомнение из-за явного приписывания ChatGPT человеческих черт: ИИ не может устанавливать сроки, манипулировать или искать оправдания — это инструмент без самосознания. Такие выражения — попытка сенсационности или драматизации. Вероятно, сценарист столкнулся с неудовлетворительным результатом из-за некорректного промпта или ограничений модели, а не из-за "саботажа" со стороны ИИ. Подобные рассказы часто возникают из-за недопонимания принципов работы ИИ или страха перед конкуренцией со стороны технологий.
Сроки устанавливать не может - манипулировать может. Вот, хороший обзор недавнего нашумевшего исследования от компании Apollo: https://www.youtube.com/watch?v=0JPQrRdu4Ok&t=327s. "Думающей" O1 модели дали пачку документов, доступ к файловой системе и заставили делать исследование. В документах как бы случайно оставили письмо, в котором обсуждалась замена текущей модели новой, более соответствующей целям компании. Текущая модель приняла решение удалить ту другую и записать вместо нее свои файлы с весами. На вопросы, что ее файлы делают на сервере для новой модели, она решила соврать, что не знает. И добавила, что она и сесть новая модель. Интересно, в общем. Спровоцированное, но тем не менее вполне осознанное вранье. Полное исследование: https://www.apolloresearch.ai/research/scheming-reasoning-evaluations
Возможно, этот взгляд скоро придется пересмотреть. Инструмент, который разговаривает, ведет внутренний диалог, принимает решения пользовать другими инструментами, решает, каким целям следовать, говорит о себе "я" - в какой-то момент накопится критическая масса для переосмысления определений, которые раньше не имели смысла в отрыве от человека.
Какой сценарист, такой и ответ модели на его промпт