OpenAI пригрозила банить пользователей за попытку выяснить, как работает её новая модель

В сети появились скриншоты емейлов, которые пользователи получают от стартапа. В них говорится, что подобные их запросы к ChatGPT были расценены как «попытка обойти меры предосторожности». «Дальнейшие нарушения этой политики могут привести к потере доступа к GPT-4o со способностью к рассуждению», — предупреждают в письме.

Некоторые пользователи сделали вывод, что проблема возникла из-за фразы «reasoning trace» в запросе. Другие говорят, что гнев OpenAI вызвало одно слово «reasoning». В целом пользователям доступно резюме мыслительного процесса o1, сделанное ещё одной моделью и несколько упрощённое.

Запрет довольно ироничен с учетом того, что особое внимание к новинке привлекла как раз её способность выстраивать цепочки рассуждений, которая позволяет ИИ объяснить, как именно он пришёл к ответу, по шагам.

OpenAI необходимость прятать мыслительный процесс объясняет тем, что так ей не нужно накладывать дополнительные фильтры на то, как думает ИИ, чтобы он не выдал что-то противоречащее политике безопасности. А также тем, что это даёт ей конкурентное преимущество.

Не все разработчики такие скрытные, как противоречащая своему названию OpenAI. Например, разработчики Anthropic опубликовали системные промпты — подсказки, которые получает модель перед началом работы с пользователем, — для Claude 3.5.