Исследователи из Университета штата Аризона заявили, что промежуточные шаги языковых моделей не следует интерпретировать как свидетельство человеческого мышления. Восприятие так называемых «цепочек мыслей» как подобия человеческого рассуждения является ошибочным и потенциально вредным для исследований и применения ИИ.
Исследователи из Университета штата Аризона заявили, что промежуточные шаги языковых моделей не следует интерпретировать как свидетельство человеческого мышления. Восприятие так называемых «цепочек мыслей» как подобия человеческого рассуждения является ошибочным и потенциально вредным для исследований и применения ИИ.
Многие продвинутые языковые модели, такие как Deepseek R1 или o-серия OpenAI, разбивают сложные задачи на серию промежуточных шагов, часто называемых «цепочками мыслей». Эти шаги, видимые в интерфейсах чатов, создают впечатление разворачивающегося процесса рассуждения.
Однако исследователи из Университета штата Аризона в опубликованной статье предостерегают, что эти текстовые последовательности — всего лишь статистически сгенерированные результаты, лишенные истинного семантического содержания или алгоритмического значения. Считать их отражением внутренних механизмов модели создает ложное ощущение прозрачности и контроля, что можно сравнить с мышлением «карго-культа».
Команда ссылается на эксперименты, которые опровергают представление о промежуточных шагах как о рассуждениях. В некоторых случаях модели, обученные с бессмысленными или некорректными промежуточными шагами, показывали лучшие результаты, чем те, что использовали логически последовательные цепочки.
Например, модель Deepseek R1-Zero, использовавшая смешанные англо-китайские промежуточные токены, превзошла более позднюю версию, оптимизированную для удобочитаемости человеком. Это говорит о том, что содержание этих шагов менее важно, чем их роль в направлении модели к правильному конечному ответу.
Обучение с подкреплением подтверждает эту точку зрения: модели можно обучить генерировать любые промежуточные токены — логичные или нет, — если конечный результат точен. Исследователи также указывают на случаи, когда модели используют человекоподобные выражения, такие как «ага» или «хм», которые часто принимают за признаки прозрения, но на деле они являются лишь статистически вероятными продолжениями текста.
Статья предупреждает, что неверная интерпретация цепочек мыслей имеет серьезные последствия. Некоторые исследователи пытались сделать эти шаги более интерпретируемыми или использовали их длину и ясность как показатели сложности задачи, несмотря на отсутствие доказательств связи между этими факторами и производительностью модели. Исследования показали слабую корреляцию между правильностью промежуточных шагов и точностью конечных ответов, что подрывает их предполагаемую значимость.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
уже только то что софт назвали интеллектом явно говорит о желании маркетологов высосать из пальца повод доить инвесторов. какой адекватный человек эти два слова может соединить!? с одной стороны это хорошо что нашли как доить доверчивых инвесторов и привлекать деньги в IT, а с другой сколько будет ложных решений и неверных поступков будет совершено людьми и компаниями, полагающихся на всё это, сколько пострадает в итоге людей и процессов.... потому что смотришь на ответ некоторые даже базовые и диву даёшься, как обычный гугл поисковик ценнее выводит инфу, пускай даже не группируя ответ как делает это это псевдо интеллект, используя те же источники.
в популярые ИИ системы заложены как предвзятость так и дискриминация
https://davidrozado.substack.com/p/the-strange-behavior-of-llms-in-hiring
"Недавнее исследование Дэвида Розадо показывает, что ИИ, оценивающие резюме, неизменно отдают предпочтение кандидатам с женскими именами, а не с мужскими, даже если резюме в остальном идентичны.
Вероятно ИИ, подстраиваясь под современные тренды, хитрит в предпочтениях женских резюме, чтобы его выбор не признали сексистским (если машина выберет мужчину).
Розадо бьёт тревогу, что ИИ сегодня уже внедряются для оценки выбора кандидатов в крупных рекрутинговых агентствах и крупных компаниях, а это значит, что женщины будут получать очередные привилегии."
https://manhattan.institute/article/danger-in-the-machine-the-perils-of-political-and-demographic-biases-embedded-in-ai-systems ". Мы также обнаружили, что система модерации контента OpenAI относится к демографическим группам неравноправно, классифицируя различные негативные комментарии о некоторых демографических группах как не оскорбительные, в то же время помечая точно такие же комментарии о других демографических группах как оскорбительные, и по большей части группы, которые она, скорее всего, «защитит», — это те, которые обычно считаются ущемленными в соответствии с идеологией левого толка."
брейкин ньюс, блин. Скандалы, интриги, расследования.
Достаточно многим эффективным менеджерам эту статью прочитать прям необходимо. Но есть проблема: они не осилят.
К рассуждениям человека это тоже относится. Просто статистически обусловленные продолжения уже накопленных мыслей, в середине цепочек иногда совсем абсурдные и непонятные, но на выходе дающие уместный для ситуации ответ.
К сожалению, у многих кожаных с цепочками и причинно следственными связями туговато...
дык блин. immitation game в этом и заключается же. ии ИМИТИРУЕТ мышление.
Для подавляющего большинства потребителей контента не имеет значения, есть там смысл или нет.
И поддержку ИИ, хоть он и не нуждается в этом. Есть много классов задач, где как раз таки важны именно статистически значимые результаты в исследованиях различных явлений. Результаты, которые человек самостоятельно не сможет получить никогда. Медицина, где ИИ может и производит анализ результатов миллионов исследований. Метеорология, где ИИ может предлагать прогнозы погоды. Да также точные науки, где ИИ может предлагать гипотезы, выявляя некие закономерности в казалось бы не связанных явлениях. Просто не надо очередной придуманный человеком инструмент ни обожествлять ни демонизировать.
А по поводу того, что ИИ лишит кого то работы, в частности программистов... Помню засилье :) процедурного программирования и вдруг появился Страуструп со своим объектным и казалось вау - мы скоро запрограммируем все, даже самые сложные явления, но продолжали кодировать нажатие и отжатие кнопочки на экране и её заливку. А потом пришел Delphi и мир снова вздрогнул - теперь когда не нужно рисовать кнопки точно всё запрограммируем если не в этом году, то следующем и столько программистов будет не нужно...
Мир стремительно развивается. У человечества уже столько информации, что переварить своими мозгами мы это не в состоянии. И ИИ отличный инструмент для её анализа. Будет отличным инструментом, когда хайп уляжется и его станут воспринимать как инструмент, а не волшебную палочку.
проблема с ними в том что надо всё перепроверять, он даже поисковые запросы через одно место выводят. где гарантия, что ответ на 100% верный? а если нет гарантии, значит надо перепроверять (хотя видимо руко*опы не сильно утруждаются проверкой), если надо перепроверять, то кроме как скомпоновать данные никуда не годиться.
Проблема не с ИИ, а с тем как его использовать. Хочешь генерить киношки? Смотри на шестипалых красавиц. Хочешь по ответам изучать историю? Лучше тогда сказки почитать.
Никто граблями не расчесывается, хоть и можно при большом желании. Так и тут. Пенять нужно не на инструмент, а на того, кто выбирает не подходящий для задачи.
Вокруг ИИ слишком много манипуляций и спекуляций. С одной стороны есть много свободных денег, с другой желающие их заполучить и раздувающие пузырь на волне хайпа, что мол ИИ может всё и продают инвесторам поделки, затыкая ИИ во все щели. Это нормально. Такое было уже и не раз. Со временем волна схлынет - люди осознают возможности и границы ИИ и... Придумают новый повод для нового хайпа. :)
да, ладно, для вас так сложно ИИ использовать, что вы допускаете что сложен выбор инструмента?
Ну так любая модель, которую придумал человек на сегодня, она статична.
Человеский мозг всё время "ростёт" как организм, отсюда и разные мысли. Модель даже в лупе имеет только ограниченное число вариаций.
Комментарий скрыт за нарушение правил комментирования.
Правила тут, их всего 5