Пры канцы лістапада карыстальнікі ChatGPT на базе GPT-4 заўважылі, што чат-бот стаў адмаўляцца адказваць на запыты або адказваць занадта коратка і спрошчана, крэатыўнасць таксама пацярпела. Распрацоўшчыкі прызналі праблему і сказалі, што гэта не фіча, але чаму яна ўзнікла, не ведаюць. Адная тэорыя, хоць і не правераная, з’явілася ў АІ-даследчыкаў з ліку юзераў — яе назвалі «гіпотэзай зімовых вакацый».
Пры канцы лістапада карыстальнікі ChatGPT на базе GPT-4 заўважылі, што чат-бот стаў адмаўляцца адказваць на запыты або адказваць занадта коратка і спрошчана, крэатыўнасць таксама пацярпела. Распрацоўшчыкі прызналі праблему і сказалі, што гэта не фіча, але чаму яна ўзнікла, не ведаюць. Адная тэорыя, хоць і не правераная, з’явілася ў АІ-даследчыкаў з ліку юзераў — яе назвалі «гіпотэзай зімовых вакацый».
Хтосьці з карыстальнікаў жартам выказаў здагадку, што вялікія моўныя мадэлі, падобна да людзей, могуць сімуляваць сезонную дэпрэсію. Іншы выказаў ідэю, што мадэлі з навучальных даных зрабілі выснову, што ў снежні людзі расслабляюцца і адкладаюць вялікія праекты на будучы год — і пераймаюць іх.
Яшчэ адная здагадка звязаная з бягучай датай, якую бот атрымлівае ў сістэмнай падказцы пры запыце. На яе даследчыкаў навялі дзіўныя паводзіны мадэляў пры звароце да іх як да жывых людзей — напрыклад, калі прапанаваць ім зрабіць глыбокі ўдых перад рашэннем матэматычнай задачы або атрымаць чаявыя. Натуральна, ані таго, ані другога мадэль зрабіць не можа, але адказвае чамусьці якасней. Таксама дамагчыся добрага адказу дапамагае націск на жаласлівасць — напрыклад, калі прыкінуцца, што ў вас няма пальцаў.
Распрацоўшчык Роб Лінч расказаў пра свой эксперымент над GPT-4 Turbo, у рамках якога ён стварыў дзве сістэмныя падказкі. Першая прымушала мадэль думаць, што цяпер май, а другая — што снежань. Выявілася, што мадэль у сярэднім давала даўжэйшыя адказы, калі лічыла, што адказвае на пытанні ў маі — 4298 сімвалаў супраць 4086.
@ChatGPTapp @OpenAI @tszzl @emollick @voooooogel Wild result. gpt-4-turbo over the API produces (statistically significant) shorter completions when it «thinks» its December vs. when it thinks its May (as determined by the date in the system prompt).
— Rob Lynch (@RobLynch99) December 11, 2023
I took the same exact prompt… pic.twitter.com/mA7sqZUA0r
Зрэшты, у іншых даследчыкаў паўтарыць вынікі Лінча са статыстычнай значнасцю не атрымалася.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.