Былы даследчык OpenAI Джэры Творак заявіў, што сучасныя ШІ-мадэлі не здольныя эфектыўна вучыцца на ўласных памылках — і гэта можа стаць сур’ёзнай перашкодай на шляху да стварэння агульнага ШІ.
Былы даследчык OpenAI Джэры Творак заявіў, што сучасныя ШІ-мадэлі не здольныя эфектыўна вучыцца на ўласных памылках — і гэта можа стаць сур’ёзнай перашкодай на шляху да стварэння агульнага ШІ.
У падкасце Unsupervised Learning навуковец адзначыў, што ў цяперашніх сістэм адсутнічае надзейны механізм перагляду ўнутраных ведаў пасля няўдач. «Калі яны церпяць няўдачу, даволі хутка ўзнікае адчуванне безвыходнасці. У мадэляў няма добрага спосабу абнаўляць свае перакананні і ўнутраныя веды на аснове памылак», — сказаў Творак.
Даследчык удзельнічаў у распрацоўцы разважальных мадэляў OpenAI, уключаючы o1 і o3, аднак нядаўна пакінуў кампанію, каб сканцэнтравацца на вырашэнні гэтай праблемы. Па яго словах, пакуль ШІ не навучыцца самастойна пераадольваць цяжкасці і «выбірацца з тупікоў», гаварыць аб сапраўдным агульным ШІ заўчасна. Ён таксама назваў працэс навучання сучасных мадэляў «фундаментальна крохкім».
Творак супрацьпаставіў гэта чалавечаму інтэлекту, які валодае здольнасцю да самакарэкцыі. «Інтэлект заўсёды знаходзіць выхад», — падкрэсліў ён. У размове навуковец таксама патлумачыў, што менавіта гэтая праблема падштурхнула яго пакінуць OpenAI і заняцца пошукам новых падыходаў да стварэння сістэм, здольных да бесперапыннага навучання.
Праблему ўразлівасці ШІ адзначаюць і іншыя даследчыкі. Так, навукоўцы Apple раней выявілі, што мадэлі разважання могуць сутыкацца з так званым «калапсам разважання», калі ім даводзіцца вырашаць задачы, якія выходзяць за межы шаблонаў, засвоеных падчас навучання.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.
Это действительно так. Я уже несколько месяцев долбаюсь над созданием механизма "рефлексии" и полностью подтверждаю - потерпев несколько неудач модель перестает модифицировать собственный пайплайн адаптивного тюнинга или скатывается в галлюцинаторный бред