ChatGPT почти сдал экзамен на получение лицензии врача в США

Исследование провели специалисты из стартапа Ansible Health. «ChatGPT показал результаты на уровне или близком к порогу сдачи всех трёх экзаменов без какого-либо специального обучения или подкрепления. Кроме того, ChatGPT продемонстрировал высокий уровень согласованности и проницательности в своих объяснениях», — пишут исследователи в опубликованной работе.

ИИ-бот был близок к сдаче экзамена US Medical Licensing Exam (USNLE) без обучения с подтверждением — на базе одного лишь поиска информации в интернете. Человеку требуется от 300 до 400 часов подготовки для сдачи этого экзамена, который состоит из трех разделов. Прямых ответов на вопросы USMLE в интернете нет. ChatGPT генерировал новые ответы на основе данных, полученных по теме вопросов.

При проходном балле в районе 60% ChatGPT набрал от 52,4% до 75% правильных ответов по всем трем экзаменам. В 88,9% ответов алгоритм выдавал как минимум один значимый ответ, который исследователи классифицировали как «новый и неочевидный, хотя клинически обоснованный». Возможно, в будущем ChatGPT сам сможет давать медицинские консультации или станет помощником врача для постановки более точных диагнозов.