Инструменты и приложения на основе ИИ-моделей всё прочнее входят в нашу жизнь. Однако они не идеальны и могут выдавать искажённую или несуществующую информацию — это явление называют «галлюцинациями». Visual Capitalist приводит 15 больших языковых моделей с наименьшей частотой подобных ошибок.
Инструменты и приложения на основе ИИ-моделей всё прочнее входят в нашу жизнь. Однако они не идеальны и могут выдавать искажённую или несуществующую информацию — это явление называют «галлюцинациями». Visual Capitalist приводит 15 больших языковых моделей с наименьшей частотой подобных ошибок.
За основу взяты данные компании Vectara по состоянию на 11 декабря 2024 года. Для вычисления «галлюцинаторности» каждой LLM скормили 1000 небольших документов, которые они должны были резюмировать. Ошибки выявляла специальная модель.
Оказалось, что меньше всего галлюцинациям подвержены менее крупные и более специализированные модели, например GLM-4-9B-Chat китайской компании Zhipu AI, а также o1-mini и 4o-mini от OpenAI. У них доля галлюцинаций не выше 1,5%.
Среди фундаментальных моделей Google Gemini 2.0 слегка превосходит GPT-4 от OpenAI, модели которой занимают в топе с 3 по 8 место. Примерно посередине расположилась и модель DeepSeek-V2.5 нашумевшего китайского стартапа. Его новинка (версия под номером 3) по обновлённым на этой неделе данным ошибается гораздо чаще — в 3,9% случаев.
Точность ИИ-моделей приобретает всё более важное значение, потому что они всё шире используются в приложениях в таких отраслях, как медицина, право и финансы, где ошибки могут стоить очень дорого.
Обычно крупные модели дают более качественные результаты по сравнению с малыми. Но они сложнее и «прожорливее» в плане вычислительных и денежных ресурсов. Между тем модели поменьше хорошо показывают себя на специализированных задачах.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
А че не одной модели дороже 10к баксов нету в списке?