Apple незаметно для всех выложила мультимодальную ИИ-модель

Модель способна работать по отдельным регионам изображений, которые могут быть любой формы, например выделенными «от руки». Она может распознавать и обводить в прямоугольник объекты на них, а также использовать их и окружающий контекст для ответа на пользовательские запросы.

Например, можно выделить животного на рисунке и спросить, что это, а модель назовёт вид. Или можно обвести еду на картинке и спросить, как её приготовить.

🚀🚀Introducing Ferret, a new MLLM that can refer and ground anything anywhere at any granularity.
📰https://t.co/gED9Vu0I4y
1⃣ Ferret enables referring of an image region at any shape
2⃣ It often shows better precise understanding of small image regions than GPT-4V (sec 5.6) pic.twitter.com/yVzgVYJmHc

— Zhe Gan (@zhegan4) October 12, 2023

Apple нечасто делится домашними наработками с внешним миром, и тем важнее вклад этого релиза в открытые ИИ-исследования. Параллельно компания расширяет инфраструктуру ИИ-серверов для обеспечения работы таких моделей.

Ferret обучена на 8 GPU A100 от Nvidia с 80 Гб памяти. Код доступен на GitHub для некоммерческого использования. Возможно, она найдёт применение в будущих продуктах Apple.

Насколько пользователи интересуются генеративным ИИ в Беларуси и других странах

По теме

Насколько пользователи интересуются генеративным ИИ в Беларуси и других странах

«Стих, стих, стих, стих…» В Google нашли интересный способ выудить у ChatGPT обучающие данные — включая персональные

По теме

«Стих, стих, стих, стих…» В Google нашли интересный способ выудить у ChatGPT обучающие данные — включая персональные

Чат-боту Amazon меньше недели, а он уже «галлюцинирует» и сливает координаты дата-центров компании

По теме

Чат-боту Amazon меньше недели, а он уже «галлюцинирует» и сливает координаты дата-центров компании

Новый рекламный формат в наших телеграм-каналах.

Купить 500 символов за $150