Антихайп в generative AI. Что заметил Арсений Кравченко
Цена и качество genAI-проектов сильно не сходятся, кое-кто уже передумал лезть в, казалось, привлекательные ниши. Так что, причастным ползти на кладбище?
ML-инженер и автор телеграм-канала partially unsupervised Арсений Кравченко заметил признаки антихайпа в generative AI. И написал пост про это, собрав в нём много полезных гиперссылок. Делимся.
— Кажется, с разных сторон назревает некоторый антихайп про generative AI. — Например:
— Партнер в Sequoia насчитал, что с текущими инвестициями в железо genAI должен принести $600B, чтобы окупиться, и этого, конечно, не видно.
— Goldman Sachs оценивает будущие инвестиции в железо в триллион баксов (правда, без уточнения, за какой период) и тоже сомневается в окупаемости.
— Видеокарты не становятся фундаментально эффективнее, а в основном просто больше (правда, этот тейк относится к продвижению альтернативного железа, так что take it with a grain of salt).
— Economist утверждает про незначительный экономический эффект, несмотря на сотни миллиардов САРЕХ.
— Anecdotal data: лично разговаривал с парой человек, которые после тщательного анализа передумали лезть в некоторые, на первый взгляд, привлекательные ниши, где genAI вроде должен быть полезен: оказалось, что соотношение цена/качество (и полезность как следствие качества) не сходятся буквально на порядок.
Но подождите, рано ползти на кладбище. Вместо этого приведу цитату из requests for startups от YC:
Small fine-tuned models as an alternative to giant generic ones'
Giant generic models with a lot of parameters are very impressive. But they are also very costly and often come with latency and privacy challenges.
…We are eager to support companies engaged in developing or fine-tuning such specialized models or creating tools to facilitate their construction.
Маленькие доработанные модели как альтернатива гигантским универсальным
Гигантские универсальные модели с множеством параметров очень впечатляют. Но они очень дороги и часто сопряжены с задержками и проблемами конфиденциальности.
…Мы стремимся поддерживать компании, занимающиеся разработкой или доработкой таких специализированных моделей или созданием инструментов, облегчающих их сборку.
Запрос на это не может не развиться: на foundation моделях хорошо строить прототипы, а вот скейлить и улучшать — гораздо сложнее. Например, мои бывшие коллеги делали решение для крупного банка, и их специализованный API получился примерно в 500 раз дешевле:
Enriching these transactions directly with GPT4-0314, would cost $4.5M per day. With Ntropy, this costs $9k per day, a 500x reduction, while maintaining the same accuracy.
Обработка этих транзакций напрямую с помощью GPT4-0314 обойдётся в $4,5M в день. При использовании Ntropy это обходится в $9K в день, что в 500 раз меньше при сохранении той же точности.
Окей, GPT4-0314 — это уже плохой выбор, GPT-4o обошлась бы в разы дешевле, но разбежка примерно на два порядка всё ещё сохраняется.
Как человек, который любит делать мелкие негигантские специализированные модели и не любит обещать API-based foundation моделям $100 чаевыми, я не могу не радоваться.
C подпиской Coursera Plus можно проходить курсы в различных областях: от Data Science, Machine Learning или Phyton до науки по счастью от профессоров Стенфордского университета. Курсы созданы экспертами из Google, IBM, Meta и других компаний, а также топовыми университетами, среди которых Yale, Stanford и Oxford. Актуальный список можно посмотреть на сайте. Все обучение доступно по фиксированной стоимости — 45 евро в месяц.
Курсы можно проходить одновременно, бросать, если учебная программа не понравилась, и переключаться на другую. Если формат «не зайдет», после оформления подписки можно вернуть деньги.
Узнайте личный опыт и рекомендации тех, кто уже попробовал.
Читать на dev.by