Антихайп в generative AI. Что заметил Арсений Кравченко

ML-инженер и автор телеграм-канала partially unsupervised Арсений Кравченко заметил признаки антихайпа в generative AI. И написал пост про это, собрав в нём много полезных гиперссылок. Делимся.

— Партнер в Sequoia насчитал, что с текущими инвестициями в железо genAI должен принести $600B, чтобы окупиться, и этого, конечно, не видно.

— Goldman Sachs оценивает будущие инвестиции в железо в триллион баксов (правда, без уточнения, за какой период) и тоже сомневается в окупаемости. 

— Видеокарты не становятся фундаментально эффективнее, а в основном просто больше (правда, этот тейк относится к продвижению альтернативного железа, так что take it with a grain of salt).

— Economist утверждает про незначительный экономический эффект, несмотря на сотни миллиардов САРЕХ.

— Anecdotal data: лично разговаривал с парой человек, которые после тщательного анализа передумали лезть в некоторые, на первый взгляд, привлекательные ниши, где genAI вроде должен быть полезен: оказалось, что соотношение цена/качество (и полезность как следствие качества) не сходятся буквально на порядок.

Но подождите, рано ползти на кладбище. Вместо этого приведу цитату из requests for startups от YC: 

Small fine-tuned models as an alternative to giant generic ones'

Giant generic models with a lot of parameters are very impressive. But they are also very costly and often come with latency and privacy challenges. 

…We are eager to support companies engaged in developing or fine-tuning such specialized models or creating tools to facilitate their construction.

Запрос на это не может не развиться: на foundation моделях хорошо строить прототипы, а вот скейлить и улучшать — гораздо сложнее. Например, мои бывшие коллеги делали решение для крупного банка, и их специализованный API получился примерно в 500 раз дешевле: 

Enriching these transactions directly with GPT4-0314, would cost $4.5M per day. With Ntropy, this costs $9k per day, a 500x reduction, while maintaining the same accuracy.

Окей, GPT4-0314 — это уже плохой выбор, GPT-4o обошлась бы в разы дешевле, но разбежка примерно на два порядка всё ещё сохраняется. 

Как человек, который любит делать мелкие негигантские специализированные модели и не любит обещать API-based foundation моделям $100 чаевыми, я не могу не радоваться.

C подпиской Coursera Plus можно проходить курсы в различных областях: от Data Science, Machine Learning или Phyton до науки по счастью от профессоров Стенфордского университета. Курсы созданы экспертами из Google, IBM, Meta и других компаний, а также топовыми университетами, среди которых Yale, Stanford и Oxford. Актуальный список можно посмотреть на сайте. Все обучение доступно по фиксированной стоимости — 45 евро в месяц. 

Курсы можно проходить одновременно, бросать, если учебная программа не понравилась, и переключаться на другую. Если формат «не зайдет», после оформления подписки можно вернуть деньги. 

Узнайте личный опыт и рекомендации тех, кто уже попробовал.

У Арсения Кравченко вышла книга про машинное обучение

По теме

У Арсения Кравченко вышла книга про машинное обучение