Support us

Антихайп в generative AI. Что заметил Арсений Кравченко

Цена и качество genAI-проектов сильно не сходятся, кое-кто уже передумал лезть в, казалось, привлекательные ниши. Так что, причастным ползти на кладбище?

Пакажыце гэты артыкул па-беларуску

18 комментариев
Антихайп в generative AI. Что заметил Арсений Кравченко

Цена и качество genAI-проектов сильно не сходятся, кое-кто уже передумал лезть в, казалось, привлекательные ниши. Так что, причастным ползти на кладбище?

Пакажыце гэты артыкул па-беларуску

ML-инженер и автор телеграм-канала partially unsupervised Арсений Кравченко заметил признаки антихайпа в generative AI. И написал пост про это, собрав в нём много полезных гиперссылок. Делимся.

Арсений Кравченко
— Кажется, с разных сторон назревает некоторый антихайп про generative AI. — Например: 

— Партнер в Sequoia насчитал, что с текущими инвестициями в железо genAI должен принести $600B, чтобы окупиться, и этого, конечно, не видно.

— Goldman Sachs оценивает будущие инвестиции в железо в триллион баксов (правда, без уточнения, за какой период) и тоже сомневается в окупаемости. 

— Видеокарты не становятся фундаментально эффективнее, а в основном просто больше (правда, этот тейк относится к продвижению альтернативного железа, так что take it with a grain of salt).

— Economist утверждает про незначительный экономический эффект, несмотря на сотни миллиардов САРЕХ.

— Anecdotal data: лично разговаривал с парой человек, которые после тщательного анализа передумали лезть в некоторые, на первый взгляд, привлекательные ниши, где genAI вроде должен быть полезен: оказалось, что соотношение цена/качество (и полезность как следствие качества) не сходятся буквально на порядок.

Но подождите, рано ползти на кладбище. Вместо этого приведу цитату из requests for startups от YC

Small fine-tuned models as an alternative to giant generic ones'

Giant generic models with a lot of parameters are very impressive. But they are also very costly and often come with latency and privacy challenges. 

…We are eager to support companies engaged in developing or fine-tuning such specialized models or creating tools to facilitate their construction.

Маленькие доработанные модели как альтернатива гигантским универсальным

Гигантские универсальные модели с множеством параметров очень впечатляют. Но они очень дороги и часто сопряжены с задержками и проблемами конфиденциальности.

…Мы стремимся поддерживать компании, занимающиеся разработкой или доработкой таких специализированных моделей или созданием инструментов, облегчающих их сборку.

Запрос на это не может не развиться: на foundation моделях хорошо строить прототипы, а вот скейлить и улучшать — гораздо сложнее. Например, мои бывшие коллеги делали решение для крупного банка, и их специализованный API получился примерно в 500 раз дешевле

Enriching these transactions directly with GPT4-0314, would cost $4.5M per day. With Ntropy, this costs $9k per day, a 500x reduction, while maintaining the same accuracy.

Обработка этих транзакций напрямую с помощью GPT4-0314 обойдётся в $4,5M в день. При использовании Ntropy это обходится в $9K в день, что в 500 раз меньше при сохранении той же точности.

Окей, GPT4-0314 — это уже плохой выбор, GPT-4o обошлась бы в разы дешевле, но разбежка примерно на два порядка всё ещё сохраняется. 

Как человек, который любит делать мелкие негигантские специализированные модели и не любит обещать API-based foundation моделям $100 чаевыми, я не могу не радоваться.


C подпиской Coursera Plus можно проходить курсы в различных областях: от Data Science, Machine Learning или Phyton до науки по счастью от профессоров Стенфордского университета. Курсы созданы экспертами из Google, IBM, Meta и других компаний, а также топовыми университетами, среди которых Yale, Stanford и Oxford. Актуальный список можно посмотреть на сайте. Все обучение доступно по фиксированной стоимости — 45 евро в месяц. 

Курсы можно проходить одновременно, бросать, если учебная программа не понравилась, и переключаться на другую. Если формат «не зайдет», после оформления подписки можно вернуть деньги. 

Узнайте личный опыт и рекомендации тех, кто уже попробовал.

У Арсения Кравченко вышла книга про машинное обучение
У Арсения Кравченко вышла книга про машинное обучение
По теме
У Арсения Кравченко вышла книга про машинное обучение
16 лет dev.by — «дефолтный» источник информации о беларусском ИТ

Вы можете...

Читайте также
Как разработчик в Польше работал курьером (но потом всё получилось)
Как разработчик в Польше работал курьером (но потом всё получилось)
Как разработчик в Польше работал курьером (но потом всё получилось)
@dzikpic, канал для айтишников в Польше, рассказал историю Александра. Перед тем, как попасть в польскую компанию, он два месяца доставлял еду в Glovo. Каково это — ездить на велосипеде по 10-12 часов в день и почему маникюрщица зарабатывает больше разработчика.
15 комментариев
Айтишник купил дом в Польше. Как получить разрешение в 2023, когда отказов больше
Айтишник купил дом в Польше. Как получить разрешение в 2023, когда отказов больше
Айтишник купил дом в Польше. Как получить разрешение в 2023, когда отказов больше
@dzikpic, канал для ИТ-экспатов в Польше, рассказывает историю белорусского айтишника, который купил дом в Гданьске, с комментариями эксперта. Обсудить историю можно в чате.
12 комментариев
Belka Games уволила сотрудников в Беларуси, России и Литве
Belka Games уволила сотрудников в Беларуси, России и Литве
Belka Games уволила сотрудников в Беларуси, России и Литве
22 комментария
Российская «Леста» стала 100%-м собственником «Гейм Стрим»
Российская «Леста» стала 100%-м собственником «Гейм Стрим»
Российская «Леста» стала 100%-м собственником «Гейм Стрим»

Хотите сообщить важную новость? Пишите в Telegram-бот

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

4

Незначительный экономический эффект.. а генерирование мемов они что не учитывали что ли? )

Пользователь отредактировал комментарий 17 июля 2024, 16:44

2

Лопнет пузырь, скорее всего уже в следующем году. Слишком много роздано невыполнимых обещаний инвесторам. "ИИ", конечно, хорош, но пока что недостаточно хорош. Минусующим напомню, что точно так же меня минусовали, когда я писал про пузырь в ИТ в 2022. Минусовавшие тогда это, конечно, не вспомнят

Пользователь отредактировал комментарий 17 июля 2024, 21:43

3

Давайте спорить. Я считаю, что ИИ пузырь еще даже не надулся. Так что лопаться еще нечему. Мета в свою провальную Метаверс вложила больше денег, чем Майкрософт в OpenAI. Большие модели подешевели, маленькие подтянулись. Можно вполне себе хостить LLaMA3 на арендованной GPU даже для любительских проектов. Она вполне может делать мелкие автоматизации. Думаю, в следующие несколько лет многие компании внедрят LLM в свои процессы там и тут. Для всяких мелочей, которые сейчас требуют отдельных людей или дорогих программистов, чтобы написали код. К слову, о коде - недавний Claude 3.5 выдает стабильно рабочие приложения на Реакте. Да, это все еще никак не применить в серьезных проектах, но сложно не видеть в этом перспектив. Все инструменты, работающие с кодом, так или иначе будут внедрять ИИ. Собственно, в Intellij Idea уже год как встроена маленькая LLM для автокомлита. Это помимо их AI ассистента и Copilot, которые работают через внешние API

Есть несколько очень перспективных технологий, которые еще только заходят на рынок. Генерация видео. Уже есть первые продукты, и они впечатляют. В начале года они создвали 3-секундные плохенькие видео, сейчас это уже 3 минуты и качество местами просто отличное. Анимация лиц на фото и всякие deepfake выходят на уровень, когда это уже не отличить на реальных видео. Пузырь это или нет, но к этой технологии точно будет интерес

Пользователь отредактировал комментарий 17 июля 2024, 23:57

5

Да как-то влом сильно спорить. ML само по себе давно уже вполне себе очевидно перспективно. Та же генерация видео, если мне память не изменяет, юзалась Голливудом уже довольно давно, просто там был ценник, недоступный плебсу. Сейчас же, благодаря тому, что генеративный ИИ выкатили широкой публике, хайп случился совсем другого уровня. Но уже сейчас видно, что наступает разочарование. Что касается инвестиций, то дядек-инвесторов, которым в ковид щедро отсыпали инфляционные бабки, стало сильно меньше, потому и пузырь пожиже, но тоже норм.
А технология будет развиваться и совершенствоваться. Прогресс он неостановим. Крах пузыря доткомов я хорошо помню. Он тоже не остановил развитие Интернета. Я даже помню хайп по XML, когда футуристы и ХР с выпученными глазами втирали, как всё будет на XML и все останутся без работы. А хайп на тему блокчейна. Привет, футуристы! Как там, уже перевели всё на блокчейно? Нет, а что случилось?

Пользователь отредактировал комментарий 18 июля 2024, 01:10

-2

С блокчейном все в порядке. Курс Биткоина почти на историческом максимуме и вполне стабильный. Весь даркнет совершает сделки в крипте. Может, мир эта технология и не захватила, но ниша у нее есть

0

))) хмл то причём...

jot
jot Aperatar bajavoj mašyny Tjurynga в AGAT-SYSTEM
-1

Пры ўсім. Яшчэ помню, ***чым УМЛем і сраным аб'ектна-арыентаваным праграмаваньнем усім у вочы што тым хрэнам тыцкалі. Ці вядомай кнігай чатырох, патрэба якой была выкліканая ўбогасьцю адпаведных моваў і парадыгмы.

Слава Гаскелю, Расту, Агдзе, Коку і іншым Акамлям!

0

понятно, но хмл то причём...?

1

Дык в середине 2000-х был хайп на этой теме. Типа традиционные субд умрут и всё будет храниться в XML. И хтмл типа загнется. Во всех вакансиях был чуть ли не главной фичей. Футуристы с храми бились в экстазе.

jot
jot Aperatar bajavoj mašyny Tjurynga в AGAT-SYSTEM
1

Хто памятае туліпаны ў Нідэрляндах, той з блокчэйна не сьмяецца.

Пры гэтым туліпаны як вырошчвалі, так і працягваюць расьціць.

Anonymous
Anonymous
-1

Я даже помню хайп по XML, когда футуристы и ХР с выпученными глазами втирали, как всё будет на XML

О да! +100500!

4

А так то интерес у меня чисто практический: продавать сейчас или чуть подождать. Перед вторым большим падением биткойна (до 3 тыс) хорошим сигналом к продаже было то, что знакомые условные домохозяйки стали мне втирать про инвестиции в крипту

Пользователь отредактировал комментарий 18 июля 2024, 01:37

1

Смотря о каких суммах идёт речь )) я бы сейчас наоборот покупал (будь шекели на кармане, коих нет) - скоро федерал банк УСА начнёт ставку опускать - сразу все в ассеты бросятся. Но если деньги нужны и не в убыток, почему не продать? Лучше шекель на кармане, чем биткоины в тумане!

0

Я больше за ассеты конкретные переживаю, которые могут начать проседать, когда окажется, что большая часть ожиданий от AI оказалась шляпой. Типа Nvidia и тп

Anonymous
Anonymous
0

Я больше за ассеты конкретные переживаю, которые могут начать проседать

Ну, если есть изрядные опасения что через годик оно сдуется то можно подстраховаться и купить OTM LEAPS put, например -NVDA251219P100

cdkznn6wtb
cdkznn6wtb Обиватель яблок в Фруктовая ферма
1

в Intellij Idea уже год как встроена маленькая LLM для автокомлита. Это помимо их AI ассистента и Copilot, которые работают через внешние API

И стал их автокомплит больше помехой чем помощью: подсовывает какой-то хлам вплоть до не совместимых типов хотя раньше в тех же местах выдавал правильные

Пользователь отредактировал комментарий 19 июля 2024, 08:34

fabulius 91
fabulius 91 CEO в Предприниматель в Польше
0

Как генерили фотки баб с шестью пальцами год назад так и продолжают.

1

что вы имеете против женщин с 6-ю пальцами?