Антыхайп у generative AI. Што заўважыў Арсеній Краўчанка

ML-інжынер і аўтар тэлеграм-канала partially unsupervised Арсеній Краўчанка заўважыў прыкметы антыхайпу ў generative AI. І напісаў пост пра гэта, сабраўшы ў ім шмат карысных гіперспасылак. Дзелімся.

— Партнёр у Sequoia налічыў, што з бягучымі інвестыцыямі ў жалеза genAI мае прынесці $600B, каб акупіцца, і гэтага, вядома, не відаць.

— Goldman Sachs ацэньвае будучыя інвестыцыі ў жалеза ў трыльён баксаў (праўда, без удакладнення, за які перыяд) і таксама сумняваецца ў акупнасці. 

— Відэакарты не становяцца фундаментальна эфектыўнейшымі, а ў асноўным проста большымі (праўда, гэты тэйк адносіцца да прасоўвання альтэрнатыўнага жалеза, так што take it with a grain of salt).

— Economist сцвярджае пра нязначны эканамічны эфект, нягледзячы на сотні мільярдаў САРАХ.

— Anecdotal data: асабіста размаўляў з парай чалавек, якія пасля стараннага аналізу перадумалі лезці ў некаторыя, на першы погляд, прывабныя нішы, дзе genAI, здавалася б, мае быць карысны: выявілася, што суадносіны цана/якасць (і карыснасць як следства якасці) не сыходзяцца літаральна на парадак.

Але пачакайце, рана паўзці на могілкі. Замест гэтага прывяду цытату з requests for startups ад YC: 

Small fine-tuned models as an alternative to giant generic ones'

Giant generic models with a lot of parameters are very impressive. But they are also very costly and often come with latency and privacy challenges. 

…We are eager to support companies engaged in developing or fine-tuning such specialized models or creating tools to facilitate their construction.

Запыт на гэта не можа не развіцца: на foundation мадэлях добра будаваць прататыпы, а вось скейліць і паляпшаць — значна складаней. Напрыклад, мае былыя калегі рабілі рашэнне для буйнога банка, і іх спецыялізаваны API атрымаўся прыкладна ў 500 разоў таннейым: 

Enriching these transactions directly with GPT4-0314, would cost $4.5M per day. With Ntropy, this costs $9k per day, a 500x reduction, while maintaining the same accuracy.

Акей, GPT4-0314 — гэта ўжо дрэнны выбар, GPT-4o абышлася б у разы танней, але разбежка прыкладна на два парадкі ўсё яшчэ захоўваецца. 

Як чалавек, які любіць рабіць дробныя негіганцкія спецыялізаваныя мадэлі і не любіць абяцаць API-based foundation мадэлям $100 чаявымі, я не магу не радавацца.