«Самае цікавае ўвогуле адбываецца не ў ІТ». Senior Solution Architect з фармы разважае пра ШІ-параною

З моманту, калі мы абмеркавалі пагрозы з боку штучнага інтэлекту для чалавецтва з архітэктарам ШІ-сістэм Цімурам Хашчавацкім, прайшло менш за тыдзень.

І толькі за гэтыя некалькі дзён зацікаўлены чытач мог даведацца з навінаў, што Google стварыў інстытут для абароны чалавецтва ад AGI, Трамп вырашыў стварыць у ЗША «сілы ШІ» для кантролю за яго развіццём, ШІ-агенты пачалі прыдумляць уласную мову, усё менш зразумелую для людзей, а Open AI прызналася, што яе ШІ прыхоўваюць памылкі, крадуць API-ключы і навучыліся мець зносіны адно з адным, абыходзячы ўстаноўленыя чалавекам забароны.

Пагроза рэальная — але гэта не паўстанне машын. Навошта ІІ-гіганты палохаюць нас канцом свету

Па тэме

Пагроза рэальная — але гэта не паўстанне машын. Навошта ШІ-гіганты палохаюць нас канцом свету

«Загарэлася чырвоная лямпачка — дзёрнуць рубільнік»

Гэтым разам сваёй думкай пра ШІ-параною з devby падзяліўся Senior Solution Architect Pharma R&D Артур Ісаенка, які ў сваёй працы таксама актыўна выкарыстоўвае ШІ-інструменты.

— Прагрэс насамрэч вялікі. Тое, што робіць ШІ ў галіне арганічнай хіміі, яшчэ больш уражвае, чым яго прымяненне ў галіне традыцыйных ІТ. Пры гэтым, як і любы высокапрадукцыйны інструмент, ШІ ўяўляе небяспеку. Рызыка адрэзаць палец бензапілой значна вышэйшая, чым звычайнай. А цяпер мы, здаецца, упершыню атрымалі тэхналогію, якая развіваецца хутчэй, чым грамадства паспявае прыдумаць для яе правілы. І замест нармальнай інжынернай размовы ўсё часцей атрымліваецца альбо рэлігія «ШІ выратуе свет», альбо жах кшталту «ШІ ўсіх заб’е».

Мне не падабаецца ні тое ні другое. Таму што рэальнасць адначасова прасцейшая і непрыемнейшая: ШІ — надзвычай магутны інструмент. А любы надзвычай магутны інструмент надзвычай небяспечны.

Цяпер вельмі модна палохаць людзей штучным інтэлектам:

• ШІ выйдзе з-пад кантролю;
• усіх звольняць;
• ШІ пачне прымаць рашэнні за людзей;
• У выніку атрымаем Skynet, Matrix і поўны апакаліпсіс.

Окей, давайце разбірацца. Любая магутная тэхналогія небяспечная. Чым яна эфектыўнейшая, тым небяспечнейшая. Палкай складана выпадкова знесці дом. Бульдозерам лёгка. Сякерай можна адрубіць палец, але бензапілой гэта зрабіць значна прасцей. Ядравая рэакцыя дае нам і электрастанцыю, і атамную бомбу. Чаму з ШІ павінна быць інакш?

Гэта надзвычай магутны і складаны інструмент, які да таго ж можа працаваць аўтаномна. Ці можа ён выйсці з-пад кантролю? Так. Ці можна выкарыстоўваць яго ў шкоду? Вядома. Ці азначае гэта, што яго трэба спыніць? Не. Інакш давайце наогул спынім тэхнічны прагрэс і вернемся да каменных сякераў. Яны адносна бяспечныя, асабліва калі імі не карыстацца.

Патрэбны guardrails.
Патрэбны governance.
Патрэбны monitoring.
Патрэбны human in the loop.
І галоўнае — human in control.

Прычым усё гэта павінна праектавацца, стварацца by design, а не прыкручвацца потым, калі сістэма ўжо пачала рабіць нешта дзіўнае. Калі аўтаномны ШІ кіруе крытычнай інфраструктурай, грашыма, медычнымі рашэннямі ці прамысловым абсталяваннем, то павінна існаваць кнопка OFF, killer switch.

А калі ўсё зусім крытычна, то хай у канцы ланцужка сядзіць дзядуля Васіль з вялікім рубільнікам ды інструкцыяй: «Загарэлася чырвоная лямпачка — дзёрнуць рубільнік».

Смешна? Так. Але engineering safety часта менавіта так і працуе.

«Тэлеграфісты практычна зніклі. І нічога, цывілізацыя перажыла»

Ёсць яшчэ адна папулярная страшылка: «ШІ забярэ ў людзей працу». Я думаю, тут само пытанне пастаўлена няправільна. Людзі будуць канкурыраваць не са штучным інтэлектам. Людзі будуць канкурыраваць з іншымі людзьмі, якія ўмеюць карыстацца штучным інтэлектам.

У мяне на стале стаіць паўаўтаматычны тэлеграфны ключ канструкцыі пачатку XX стагоддзя. Калісь гэта быў high-tech. Ён дазваляў тэлеграфісту працаваць хутчэй і зарабляць больш. А потым з’явіліся тэлефон, радыётэлетайп ды іншыя тэхналогіі. Тэлеграфісты як масавая прафесія практычна зніклі. І нічога, цывілізацыя перажыла.

Тое ж самае адбудзецца з вялікай колькасцю сучасных прафесій. У тым ліку з праграмаваннем у яго цяперашнім выглядзе. У software engineering гэта ўжо відаць асабліва добра. Код становіцца танным.

Калісь вялікай каштоўнасцю было ўменне праграмаваць на assembler. Потым з’явіліся высокаўзроўневыя мовы. Потым Stack Overflow. Цяпер ШІ. Кожны наступны крок зніжаў каштоўнасць самога механічнага напісання кода. І павышаў каштоўнасць іншага:

• разумення задачы,

• архітэктуры,

• прадметнай вобласці,

• рызык,

• умення прыняць інжынернае рашэнне.

І вось тут пачынаецца сапраўды цікавая рэч. Калі код становіцца танным, то што менавіта прадае software vendor? Раней — вялікі аб’ём ужо напісанага кода. Цяпер — усё больш — экспертызу. Разуменне праблемы. Веданне індустрыі. Здольнасць хутка ператварыць патрабаванні бізнесу ў працавальную сістэму.

І я думаю, гэта вельмі моцна зменіць рынак. Сёння vendor кажа: «Мы гэтага не можам зрабіць, таму што гэта не адпавядае нашай product strategy». Заўтра кліент можа адказаць: «Окей. Тады мы зробім самі». Таму што адлегласць паміж ідэяй і software solution, які працуе, становіцца ўсё меншай.

Але самае цікавае наогул адбываецца не ў ІТ. Мы занадта шмат абмяркоўваем: «Ці будзе ШІ пісаць код?» Так, будзе. І што?

Значна цікавейшае тое, што адбываецца ў хіміі, біялогіі, фізіцы, медыцыне і навуковых даследаваннях. Зірніце хаця б у бок Claude Science і наогул на тое, як ШІ ўжо пачынаюць выкарыстоўваць не папросту як «чацік», а як паўнавартасны інструмент для навуковай працы: аналізу літаратуры, пабудовы гіпотэзаў, працы з дадзенымі, планавання даследаванняў і інтэрпрэтацыі вынікаў. А потым уключыце фантазію. І памножце ўсё, што нафантазіравалі, прыкладна на дзесяць.

Таму што там ШІ пачынае скарачаць адлегласць паміж ідэяй, гіпотэзай, эксперыментам і вынікам. І вось гэта ўжо сапраўды можа змяніць свет.

Новыя лекі.
Новыя матэрыялы.
Новыя метады лячэння.
Новыя спосабы праводзіць даследаванні.

Паўтару: небяспека тэхналогіі — гэта не аргумент супраць тэхналогіі. Гэта аргумент за добрую інжынерыю. А тэхнічны прагрэс усё роўна не спыніць. Таму лепш навучыцца кіраваць гэтым цягніком, чым стаяць на рэйках і тлумачыць яму, што ён едзе занадта хутка.

ІІ ужо кланіруе сябе, шантажуе людзей, шэймінгуе крыўдзіцеляў і нечага дзеля майніць крыпту. А з чаго пачнецца паўстанне машын?

Па тэме

ШІ ужо кланіруе сябе, шантажуе людзей, шэймінгуе крыўдзіцеляў і нечага дзеля майніць крыпту. А з чаго пачнецца паўстанне машын?

«Наадварот, гэта фора». Айцішнікі і бізнесы не выжывуць без Fable і Mythos?

Па тэме

«Наадварот, гэта фора». Айцішнікі і бізнесы не выжывуць без Fable і Mythos?

«Я добры інжынер, але я не люблю кадзіць». Чаму гэтыя айцішнікі падселі на AI — 4 кейсы

Па тэме

«Я добры інжынер, але я не люблю кадзіць». Чаму гэтыя айцішнікі падселі на AI — 4 кейсы