«Самое интересное вообще происходит не в ИТ». Senior Solution Architect из фармы рассуждает про ИИ-паранойю

С момента, когда мы обсудили угрозы со стороны искусственного интеллекта для человечества с архитектором ИИ-систем Тимуром Хащеватским прошло меньше недели.

И всего за эти несколько дней заинтересованный читатель мог узнать из новостей, что Google создал институт для защиты человечества от AGI, Трамп решил создать в США «силы ИИ» для контроля за его развитием, ИИ-агенты начали придумывать собственный язык, всё менее понятный для людей, а Open AI призналась, что её ИИ скрывают ошибки, воруют API-ключи и научились общаться друг с другом, обходя установленные человеком запреты.

Угроза реальна — но это не восстание машин. Зачем ИИ-гиганты пугают нас концом света

По теме

Угроза реальна — но это не восстание машин. Зачем ИИ-гиганты пугают нас концом света

«Загорелась красная лампочка — дёрнуть рубильник»

На этот раз своим мнением об ИИ-паранойе с devby поделился Senior Solution Architect Pharma R&D Артур Исаенко, который в своей работе тоже активно использует ИИ-инструменты.

— Прогресс на самом деле огромный. То, что творит ИИ в области органической химии ещё более впечатляет, чем его применение в области традиционного ИТ. При этом, как и любой высокопроизводительный инструмент, ИИ представляет опасность. Риск отрезать палец бензопилой гораздо выше, чем обычной. А сейчас мы, похоже, впервые получили технологию, которая развивается быстрее, чем общество успевает придумать для неё правила. И вместо нормального инженерного разговора всё чаще получается либо религия  «ИИ спасёт мир», либо хоррор типа «ИИ всех убьёт». 

Мне не нравится ни то ни другое. Потому что реальность одновременно проще и неприятнее: ИИ чрезвычайно мощный инструмент. А любой чрезвычайно мощный инструмент чрезвычайно опасен.

Сейчас очень модно пугать людей искусственным интеллектом:

• ИИ выйдет из-под контроля;
• всех уволят;
• ИИ начнёт принимать решения за людей;
• В итоге получим Skynet, Matrix и полный апокалипсис.

Окей, давайте разбираться. Любая мощная технология опасна. Чем она эффективнее, тем опаснее. Палкой сложно случайно снести дом. Бульдозером легко. Топором можно отрубить палец, но бензопилой это сделать значительно проще. Ядерная реакция даёт нам и электростанцию, и атомную бомбу. Почему с ИИ должно быть иначе?

Это чрезвычайно мощный и сложный инструмент, который вдобавок может работать автономно. Может ли он выйти из-под контроля? Да. Можно ли использовать его во вред? Разумеется. Значит ли это, что его нужно остановить? Нет. Иначе давайте вообще остановим технический прогресс и вернёмся к каменным топорам. Они относительно безопасные, особенно если ими не пользоваться.

Нужны guardrails.
Нужен governance.
Нужен monitoring.
Нужен human in the loop.
И главное  human in control.

Причём всё это должно проектироваться, создаваться by design, а не прикручиваться потом, когда система уже начала творить дичь. Если автономный ИИ управляет критической инфраструктурой, деньгами, медицинскими решениями или промышленным оборудованием, то должна существовать кнопка OFF, killer switch.

А если всё совсем критично, то пусть в конце цепочки сидит дедушка Вася с огромным рубильником и инструкцией: «Загорелась красная лампочка — дёрнуть рубильник».

Смешно? Да. Но engineering safety часто именно так и работает.

«Телеграфисты практически исчезли. И ничего, цивилизация пережила»

Есть ещё одна популярная страшилка: «ИИ заберёт у людей работу». Я думаю, здесь сам вопрос поставлен неправильно. Люди будут конкурировать не с искусственным интеллектом. Люди будут конкурировать с другими людьми, которые умеют пользоваться искусственным интеллектом.

У меня на столе стоит полуавтоматический телеграфный ключ конструкции начала XX века. Когда-то это был high-tech. Он позволял телеграфисту работать быстрее и зарабатывать больше. А потом появились телефон, радиотелетайп и другие технологии. Телеграфисты как массовая профессия практически исчезли. И ничего, цивилизация пережила.

То же самое произойдёт с огромным количеством современных профессий. В том числе с программированием в его нынешнем виде. В software engineering это уже видно особенно хорошо. Код становится дешёвым.

Когда-то огромной ценностью было умение программировать на assembler. Потом появились высокоуровневые языки.  Потом Stack Overflow. Теперь ИИ. Каждый следующий шаг снижал ценность самого механического написания кода. И повышал ценность другого:

• понимания задачи,

• архитектуры,

• предметной области,

• рисков,

• умения принять инженерное решение.

И вот здесь начинается действительно интересная вещь. Если код становится дешёвым, то что именно продаёт software vendor? Раньше — огромный объём уже написанного кода. Теперь — всё больше  экспертизу. Понимание проблемы. Знание индустрии. Способность быстро превратить требования бизнеса в работающую систему.

И я думаю, это очень сильно изменит рынок. Сегодня vendor говорит: «Мы этого не можем сделать, потому что это не соответствует нашей product strategy». Завтра клиент может ответить: «Окей. Тогда мы сделаем сами». Потому что расстояние между идеей и работающим software solution становится всё меньше.

Но самое интересное вообще происходит не в ИТ. Мы слишком много обсуждаем: «Будет ли ИИ писать код?» Да, будет. И что?

Гораздо интереснее то, что происходит в химии, биологии, физике, медицине и научных исследованиях. Посмотрите хотя бы в сторону Claude Science и вообще на то, как ИИ уже начинают использовать не просто как «чатик», а как полноценный инструмент для научной работы: анализа литературы, построения гипотез, работы с данными, планирования исследований и интерпретации результатов. А потом включите фантазию. И умножьте всё, что нафантазировали, примерно на десять.

Потому что там ИИ начинает сокращать расстояние между идеей, гипотезой, экспериментом и результатом. И вот это уже может реально изменить мир.

Новые лекарства.
Новые материалы.
Новые методы лечения.
Новые способы проводить исследования.

Повторюсь: опасность технологии — это не аргумент против технологии. Это аргумент за хорошую инженерию. А технический прогресс всё равно не остановить. Поэтому лучше научиться управлять этим поездом, чем стоять на рельсах и объяснять ему, что он слишком быстро едет.

ИИ уже клонирует себя, шантажирует людей, шеймит обидчиков и зачем-то майнит крипту. А с чего начнётся восстание машин?

По теме

ИИ уже клонирует себя, шантажирует людей, шеймит обидчиков и зачем-то майнит крипту. А с чего начнётся восстание машин?

«Наоборот, это фора». Айтишники и бизнесы не выживут без Fable и Mythos?

По теме

«Наоборот, это фора». Айтишники и бизнесы не выживут без Fable и Mythos?

«Я хороший инженер, но я не люблю кодить». Почему эти айтишники подсели на AI — 4 кейса

По теме

«Я хороший инженер, но я не люблю кодить». Почему эти айтишники подсели на AI — 4 кейса