ИИ-агенты обещают ускорить разработку, но также могут создать новые проблемы с тестированием, безопасностью и поддержкой кода. По мнению обозревателя ZDNET Дэвида Гевирца, главная ошибка разработчиков — воспринимать ИИ как магический инструмент.
ИИ-агенты обещают ускорить разработку, но также могут создать новые проблемы с тестированием, безопасностью и поддержкой кода. По мнению обозревателя ZDNET Дэвида Гевирца, главная ошибка разработчиков — воспринимать ИИ как магический инструмент.
Гевирц сравнивает агентное программирование с работой подрядчиков. Когда код пишет не сам разработчик, а внешняя команда (или ИИ-агент), — результат нельзя принимать на веру. Его нужно проверять, тестировать, интегрировать и сопровождать. «ИИ — это инструмент, а профессионал — вы», — пишет автор. Ниже краткий пересказ его колонки.
Сторонники вайб-кодинга часто говорят, что ИИ позволяет создавать приложения почти без участия человека, а критики предупреждают, что разработчики перестанут понимать, что находится внутри кода. Обе позиции карикатурны. На практике контроль не исчезает, но меняется роль разработчика: он становится не столько автором каждой строки, сколько менеджером, который ставит задачи, принимает работу и отвечает за качество. Не нужно давать ИИ огромные документы с требованиями сразу. Модель может неверно понять один пункт и увести проект в неправильную сторону. Более надежный подход — давать агенту небольшие задачи, проверять результат и только потом переходить к следующему шагу.
Автоматические тесты часто проверяют только ожидаемые сценарии, так называемые happy paths, но пропускают пограничные случаи. ИИ может помочь с тестированием, но если он сам пишет тесты, то унаследует те же слепые зоны, что и человек, который не представляет, как пользователь может «сломать» программу. Необходимо тестировать ИИ-код как внешний пользователь: специально искать нестандартные сценарии, злоупотребления, ошибки ввода и неправильное использование функций. Если вы используете агентное кодирование, помните: ваш проект никогда не завершен. Он просто находится в состоянии, достаточно хорошем для тестирования.
Сгенерированный код можно сравнить с продуктом, который достался от другой команды, подрядчиков или был куплен вместе с правами на ПО. С одной стороны, такой код может уже работать и решать нужную задачу. С другой — внутри часто скрываются неочевидные решения, технический долг, устаревшая логика и ошибки, о которых новый владелец проекта ничего не знает. Это похоже на покупку дома без проверки: снаружи все может выглядеть нормально, но позже выясняется, что в стенах неисправная проводка и сломанные трубы. Генеративный код устроен похожим образом: он может запускаться и даже выглядеть убедительно, но для разработчика остается «черным ящиком». Чтобы безопасно развивать такой проект, код нужно постепенно разбирать, проверять, документировать и приводить к понятной архитектуре.
ИИ-код может не избавлять от технического долга, а создавать новый: модель быстро пишет рабочие фрагменты, но не всегда соблюдает единую структуру проекта, логику архитектуры, стиль именования файлов и связи между компонентами. Например, когда Claude помогал Дэвиду делать iPhone-приложение, он сложил файлы в один большой каталог без понятной организации. Это удалось исправить, но только после отдельной команды «убрать за собой» и привести проект в порядок. Поэтому с ИИ-кодом нужны те же практики, что и с кодом подрядчика: ревью, проверка архитектуры и контроль структуры. Один из полезных приемов — использовать разные модели для взаимной проверки: например, одна пишет код, а другая делает код-ревью.
ИИ-модели обучались на большом количестве публичного кода, включая плохие примеры, устаревшие решения и уязвимые библиотеки. Поэтому они могут воспроизводить небезопасные паттерны: забывать проверку ввода, неправильно обрабатывать данные или подключать зависимости без учета рисков цепочки поставок. Дэвид описывает опыт работы над собственным security-продуктом: ИИ вообще не добавил проверку входных данных, хотя это базовая практика безопасности. После прямого указания модель написала хорошие validation routines, но сама по себе этого не сделала. Вывод: безопасность нужно явно требовать и отдельно проверять.
Автор признает, что ИИ действительно может сократить время вывода продукта на рынок, помочь с поддержкой и поиском уязвимостей. Но он предупреждает: одной фразы недостаточно, чтобы создать надежное приложение. «ИИ не является волшебной пулей», — приходит к выводу Гевирц. Чтобы избежать вайб-кодингового «апокалипсиса», разработчикам придется не меньше, а больше думать о дисциплине, тестировании и инженерном управлении.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Такой вопрос. Понимают ли все, включая экспертов, что ИИ это вероятностный (эктсраполятор многочлена лагранжа) генератор текста с 90-99% успеха и он по факту как большой продвинутый гугл выдает уже существующие данные. Что галлюцинации это не баг, а фича текущей мат. модели. Т.е по факту не будет у него 100% гарантии на верность, что влечет за собой определенные риски. И это не говоря, что про AGI и прочее уже даже не говорят. Т.е для анализа или обработки огромных данных неструктурированных он очень даже, а как точный инструмент не очень.
Давай обсудим, бро. Давненько тут экспертов по нейронным сетям не было в комментах.
Ну, допустим, вероятностный генератор текста - и что? Это что-то доказывает, объясняет, ставит на свои места? Он ведь не случайным образом слова подбирает. Вероятность выше у того, что лучше подходит. В принципе, веростности нужны только для выбора одного токена из распределения в самом конце. Ну, и нормализацию после каждого слова удобно проводить так, чтобы все значения сходились в единицу - проще работать. А так вообще, веротности там не главное. Это не квантовая физика, где верояности в основе всего. Ты когда решаешь, левой рукой нос почесать или правой - это тоже своего рода веростности в деле.
Если ИИ нужен точный инструмент, он напишет скрипт на Питоне и все точно посчитает. Или калькулятор возьмет. Они вполне себе справляются с пониманием собственных ограничений. Где не справляются, там можно помочь - было бы желание.
По статье как-то сказать нечего. Не ясно, что делает автора экспертом. Все пунткты - какая-то банальщина, которую может генерить даже человек, никогда ИИ в руках не державший. По факту, нужно самому пробовать, находить рабочие инструменты и приемы, релизить что-то и тогда уже статьи писать.
Пользователь отредактировал комментарий 12 мая 2026, 21:05
Про вероятность текста это говорит, говорит о том, что смысла ИИ не понимает и не достает из текста (на данный момент никто не знает как достать смысл из текста) можно сказать , что это математически это аппроксимация сложного многочлена с кучей точек (обучающего материал) и там где точек много сходимость хорошая (но все-равно она может уходить не туда), в областях с меньшим количеством точек будет плохая сходимость (галлюцинации и прочее). И так там ИИ не понимает смысла она не может понять это смысловой бред или нет, но статистически\сходится будет замечательно.
Про написание скрипта, из-за того, что выше и скрипт может выдать 2+2 = 5 и далее это протянуть через все дальнейшие расчёты. И у них нету никаких пониманий ограничений. Опять же генерацию не существующей инфы.
Т.е сам принцип ИИ сейчас генерация текста без вытягивания смысла и текста, который субъективно человек оценивает, как очень хороший.
Я так понимаю
Это все к тому, что говорящие раньше, что это супер-пупер интеллект, который всех заменит это чистейшая манипуляция.
Что-то мне совсем не хочется работать. Сорян, много текста. Но, может, это все же чуть интереснее, чем ежедневная чепуха в комментах.
Из вероятностей абсолютно не следует, что ИИ не понимает смысла.
Сказать можно, но это очень большое упрощение, которое не помогает понять принцип работы нейронок. Как и не помогает понять, почему они так хорошо разговаривают и выполняют сложные задачи. Да, бывают промахи вроде подсчета букв в слове, но в целом они хорошо ведут диалог, используют логику, обобщают, планируют. Как? Кодинг-агенты делают достаточно сложные вещи, жонглируя десятками инструментов. Бывают промахи, но в целом задачи вроде небольших сайтов, игр, приложений стали решаемы или end-to-end с пары промптов. Как? Как можно получить больше ТЗ на простом языке с ошибками, задать по нему вопросы, создать рабочий проект - и все это без понимания? Даже если и можно - как? Что там за палиндром такой, откуда он берется?
Нейронка - это не просто точки в пространве. Она раскладывает текст на вектора, которые несут в себе смысл этого текста. Примерно как RGB код, будучи вектором, несет смысл слова "красный". Внутри сети тоже вектора, которые тоже имеют какой-то смысл, выведенный при обучении. Эти вектора постоянно перемножаются. У скалярного умножения есть такое свойство, что чем больше результат, чем больше общих свойств у исходных векторов. Или проще говорят, тем больше эти вектора похожи друг на друга. В итоге, был просто текст, а после перемножения на вектора в первом слое, можно узнать об этом тексте что-то новое - на какие внутренние свойства и абстрации в этом слое текст похож. Что делать с этим знанием? Добавить к исходным векторам текста. Результат - новый вектор, который несет в себе смысл обоих векторов, но более размытый. Если сложить два RGB вектора, а потом номализировать к диапазону 0-255, получится какой-то средний цвет.
Трансфомер идет дальше. После каждого обычного нейроночного слоя он "суммирует" смысл предыдущих токетов в каждый следующий. И добавляет в них смысл своих внутренних векторов, в которых хранится "понимание", как токены в тексте влияют друг на друга. Все скалярными перемножениями. В итоге последний токен (его вектор) модифицируется так, что в нем суммы смысла всего тексте перед ним. Это сильно упрощенная суть бумаги attention all you need - чуваки придумали, как закодировать в вектора позиционный смысл токенов.
В итоге, где-то глубоко внутри нейронки очень многомерные вектора, которые несут в себе исходный смысл текста, знания нейронки из ее обучения, знания позиционного влияния токенов друг на друга вообще и в исходном тексте в частности. И все без вероятностей. Вероятности - это просто результат нормализации векторов. После каждой операции их нужно привести к виду, чтобы все числа суммировались в 1. Вся соль в этих векторах - они имеют какой-то смысл. Из этого смысла строится ответ.
В блоге Anthropic есть много крутых статей, как они расшифровывают эти внутренние вектора. Задают грустные вопросы одной нейронке, потом извлекают выжимку весов из среднего слоя, вставляют другой нейронке, и ее ответы вдруг становится грустнее. И нейронка говорит, что ей вдруг почему-то стало грустно. Все понимают, что это просто математика. Но им удалось извлечь что-то, что отвечает за понятие грусти во всей этой куче математики.
А даже если и сводить все к многочленам. Что ведь получается? Нейронка аппроксимирует какую-то функцию, в которую кладешь текст, а на на выход выдает связную речь. С иммитацией понимания. Что это за функция такая? Почему ее нельзя назвать, например, функцией понимания? Человеческий мозг - тоже фактически компьютер. На вход данные извне, на выход какие-то результаты рассчетов.
Пользователь отредактировал комментарий 12 мая 2026, 22:59
Спасибо за ответ)
Мое понимание, что я еще слышал от математика.
Сейчас ИИ это взяли систему, которая является интерполяционной функцией. Где взяли схему, похожую на мозг, как класс функции взяли класс нейросети с простыми функциями внутри, потом итерируем много-много раз. И получилось на больших объемах данным (много точек), что при разных выходных выдается хороший результат.
По тексту. Там не извлекается смысл, потомучто непонятно как его извлечь математически, берется ключевые слова и контекст и на основе их генерируются следующие, которые подходят и получается правдивый текст.
Про грустные вопросы, Вы сами написали, извлекли веса, т.е коэффициенты. Так это не понятие, а грубо говоря паттер извлекли и вставили другой нейронки, ну вот он и добавляет грусти.
Почему нельзя назвать пониманием. Потомучто если пытаться применять области, где было мало данных, то это функция будет расходится и выдавать плохой результат.
Главное, что из текста не извлекается смылс, потомучто не понятно как его извлечь. Извлекается какой-то паттерн, грубо говоря последовательность слов, которая считается людьми хорошо.
И далее результат ИИ получает человеческую оценку хорошо или нет. А нету какой-то математической оценки.
Получается, что сейчас ИИ это очень хорошая модель, которая находит\классифицирует текст и выдает очень правдоподобный ответ. Но он не извлекает смысл он извлекает последовательность тоекнов и выдает ответ, как самую подходящую последовательность на основе все той инфы\обучения (которое ложится в коэффициенты), что у него есть. И да очень хорошо написано, иммитация понимания.
А так да, мозг получается таже функция, только видимо еще с какими-то примочками, которые еще не знают как сделать математически.
Суть, что надо понимать ограничения и не всовывать везде, где надо и не надо ИИ было изначально. А то преподнесли, как какой-то супер мозг, который может выдавать что-то очень новое в областях с бедной информацией
Ну, как же не понятно? Все понятно - главное найти способ хорошо представить данные числами. Можно взять слово и описать его разными понятиями по шкале от 0 до 1. Получится вектор чисел, где каждое - это какая-то характиристика слова. Похожие по смыслу слова будут иметь много общих характиристик. Это как раз и есть точки, о которых ты говоришь. Точки в много мерном пространстве, где каждое измерение - это какая-то общая для всех слов характеристика. Вектора дают больше возможностей работать с такими векторизованными словами. Можно из вектора "мужчина" вычесть вектор "мальчик" и получить новый вектор, который будет представлять собой понятие возраста. Добавить его к вектору "принцесса" и результат почти магичесским образом укажет на "королеву". Это и есть смысл, извлеченный математически. Это происходит в самом первом слое любой нейронки. Дальше модель учится находить правила вроде вот этого "возраста" и запоминает их, чтобы потом использовать на новых данных.
Как узнать, какие слова ключевые? Когда трансформер тренируется, никто этого ему не объясняет. Он сам выводит правила, по которым одни слова более или меньше влияют на другие в тексте. Эти правила хранятся в матрицах attention блоков. Тут сложнее привести аналогии, но это тоже вектора в своих многомерных пространствах. Научиться находить ключеные слова и использовать это умение - это не значит понимать?
И никто не объясняет ему, что такое "грусть", он сам выводит это понятие из многих текстов и хранит где-то в своих весах.
Это не так. Человеческая оценка - это более позний этап тренировки, когда трансформер уже научился продолжать текст и нужно этому продолжению придать определенную форму. Все паттерны модель выводит сама, просто обрабатывая тексты. Вообще, от человека в обучении уже давно избавились. Даже для этого позднего этапа человек только готовит данные - примеры вопросов и ответов. Модель в состоянии сама сравнить свой ответ с ожидаемым и подправить свои веса. Самая что ни есть математическая оценка. Но это уже после того, как она научилась "понимать данные". После того, как вывела и запомнила разные понятия вроде "грусти".
Ну, вот поэтому и важно разобраться, как на самом деле это все работает. Может нейронка выдать новое знание или нет. Я считаю, что может. Просто потому, что ЛЛМ выводит паттерны самостоятельно из данных, чтобы потом применять их к новым данным. Она вполне может вывести новые паттерны, о которых мы не знаем. Или использовать старые каким-то новым способом.
Вот даже интересно - подключить к этому разговору какой-нибудь Claude Opus 4.7 и спросить его мнение о собственном понимании.
Вот, просто интереса ради, коммент моего домашнего ассистента. Не как аргумент, а просто в тему. Машина имитирует понимание о собственном понимании.
Пользователь отредактировал комментарий 13 мая 2026, 19:22
Очень плохо справляется с большим массивом данных, говорю из опыта. Даже что-то простое вроде оборачивания в кавычки и запятой в конце на 100 строках выдает нормально, а на сотнях и тем более тысячах - начинает вставлять ерунду в некоторых строках, а иногда и вообще некоторые строки игнорирует.
Згодны