«Очень тупо». Как пройти собес с AI и (не) спалиться — а главное, стоит ли
Спросили у обеих сторон про AI на собесах.
Спросили у обеих сторон про AI на собесах.
Содержание
Полезный канал для айтишников в Польше DzikPic собрал интересные комментарии.
Опыт соискателей
«Теперь выкупаю всех читеров на раз-два»
— Делал это ещё в 2023-м. Сам написал софтину.
Это было самое начало 2023 года, и я решил изучить LLM, Python. А лучше всего учить — либо за чужие деньги, на работе, либо придумать какой-нибудь PET-проект.
В принципе, с работой у меня всё было хорошо — позиция Lead и Architect. Но я всю карьеру хожу на собеседования — каждые полгода точно. Это позволяет быть на гребне волны, что сейчас крайне важно. Иногда приходят интересные офферы. Работу я всё равно не так часто меняю, максимум — раз в 7 лет, минимум в три.
И тогда я тоже не то чтобы искал работу. Но, скажем так, на старом месте становилось не очень хорошо по деньгам, и дорогие мне люди начали разбегаться.
Итак, «стек» у меня был такой: <программа> написана на Python, кроссплатформенная. По нажатию хитрых комбинаций клавиш появлялось окно, куда ты мог вбить контекст.
Например, в одном input ты писал небольшой контекст в стиле: «Я прохожу интервью на такую-то позицию». Системный промпт так называемый. И во второй input загружал свои CV, Job Requirements и т. д.
Также настраивал там системные переменные, например «температуру». Кажется, локальная библиотека от «фейсбука» (уже точно не помню, давно не пользовался) преобразовывала голос в текст. И под капотом ещё был промпт «всё, что ты получаешь с микрофона — это мой голос. Всё, что получаешь с наушников — это голос интервьюера».
Потом этот текст из аудио проходил через две LLM-ки:
- Первая LLM-ка — тогда ещё ChatGPT mini. «Пожалуйста, сделай из этого эссенцию, ответ должен быть тезисным, не больше 150 слов» — и это за секунды отдавало текст, чтобы ты сразу мог что-то отвечать.
- Та же запись, но с другим промптом, шла уже в большую LLM (т.е. ChatGPT не mini). Оттуда приходил более полный ответ, который ограничивался 500 символами.
И всё это приходило мне в телеграм — на телефон, который стоит, опёршись на монитор.
Позже я ещё добавил дополнительный функционал, чтобы можно было вставлять захват экрана. Например, если тебе нарисовали схему или что-то ещё: зажимаешь клавишу, отмечаешь мышкой правый верхний угол, потом левый нижний угол, отпускаешь клавишу и отправляешь в OpenAI.
Я проверял эту софтину на реальных интервью — «допиливал» её в боевых условиях. Это помогло довести программу до финального этапа — сейчас у меня версия 3. Но в «паблик» я её не выдал, лежит просто у меня.
Не сильно-то она мне и помогала. Разве что тезисный ответ позволял расставить в голове то, что я и так уже знал. Но проект отлично себя показал. Я научился работе с LLM, промптингом, поработал с Python.
Планирую продолжать ходить на интервью, но, наверное, уже не буду использовать эту «софтину». Она допилена до идеала.
И вот ещё что… я как интервьюер теперь «выкупаю» на раз-два всех «читеров» на интервью. Даже в микрофон иногда выдавал промпты, которые руинили кандидату ответ.
«Было весело видеть их мины»
— Однажды был на ряде собеседований в компании, где HR с самого первого звонка, сама не понимая, о чём спрашивает, устроила викторину, задавая технические вопросы по ООП, паттернам и т. п.
Я тогда понял, что ребята неадекватные и пошёл на следующий этап вместе с Copilot AI-шкой, которая следит за разговором и быстро выводит подсказки.
Ну и, короче, я не прогадал. На следующем этапе собеседование представляло собой звонок с тимлидами нескольких команд, где каждому поручили заготовить каверзные вопросы. И они, значит, соревновались, кто посложнее что-нибудь спросит — такого, чтоб я не знал.
А я всё «знал» и объяснял им подробности всякие: начиная от устройства реактивности во Vue и React, и заканчивая особенностями работы разных видов индексов в PostgreSQL и того, как они устроены алгоритмически. Было весело видеть их мины.
Дальше пригласили на следующий этап, но там был лайвкодинг длиной в целый рабочий день. Отказался продолжать.
А что говорят интервьюеры
Порой айтишники пользуются AI-подсказками на интервью — но что об этом думают сами собеседующие? Два мнения от наших читателей.
«Сам тоже спрашиваю про навыки LLM»
— Я провожу технические собеседования. Чаще в паре, иногда один. Занимаю позицию тимлида/техлида.
Когда я в первый раз столкнулся <с ИИ-помощниками на интервью>, мы с собеседующим не могли понять: кандидат отвечает на все вопросы, но когда спрашиваешь, где он пользовался этой технологией, отвечает, что нигде, только читал.
Ради интереса уже начали спрашивать то, что он точно знать не может. В итоге на следующий этап его не пустили, прямо на собеседовании сказали, что уровень его знаний не соответствует требованиям компании. Он обиделся.
Второй раз почти с самого начала собеседования распознал, что человек использует ИИ. С третьего и далее уже с 1-2 вопросов становится видно.
Часто чат начинает что-то печатать, человек читает начало, а потом ответ полностью меняется, он начинает уже новый читать. Просишь вернуться к тому, что он уже начал говорить — а он не может. Плюс есть вопросы, на которые без уточнений LLM дают ложные ответы, собираю такие.
Немного сложнее, если человек собеседование проходит сам или просто посматривая на монитор/заметки, а уже на лайвкодинге пытается использовать помощь LLM. Но мы сами прогнали наши задания через все популярные модели и их стиль сразу узнаваем.
Если кандидат перепечатывает с другого устройства, я потом прошу переименовать какую-нибудь переменную. И у него проект не собирается, а он не понимает почему, начинает уже не скрываясь сверять.
Что думаю про утверждение «сейчас без ИИ собеседование не пройти, лучше бы наоборот, спрашивали про навыки с LLM»? Думаю, если собеседование будет проводить не опытный собеседующий, то может и прокатить.
Если же человек с опытом в разработке и собеседованиях (сам провёл больше сотни, мой опыт в ИТ 13 лет), то, скорее всего, вас разгадают, и оставите не очень приятное впечатление.
Если у человека есть какой-то опыт и знания, то я бы лучше использовал LLM для тестовых собеседований — потренироваться.
Даже если удастся пройти собеседование, то, скорее всего, вас попросят ещё на испытательном сроке, так как будет понятно, что знания не соответствуют позиции.
Сам тоже спрашиваю про навыки LLM: от банального понимания как писать промпты, до понимания как оптимизировать код, какие тулы для этого использует человек и как ими пользуется.
«Используют AIшки как-то ну очень тупо»
— Часто приходят хлебушки с AIшкой на собесы, но используют их как-то ну очень тупо.
Чаще всего это выглядит так: ты задаешь вопрос, человек теряется, берет «паузу» подумать и выдает супер развернутый ответ.
Особенно смешно, когда какие-то слова транскрипт обрабатывает не совсем корректно, и они видят, что в ответе что-то не то и начинают паниковать. Или когда на два смежных вопроса человек сначала вообще не знает ответа, а потом резко знает во всех деталях.
А собешу я аналитиков (техсобесы), мне пофиг на теорию и всё такое, мне интересно, с чем человек работал и как разные задачи решал.
«Где раньше было 10 откликов, теперь 100». Что AI творит с наймом и зачем кандидатам два CV
«Где раньше было 10 откликов, теперь 100». Что AI творит с наймом и зачем кандидатам два CV
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
"Крысиные бега и Monkey coders"
Через 5-7 лет AGI будет умнее чем всё вместе взятое человечество.
Барт, на пару статей выше еать статейка про твоего брата по разуму. Он уже чвой сон под AI подстраивает. Совсем как ты.
Правда с таким режимом сохранить здоровье ему не помогут ни круглосуточные аптеки, ни круглосуточные шаурмячные.
Кстати, как там планы продавать оборудование сотовым операторам и реконструировать аэропорт в Витебске? Нашел инвесторов? 😉