«Очень тупо». Как пройти собес с AI и (не) спалиться — а главное, стоит ли
Спросили у обеих сторон про AI на собесах.
Содержание
Полезный канал для айтишников в Польше DzikPic собрал интересные комментарии.
Опыт соискателей
«Теперь выкупаю всех читеров на раз-два»
— Делал это ещё в 2023-м. Сам написал софтину.
Это было самое начало 2023 года, и я решил изучить LLM, Python. А лучше всего учить — либо за чужие деньги, на работе, либо придумать какой-нибудь PET-проект.
В принципе, с работой у меня всё было хорошо — позиция Lead и Architect. Но я всю карьеру хожу на собеседования — каждые полгода точно. Это позволяет быть на гребне волны, что сейчас крайне важно. Иногда приходят интересные офферы. Работу я всё равно не так часто меняю, максимум — раз в 7 лет, минимум в три.
И тогда я тоже не то чтобы искал работу. Но, скажем так, на старом месте становилось не очень хорошо по деньгам, и дорогие мне люди начали разбегаться.
Итак, «стек» у меня был такой: <программа> написана на Python, кроссплатформенная. По нажатию хитрых комбинаций клавиш появлялось окно, куда ты мог вбить контекст.
Например, в одном input ты писал небольшой контекст в стиле: «Я прохожу интервью на такую-то позицию». Системный промпт так называемый. И во второй input загружал свои CV, Job Requirements и т. д.
Также настраивал там системные переменные, например «температуру». Кажется, локальная библиотека от «фейсбука» (уже точно не помню, давно не пользовался) преобразовывала голос в текст. И под капотом ещё был промпт «всё, что ты получаешь с микрофона — это мой голос. Всё, что получаешь с наушников — это голос интервьюера».
Потом этот текст из аудио проходил через две LLM-ки:
- Первая LLM-ка — тогда ещё ChatGPT mini. «Пожалуйста, сделай из этого эссенцию, ответ должен быть тезисным, не больше 150 слов» — и это за секунды отдавало текст, чтобы ты сразу мог что-то отвечать.
- Та же запись, но с другим промптом, шла уже в большую LLM (т.е. ChatGPT не mini). Оттуда приходил более полный ответ, который ограничивался 500 символами.
И всё это приходило мне в телеграм — на телефон, который стоит, опёршись на монитор.
Позже я ещё добавил дополнительный функционал, чтобы можно было вставлять захват экрана. Например, если тебе нарисовали схему или что-то ещё: зажимаешь клавишу, отмечаешь мышкой правый верхний угол, потом левый нижний угол, отпускаешь клавишу и отправляешь в OpenAI.
Я проверял эту софтину на реальных интервью — «допиливал» её в боевых условиях. Это помогло довести программу до финального этапа — сейчас у меня версия 3. Но в «паблик» я её не выдал, лежит просто у меня.
Не сильно-то она мне и помогала. Разве что тезисный ответ позволял расставить в голове то, что я и так уже знал. Но проект отлично себя показал. Я научился работе с LLM, промптингом, поработал с Python.
Планирую продолжать ходить на интервью, но, наверное, уже не буду использовать эту «софтину». Она допилена до идеала.
И вот ещё что… я как интервьюер теперь «выкупаю» на раз-два всех «читеров» на интервью. Даже в микрофон иногда выдавал промпты, которые руинили кандидату ответ.
«Было весело видеть их мины»
— Однажды был на ряде собеседований в компании, где HR с самого первого звонка, сама не понимая, о чём спрашивает, устроила викторину, задавая технические вопросы по ООП, паттернам и т. п.
Я тогда понял, что ребята неадекватные и пошёл на следующий этап вместе с Copilot AI-шкой, которая следит за разговором и быстро выводит подсказки.
Ну и, короче, я не прогадал. На следующем этапе собеседование представляло собой звонок с тимлидами нескольких команд, где каждому поручили заготовить каверзные вопросы. И они, значит, соревновались, кто посложнее что-нибудь спросит — такого, чтоб я не знал.
А я всё «знал» и объяснял им подробности всякие: начиная от устройства реактивности во Vue и React, и заканчивая особенностями работы разных видов индексов в PostgreSQL и того, как они устроены алгоритмически. Было весело видеть их мины.
Дальше пригласили на следующий этап, но там был лайвкодинг длиной в целый рабочий день. Отказался продолжать.
А что говорят интервьюеры
Порой айтишники пользуются AI-подсказками на интервью — но что об этом думают сами собеседующие? Два мнения от наших читателей.
«Сам тоже спрашиваю про навыки LLM»
— Я провожу технические собеседования. Чаще в паре, иногда один. Занимаю позицию тимлида/техлида.
Когда я в первый раз столкнулся <с ИИ-помощниками на интервью>, мы с собеседующим не могли понять: кандидат отвечает на все вопросы, но когда спрашиваешь, где он пользовался этой технологией, отвечает, что нигде, только читал.
Ради интереса уже начали спрашивать то, что он точно знать не может. В итоге на следующий этап его не пустили, прямо на собеседовании сказали, что уровень его знаний не соответствует требованиям компании. Он обиделся.
Второй раз почти с самого начала собеседования распознал, что человек использует ИИ. С третьего и далее уже с 1-2 вопросов становится видно.
Часто чат начинает что-то печатать, человек читает начало, а потом ответ полностью меняется, он начинает уже новый читать. Просишь вернуться к тому, что он уже начал говорить — а он не может. Плюс есть вопросы, на которые без уточнений LLM дают ложные ответы, собираю такие.
Немного сложнее, если человек собеседование проходит сам или просто посматривая на монитор/заметки, а уже на лайвкодинге пытается использовать помощь LLM. Но мы сами прогнали наши задания через все популярные модели и их стиль сразу узнаваем.
Если кандидат перепечатывает с другого устройства, я потом прошу переименовать какую-нибудь переменную. И у него проект не собирается, а он не понимает почему, начинает уже не скрываясь сверять.
Что думаю про утверждение «сейчас без ИИ собеседование не пройти, лучше бы наоборот, спрашивали про навыки с LLM»? Думаю, если собеседование будет проводить не опытный собеседующий, то может и прокатить.
Если же человек с опытом в разработке и собеседованиях (сам провёл больше сотни, мой опыт в ИТ 13 лет), то, скорее всего, вас разгадают, и оставите не очень приятное впечатление.
Если у человека есть какой-то опыт и знания, то я бы лучше использовал LLM для тестовых собеседований — потренироваться.
Даже если удастся пройти собеседование, то, скорее всего, вас попросят ещё на испытательном сроке, так как будет понятно, что знания не соответствуют позиции.
Сам тоже спрашиваю про навыки LLM: от банального понимания как писать промпты, до понимания как оптимизировать код, какие тулы для этого использует человек и как ими пользуется.
«Используют AIшки как-то ну очень тупо»
— Часто приходят хлебушки с AIшкой на собесы, но используют их как-то ну очень тупо.
Чаще всего это выглядит так: ты задаешь вопрос, человек теряется, берет «паузу» подумать и выдает супер развернутый ответ.
Особенно смешно, когда какие-то слова транскрипт обрабатывает не совсем корректно, и они видят, что в ответе что-то не то и начинают паниковать. Или когда на два смежных вопроса человек сначала вообще не знает ответа, а потом резко знает во всех деталях.
А собешу я аналитиков (техсобесы), мне пофиг на теорию и всё такое, мне интересно, с чем человек работал и как разные задачи решал.
Читать на dev.by