„Skrajnie głupie." Jak przejść rozmowę kwalifikacyjną z AI i (nie) dać się złapać – a przede wszystkim, czy warto

Zapytaliśmy obie strony o korzystanie z AI podczas rozmów kwalifikacyjnych.

Spis treści

Przydatny kanał dla specjalistów IT w Polsce, DzikPic, zebrał interesujące komentarze.

Doświadczenia kandydatów

«Teraz rozpoznaję oszustów od ręki»

— Robiłem to jeszcze w 2023 roku. Sam napisałem program.

To był początek 2023 roku i postanowiłem zgłębić LLM i Pythona. A najlepiej uczyć się albo za cudze pieniądze w pracy, albo wymyślić jakiś projekt hobbystyczny.

W zasadzie z pracą miałem wszystko w porządku — pozycja Lead i Architect. Ale przez całą karierę chodzę na rozmowy rekrutacyjne — co najmniej raz na pół roku. To pozwala być na bieżąco, co teraz jest niezwykle ważne. Czasem pojawiają się interesujące oferty. Pracy i tak nie zmieniam zbyt często — maksymalnie raz na siedem lat, minimum co trzy lata.

I wtedy też nie tyle szukałem pracy, ile — powiedzmy — w starym miejscu zaczynało się robić trudniej pod względem finansowym, a bliscy mi ludzie zaczęli się rozchodzić.

Mój «stos technologiczny» wyglądał tak: program napisany w Pythonie, wieloplatformowy. Po naciśnięciu specjalnych kombinacji klawiszy pojawiało się okno, gdzie mogłeś wpisać kontekst.

Na przykład w jednym polu wpisywałeś krótki kontekst w stylu: «Przechodzę rozmowę na takie a takie stanowisko». Czyli tak zwany prompt systemowy. A w drugim polu wgrywałeś swoje CV, wymagania rekrutacyjne itd.

Konfigurowałem tam również zmienne systemowe, na przykład «temperaturę». Wydaje mi się, że lokalna biblioteka od «Facebooka» (już dokładnie nie pamiętam, dawno nie używałem) przetwarzała głos na tekst. Pod maską był jeszcze prompt: «wszystko, co odbierasz z mikrofonu — to mój głos. Wszystko, co odbierasz ze słuchawek — to głos rekrutera».

Następnie ten tekst z audio przechodził przez dwa modele LLM:

• Pierwszy model — wtedy jeszcze ChatGPT mini. «Proszę, wyciągnij z tego esencję. Odpowiedź powinna być w punktach i nie przekraczać 150 słów.» — i to w ciągu sekund zwracało tekst, żebyś mógł od razu coś odpowiedzieć.
• To samo nagranie, ale z innym promptem, trafiało do większego modelu LLM (pełnej wersji ChatGPT). Stamtąd przychodziła pełniejsza odpowiedź, ograniczona do 500 znaków.

I wszystko to dostawałem na Telegramie — na telefonie, który stał oparty o monitor.

Później dodałem jeszcze dodatkową funkcjonalność, żeby móc wstawiać zrzut ekranu. Na przykład, jeśli narysowano ci schemat lub coś innego: przytrzymujesz klawisz, zaznaczasz myszką obszar od prawego górnego do lewego dolnego rogu, puszczasz klawisz i wysyłasz do OpenAI.

Testowałem ten program na prawdziwych rozmowach — «dopracowywałem» go w warunkach bojowych. To pomogło doprowadzić program do finalnego etapu — teraz mam wersję 3. Ale nie udostępniłem go publicznie, po prostu leży u mnie.

Niespecjalnie mi pomagał w rozmowach. Co najwyżej punktowa odpowiedź pozwalała uporządkować w głowie to, co i tak już wiedziałem. Ale projekt świetnie się sprawdził. Nauczyłem się pracy z LLM, promptowania, popracowałem z Pythonem.

Planuję nadal chodzić na rozmowy, ale prawdopodobnie już nie będę używać tego programu. Jest dopracowany do perfekcji.

I jeszcze jedno… jako rekruter teraz «wyłapuję» błyskawicznie wszystkich «oszustów» na rozmowach. Czasami nawet wypowiadałem do mikrofonu prompty, które psuły odpowiedź kandydata.

«Zabawnie było widzieć ich miny»

— Kiedyś byłem na serii rozmów w firmie, gdzie HR już od pierwszego telefonu, sama nie rozumiejąc o co pyta, urządziła quiz, zadając techniczne pytania o OOP, wzorce projektowe itp.

Zrozumiałem wtedy, że firma jest niepoważna i poszedłem na następny etap z Copilot AI, który śledzi rozmowę i szybko wyświetla podpowiedzi.

No i, krótko mówiąc, nie pomyliłem się. Na kolejnym etapie rozmowa wyglądała jak telekonferencja z team liderami kilku zespołów, gdzie każdy miał przygotować podchwytliwe pytania. I oni, znaczy się, rywalizowali, kto zada trudniejsze pytanie — takie, na które nie będę znał odpowiedzi.

A ja wszystko «wiedziałem» i wyjaśniałem im różne szczegóły: począwszy od zasad działania reaktywności w Vue i React, a skończywszy na specyfice działania różnych typów indeksów w PostgreSQL i ich algorytmicznej strukturze. Zabawnie było widzieć ich miny.

Potem zaprosili mnie na następny etap, ale tam było kodowanie na żywo trwające cały dzień pracy. Odmówiłem kontynuowania.

Co mówią rekruterzy

Czasami specjaliści IT korzystają z podpowiedzi AI na rozmowach — ale co o tym myślą sami rekruterzy? Dwie opinie od naszych czytelników.

«Sam też pytam o umiejętności korzystania z LLM»

— Prowadzę techniczne rozmowy kwalifikacyjne. Najczęściej w parze, czasem samodzielnie. Zajmuję pozycję team leadera/tech leadera.

Kiedy po raz pierwszy zetknąłem się <z asystentami AI na rozmowie>, nie mogliśmy z drugim rekruterem zrozumieć: kandydat odpowiada na wszystkie pytania, ale gdy pytasz, gdzie korzystał z tej technologii — odpowiada, że nigdzie, tylko czytał o niej.

Dla sprawdzenia zaczęliśmy pytać o rzeczy, których na pewno nie mógł wiedzieć. W rezultacie nie przepuściliśmy go do następnego etapu, powiedzieliśmy wprost podczas rozmowy, że poziom jego wiedzy nie odpowiada wymaganiom firmy. Obraził się.

Za drugim razem prawie od początku rozmowy rozpoznałem, że osoba korzysta z AI. Od trzeciego razu i dalej już po 1-2 pytaniach staje się to widoczne.

Często czat zaczyna coś pisać, człowiek czyta początek, a potem odpowiedź kompletnie się zmienia, zaczyna czytać już nową. Prosisz, żeby wrócił do tego, co już zaczął mówić — a on nie potrafi. Plus są pytania, na które bez doprecyzowania LLM dają fałszywe odpowiedzi, zbieram takie.

Trudniej jest, gdy osoba prowadzi rozmowę samodzielnie lub tylko zerka na monitor/notatki, a dopiero przy kodowaniu na żywo próbuje korzystać z pomocy LLM. My sami przepuściliśmy nasze zadania przez wszystkie popularne modele i ich styl jest od razu rozpoznawalny.

Jeśli kandydat przepisuje z innego urządzenia, proszę go potem o zmianę nazwy jakiejś zmiennej. I jego projekt nie kompiluje się, a on nie rozumie dlaczego, zaczyna już bez ukrywania się porównywać.

Co myślę o stwierdzeniu «teraz bez AI nie przejdziesz rozmowy, lepiej by pytali o umiejętności korzystania z LLM»? Myślę, że jeśli rozmowę będzie prowadził niedoświadczony rekruter, to może się udać.

Jeśli jednak osoba ma doświadczenie w programowaniu i prowadzeniu rozmów (sam przeprowadziłem ponad sto, moje doświadczenie w IT to 13 lat), to najprawdopodobniej zostaniesz zdemaskowany i zostawisz niezbyt przyjemne wrażenie.

Jeśli ktoś ma jakieś doświadczenie i wiedzę, lepiej używałbym LLM do próbnych rozmów — żeby potrenować.

Nawet jeśli uda ci się przejść rozmowę, to najprawdopodobniej poproszą cię o odejście jeszcze w okresie próbnym, bo będzie widać, że twoja wiedza nie odpowiada stanowisku.

Sam też pytam o umiejętności LLM: od podstawowego rozumienia jak pisać prompty, po zrozumienie jak optymalizować kod, jakich narzędzi do tego używa dana osoba i jak z nich korzysta.

«Używają AI w bardzo głupi sposób»

— Często przychodzą na rozmowy amatorzy z AI, ale używają ich w bardzo nieudolny sposób.

Najczęściej wygląda to tak: zadajesz pytanie, osoba gubi się, bierze «pauzę» na namysł i podaje super rozbudowaną odpowiedź.

Szczególnie zabawnie jest, gdy transkrypt niepoprawnie przetwarza niektóre słowa, a oni widzą, że w odpowiedzi coś jest nie tak i zaczynają panikować. Albo gdy na dwa powiązane pytania osoba najpierw w ogóle nie zna odpowiedzi, a potem nagle zna ją we wszystkich szczegółach.

A rekrutuję analityków (rozmowy techniczne), nie obchodzi mnie teoria i tym podobne, interesuje mnie, z czym dana osoba pracowała i jak rozwiązywała różne zadania.