Нейросеть вам перезвонит: как AI научился придумывать тестовые задания для IT-собеседований
За последние годы история о том, как кандидат прошёл отбор с помощью нейросети, уже не кажется чем-то из ряда вон выходящим. Например, совсем недавно соискатель похвастался: «ChatGPT сгенерировал мне и резюме, и ответ на тестовое задание, и меня пригласили на работу». Ещё год назад подобные истории публиковались на VC как провокация для гиков, а сегодня использование AI-инструментов при поиске работы становится массовым явлением.
Но этот же технический прогресс работает и в обратную сторону: нейросети начинают помогать работодателям сами составлять тестовые задания для кандидатов. Что всё это значит для индустрии найма и нужно ли теперь разработчикам сдавать экзамены роботам? Давайте разбираться.
Когда тестовое задание отнимает слишком много времени
Тестовые задания давно стали типовой частью отбора IT-специалистов. В идеале они имитируют реальные задачи на будущей работе и позволяют проверить навыки кандидата в деле. Однако подготовка и проверка таких заданий – большая головная боль для компаний.
Обычно в процессе задействованы технические эксперты: именно они придумывают условие, потом тратят время на проверку кода и обратную связь. За 11 лет работы с наймом в IT мы видим, что техники участвуют практически во всех этапах оценки навыков – от составления тестового задания до технического интервью, тратя на процесс отбора массу времени. Это замедляет найм и перегружает ключевых сотрудников: пока опытный инженер проверяет очередную «домашку» кандидата, горящие проектные задачи стоят на паузе.
Чтобы ускорить процесс, компании пробовали всё: менять форматы задач, улучшать критерии оценки, даже вовсе отменять тестовые задания. Но в итоге многие пришли к тому, чтобы автоматизировать технический скрининг с помощью специальных платформ. Появился целый рынок решений (DevSkiller, HackerRank, CodeInterview и др.), которые берут рутину на себя. Сценарий типичный: HR или технический специалист выбирает на платформе готовый тест по нужным технологиям, отправляет кандидату ссылку, а система автоматически оценивает результат и выдаёт баллы.
Важно, что речь не только о банальных вопросах с вариантами ответов. Как правило, онлайн-тест включает кодинговые задачи в полнофункциональной среде – например, дописать часть класса или реализовать метод по заданным требованиям. Длительность теста, набор задач и уровень сложности можно настроить под вакансию.
У таких платформ накоплены обширные библиотеки заданий под самые разные специализации. Если завтра вам понадобится проверить знание Scala, достаточно отфильтровать задания по уровню и технологиям, выбрать подходящее и настроить тест – всё это займёт около часа. Считается, что даже рекрутер при должном умении сможет подобрать задачу из готового набора, минимально вовлекая программистов. При этом сервисы позволяют загружать и свои задачи, если готовые не подходят.
От кандидата требуется лишь выполнить тест у себя дома (обычно даётся несколько часов или дней) – система же затем проверяет код автоматически по ряду параметров: функциональность (правильно ли решена задача), качество кода, наличие ошибок и даже сравнит решение с базой на предмет плагиата. Итогом будет отчёт с итоговым баллом и разбивкой по навыкам. К примеру, если кандидат набрал 83%, можно сразу увидеть, как это соотносится с результатами других участников, сколько времени заняло решение и какие разделы дались сложнее.
Практика показывает, что автоматизация подобного этапа ощутимо ускоряет найм. В одном из кейсов внедрение платформы DevSkiller позволило сократить вовлечённость IT-специалистов в отбор на 20%, а время от получения резюме до финального решения – почти на 43%. Коммуникации по вопросам задания и согласованию сроков тоже стали короче на ~20%, а главное – и кандидаты, и нанимающие менеджеры довольны экономией сил и нервов. Конечно, такой инструмент — не панацея: нельзя полностью делегировать решения алгоритму. Платформа лишь даёт дополнительные данные для анализа и облегчает часть этапов, но решение о найме всё равно должны принимать люди – HR, руководители, технические лиды.
Нейросеть как автор задачи: фантастика или уже реальность?
Если системы вроде DevSkiller опираются на заранее подготовленные задания, то следующий логичный шаг – генерировать задачи автоматически под каждую новую потребность. В 2023–2024 гг. это стало возможным благодаря взрывному развитию больших языковых моделей. Современную LLM можно “научить” писать тестовые задания по требуемым темам – достаточно описать навыки, которые вы хотите проверить, и модель предложит вариант испытания.
Например, авторы одного эксперимента поручили нейросети составить сразу план технического интервью и соответствующее тестовое задание на основе списка требований к вакансии. Следующим шагом они же получили от AI набор проверочных вопросов, чтобы оценить знания по этим требованиям. По сути, часть работы технического рекрутера (составление вакансии, план интервью, тесты) была выполнена машиной за считанные минуты.
Конечно, полученные задачи – лишь черновик, который нуждается в проверке и доработке. Эксперты по качеству отмечают, что у генеративных моделей есть своя специфика: ChatGPT часто слишком шаблонен и иногда додумывает несуществующие или неверные детали, проектируя тесты. Иными словами, безоглядно доверять нейросети составление экзамена нельзя – велик риск получить некорректную или тривиальную задачу. Поэтому AI-помощник тут выступает скорее в роли джуна, который готовит черновой вариант под присмотром опытного наставника (источник testit.software). Зато с его помощью можно быстро набросать идею задания, которую эксперту останется лишь подчистить: подправить формулировки, убедиться, что задача решаемая и действительно проверяет нужный навык.
Некоторые компании уже экспериментируют с такими подходами. В отечественном сервисе тест-дизайна Test IT реализовали интеграцию с нейросетью: QA-инженер вводит описание функционала, а отечественные модели вроде Yandex GPT генерируют черновой набор тестовых кейсов к этой задаче. Хотя это кейс из сферы тестирования ПО, принцип похож: меньше рутинного писательства для людей, больше работы на оценку и творческое осмысление. Получается, и составление учебных задач постепенно становится совместной работой человека и AI.
Интересно, что ChatGPT может выступать не только составителем, но и «решателем» тестовых заданий – и это вызывает новую гонку вооружений. С одной стороны, рекрутеры получают инструменты для массовой генерации уникальных задач (чтобы у кандидатов не было готовых ответов из Google). С другой – сами кандидаты пускают в бой AI, чтобы быстро выдать решение. На форумах уже обсуждают, убил ли ChatGPT привычные кодинг-интервью, и приводят примеры, как он справляется с задачами за секунды. Правда, пока способности AI не безграничны: нейросеть уверенно решает далеко не каждую алгоритмическую головоломку.
По оценкам, модели вроде GPT-4 могут правильно решить только порядка 30% сложных задач с LeetCode. Да и в практических заданиях на проектирование приложение часто требуется более глубинное понимание, чем может показать «статистический» интеллект нейросети. Тем не менее факт остаётся фактом: ChatGPT действительно может помочь соискателю пройти онлайн-тест, и этим активно пользуются. Один из экспертов предупреждает: **«плохая новость — нейросеть может решить тестовое задание, усложнив поиск кандидатов; хорошая — делает это со свойственными ей ошибками»*.
Кандидаты vs. AI: читеры или сообразительные специалисты?
HR-менеджеры и технические руководители сейчас заняли разнополярные позиции относительно использования AI на отборе. Одни считают это обманом, другие – новым необходимым навыком. Многие кандидаты уже открыто признаются на собеседованиях, что прибегали к помощи ChatGPT, и для прогрессивных работодателей это скорее плюс, демонстрирующий умение эффективно применять современные инструменты. «Почему использование искусственного интеллекта – запрещённый приём? А использование Microsoft Word тоже запретить? Ничего криминального, напротив, человек умеет пользоваться технологиями – это же здорово!» – отмечает CEO одной технологичной компании.
В творческих и инженерных профессиях умение взаимодействовать с нейросетями уже рассматривается как ценное качество. Владение AI-инструментами не воспринимается как способ мошенничества, а становится неотъемлемой частью профессиональных навыков (источник habr.com). В результате появился новый тренд: вместо ограничений на использование технологий кандидатов поощряют применять свои любимые инструменты прямо во время собеседования. Один разработчик поделился недавним опытом: придя на coding interview, по привычке он отключил автодополнение и AI-помощник, но интервьюер предложил его вернуть: «Включай обратно — нам интересно, как ты будешь применять AI в реальной работе». Задача усложнилась: помимо готового решения, кандидату нужно было обосновать, почему он отверг некоторые варианты, предложенные нейросетью, и написал код самостоятельно. Это позволило получить более точную оценку профессиональных навыков.
Конечно, сохраняется и противоположная точка зрения. Консервативные руководители по-прежнему хотят видеть полностью самостоятельные решения, считая, что только так проверяются подлинные навыки. Некоторые признаются, что при отборе настороженно относятся к слишком «вылизанным» резюме и ответам, подозревая работу ChatGPT. В креативных индустриях тоже не приветствуют вымышленные портфолио: «Какую бы современную нейросеть ни использовал дизайнер, видно, когда изображение сгенерировано – по шрифтам, по мелким деталям… Мы похвалим за умение пользоваться инструментами, но свои работы кандидат должен предъявить личные». Другими словами, требуется прозрачность.
Если уж ты применил нейросеть, признайся в этом и покажи, что понимаешь её ответы. Кстати, подобная этика начинает закрепляться и на законодательном уровне. В США уже появились первые нормы, обязывающие компании предупреждать кандидатов, если в процессе найма используются AI-алгоритмы (источник potok.io). Логично ожидать и встречного требования: соискатель должен честно сообщить, если какое-то тестовое задание за него по факту выполнял компьютер. Возможно, скоро фраза «выполнено с помощью AI» станет таким же обычным дисклеймером, как «отредактировано в Photoshop».
Что дальше?
Автогенерация тестовых заданий для программистов и инженеров – больше не фантастика, а рабочий инструмент, который постепенно входит в обиход HR-отделов. Уже сейчас нейросети помогают составлять описания вакансий, фильтровать резюме, планировать интервью и придумывать задания, экономя часы рутинной работы. Это позволяет снизить затраты на найм и убыстрить процесс – в бизнесе такой эффект лишним не бывает. С другой стороны, сами кандидаты получили мощный новый инструмент и быстро адаптируются к изменениям правил игры.
Запреты вроде отключения интернета на онлайн-тесте больше не спасают, ведь у каждого под рукой телефон с GPT, голосовые ассистенты, боты-помощники в IDE. Ответ рынка найма сегодня – делать упор на творческие и комплексные задачи, требующие объяснить ход мысли, а не просто выдать правильный ответ. А навык эффективного использования AI постепенно включается в перечень качеств идеального кандидата.
В конечном счёте, искусственный интеллект берёт на себя всё больше черновой работы, но не отменяет роли человека. Автоматизация тестовых заданий способна избавить специалистов от рутины и ускорить поиск талантов, но финальное решение о найме остаётся за людьми. Живое собеседование, командная culture fit и проверка здравого смысла пока не поддаются алгоритмизации. Нейросети уже сейчас меняют подход к отбору – и компаниям, и соискателям важно учиться работать с этими технологиями, чтобы оставаться на гребне волны.
Как замечают HR-эксперты, ИИ в найме – это реальность, и победит не тот, кто запрещает новые инструменты, а тот, кто научится с ними сотрудничать. Ведь в идеале задача AI – не отнять работу у человека, а сделать так, чтобы и наниматели, и кандидаты тратили меньше времени на рутину, сосредоточившись на том, что действительно важно. Пусть нейросеть генерирует код и тесты – а выводы и решения мы по-прежнему будем принимать сами.
Источники:
- Савастюк Н. «ChatGPT в тестировании». Менеджмент и качество в IT – software-testing.by
- AI-HR. «Забудьте про рутину: AI-ассистент для оценки кандидатов и подбора персонала». Хабр
- Русакова Е. «Кейс: как автоматизировать технический скрининг IT-специалистов». Top Career
- Николаева А. «ИИ-генерация тест-кейсов в Test IT: исчерпывающий гайд»
- Писаренко Н., Александрина Т. и др. «Работодатели — о кандидатах, применяющих искусственный интеллект, чтобы пройти отбор». Поток (TalentTech)
- Istokgor. «Почему запрет на переключение вкладок не спасает онлайн-тесты от списывания». Хабр
- Brian Jenney. “The AI Penalty Is Real: Coding Interviews Just Got Weirder”. Medium
- Попова Е. – HR-директор, «Фаберлик». Интервью в блоге «Поток»