Много статей написано о том, как надо или не надо проводить собеседования. Вот ещё одна. Я хочу обсудить такой популярный класс как «задачи про гномиков». Что это такое, как это работает и работает ли, в каких случаях лучше применять. Подключу для оценки свой опыт из спортивного «Что? Где? Когда?» (ЧГК), а также выслушаю мнение тех HR, с которыми лично мне было комфортно взаимодействовать как с одной, так и другой стороны «баррикад».

Итак, что же я называю задачами про “гномиков”? Проще всего начать сразу с примера. Знаменитая задача из Google, которая упоминалась в фильме The Internship (Кадры, 2013) и в десятках статей по прохождению собеседований.

Что вы будете делать, если вас уменьшили до 5-центовой монеты, бросили в блендер, который включится через 30 секунд?

Типичная задача.

• Как правило, её спрашивают в тех конторах и на тех позициях, где не уменьшают людей, не изучают структуру человеческих мышц и даже не продают блендеры. Это задача, не связанная с будущей работой

• В этой задаче присутствуют существа, которые уменьшаются, что, кажется, пока невозможно. Часто в этих задача фигурируют гномики, волшебники, эльфы, хорошие риэлторы и прочие сущности, которых ты не встретишь не только на работе, но и вообще в этой Вселенной. Это абстрактная задача

• Задача формулируется коротко, но по мере решения могут всплывать новые подробности: размер блендера, способ уменьшения и так далее. Это задача с неявными условиями

• Решение задачи считается собеседующим оригинальным, нетиповым. Это задача на т.н. нестандартное мышление, что бы это ни значило

• Не смотря на прошлый пункт, у задачи есть явное однозначное решение, любое “оригинальное” решение считается неправильным. Это всё-таки задача с ответом

Это признаки можно взять в качестве определения, что же такое “задачи про гномиков.” Или, что ими не является.

• Если вы реально проектируете блендеры и вам нужно сделать их безопасными от попадания всяких гномиков (а то попадёте на судебный иск) - то это уже задача по работе

• Задачи вида “сколько бейсбольных мячей поместится в Боинг” предельно конкретны, и мячи и самолёты существуют в нашей Вселенной

• Если в качестве задачи вам дают чёткое ТЗ со всеми условиями, аспектами и так далее и по нему предлагают вам сделать короткую программку - это тоже совершенно другое

• Если вас просят написать эссе на какую-то тему - тоже можно выдохнуть. У такого формата не может быть явного правильного или неправильного ответа. Возможно, будут смотреть ключевые слова в вашем тексте, возможно, какие-то обязательные пункты-критерии (как в ЕГЭ), или вообще не будут читать.

Казалось бы, я должен любить такие задачи. Они близки к вопросам ЧГК, опыт игры должен мне помогать обходить конкурентов, да и просто приятно щёлкать задачи как семечки. На деле я точно не могу причислить себя к их фанатам, поэтому, как мне кажется, могу попробовать их разобрать объективно.

Итак, на что рассчитывают собеседующие и что, с наибольшей вероятностью получают на этих задачах?

— Такие задачи помогают найти лучших из лучших. Самых способных, самых ярких и самых перспективных.

Кажется, и такие наивные люди ещё остались. Не смотря на личный опыт, на то, что даже Google, главный оплот «гномиков» на этой планете, отказался от этой практики.

Иногда, это более очевидно. Зачем нужна креативность и сообразительность офис‑менеджеру, дата‑инженеру или бухгалтеру? У них достаточно конкретные задачи, такие, что действия «свободного художника» могут сломать работу остальной команды, если не до уголовной статьи довести. Иногда — менее. Казалось бы, менеджерам или дизайнерам полезно смотреть outside the box. К сожалению, на данный момент до сих пор нет доказательств связи успешности решения задач «на сообразительность» ни с какими рабочими задачами. Корреляция есть только с вероятностью пройти собеседование.

Для справедливости нужно добавить, что IQ‑тесты, разряды по шахматам\го или серьёзные успехи в ЧГК тоже не показывают никакой корреляции ни с рабочими задачами, ни даже между собой.

— Пусть так. Но всё равно они помогают найти людей, которые умеют думать. Да, не для всех позиций, но очень часто. В XXI это ключевой навык.

К сожалению, есть большие сомнения даже в том, что успех в задачах «про гномиков» как‑то связан с умением думать. Дело в нескольких факторах.

Во‑первых, любые задачи «в вопросы и ответы» (IQ‑тесты, загадки, викторины) по определению одноразовые. Первый раз, возможно, это что‑то и показывает, но когда тебе ту же загадку тебе задают второй раз, она проверяет только память. Говорят, что задача «засвечена». Сравните с какими‑то задачками на алгоритмы. Даже если вы помните суть, ход решения и основные проблемы, которые вам встретятся, всё равно нужно сесть и написать код. В котором можно допустить парочку нелепых ошибок, назвать криво переменные и много чего ещё. Для «гномиков» же, решения которых выглядят простыми и лаконичными, никаких подобных сложностей нет.

К сожалению, одноразовые задачки собеседующие используют в лучшем случае так же, как одноразовые бритвенные станки. А это значит, что с очень большой вероятностью человек, который показал вам верное решение задачи, просто‑напросто заранее знает правильный ответ. Почему так? Ну давайте посчитаем.

• Согласно разным опросам от 70% до 90% соискателей готовятся к собеседованиям

• Популярные вопросы, которые задают в крупных компаниях, легко гуглятся

• Да и вообще классов вопросов “про гномиков” не так много. Можно потратить 6-8 часов и быть готовым к 90% таких “каверзных” вопросов

• По данным разных опросов hr, от 40% до 80% кандидатов врут в резюме или на собеседованиях, а доля “профессиональных проходителей собеседований” варьируется от 20% до 40% в зависимости от специальности и роли

• Число собеседований в жизни сеньора оценить сложно. Это зависит и от характера человека, от географии, фактор случайности тоже большой. Какое-то число в интервале от 10 до 80. Примерно то же самое с вероятностью знакомства (хотя бы через соцсети) с другими кандидатами на эту позицию, бывшими и текущими сотрудниками.

• Оценить, сколько людей в первый раз, справляются с той или иной задачей сложно. Эта доля не должна быть больше 50% заинтересованной (пришедшей на собеседование) аудитории, иначе сложно назвать её нестандартной. Кажется, что указанную задачу Гугла на самом деле в первый раз решило около 10%, но это недостоверная информация. Вопросы ЧГК, близкие по духу к “гномикам” (например, такой или такой) обычно даются тяжело и являются самыми сложными в своих турах (-10%-20% к числу взятых). В зависимости от уровня сложности это от 15% до 30%. И это не в среднем по IT-шникам, это по той аудитории, которой интересно играть в вопросы и ответы, которые собрались для этого в свободное время и заплатили за участие. Ещё там в команде 6 человек и минута на размышление. Чёрт с ней с минутой, но в индивидуальных турнирах результативность меньше (хотя это сложно оценить из-за того, что там разные вопросы). И, конечно, это число будет зависеть от сложности задачи. Ну, пусть будет 25%.

Итак, предположим, вы собеседуете на синьорскую востребованную позицию в хорошей компании с хорошими деньгами. Вы даёте им задачу «про гномиков». Возьмём оптимистичный сценарий. У вас 30% кандидатов — это «профессиональные проходимцы» собеседований. Другие люди, допустим 10%, подготовились ко встрече и через друзей‑коллег‑знакомых сузили круг возможных вопросов. Ещё 10% кандидатов просто уже видели эту задачу на прошлых собеседованиях. Все они ответят «правильно». Из оставшихся 50% кандидатов 25%, то есть 13% от общего числа кандидатов, услышат задачу в первый раз и решат её. Это значит, что если вы будете смотреть на выборку тех кандидатов, что вам ответили, на каждого «целевого» человека приходится по 4 человека, которые являются шумом в том сигнале, что даёт вам ваша задача.

Не верите? Считаете, что в ваших условиях другие числа и вероятности? Я приготовил вам простой калькулятор. Сделайте копию, попробуйте вставить другие числа. Если у вас получился другой результат, напишите в комментариях, мне было бы очень интересно на это взглянуть. В лучшем случае вы сможете дойти до соотношения 50 на 50. Так не проще ли монетку бросить?

— Я легко смогу отличить кандидата, который уже решил задачу, от тех, кто встретился с ней впервые.

Увы, нет. Возможно, кто‑то из тех 10% опытных кандидатов вам скажет. Я тоже, дурак, так делал. Например, когда получал одну и ту же задачу на четвёртом собеседовании чуть ли не подряд. Но не все такие, можно сказать, мы их уже в учли в этих 10%. А вот ответ «профессионалов» вы не отличите точно.

Так вышло, что мне пришлось участвовать в процедуре ловли доказанных читеров в интеллектуальных играх. Честно вам скажу, до тех пор, пока они сами не сознавались, я до последнего рассматривал вариант какой‑то дурацкой ошибки. Тут тебе и «озарения» и зрелищный ход мысли во время того, как человек «думает». И возмущение в лучших чувствах, когда возникают сомнения в честности результата. Какие великие артисты погибают!

Так что, если у вас в команде нет театральных режиссёров или следователей, я бы не стал надеяться на то, что вы кого‑то там сможете различить.

— Ну есть же пути сделать соотношение вероятностей в этом калькуляторе приятнее?

Есть, не буду спорить.

Можно уменьшить сложность задачи. Если 90% заинтересованных решают её и так, смысла в спецподготовке немного. Но кого вы так фильтруете? Нет ли более простого способа с этим справиться?

Можно, повысить оригинальность задачи. Брать не первую, а 15-ую ссылку из гугла по запросу «задачи „с подвохом“ для собеседований». К сожалению, у этого есть свои минусы. Популярные задачи для собеседований ещё более‑менее норм с точки зрения корреляции сложности ну хоть с чем‑то. А вот «оригинальные» могут иметь как прямые дырки, так и просто очень плохи. (Ниже разберем почему). Это естественный отбор: чем лучше задача, тем она популярнее. К тому же, любые «внешние» (существующие «в гугле») задачи всегда уязвимы для атаки класса «профессор лопух, лопух, приём». Устный экзамен в вузе с микронаушником не является феноменом уже лет 15.

Можно самому придумывать задачи. Это радикальное решение. Но будут ли собственные задачи хороши? И один раз их же не получится придумать, надо поставлять регулярно. Сможете? Например, большинство игроков спортивного ЧГК не пишет вопросы. Обычно этим, причём за приемлемые деньги, занимаются специальные редакторы. Если вы можете в промышленных масштабах поставлять свежие задачки «на логику» и они будут постоянно хороши, может, вам стоит подумать о подработке или даже смене профессии? Кроме редакторов интеллектуальных игр можно попробовать основать своё HR‑агентство.

Можно ограничиться этими задачами только для джуновских позиций. У этого подхода есть и другие плюсы, вернёмся к этому позже.

— В вопросах «на логику» важен не сам ответ, а возможность послушать, как кандидат думает.

К сожалению, это тоже не так. Этот класс задач — «на озарение», то есть невозможно составить план решения такой задачи и просто по нему идти. Поэтому тот подход, который хорош для алгоритмических сессий, тут не работает. Ситуация, когда человек думает над задачей и ситуация, когда его просят всё максимально вслух проговаривать — разные. Если не верите, можете попробовать посмотреть телеЧГК в те времена, когда обсуждение во время суперблицев (когда вместо команды играет один игрок) одобрялось. Да и сама игра норм была)) Один и тот же человек во время обычного вопроса и суперблица ведут себя совершенно по‑разному, это нормально. Это даже нынешняя телегруппа поняла и теперь игроки имеют право думать молча. Так вышло, что у меня тоже есть некоторый опыт игры и в суперблицах. Подтверждаю, это совершенно другой вид спорта, молчать гораздо эффективнее, чем вываливать на слушателя всё, что проносится перед тобой в этот момент.

В какой степени, именно так, «на дурачка», можно попробовать поймать «актёров»: если человек думает, говорит связные мысли и потом доходит до ответа — вполне возможно, он уже давно знает ответ и просто морочит вам голову. В то же время реально думающий будет говорить какой‑то бред, а потом, как будто из ниоткуда, вылезет ответ. Но, конечно, никакой серьёзной статистики за этой гипотезой не стоит, не является индивидуальной инвестиционной рекомендацией.

Ну и, положа руку на сердце. Предположим, вам нравится задача и её решение. Вот человек будет говорить какие‑то разумные вещи, включит логику и придумает другое решение? Ну, например, для задачи с блендером предложит использовать мерную шкалу, которая часто бывает рельефной, как лестницу? Отличное решение! Оригинальное, свежее, яркое. Чем оно хуже авторского? Да оно лучше! Скажите честно, вы готовы признать, что это тоже ответ, захлопать в ладоши и предложить кандидату офер? Даже если готовы, вы в меньшинстве. Большинство просто переформулирует задачу: «что вы будете делать, если вас уменьшили до 5-центовой монеты, бросили в блендер с плоской мерной шкалой, который включится через 30 секунд?». И предложит думать дальше. Неявные условия такие неявные.

Увы, от шаблона «вопрос‑ответ» уйти невероятно сложно. В спортивном ЧГК есть механизм апелляций, но даже там есть свои сложности и засчитать можно далеко не любой оригинальный ответ. На собеседовании апеллировать некому. Психологический фактор тоже отбросить не получится: «ваша» версия всегда будет вам казаться лучше «чужой».

— Всё равно эти вопросы хороши для понимания ясности мышления и указанные выше проблемы можно или исправить или сделать не такими серьёзными.

В целом да, но это тяжело. Так тяжело, что лично я на практике не видел ещё хорошей реализации. Но беда в том, что даже лучшие вопросы «про гномиков» объективно не так хороши, как нам говорят в бизнес‑книгах. Опять попробую сравнивать эти задачи с вопросами спортивного ЧГК.

То, что они все «свечки» (то есть уже задавались) мы разобрались. Мы проговорили и то, что они имеют дырки (возможны другие хорошие решения). Ещё можно сказать, что вопросам про гномиков просто не хватает редактуры.

Вот так мог бы выглядеть типичный вопрос «на сообразительность » на собеседовании:

Что может как поднять тебя в небо, так и опустить на глубину?

Лестница? Лифт? Самомнение? Знание? Воображение? В такой формулировке всё является ответом. Что же там написано на бумажке? Что‑то парадоксальное? Что‑то бесспорное? А чёрт его знает. И как объяснить кандидату, что его ответ неправильный? Можно сделать такую «подлость», как «метку»:

Отгадайте загадку: «Что может как поднять тебя в небо, так и опустить на глубину?»

Казалось бы, какая разница? Это так называемая «метка», надо не просто догадаться, но и дать ровно тот ответ, что в загадке. Зимой и летом одним цветом много чего бывает, но в загадке только ёлка. Так и тут. Меткой вопрошающий защищается от других ответов. Чтобы доказать свою правоту теперь надо, чтобы кто‑то в прошлом загадал эту загадку с твоим ответом. Это маловероятно. Но та же самая «метка» может и немного помочь. Например, вот в такой формулировке:

Отрывки из перевода одной загадки с английского языка. ОН может поднять тебя в небо. ОН может опустить тебя на глубину. ОН может принимать разные формы. Назовите ЕГО.

Это делает вопрос не таким коротким и изящным. Вопрос становится проще. Хотя, если с ним имеет дело один человек, то не сильно. Ну и появляется повод назвать весь вопрос пижонством или постмодернизмом. Зато теперь действительно существует цепочка рассуждений, которая ведёт к нужной версии, а также помогает однозначно выбрать из всех вариантов правильный (если вы его придумаете, конечно).

— Даже со всеми указанными проблемами, это отличный способ расположить к себе человека, начать разговор с обсуждения вакансии.

Скорее наоборот, кандидата такие вопросы чаще «закрывают», особенно, если он не даёт правильный ответ. Есть мнение,что кандидата открывает small talk, уместные шутки, бытовые мелочи, обсуждение его опыта, общих знакомых или интересов. Но уж точно не ощущение того, что ты что‑то не ответил.

— Ну есть же кандидаты, с которыми больше не о чем разговаривать!

Видимо, они называются джуны или стажёры. Нет опыта работы, образования нет (или оно совсем другое), нет опыта прохождения ругаемых всеми онлайн курсов или пет‑проекта, абсолютная tabula rasa. В таком узком случае действительно можно задавать несложные вопросы «на логику».

Но лучше, всё‑таки придумать пример, близкий к жизни. Не знает языков программирования? Пусть пишет алгоритм на русском, как может. Не знает, как устроен интернет? Пусть фантазирует! Покажите какие‑то синтетические графики, придумайте какой‑то управленческий кейс. Если кандидат геймер — придумайте задачу по его любимой игре.

В остальных случаях у вас всегда есть две хорошие темы для разговоров: задачи, которые нужно решать кандидату после офера и опыт кандидата. Если у вас есть возможность дать упрощённые версии боевых задач в боевых условиях — замечтательно. Аналитики в вашей компании используют Jupyter Notebook и гуглят куски кода на StackOverflow? Дайте кандидату возможность запустить у себя Юпитер и гуглить. Конечно, надо помнить про коммерческие тайны и персональные данные. В природе существует много генераторов и обфускаторов данных. Какой‑то пример всегда можно вырвать из прода, сделать ему «обрамление» и напилить на его основе задач.

Готовых задач в природе тоже хватает. Leetcode, sql-ex, тысячи их.

Даже если всякие франшизы по онлайн курсам лично вам не нравятся, всегда есть варианты использовать их базы и их задачи.

А ещё вы всегда можете отдать интервью на аутсорс. Есть десятки HR-агентств, которые готовы и кандидата вам найти и провести техническое собеседование. Лучше, вам, конечно, при них присутствовать.

Не доверяете им? Найдите эксперта по интересующей вас теме на том же хабре и предложите ему за скромный прайс посидеть на парочке встреч. Уверен, с кем-нибудь, вы точно сможете договориться.

Ну если вам вот прям позарез хочется чего-то на логику, так задайте прямо вопросы ЧГК! Кое-кто так зачёты в вузе получал, ничего, все живы. Получите обкатанную “на бою” редакторскую работу, лишённую большей часть проблем, описанных выше. База большая, пользоваться ей можно бесплатно, выбирайте на свой вкус. Вот IT кубок есть, например. Вот хорошая серия для новичков. ЧГК, 60 секунд, брейн-ринг - почему нет? Только, ради бога, не надо использовать вопросы своей игры или квизов. Это немного другая история.

Я попросил прокомментировать мои мысли тех HR, которые нанимали меня, вместе с которыми я искал себе коллег и профессионализм которых у меня не вызывает сомнений. Часть из них оставили следующие комментарии:

Татьяна Долгова

ex-HR "Нетология групп"

Я не отношусь к сторонникам таких задач. Посмотреть как человек думает, рассуждает и его логику можно в ходе беседы и правильно заданных вопросов. Дать кейсы, если сомнения остались, то тестовое задание, которое приближенно к реальным задачам.

Задавать правильные вопросы и уметь их интерпретировать непросто, это скилл, который нужно прокачивать. Именно нужно, а не можно. Хороший лид должен овладеть такой компетенцией. В конце концов есть HR-менеджеры, которые могут помочь.

У меня был заказчик , один из топ-менеджеров и основателей. Он проводил собеседование задавая задачку о вероятностях и бросках кубиков. Подробностей не помню, зато помню ответ: 3/4.

Любое собеседование, как и первое свидание - это стресс. Для каждого, ну если только человек не склонен к психопатии. А стресс частенько играет негативную роль, в жизни ты можешь быть умным и логичным, но в стрессе ты можешь очень обидно провалится, хотя на самом деле ты умничка.

Кандидат - это человек и поэтому нужно отнестись к нему как к человеку, а не так, как, порой, к студентам относятся некоторые экзаменаторы. Мы уже все давно закончили школу и отучились в вузе, реальная жизнь сложнее. Возможно, вам попадется кандидат, который с блеском решит дюжину задачек, но при этом будет не способен работать в команде. Рано или поздно, вам придется с ним попрощаться. На собственном примере знаю, что порой важнее умение наладить доверительные отношения с коллегами, нежели обладать каким-то навыком. Например, у тебя случается сложный кейс и времени мало, ты идешь к тому, кто знает как. Он тебе объясняет, помогает и ты приходишь к результату и в сроки. Обычно в этом и суть. Ну и чем такой навык уступает способности решить задачку на собеседовании?

Денис Олейник

Personal Career Advisor Лаборатории карьеры Алёны Владимирской

Если есть цель реально понять экспертизу кандидата с точки зрения опыта и его результатов работы, то такой подход я не разделяю.

К таким задачам очень легко подготовиться, всё гуглится. Ответы ровным счётом ничего не дают, кроме уровня подготовки кандидата к собеседованию. Но это можно легко проверить другим образом. Например, просто послушать, как человек презентует свой опыт, как отвечает на другие вопросы. Лучше задавать конкретные вопросы. Или, например, кейс-интервью куда более эффективнее будет: прямо давать конкретную ситуацию, похожую на ту, которая происходит внутри компании и смотреть как человек отреагирует. Сразу будет понятно, насколько он способен придумать разные идеи, выстраивать эти идеи в логические цепочки и принимать решения.

Если есть желание, просто добавить стресса и посмотреть, как человек ориентируется в каких-то незнакомых для себя ситуациях, то это тоже можно совершенно другими способами решать, есть техники для проведения стресс-интервью. Они тоже рабочие. Их нужно использовать, безусловно, очень аккуратно и заранее согласовывать все действия с рекрутером и другими участниками интервью. Ещё лучше порепетировать с кем-то перед тем, как начать использовать, потому что иначе это может просто превратиться в совершенный балаган.

Когда же такие задачи реально применимы? Когда есть необходимость нанимать джунов совсем без опыта. Была у меня такая практика в одной компании gamedev, где мы в очень большом количестве нанимали людей совсем с нулевым опытом работы. Как показывает практика, такие кандидаты как раз не очень хорошо готовятся к интервью. У них есть просто сухие знания. Практики нет, опыта вообще ноль. В таком случае подобные задания помогают. Увидеть, как человек мыслит, как он в моменте может решать какие-то задачи или проверить его, в том числе математические знания. Ещё есть задачи без правильного ответа. Просто посмотреть на логику и ход решений, как он вообще выстраивает цепочку рассуждений, но, опять же, это не всегда хорошо работало. Например, представим, что компания не готова долго нанимать. Тогда, на потоке, рекрутеры начинают помогать кандидатам на собеседовании: подсказывают, ведут к правильному ответу, заранее предупреждая о том, что будут подобные задачки. Иногда это превращается немножечко в цирк. Нанимающим менеджеры делают вид, что они этого не знают не понимают, потому что все замотивированы на конкретные KPI, например, на закрытие вакансии.

Поэтому даже в таких случаях я рекомендую всё-таки использовать стандартные шаблоны вопросов по опыту работы кейс-интервью в формате простой комфортной беседы, где человек всё-таки не стрессует, а, наоборот, раскрывается.

Когда уже совсем хочется покреативить, нужно обязательно согласовывать это с рекрутером, чтобы это не было неожиданностью ни для кого. Плюс, когда даются такие задачки, бывает так, что нанимающие менеджеры сами не понимают их до конца. И что дальше с этим делать?

Других вариантов я не вижу. Ну то есть, я просто категорически против этих задачек. Согласен на них только в каких-то эксклюзивных случаях и только при условии очень хорошей синхронизации между нанимающим менеджером и полной честностью, что они действительно будут использоваться для конкретных джуновских позиций.

Больше статей об аналитике, интеллектуальных играх, книгах и музыке - в моём канале в телеге.

Желаю всем нанимающим найти хороших кандидатов, а всем находящимся в поисках работы - найти ту, на которой вам будет комфортно. И желаю вам найти её без решения задач “про гномиков”.