В предыдущей статье habr.com/ru/post/450810 я рассматривал 7 способов быстрой проверки компетенций IT-специалистов, которые можно применить до проведения большого, объемного и трудоемкого технического собеседования. Там я рассмотрел суть этих способов и мою практику их применения, а также причины, почему они мне нравятся или не нравятся.
В этой статье я хочу рассказать о современной концепции принятия решений человеком, как это связано с проверкой рабочих навыков и что в действительности тестируют способы проверки компетенций, такие как собеседования и тестовые задания.

Немного теории

Ученые многие столетия были озабочены вопросом – как и почему человек принимает те или иные решения? В каждую эпоху на этот вопрос отвечали по-разному – тысячелетиями господствовала вера в судьбу и волю богов, потом долгое время было популярно мнение, что человек – существо рациональное, которое, в основном, поступает разумно и расчетливо. Научная революция привела к тому, что во второй половине 20-го века проводилось множество исследований поведенческих реакций «человека разумного». И на данный момент самой современной и признанной в научных кругах концепцией является гибридная модель поведения человека, о которой очень хорошо написал психолог Даниэль Канеман в своих научных статьях и научно-популярных книгах. Даниэль получил Нобелевскую премию по экономике в связи с тем, что его работы опровергли многие экономические теории, базировавшиеся на моделях рационального принятия решений человеком. Даниэль Канеман убедительно показал, что поведение человека в большинстве ситуаций обусловлено автоматическими поведенческими реакциями, формирующимися на основе жизненного опыта.
Согласно концепции Даниэля Канемана, поведение человека управляется двумя взаимодействующими системами принятия решений. Система 1 – быстрая и автоматическая, обеспечивает безопасность организма и не требует существенных усилий для формирования решения. Точность решений этой системы зависит от опыта и тренировки, а скорость – зависит от особенностей нервной системы индивидуума. Система 2 – медленная, требует усилий и концентрации внимания. Она обеспечивает нам сложные рассуждения, логический вывод, обоснованное прогнозирование. Скорость принятия решений этой системой в десятки и сотни раз ниже, чем скорость Системы 1. Именно во время работы Системы 2 проявляется весь потенциал интеллекта человека. Однако, при работе этой системы усиленно потребляются ресурсы – как физические (энергия), так и внимание, которое является производной от множества ресурсов. Поэтому большая часть решений принимается Системой 1.
Я думаю, что каждый из вас замечал, что не может усиленно думать и решать сложные задачи более какого промежутка времени подряд. У каждого человека этот интервал разный. Кто-то может усиленно думать только полчаса в день, а кто-то может 3 часа подряд решать сложнейшие задачи. Эту способность можно развивать, однако это дается очень тяжелым трудом и усилиями над собой и все равно ресурс внимания будет ограничен.
Обе системы работают совместно. Поступающую от органов чувств информацию вначале обрабатывает быстрая Система 1, которая распознает опасные ситуации и мгновенно реагирует в случае угроз. Также Система 1 распознает незнакомые ей ситуации и либо решает их игнорировать, либо активирует Систему 2.

Пожалуйста, умножьте 65 на 15 и отметьте про себя сколько времени заняли у вас эти вычисления.

Как это работает? Вы когда-нибудь наблюдали, как играют профессиональные шахматисты – с какой скоростью они делают ходы в начале партии? Для человека, редко играющего в шахматы кажется, что невозможно так быстро принимать такие сложные решения. Однако при этом вы можете на полном автомате исправлять ошибки стажеров, когда делаете код-ревью. Ваша Система 1 умеет распознавать типичные ошибки начинающих программистов и автоматически исправлять их, точно так же, как профессиональный шахматист считывает ситуацию на доске и знает, как ему ходить, практически не напрягая сознательную Систему 2.

Пожалуйста, снова умножьте 65 на 15 и отметьте про себя сколько времени заняли у вас эти вычисления.

Многочисленные эксперименты показали, что в знакомых нам ситуациях почти всегда решения принимаются автоматической Системой 1 и это вполне рационально с точки зрения выживания организма и затрат энергии. В этом плане мы действуем весьма рационально и оптимально, но не в смысле обдуманности и оптимальности самих решений, а в смысле баланса между результатом и затратами ресурсов нашего организма. Когда вы ведете автомобиль в городе по пути на работу, ваша траектория прохождения поворотов и количество разгонов и торможений могут быть не оптимальны, но с точки зрения задачи доставки вас от вашего дома к вашей работе – все очень даже неплохо. Если же вы – автогонщик и ведёте гоночный автомобиль по гоночному треку, ваши решения о траектории, разгонах и торможениях будут гораздо более расчетливыми.
В незнакомых ситуациях, которые нам интересны или которых не удалось избежать, мы вынуждены действовать осознанно, подключая внимание и Систему 2. После нескольких повторений очень похожих ситуаций результат работы Системы 2 сохраняется в памяти в виде признаков и реакций и потом вам уже не придется тратить силы и время на логические выводы – Система 1 будет уже натренирована на данную задачу и в следующий раз предоставит решение автоматически. Некоторые автоматические реакции со временем теряются, если они не бывают периодически востребованы. Навыки, которые мы не тренируем – теряются.

Пожалуйста, снова умножьте 65 на 15. Вы заметили прогресс, по сравнению с предыдущей попыткой решить эту задачу?

Как все это связано с трудовой деятельностью и проверкой компетенций?

Многочисленные эксперименты показали, что в первое время на новом месте работы обычный, психически здоровый человек адаптируется и старается принять правила, условия и рабочие процессы нового места работы. Однако, спустя некоторое время каждый из нас расслабляется и начинает работать так, как умеет. Старания и прилежание уступают место автоматическим реакциям и шаблонам, закрепленным в Системе 1. Кроме того, даже во время испытательного срока в стрессовых ситуациях, когда требуется быстрое решение, мы реагируем с помощью автоматической Системы 1 и не всегда так, как нас учили на этом новом месте работы.
В общем, можно сказать, что наша основная ценность как сотрудника в значительной степени определяется нашим опытом – то есть натренированностью нашей Системы 1 в решении определенных задач, нужных работодателю. Поэтому работодатели очень часто хотят сотрудника не с выдающимся интеллектом, а с опытом работы в какой-то сфере. Опыт ценится больше, чем интеллект. Это объясняется элементарными расчетами. Если есть достаточно времени, то любой сотрудник, обладающий достаточным интеллектом, сможет разобраться в теме и решить поставленные задачи. Однако ему придется потратить время на обучение и приобретение опыта и лишь потом он сможет качественно решать поставленные задачи. Его Системе 2 придется решить много тренировочных задач, прежде чем его Система 1 сможет быстро и качественно решать реальные задачи. Это требует времени, которое работодатель часто не готов оплачивать по высокой ставке профессионала. Другой сотрудник, уже решавший подобные задачи, будет делать работу гораздо быстрее, потому что большую часть решений ему будет выдавать его Система 1, натренированная решать задачи в нужной сфере. Опытный сотрудник будет выдавать качественные решения не только быстрее, но и меньше напрягаться при этом. Это значит, что неиспользованные им ресурсы внимания можно направлять на решение новых сложных задач и получение нового опыта.
Что выбрать – опыт или интеллект – работодатель решает в каждом случае индивидуально. Там, где требуется быстрая реакция на типичную задачу и быстрое решение – часто выбирают опыт. Если же приходится решать много разнообразных задач, но время решения по-прежнему высоко ценится – то выбирают опытного и умного. Если же время не очень критично, то можно отдать предпочтение интеллектуалу без опыта. Как вы понимаете – в реальном мире мест работы, где время некритично – мало.

Пожалуйста, снова умножьте 65 на 15 и отметьте про себя сколько времени заняли у вас эти вычисления. Вы заметили, каким способом вы получили результат?

Способы проверки компетенций с точки зрения тестирования «Системы 1» и «Системы 2»

Опыт – то есть натренированность Системы 1 – часто является важным, пожалуй, даже определяющим критерием при выборе работодателем нового сотрудника. Как же нам оценить опыт кандидата наиболее эффективно и точно? Давайте посмотрим на популярные способы оценки компетенций с точки зрения того, что они оценивают.

Собеседования

Этот формат подразумевает беседу кандидата и оценивающего. Преимущественно, вопросы задает оценивающий, но у кандидата есть возможность считывать невербальные признаки, задавать уточняющие вопросы и, что называется, менять свой ответ «на лету». Это привычный всем нам «устный экзамен». Как правило, собеседование проходит по типовому плану и многие вопросы тоже типовые, а значит к ним можно подготовиться. То есть натренировать свою Систему 1 на успешное прохождение собеседований.
Успех оценки кандидата зависит от коммуникативных навыков обоих участников. Кандидат, достаточно опытный в прохождении собеседований вполне может произвести хорошее впечатление. Однако этот результат получается не за счет опыта работы, а за счет опыта общения и прохождения собеседований. Подготовленный кандидат, хорошо отвечающий на типовые вопросы, оказывает влияние на экзаменатора и тот становится более лояльным к кандидату.
Этот способ в основном тестирует Систему 1 кандидата, правда зачастую не тот опыт, который понадобится в работе. Он неплохо подойдет для оценки специалистов, которым придется много общаться по служебным обязанностям и быстро адаптироваться, но для оценки технических навыков, по моему мнению, этот способ подходит плохо. Улучшить точность оценки можно за счет нестандартных вопросов и сценариев интервью, а также за счет участия в собеседовании нескольких оценивающих специалистов, что приводит к удорожанию этого мероприятия.

Тестовые задания

Кандидат получает задачу, которую решает самостоятельно и потом демонстрирует результат решения. По сути – это привычный нам «письменный экзамен». У кандидата есть достаточное количество времени, возможность задать уточняющие вопросы, а также искать информацию в сети и даже воспользоваться помощью друзей. Если задача сложная и времени предоставлено достаточно, то данный способ тестирует скорее Систему 2, чем Систему 1, то есть интеллект, а не опыт. Если же сократить время на выполнение задания, то высока вероятность отказа кандидатов от выполнения сложного тестового задания. Если же одновременно упростить задачу, дать несколько задач и сократить время – то этот способ становится вполне рабочим инструментом, знакомым нам со школьной скамьи. Он неплохо тестирует Систему 1. Однако, его недостатком является то, что проверка результатов требует заметных усилий на стороне оценивающих специалистов, так как каждое решение может быть уникальным и проверяющие должны вникнуть в суть решения.

Live Doing

Кандидат получает несложную задачу, которую решает под присмотром оценивающего специалиста. Этот способ часто применяется в процессе собеседования – когда оценивающие специалисты вначале беседуют, а потом предлагают решить задачки. Для кандидатов-интровертов, давно не проходивших собеседования, такой способ часто бывает психологически некомфортным, и они показывают не очень хорошие результаты. По моему мнению, этот способ стоит предлагать кандидатам в качестве альтернативы тестовому заданию. То есть либо 3-4 часа самостоятельной работы, либо 1-1,5 часа собеседования и решения задачек онлайн. В случае готовности кандидата этот способ позволяет протестировать базовые навыки Системы 1 на типовых задачах, являющихся составными частями более сложных рабочих задач. То есть в качестве тестовых задач стоит выбирать элементы реальных рабочих задач. Не стоит предлагать абстрактные задачи, которые никогда не встретятся вашему сотруднику потом в работе.

Тесты с вариантами ответов

Как вы, наверное, знаете, итоговые экзамены в российских школах сейчас имеют форму тестов (ГИА и ЕГЭ). В свое время это вызвало бурные дискуссии. Граждане в целом негативно оценили это решение министерства образования. Лично я считаю, что если не брать в расчет новые возможности для коррупции, то замена письменных экзаменов на тесты – это хорошее решение. Проверка результатов тестов не требует много времени и внимания, легко автоматизируется. При этом минимизируется субъективность оценки знаний. Тесты позволяют за 1-2 часа качественно протестировать знания и опыт, полученные в течение нескольких лет учебы или работы. Начинающий водитель учит правила дорожного движения в течение нескольких месяцев, а на экзамене он должен ответить на 20 вопросов в течение 20 минут. Практика десятилетий применения этого вида экзамена показывает, что этого достаточно, если тестовые вопросы составлены правильно, и их достаточно много.
В современном мире большинство решений человека сводится к выбору одного из существующих вариантов, наиболее подходящего к ситуации. Вам вряд ли понадобится специалист, который будет изобретать велосипед. Но зато вам пригодится специалист, который хорошо знает достоинства и недостатки разных видов велосипедов и подобных видов транспорта, поможет быстро выбрать подходящую модель и настроить ее под решение ваших задач. Решать логистические проблемы обычно приходится быстро и нет времени изобретать инновационный велосипед. Иногда (очень редко) бывают ситуации, когда вам все-таки нужен новый велосипед, которого пока что не существует и его нужно создать. Однако и в этом случае человек, хорошо разбирающийся именно в конструкциях велосипедов, окажется полезнее универсального изобретателя.
Еще один пример. Если программист может реализовать несколько алгоритмов сортировки – то он конечно же молодец, но в реальной жизни ему более полезным будет знание основных методов базовой библиотеки классов языка – там наверняка уже реализовано несколько вариантов сортировки, достаточно лишь вызвать нужную функцию.

Заключение

Важно, чтобы при выборе способа проверки компетенций вы включили свою Систему 2 и выбрали подходящий способ осмысленно, а не по традиции – «потому что мы всегда так делали». При выборе способа проверки компетенций я советую в первую очередь определиться с тем, что будет важнее для вас как для работодателя в повседневной деятельности вашего сотрудника. Будет ли это способность быстро решать некоторый круг типовых задач, или же предстоит решать сложные, оригинальные, нетиповые задачи.
В большинстве случаев в качестве первого испытания для кандидатов вам отлично подойдут тесты, ограниченные по времени прохождения. Я рекомендую небольшие тесты, на прохождение которых потребуется не более 15-20 минут. За это время можно задать 30-40 вопросов и достаточно подробно протестировать знания кандидатов. Затем можно провести собеседование, во время которого разобрать ошибки, допущенные кандидатами. Тест также может служить опорным планом для интервью, в ходе которого вы можете уточнить у кандидата причины, почему он ответил на вопросы теста именно так и как бы он ответил, если бы вопрос звучал иначе.
Если же вам важно то, как будущий сотрудник работает самостоятельно над достаточно большими и изолированными задачами, то будет уместно начать с собеседования и затем предложить выполнить тестовое задание. Стоит помнить, что тестовые задания до собеседования соглашаются выполнять только 20-25% кандидатов и в этом случае вы сильно уменьшаете воронку отбора.
В следующей своей статье я более подробно разберу особенности создания тестов для проверки компетенций кандидатов.