Тесты, ограниченные по времени – это универсальный инструмент, который хорошо подходит для проверки знаний и практических навыков любых специалистов любых профессий.
Итак, задача – у нас есть поток откликов кандидатов на вакансию, нам нужно быстро и просто получить дополнительную информацию о навыках кандидатов и их соответствии требованиям нашей вакансии. Мы хотим, чтобы такая проверка компетенций кандидатов не отнимала у нас много времени, была достоверной в высокой степени и была удобна кандидатам, чтобы они соглашались проходить нашу проверку.
Хорошим решением для этой задачи являются короткие тесты, ограниченные по времени прохождения. Ограничивается не момент начала прохождения теста, а время, в течение которого кандидат должен ответить на вопросы. Типичный пример такого теста – это экзамен на знания правил дорожного движения, являющийся первым этапом экзамена для получения водительского удостоверения. За 20 минут нужно ответить на 20 вопросов.
Немного теории
В предыдущей статье я рассказал о гибридной модели принятия решений «человеком разумным», предложенной Даниэлем Канеманом и его коллегами. Согласно этой концепции, поведение человека управляется двумя взаимодействующими системами принятия решений. Система 1 – быстрая и автоматическая, обеспечивает безопасность организма и не требует существенных усилий для формирования решения. Эта система обучается на основе опыта, который получает человек в течение жизни. Точность решений этой системы зависит от личного опыта и тренировки, а скорость – зависит от особенностей нервной системы индивидуума. Система 2 – медленная, требует усилий и концентрации внимания. Она обеспечивает нам сложные рассуждения и логический вывод, ее работа раскрывает потенциал интеллекта человека. Однако, при работе этой системы усиленно потребляются ресурсы – энергия и внимание. Поэтому большая часть решений принимается Системой 1 – так поведение человека становится намного эффективнее. Система 1 достаточно долго обучается за счет усилий, совершаемых Системой 2, зато потом дает быстрые автоматические реакции. Система 2 – универсальный решатель задач, но работает медленно и быстро утомляется. «Прокачать» Систему 2 можно, но пределы возможных улучшений очень скромные и это долго и требует тяжелых усилий. Большим спросом в человеческом обществе пользуется «прокачка» Системы 1. Когда мы ищем человека, опытного в чем-либо, это означает, что его Система 1 обучена быстро решать нужные нам задачи.
Наилучшим способом оценки возможностей Системы 1 конкретного человека в определенной области знаний я считаю тесты, ограниченные по времени прохождения. Однажды составленный тест позволяет быстро оценивать и сравнивать между собой большое количество кандидатов. Это инструмент оцифровки контроля знаний и навыков.
Как сделать хороший тест?
Задача хорошо составленного теста заключается в определении степени натренированности Системы 1 кандидата на нужные вам знания и навыки. Чтобы составить такой тест, нужно для начала определиться с темами и необходимыми навыками, а затем составить вопросы и варианты ответов.
Итак, вот мои критерии подготовки теста, точно и качественно оценивающего знания и навыки кандидата:
- Вопросы и варианты ответов должны быть простыми. Либо ты знаешь правильный ответ, либо не знаешь. Не стоит закладывать в тест необходимость сложных рассуждений и вычислений.
- Выполнение теста должно быть ограниченно по времени. Можно даже ограничить время обдумывания каждого ответа. Если кандидат не может определиться с ответом в течение, скажем, 30 секунд, то вряд ли ему помогут долгие раздумья. Нагуглить правильный ответ за 30 секунд тоже должно быть трудно.
- Вопросы должны быть о практиках, которые реально нужны в работе – не абстрактные и теоретические, а сугубо практические.
- Желательно, чтобы по каждой маленькой теме было несколько вопросов. Эти вопросы могут меняться для разных кандидатов (это аналогично разным вариантам контрольных работ в школе) или же все присутствовать в более долгом варианте теста.
- Количество вопросов и время на прохождение теста должны быть жестко связаны. Замерьте сколько времени занимает прочтение вопросов и вариантов ответов. Добавьте к этому времени по 10-20 секунд на каждый вопрос – это время на обдумывание и выбор ответа.
- Желательно опробовать тест на ваших сотрудниках и засечь их время прохождения, чтобы определиться с достаточным временем на прохождение теста кандидатами.
- Объем теста зависит от целей его применения. Для первичной оценки компетенций, по моему мнению, достаточно 10-30 вопросов с ограничением времени прохождения – 5-15 минут. Для более подробной диагностики навыков подходят тесты на 30-45 минут, содержащие 50-100 вопросов.
Для примера – вот тест, который я разработал и использовал недавно при отборе кандидатов на позицию IT-рекрутера. На прохождение теста отводилось 6 минут, время контролировалось вручную и под честное слово. Все из протестированных кандидатов укладывались в это время. На составление теста у меня ушло 30 минут. docs.google.com/forms/d/e/1FAIpQLSfL2pUZob2Xq-1taJPwaB2rUifbdKWK4Mk0VREKp5yUZhTQXA/viewform
Вы можете пройти тест и по окончании вы сможете посмотреть, где допустили ошибку. Когда этот тест проходили кандидаты, им ошибки не показывались, ошибки мы разбирали потом на собеседованиях с кандидатами, которые допустили не более 3-х ошибок.
Инструменты
Сейчас я создаю тесты и опросы с помощью Google Forms – это простой, удобный, универсальный и бесплатный инструмент. Однако, мне не хватает некоторого функционала для того, чтобы назвать Google Forms хорошим инструментом для создания тестов. Основные мои претензии к Google Forms:
- Отсутствует учет и контроль времени, затраченного как на весь тест, так и на каждый вопрос. Это дает больше информации о поведении кандидата во время прохождения теста.
- Так как Google Forms не заточен под тесты по умолчанию, многие важные для тестов опции (например, «ответ на вопрос обязателен» и «перемешивать ответы») приходится «прокликивать» для каждого вопроса – что требует времени и внимания. Чтобы каждый вопрос задавался на отдельном экране, нужно создать отдельные секции для каждого вопроса, а это тоже приводит к большому числу дополнительных кликов.
- Если нужно сделать новый тест как комбинацию фрагментов из нескольких уже существующих тестов (например, тест для fullstack разработчика собрать из части вопросов для frontend и backеnd на определенном языке), то приходится дублировать вопросы руками. Нет возможности выделить и скопировать несколько секций или вопросов в другую форму.
Коллеги, если вы знаете лучшие решения для создания тестов, пожалуйста, напишите о них в комментариях.
Комментарии (17)
pi314
07.06.2019 12:53Вероятно, всё же, проверка компетентности, а не компетенций. Компетенции сотрудников вытекают из их должностных обязанностей.
cross_join
07.06.2019 13:03Примеры тестов для программистов-техников (от которых не требуют проектирования) или для дебютантов.
igor-sheludko Автор
08.06.2019 09:43Это не тесты, а задачи и достаточно абстрактные. На мой взгляд, лучше давать задачи из предметной области проектов, на которых будет работать программист.
cross_join
08.06.2019 13:32Если есть короткая задача в контексте предполагаемой работы без необходимости вникать в специфику — лучше использовать её, конечно. Встречался с такими иногда, неизбежно всплывала специфика и открывались скелеты в шкафах, беседа затягивалась на долгие часы и оставляла в целом неприятное впечатление о работодателе. С другой стороны, «посчитать на SQL сумму нарастающим итогом» тоже весьма абстрактная задача.
Pavel_Khramkin
07.06.2019 13:55Есть хорошая статья, как создать в iSpring качественный проверочный тест
www.ispring.ru/elearning-insights/kak-sozdat-onlajn-testigor-sheludko Автор
08.06.2019 09:38Спасибо за рекомендацию. Я посмотрел. В целом — это неплохая система для внутреннего обучения сотрудников и контроля знаний.
Однако, для задачи проверки знаний кандидатов при отборе на вакансию — не годится. И вот почему:
1. Тестировать можно только зарегистрированных пользователей и тарифы зависят от зарегистрированных пользователей, соответственно для тестирования кандидатов «с улицы» нужно придумывать какие-то ухищрения типа входа всех кандидатов в один аккаунт;
2. Тарифы в целом — неудобные для тестирования — заточены на обучение и постоянную работу одних и тех же пользователей. Для системы тестирования удобнее транзакционная модель — когда оплачивается каждое прохождение теста или пакеты прохождений теста. Не говоря уже о том, что Google Forms вообще бесплатен :)
3. Система достаточно сложная и изобилует функциями, ненужными для построения тестов, то есть нужно потратить время на освоение этого не очень то и подходящего инструмента.virtualsys
08.06.2019 11:40Увидел тут уточнение ваших требований. Повторяю, по минимуму, функции облака можно не использовать и делать либо HTML5 тесты или экспортировать в системы СДО пакеты SCORM. Если вас не устраивают простые решения, надо будет развернуть свою СДО ( Moodle, как вариант). В принципе все бесплатно, надо только развернуть эту систему один раз.
igor-sheludko Автор
08.06.2019 20:22Хотелось бы как Гугл формы + то, что в статье написано — контроль времени и возможность копировать вопросы из теста в тест
virtualsys
08.06.2019 20:40Это все реализуется в СДО, сами тесты это как компоненты. Вы можете заранее спроектировать структуру тестов, дополнять, изменять. В Moodle я сам не работал с тестами, но, вероятно тоже самое. В BlackBoard настраивается все что угодно (время доступности тестов и прохождение, количество повторов, и т.п.) т.к. это ориентировано на более сложные задачи дистанционного обучения. Но встроенный редактор тестов кошмар в степени ужас.
Итого, смотрите систему СДО (начав с Moodle, ибо открытый код) под ваши предпочтения. Соотносите сможете ли потратить силы чтобы ее поднять и обучиться простым навыкам (поручить сотруднику). Недели, полагаю, хватит любому админу.
Тесты делаются отдельно и просто импортируются туда как объекты. Все тесты в iSpring могут копироваться, модернизироваться, объединяться и т.п. По сути это надстройка над PowerPoint. Вам там не надо никаких облачных подписок, обычная самая простая десктопная версия iSpring Suite. Только они все равно ее впаривают вместе с базовыми облачными функциями. Но, если совесть позволит, можно ставить на виртуалку два раза в месяц)). Или платить порядка 45 т.р. в год, если профессионально используете. Я так понимаю их политика ценообразования подталкивает любителей зацепиться и баловаться бесплатно, а потом таки выбить финансирование, когда система приобретет коммерческий вид.
genesisblock
07.06.2019 13:55Посмотрел тест, неплохо, но вот у вас есть такой вопрос в тесте: «Какое из утверждений про C# и .NET неверно?»
И варианты:
- C# — это как C++, только современнее и быстрее
- C# — это объектно-ориентированный язык
- .NET приложения разрабатываются в среде Microsoft Visual Studio и не только
- C# — это компилируемый язык
- .NET приложение можно запустить без пересборки на любой операционной системе
А как же ответить на этот вопрос, если все варианты ответов либо про одно, либо про другое и нет ни одного утверждения и про то и про то? Или подразумевается, что каждый вопрос относится и к C# и к .NET?igor-sheludko Автор
07.06.2019 13:56В данном случае утверждение «C# — это как C++, только современнее и быстрее» — явно выделяется своей нелепостью :)
DMGarikk
07.06.2019 14:33.NET приложение можно запустить без пересборки на любой операционной системе
Это тоже
virtualsys
ISpring + если надо, отдельная система дистанционного обучения. Их облако не использовали, только создание тестов и экспорт в BlackBoard. Если тесты будут на месте, не дистанционно, то кроме ISpring ничего не надо. Интерфейс как у PowerPoint, есть даже возможность сценарии делать. Дема полнофункциональная.
igor-sheludko Автор
Система получается довольно сложная и неудобная для тестирования «кандидатов с улицы»
virtualsys
Не понял, в чем сложность. Разработки тестов или тестирования? Сложность в одном — освоить инструмент. Если его освоить, то ничего проще для разработки любых тестов не существует. При этом сохраняется все для повторного использования. Если под сложностью понимается само окружение (СДО или облако), то оно, как я отметил, не нужно при очном тестировании, только если хотим делать это дистанционно, хотя и тогда можно просто по тимвьюверу. Тест оформляется в виде html5 кода и запускается в любом браузере.