Привет! Меня зовут Даша, я ведущий инженер по контролю качества в «Мой спорт» и наставница на курсе «Инженер по тестированию: от новичка до автоматизитора» в Практикуме.

В ноябре 2023 года я сдала экзамен ISTQB® Certified Tester Foundation Level (CTFL) 4.0. В этой статье хочу поделиться своим опытом подготовки к экзамену и впечатлениями о сертификации.

Зачем мне сертификат

Начну с горячего, холиварного. Считаю, что нет правильного ответа на вопрос «нужен ли сертификат ISTQB для работы», и просто поделюсь мотивами, которые побудили меня сдать экзамен:

• У меня появилось больше свободного времени. Идея сдать экзамен пришла совершенно спонтанно в процессе чтения одной статьи на Хабре.

• Мне было интересно изучить свежую версию силлабуса и узнать, насколько мой опыт и видение работы QA соответствуют современным представлениям международной системы квалификации.

• Хотелось открыть для себя что-то новое, что смогу транслировать студентам с отсылкой к источнику, известному в мире тестирования. 

• В спорных ситуациях с коллегами хотела вооружиться знаниями из авторитетного источника, на который можно ссылаться во время разногласий.

Как и где сдавала экзамен

Я рассматривала только онлайн-варианты сдачи экзамена и только по силлабусу 2023 года (v4.0). К слову, когда я готовилась, силлабуса 2023 на русском языке ещё не было (появился после, можно изучить тут), соответственно, и экзаменов на русском нет. 

Остановилась на провайдере GASQ, стоимость онлайн-экзамена на момент написания статьи — 205€. Пробовала найти провайдера с ценой ниже, но не удалось. Например, на Turkish testing board можно сдать экзамен за 2450 tl (~79€), но там сертификация по силлабусу 2018 года. В поддержке ответили, что сертификация по v4.0 начнётся только после апреля 2024 года. Сертификат бессрочный, поэтому вариант сэкономить и сдать экзамен по прошлой версии силлабуса вполне имеет место.

Про саму организацию сдачи экзамена у GASQ рассказывать не буду, об этом есть отличные статьи, например эта.

Подготовка к экзамену

С учётом моих мотивов подготовка была даже интереснее и важнее, чем сам факт получения сертификата. Распишу поэтапно, что я делала.

1. Прошла пробный экзамен на сайте gasq.org. Вопросы и их порядок такие же, как представленные на сайте ISTQB в Sample Exam A. Так я познакомилась с UI площадки для сдачи онлайн-экзамена, оценила вопросы и себя по ним.

2. Прочитала силлабус один раз.

3. Вернулась к Sample Exam A на сайте ISTQB, прошла его снова и уже детально разбирала каждую свою ошибку. Полезно, что есть не только правильные ответы, но и объяснения, почему какой-то ответ верный, а другие нет.

4. Выявила свои слабые места и стала работать с ними. Читала конкретные разделы снова в силлабусе, а также обращалась к книге Foundations of Software Testing ISTQB Certification, 4th edition. Книга основана на силлабусе 2018 года, но большинство разделов соответствуют и силлабусу v4.0. В конце каждой главы книги есть тестовые вопросы, хорошо помогают отработать проблемную тему.

5. Повторяла шаги 3 и 4 для других опубликованных пробных экзаменов, в том числе по силлабусу 2018 года.

6. Изучила отличия силлабуса 2023 от силлабуса 2018. Здесь помогли статьи эта и эта, а также видео от авторов. Хотела понять, на чём именно делают фокус создатели в новой версии, какой теме уделить больше внимания.

7. За день до экзамена снова перечитала главы силлабуса, в которых было меньше уверенности.

Впечатления о подготовке

Я готовилась не с нуля, но суммарно ушло около 16—18 часов в течение 3 недель. И я уверенно скажу, что время потрачено не зря:

1. Я убедилась, что мой опыт работы в тестировании и видение роли QA в жизненном цикле разработки идут в ногу с представлениями ISTQB.

2. Я навела порядок в своих знаниях, забрала некоторые идеи на подумать и даже отметила для себя что-то новое.

Изучая, на чём фокусируются в новой версии CTFL, сделала вывод, что это:

• shift-left testing

• whole team approach

Я обожаю идею shift-left testing! Всегда призываю QA как можно раньше подключаться к ревью ТЗ и дизайнов.

Здесь для меня был любопытен момент из силлабуса:

“Testers are involved in reviewing work products as soon as drafts of this documentation are available”

Интересно, в реальной жизни многим ли удаётся подключаться к ревью драфтов ТЗ?) Драфт для меня часто соответствует цитатам «не торопитесь, тут ещё может поменяться», «подождите, здесь пока согласовывается».

Whole team approach подразумевает, что любой член команды с необходимыми знаниями и навыками может выполнить любую задачу и каждый член команды ответственен за качество. Считаю это тоже здоровским подходом, о котором обычно не знают новички-тестировщики и возлагают всю вину за проблемы в качестве продукта на себя.

Этот же посыл о командной ответственности прослеживается и в других частях силлабуса, например Collaboration-based Test Approaches, — подразумевает коллективную работу над написанием User Story (брейншторминг, коллективные майнд-карты).

Whole team approach мы регулярно практикуем в работе. Если цель команды — релиз в сжатые сроки, то разработчики даже могут привлекаться к ручному тестированию, проходить по user acceptance сценарию и проводить демо по нему для достижения командной цели.

При всей полезности силлабуса мне показалось, что для Foundation level слишком много внимания уделено ревью (в разделе Static testing), его типам, ролям в ревью. Хоть и в моем понимании ревью — неотъемлемая часть процесса разработки, но с вопросами типа «в чём разница между Review Leader и Review manager», «каковы отличия между Technical review и Inspection» на своем опыте я не сталкивалась. Хотя, изучая эту тему в книге, открыла для себя интересные техники ревью (Checklist-based, Scenario-based, Role-based, Perspective-based).

Немного удивлена очевидным ошибкам в пробных экзаменах. Пару точно встретила. Например, варианты ответов не соответствуют вопросу, где-то не хватает данных для ответа.

Я попробовала почитать силлабус 2018 года на русском языке, и это для меня оказалось гораздо сложнее, чем восприятие его на английском. Термины и формулировки «не живые» как будто, а что-то из скучного университетского учебника. И на практике чаще сталкиваешься с UI инструментов и документацией на английском, поэтому я однозначно рекомендую готовиться и сдавать экзамен на английском языке, если это возможно.

Впечатления о самом экзамене

Я сформировала представление о «тоне» вопросов и о возможных подвохах после того, как прошла тестовые примеры. Реальные вопросы на экзамене оказались очень похожи, подавались в том же формате. 

Несколько примеров, где попадались уловки в тестовых вариантах и на реальном экзамене:

• Verification и Validation. Верифицируем требования, а валидируем нужды пользователей и стейкхолдеров. В вариантах ответов авторы меняют термины местами, в первый раз не придаёшь этому значения, а потом уже улавливаешь этот подвох :)

• Defect и Failure. Failure — сбой, который находит тестировщик, а defect — ошибка в коде, которая привела к failure. При динамическом тестировании мы находим именно failure, а не defect.

• Maintenance Testing и Maintainability testing. Хорошо раскрыты эти понятия здесь.

• Testing quadrants Q1, Q2, Q3, Q4. Тут я попалась, не ожидала, что стоит выучить нумерацию квадрантов. Я знала, какой тип тестирования к какому квадранту относится, но вот их номера не запомнила, и мне не хватило этого для уверенного ответа на вопрос.

На экзамен было дано 75 минут (отсчет начинается только после того, как вы с проктором проведёте всю настройку) — я использовала почти всё время. Если вы сдаёте на родном языке, то время на экзамен — 60 минут.

Кстати, о настройке — проктор попросил установить камеру телефона не по инструкции, которая даётся для подготовки. Пришлось немного понервничать из-за этого, так как у меня заранее было продумано другое место для телефона.

В процессе можно возвращаться к любому вопросу, поэтому в последние минуты я прошлась ещё раз по всем вопросам для повторной проверки.

В итоге не могу сказать, что на экзамене был фокус на какую-то конкретную тему. Вопросы действительно похожи на пробные, хотя я морально готовилась к тому, что будет «другое», «сложнее», как читала в опыте других.

Результаты

Минимальный проходной балл для получения сертификата по-прежнему низкий: 65% (26 ответов из 40). Моё мнение: набрать 65% несложно. Часть вопросов действительно легкие, с некоторыми можно справиться даже на интуитивном уровне или зазубрив силлабус.

Набрать 80% и больше — здорово. Уже заметно, человек не только зазубрил силлабус, но и что-то понимает в тестировании. В силлабусе v 4.0 нет примеров применения техник тест-дизайна, некоторые темы поданы максимально сжато (например, SDLC models, DevOps, Test Tools, Maintenance Testing), а вопросы по ним могут быть глубже, чем они раскрыты в силлабусе.

Поэтому при рассмотрении кандидата с сертификатом CTFL я бы хотела знать, сколько баллов он набрал, с детализацией по разделам :)

Сейчас сам экзаменуемый получает результаты в таком виде:

1. Сразу при завершении экзамена. Таблица с номерами тем из силлабуса и количество набранных баллов по каждой теме + количество и процент правильных ответов. Но необходимо закрыть эту страницу до завершения сессии с проктором, а скриншоты в процессе делать нельзя.

2. Детализация на почту:
   

   

Вопросы, в которых допущены ошибки, не указываются.

После успешной сдачи также приходит письмо для регистрации в Successful Candidate Register, где по номеру сертификата можно найти себя.

Подводим итоги

Резюмирую, что оказалось для меня самым полезным и помогло успешно сдать экзамен:

1. Пройти максимум тестовых вариантов с официального сайта.

2. Прочитать силлабус с внимательностью к деталям. Сначала многое кажется известным и очевидным, но потом ты проваливаешься на тонкостях.

3. При прохождении экзамена не торопиться, очень вдумчиво читать вопросы и ответы. Здесь так же — кажется, ты уверен в ответе, а в итоге оказывается, что там был скрыт подвох как раз для тех, кто торопится :)