Как будем искать систему?

Совсем недавно передо мной встала очень на вид простая задача - выбрать для небольшой компании (28 человек) систему управления тест кейсами. Поручили мне эту задачу в силу того, что в компании я пока один единственный тестировщик, а если правильнее и точнее сказать, то QA-engineer.

Итак, приступим, первое с чего стоит начать - это скорее всего Ютуб, посмотрим как работают большие компании, кто и что говорит о той или иной системе, почитаем статьи на Хабре, что и вам советую сделать, несмотря на подобные статьи, как эта.

В чем сложность выбора?

Во-первых система должна нравиться и удовлетворять вашим предпочтениям. Например: легкое и простое создание кейсов, гибкая настройка (кастомизация), удобство использования, определите для себя, какая система должна быть?

Во-вторых: в системе, скорее всего вы будете работать не один, у вас есть руководитель (тим лид), может несколько тестировщиков (джунов), как вы будете строить процессы взаимодействия с командой? Нужна система, которая сможет помочь отследить кто, когда, и что делал или редактировал, и, желательно систему предоставления визуальных отчетов - в каком состоянии проверки находятся на текущий момент времени? А также не стоит забывать про планирование тестирования (тест раны).

Ну и втретьих - это цена. Обычно она складывается из суммы баксов за 1 человеко-месяца.

Не подходят 100%

TestLink. Плюсы открытое ПО. Минусы: морально и физически устарела, при установке могут возникнуть сложности, сложная или невозможная интеграция с Jira.

TXT, DOC, XLSX. Плюсы: Бесплатно, можно сразу планировать работу, можно создавать черновики тест-кейсов, использовать как архив или заготовки. Минусы: никакой интеграции, нет контроля и учета времени.

Testia Tarantula. Плюсы: бесплатная. Минусы: плохая отчетность, нет интеграции, нет кастомизации.

Qtest. Триал версия только под заказ.

Practitest. Дорогая.

TestLodge. Будет отдельный абзац, см. ниже

Фавориты YouTube и статей: TestRail, Zephyr for Jira, QASE

После предварительного отбора выбор остановился на этих трех программах. Личное мнение: на первый взгляд, т.к. я изначально установил TestRail, мне он кажется «роднее» , но учитывая дальнейшее развитие и потребность в возможностях интеграции, более выгодным может оказаться Zephyr for Jira, также нельзя игнорировать такой бесплатный инструмент, как QASE, бесплатный (до 3 пользователей), интуитивно понятный интерфейс, детализированный отчет, вехи, и вообще ничем не уступающий вышеупомянутым системам.
Давайте теперь каждую разберем по-подробнее.

Zephyr for Jira

Начнем с того, что Зефир – это не самостоятельная программа, это плагин для Jira. Поэтому, если вы не используете Jira, она вам скорее всего сразу же не подойдет.

Отдельно из минусов отмечу, что посмотреть на YouTube обзор без знания английского не получится, так, я смотрел туториал на этом канале, а он на "индийском" английском.

Ну очень много всего нужно сделать чтоб что-то заработало. Хорошая интеграция, красивые красочные отчеты, но сделана не для людей, пока заполняешь все обязательные поля для создания тест кейса, а затем столько же, а точнее, даже и больше полей, чтоб запустить тест ран, проходит много времени, а поля обязательные.

Если коротко, то просмотрел 90 минут видео-туториала, в котором к тест рану так и не приступили. Усложненная система написания тест-кейсов. – это и хорошо и плохо одновременно.

Т.к. инструмент очень мощный, то и времени и внимания требует к себе очень много. Подход к проверкам учитывает всё время, потраченное на написание тест-кейса и включает в себя: Review Story, Write Test Case, Execute Test Case всё происходит в виде тасок и подтасок на панели Скрам в формате спринтов.

TestRail

Честно, очень долгое время боготворил эту систему, т.к. отзывы везде положительные, так с энтузиазмом сравнивают с Zephyr For Jira на многих ресурсах, в т.ч. в статьях на HABR. Ну что ж, раз ее так расхваливают, значит нужно брать тестовый период и пробовать заполнять репозиторий, и назначать себе тест-раны. Но только уже при составлении тест-кейсов сразу нашелся непоправимый минус, который поменял мой взгляд на TestRail – нельзя помечать пройденный шаг. Еще один минус – тестовый период, мне кажется очень короткий. Я уже примерно месяц выбираю инструмент для хранения кейсов – и честно скажу – это достаточно сложная задача, т.к. тебе нужно опробовать все или почти все системы и дать объективный ответ, почему ты сделал такой выбор.

В целом, у TestRail достаточно большой список интеграций: Slack, Jira, GitHub и др. Инструмент достаточно мощный, но, к сожалению, мне не подошел.

А TestLodge чем не угодила?

Ну с Лоджем, очень интересно, после рассмотрения TestRail и QASE – Lodge кажется очень не доработанным, мало того, я вам скажу, что функционала в блокноте (NotePad) может и не больше, но вот Excel 100% может Lodge переплюнуть, т.к. в составленных мною кейсах в Excel – имеется возможность напротив каждого шага ставить резолюцию и прохождении или непрохождении каждого шага, например, я реализовывал данную фичу заливкой разных цветов – Зеленый – passed, Красный – Failed, Фиолетовый – Blocked и т.д., т.к. количество цветов не ограничено.

Давайте перечислим минусы TestLodge:

1. Ввод шагов сплошным текстом

2. Естественно, мы не можем на каждом шаге оставлять резолюцию пройден он или пропущен или вообще здесь БАГ

3. Ожидаемый результат указывается только один при прохождении всех шагов

4. Резолюция прохождения кейса описывается всего тремя сценариями – PASS, FAIL, SKIP

Система QASE

Неожиданно, после долгих скитаний по ресурсам интернет-статей видео на ютюб, случайно в одной из статей на аж 8м месте нашел неприметную систему QASE. Удивительно, что такая хорошая (на мой взгляд) система оказалась недооценена и о ней так мало информации. Самый большой плюс, помимо ее бесплатности – это возможность оставлять резолюции с комментариями на каждом шаге тест-кейса. Давайте оформим плюсы системы в виде списка, так будет нагляднее.

1. Для каждого шага есть поле для вводных данных, а также ожидаемый результат, что позволяет сделать более широкое покрытие тест-кейсами (включать микро-сценарии по ранее заведенным ошибкам), а также более подробно описать каждый шаг, а самое главное – что мы от него ожидаем.

2. У каждого шага можно выбрать одно из 4х состояний (Скрин 1): Pass, Fail, Skip, Block – это позволяет тест-кейсу быть более гибким, в него можно включить «экзотические сценарии»  (без фанатизма), основанные и выявленные на фоне ранее заведенных ошибок. По опыту работы в Яндексе асессор-тестировщиком могу сказать, что это ужасно удобный функционал, т.к. шаг, на котором выявлено несоответствие сразу заносится в баг репорт, а также заносится окружение, стенд, и ранее пройденные шаги, вам остается придумать и написать правильный заголовок.

3. Для каждого шага можно написать комментарий.

4. У каждого тест-кейса может быть 5 состояний (Скрин 2): Passed, Failed, Blocked, Skiped, Invalid (такое редко, но бывает, Когда тест кейс есть, но он сломан или не актуален).

5. Программа бесплатна (до 3-х пользователей).

6. Имеется возможность кастомизации.

7. Достаточно много параметров у каждого тест кейса (по поведению, по флаки, по автоматизации) также можно добавить свой параметр который создаст дополнительный ран (например: проверяем на MacOS , второй на Android, третий на Win).

8. Поиск по ключевым словам, которые ранее сами занесете.

Используемые ресурсы

1.         Независимы обзор систем
2.         10 лучших систем управления тест-кейсами в 2019 году
3.         Прочесть большую статью — сложно…Тестировать сложный продукт – легко
4.        Лучшие системы управления тестированием 2019
5.        Тестирование. Инструменты управления тестами
6.        TestRail - система управления тестированием. Обзор, практика | Online test case management tool
7.         Обзор системы управления тестированием Qase
8.        Видео 11. Как создать тест-сьют (Test Suite). Как создать тест-кейс (Test Case). Программа TestLink
9.        Видео 27. Как установить Testlink.
10.      Test Day Atlassian 2016 - Маша Шинкарёва (Яндекс.Деньги) - Плюсы и минусы Zephyr for JIRA
11.      Jira - Zephyr Plugin Tutorial Part 1
12.      QASE - система управления тестированием. Обзор, практика | Online test case management tool