Начну с текущего положения дел: ДОМ.РФ и Банк ДОМ.РФ уже два года успешно используют систему управления тестированием — Test IT. На момент написания статьи в системе Test IT ведутся 35 проектов (систем), создано более 25,5 тысяч ручных и автотестов и выполнено более 600 тысяч прогонов (90% из которых — это запуски автотестов).
Но вернемся на 2,5 года назад, во вторую половину 2019 года, когда мы только начинали внедрять практики по тестированию, и перед нами стоял выбор централизованной системы управления тестированием (далее TMS — от Test Management System), т.к. большая часть команд или не вела тест-кейсы, или вела их в разрозненных инструментах, в том числе в Word/Excel.
Тогда задача централизовать управление тестированием была одной из ключевых, и после презентации плюсов такой централизации удалось обосновать, что компании требуется единое хранилище тестов и общий инструмент для работы QA-команды.
Для выбора инструмента мы организовали небольшую рабочую группу из QA-Lead’ов по самым развитым продуктовым направлениям. И чтобы выбрать достойный инструмент, при этом ещё и соблюсти все особенности законодательства в части закупок, нашей группе сначала потребовалось ответить себе на следующие вопросы:
«Каким списком ограничить сравнение инструментов?» — досконально сравнивать их все нет ни времени, ни ресурсов;
«Какие функции у целевого решения для нас являются наиболее важными?» — опять же, сравнивать все функции долго;
«Какой бюджет потребуется для старта и пилота, а затем для перевода всех наших команд на централизованный инструмент?» — для закупок стоимость решения является важным параметром и будет иметь в конкурсе высокий вес.
«Каким списком ограничить сравнение инструментов?»
У нашей рабочей группы был опыт работы с разными инструментами управления тестированием, от простого Open Source решения TestLink до дорогого и огромного HP ALM (теперь уже Micro Focus ALM, далее MF ALM). Поэтому для начала мы выписали те инструменты, с которыми наша группа была уже знакома и готова была с ними работать, или у которых была возможность установить пробную версию для изучения.
Помимо этого, на тот момент (осень 2019 года) тема импортозамещения была уже актуальной для ДОМ.РФ и Банка ДОМ.РФ, и поэтому мы задались ещё одним вопросом:
«А есть ли на рынке отечественного ПО решение, которое могло бы подойти нам для наших нужд?»
Ранее никто из нас не сталкивался с отечественными TMS, и нам потребовалось некоторое время на исследование этого вопроса. Ответ нас приятно удивил, т.к. после небольшого исследования мы находим ссылку на молодой (на тот момент) российский проект компании Test IT, которая как раз в то время подаёт заявку на включение их программного обеспечения в реестр отечественного ПО.
В итоге в наш список систем для сравнения вошли:
TestRail
TestLink
JIRA + Zephyr
Test IT
MF ALM
Adaptavist Test Management
«Какие функции у целевого решения для нас являются наиболее важными?»
Этот вопрос решает сразу два момента. Первый — нам нужно было сравнить инструменты и понять, какой инструмент нам подходит больше, а какой меньше. Второй — что для выбора корректного инструмента и формирования ТЗ на закупку нам требовалось описать в нем функции инструмента, которые для нас будут ключевыми и без которых мы не готовы рассматривать инструмент. В противном случае нам могли бы продать, например, OpenOffice Calc с макросами и какой-нибудь домашней надстройкой.
Я специально не буду сейчас изменять и адаптировать тот список функций и критериев, который получился у нас тогда, в конце 2019 года, т.к. это были наши взгляды на тот момент и корректировать их сейчас по итогам более двухлетнего опыта использования конкретного инструмента было бы не корректно. Допускаю, что сегодня данные критерии или результаты сравнения могут выглядеть уже неактуально.
Итого список ключевых для нас функций и критериев сравнения выглядел следующим образом:
Хранение и редактирование тест-кейсов;
Древовидное создание тест-кейсов;
Вложение скриншотов (Подтверждения тестирования) к прохождению тест-кейса;
Шаги воспроизведения, соответствующие ожидаемому результату при написании TC (прим. Редакции: ТС — Test Case);
Добавление требований к тест-плану, кейсам, тестовому набору;
Группировка множества тест-кейсов в тест прогон (из разных папок);
Создание Test Runs (тестовых прогонов);
Создание Test Suites (тестовых наборов);
Импорт, экспорт тест-кейсов (Excel);
Возможность создание связей с дефектами;
Поиск, фильтрация, сортировка сущностей (тест-кейсы, прогоны, планы);
Формирование статистики прогона и визуализация результатов прохождения по статусам (по всему прогону);
Формирование отчетов прогона;
Интерактивность отчетов, статистики с получением выгрузки тестов, дефектов, требований;
Ролевая модель с различным уровнем доступа к проектам;
Удобный пользовательский интерфейс;
Интеграция с Jira;
Управление запусками автотестов;
«Какой бюджет потребуется для старта и пилота, а затем для перевода всех наших команд на централизованный инструмент?»
Для данного класса систем стоимость чаще всего зависит от количества пользователей, и поэтому для расчёта и сравнения стоимости в таблицу для сравнения был внесен ещё один пункт — это стоимость 100 лицензий на год.
Сразу оговорюсь, что от систем, которые базируются на количестве лицензий Jira, мы были вынуждены отказаться, т.к. количество лицензий Jira у нас сильно (примерно в 200 раз) превышает количество требуемых лицензий для системы управления тестированием.
Таблица сравнения инструментов
Составив список критериев и список систем, мы перешли к их изучению и сравнению. Итогом сравнения была следующая таблица:
*Стоимость лицензий взята из открытых источников (интернет-магазины, официальные сайты разработчиков) на момент сравнения и была использована только для сравнения общих параметров (при перерасчёте использовался курс доллара 66,96 руб. т.к. это был первый квартал 2020 года).
**стоимость MF ALM получить до запуска процедуры закупки не удалось, т.к. все общения с представителями компании сводились к «индивидуальным предложениям».
Поддержка и доработка инструмента по требованиям
В ходе обсуждения и сравнения инструментов у нас часто возникали дискуссии на тему, а хорошо бы взять вот ту или иную удачную фичу из одного из инструментов и засунуть в другие. Поэтому в ТЗ на TMS мы так же добавили фразу «Осуществление доработок по запросу заказчика», которая для нас была важна.
Отмечу сразу, что у меня был опыт администрирования и коммуникации тогда ещё с HP по вопросам доработки HP ALM, процесс очень затянутый и добиться реального включения нужной фичи в релиз было очень-очень сложно.
Этот пункт также был в пользу Test IT.
Выбор инструмента
Из перечисленных инструментов достаточно неожиданно для рабочей группы приоритетными вариантами по функциям стали Test IT и, вполне ожидаемо, зарубежный MF ALM вместе с TestRail. Но ALM был в десятки раз дороже, а TestRail в два раза дороже.
Конкурс, который мы проводили, был открытым, и мы были готовы рассматривать все инструменты управления тестированием и взвешивать их согласно условиям конкурса. В итоге проведение такого конкурса показало, что выбор нашей рабочей группы совпал с рыночными предложениями и возможностями TMS на тот момент, и мы в 2020 году начали внедрение TMS Test IT в ДОМ.РФ и в Банке ДОМ.РФ, а к выходу пресс-релиза (ДОМ.РФ переходит на отечественную TMS от резидента «Сколково») у нас уже было 6 проектов/АС, которые активно использовали Test IT.
Вместо заключения
Оборачиваясь на происходящее в 2022 году и вызванный этим отказ части зарубежных компаний от своих обязательств, можно с уверенностью сказать, что небольшой риск, на который мы пошли, выбрав молодое на тот момент решение от Test IT, оказался оправданным, и сейчас наша компания уже более двух лет успешно использует инструмент для управления тестированием, на который другие компании только начинают переезжать.
Кстати, мы при желании готовы провести референс-визит и более детально рассказать наш опыт работы с Test IT. Если кому-то интересно, то для этого лучше и быстрее будет обратиться напрямую в Test IT.