Импортозамещение и уход иностранных вендоров заметно повлияли на отечественный рынок IT. С одной стороны, госкомпании и ключевые организации, включая банки, обязали переходить на отечественное ПО. В то же время продолжается исход зарубежных систем, последней из них стала Qase TMS, которая объявила о прекращении работы на российском рынке и блокировке аккаунтов по IP. Эти изменения сильно ускорили развитие российского ПО и его популярность.
На фоне этих событий мы подготовили мини-обзор систем управления тестированием, которые сейчас доступны в России. Это не рейтинг или рекомендация, а скорее ревью.
Зачем нужна система управления тестированием
Системы управления тестированием или TMS (Test Management System) из управленческого класса систем. Они позволяют:
Организовать и контролировать процессы проведения тестирования;
Структурировать и хранить тестовую документацию и тестовые модели;
Собирать результаты разных видов тестирования воедино и строить отчетность.
Восемь систем в текущей подборке
Коммерческие
Опенсорсные
Test IT
Test IT — полностью российская TMS. Философия ее разработки заявлена как «От тестировщиков для тестировщиков», и основное внимание уделяется развитию системы на основе запросов и пожеланий пользователей.
Одно из ключевых достоинств Test IT — возможность объединить ручное и автоматизированное тестирования в едином пространстве, что особенно ценят пользователи.
Система выглядит удобнее и привычнее для мануальных тестировщиков, что заметно по богатому арсеналу соответствующего модуля, но в последние годы все популярнее становится автотестирование и Test IT тоже адаптировалась. В системе активно совершенствуется специальный модуль для работы с автотестами.
Test IT подходит для разных команд. Недавно в облачной версии появился бесплатный тариф Lite, который ориентирован на маленькие команды с ограниченным бюджетом. Также у Test IT есть активное комьюнити в Telegram и техподдержка, которая даже на базовом уровне оперативно помогает решать проблемы.
Достоинства Test IT
Объединяет ручное и автоматизированное тестирование
Строит подробную отчетность
Работает с популярными тестовыми фреймворками
Масштабируется на любые команды QA
Отзывчивая поддержка
Входит в реестр отечественного ПО
Enterprise (серверная) версия за 3 лицензии — 114 860 руб. в год.
Standart (облачная) версию за 1 лицензию — 26 828 руб. в год.
Lite-тариф доступен до 5 пользователей, он бесплатный, с ограниченной функциональностью.
ТестОпс
ТестОпс — российская версия Allure TestOps от Qameta Software. Разработчики вложили в свою систему принципы DevOps-подхода — объединение и конвейерную непрерывность всех используемых процессов.
В ТестОпс можно работать как с автоматизированными, так и с мануальными тестами, но изначально систему создавали для команд QA с акцентом на автотестирование.
Пользователи отмечают удобную интеграцию с CI/CD-системами, которая позволяет загружать пайплайны автотестов и получать результаты в TMS, плагины для популярных IDE помогают упростить написание автотестов и их выгрузку в систему.
Также ТестОпс стал развиваться и в сторону ручного тестирования, добавляя функциональность, которая упрощает работу мануальных QA-инженеров.
Из-за связи российской ТестОпс с зарубежной Allure TestOps у пользователей могут возникать сложности. Например, документация российской системы не охватывает все аспекты работы с продуктом, и в результате приходится обращаются к документации Allure TestOps на английском языке, что не всем и не всегда удобно.
Достоинства ТестОпс
Хорошая интеграция с популярными CI/CD
Наличие плагинов для популярных IDE
Построение отчетов с помощью AQL
Управление ручным и автотестированием
Состоит в реестре отечественного ПО
Масштабируется под разные команды
Серверная версия за 5 лицензий — 173 940 руб. в год
Облачная версия за 1 лицензию — 31 200 руб. в год
DoQA
DoQA — TMS от российской компании IT Test (не путать с Test IT), которая появилась на фоне ухода большинства зарубежных вендоров с российского рынка ПО в связи ростом потребности в отечественных решениях. Это ненагруженная система с базовыми функциями для работы команды тестирования.
С недавних пор в DoQA добавили модуль автотестирования, теперь с системой можно интегрироваться по API и загружать в нее результаты автотестов, которые запускаются в CI/CD либо в среде разработки.
На данном уровне развития DoQA идеально подходит небольшим командам — особенно тем, которые еще не использовали подобное ПО. В системе есть базовая функциональность и нет ничего лишнего, QA-иженерам будет легко разобраться и настроить процессы.
Достоинства DoQA
Достаточная базовая функциональность
Ненагруженность системы
Приятный UI/UX
Возможность работы с автотестами
Облачная версия за 1 пользователя — 9 480 руб. в год
Серверная версия без обновлений за 10 пользователей — 180 000 руб. в год
FireTMS
Еще одним новичком на российском рынке TMS стала FireTMS. Ее разработка началась недавно, но система уже включает необходимые функции, в том числе выбор тестируемого окружения.
В FireTMS есть модуль для заведения и работы с дефектами, который позволяет хранить их в отдельном репозитории и отслеживать изменения. Благодаря интеграции с другими системами задачи на исправление багов можно передавать в популярные багтрекеры.
Также отметим персональный пользовательский рабочий стол, с его помощью можно управлять задачами вне проектов и настраивать отображение информации по индивидуальным запросам.
Несмотря на достаточно широкую функциональность, у FireTMS есть несколько недостатков. Первый — отсутствие модуля по работе с автотестами, что важно учитывать на фоне роста популярности автоматизации тестирования. Ведь сейчас автотесты внедряют как в крупных, так и в маленьких командах, а в некоторых автоматизация полностью заменяет ручное тестирование.
Второй недостаток — отсутствие серверной версии, что может стать критичным для компаний с развитой политикой безопасности. Например, для организаций из финансового сектора.
Достоинства FireTMS
Развитый модуль ручного тестирования
Отдельный рабочий стол тестировщика
Интеграция с популярными багтрекерами
Облачная версия за 1 пользователя — 18 360 руб. в год
DevpromALM
DevpromALM — платформа для управления рабочими процессами, которая состоит из модулей, адаптированных под разные команды. Поэтому и управление тестированием представлено как подключаемый компонент, а не отдельная система с большим набором функций.
Тем не менее DevpromALM предлагает базовую функциональность для управления процессами и командой QA. Модуль для тестирования напоминает ушедший с российского рынка Zephyr, который интегрировался с Jira.
Удобно, когда блок для тестирования встроен в ALM: можно заводить баги, строить графики и собирать отчетность в одном инструменте.
Базовая функциональность DevpromALM включает возможность загружать результаты автотестов в виде XML-отчетов. При этом система разработана с философией полной кастомизации — пользователи могут самостоятельно разработать и внедрить необходимые фичи.
При всех достоинствах DevpromALM пользователи отмечают недружелюбный интерфейс и UI/UX, в котором сложно разобраться.
Достоинства DevpromALM
Возможность самостоятельной доработки системы
Мобильное приложение
Плотная интеграция с системой баг/таск-трекинга
Возможность построения любых графиков и отчетов
Стоимость системы зависит от выбранных модулей. Есть как серверная, так и облачная версии.
TestLink
TestLink — одна из самых популярных бесплатных систем по управлению тестированием. Позволяет создавать и поддерживать проекты, планы, наборы тестов и тесты. Связывать их между собой, а также формировать отчеты и вести статистику выполненной работы.
Пользователи считают TestLink достаточно функциональной TMS. Она поддерживает как ручное, так и автоматизированное тестирование и интегрируется с популярными системами баг-трекинга: Jira, Redmine и другими.
Недостатком является устаревший и неинтуитивный интерфейс, что вызывает трудности на начальном этапе. Это опенсорс-решение и, вероятно, не подойдет командам с высокими требованиями к информационной безопасности.
Достоинства TestLink
Бесплатная
В свободном доступе
Масштабируется на любую команду
Есть базовые функции для тестирования
TestY
TestY — отечественная система, которую компания YADRO создавала для внутреннего использования. Со временем разработчики решили сделать ее доступной и выложили исходные файлы в публичный репозиторий.
Поскольку у YADRO большой штат тестировщиков, систему разрабатывали под запрос выдерживать большие нагрузки и быть отказоустойчивой, что является ее важным преимуществом.
TestY можно дорабатывать самостоятельно, добавляя плагины с необходимой функциональностью. Также разработчики предусмотрели возможность миграции из других TMS, таких как TestRail или Excel.
Базово система TestY обладает необходимой функциональностью для работы небольших и средних команд. Позволяет вести тестовую документацию, создавать тест-планы и запускать тестовые прогоны. Поддерживает парсинг Allure-отчетов с помощью отдельного плагина.
Достоинства TestY
Бесплатная
Периодические обновления и поддержка, так как разработчиком выступает крупная компания
Возможность внедрять собственные доработки в систему
Предусмотрены миграторы из TestRail и Excel
KiwiTCMS
KiwiTCMS — опенсорсная в базовом тарифе система управления тестированием, на рынке с 2017 года. В первую очередь подойдет для небольших команд с небольшим количеством проектов и запросов по функциональности.
В Kiwi можно работать с автотестами, строить отчеты и создавать отдельные баги, отслеживать их историю появления и решение. Система имеет открытый исходный код, а значит ее можно дорабатывать под конкретные потребности.
В Kiwi TCMS можно подключать багтрекеры и настраивать ролевую модель доступа. Также у системы есть обширная документация, которая отвечает на большинство вопросов по использованию и администрированию, но только на английском языке.
Хоть Kiwi и опенсорсное решение, его разработчики предоставляет платные версии с дополнительной функциональностью и услугами.
Достоинства KiwiTCMS
Бесплатная, но есть платные тарифы
Полнота документации
Возможность самостоятельных доработок
Возможность работы с автотестами
Как избежать ошибок при выборе TMS
Как можем видеть, на российском рынке достаточно собственных инструментов для управления тестированием, как платных, так и бесплатных. Некоторые из них превосходят ушедшие зарубежные аналоги по функциональности, но могут оказаться проблемными при внедрении или дальнейшем масштабировании.
Основные трудности возникают при переезде из одной TMS в другую с большим объемом легаси-данных. Особенно если в новой системе нет подходящих инструментов для автоматической миграции и нужно разрабатывать собственные скрипты.
Еще одной сложностью пользователи отмечали отсутствие технической поддержки у систем с открытым исходным кодом. При внедрении, миграции и пилотировании едва ли удастся обойтись без поддержки, но для опенсорсных решений она предоставляется редко.
Также стоит учесть разную степень зрелости российских решений. Многие из локальных систем появились недавно и еще не успели развить достаточную функциональность. Поэтому выбирать решение нужно под конкретные задачи и с прицелом на масштабируемость.
Понравился пост? Не забудьте поделиться им!