Быстрое развитие IT-сферы провоцирует рост нагрузки на QA-команду, увеличивается число сотрудников, задачи усложняются. Для обеспечения конкурентного темпа работы при высоких требованиях к качеству необходимо создавать особую IT-инфраструктуру и привлекать современные удобные инструменты, способные при этом подстроиться под запросы конкретной QA-команды.
Мы снова провели срез-анализ рынка старых и новых TMS-решений, выбрали основные функции, которые хотели бы видеть в системах управления тестированием, сравнили их возможности и цены. Не было цели составить рейтинг, так как у каждого инструмента есть свои плюсы и минусы. Делимся свежим списком тулзов для тест-менеджмента, один из которых точно вам подойдёт.
![](https://habrastorage.org/getpro/habr/upload_files/4fb/0fa/ec3/4fb0faec355bcf3120a33d9ed42a8fa3.jpg)
Что должна уметь хорошая Test Management System?
Устанавливаться просто, иметь техподдержку или комьюнити (в случае с опенсорсом)
Позволять вести и управлять проектными областями и пользователями
Интегрироваться с внешними сервисами и системами
Позволять управлять версиями тестовых артефактов, давать возможность откатиться назад
Возможность работать с автотестами и мануальными тестами из единого интерфейса
Простой UX, освобождающий от придумывания костылей
Уметь создавать отчеты по метрикам итерационного тестирования, проекта и времени затраченному на процессы тестирования
Давать возможность кастомизировать тест-планы, параметры тестов и что угодно
Возможность чатиться с коллегами в рамках системы
Иметь гибкую ролевую политику, в том числе по уровням доступа в систему
Зачем нужна подобная система?
В первую очередь, TMS-система решает проблему ведения тестовой модели и взаимодействия членов команд или отделов между собой. Но работать со всей документацией проекта можно несколькими способами:
Самый дешёвый способ — взять Google Docs для матрицы трассируемости, а дефекты вести в open-source баг-трекере.
Другой способ — использовать одну из популярных TMS-ок, интегрированную с баг-трекером компании.
Next-level способ — выбрать Test Management System, исходя из специфики проектов, объемов задач, типов документации и используемых видов тестирования.
И хотя тестирование не добавляет ценности продукту и стоит денег, этот этап является важнейшим, так как предотвращает ошибки на продакшене и последующие серьёзные репутационные и финансовые убытки.
Популярные системы управления тестированием на 2021 год:
(Попытались сделать якорное меню, но оно сработало не на всех устройствах)
Рассмотрим выбранные инструменты подробнее:
Azure DevOps
Azure DevOps (он же Team Foundation Server) – это продукт компании Microsoft, предлагающий мощный и понятный в освоении инструмент для создания, хранения и прохождения тестовой документации. Azure воплощает более чем 15-летний опыт создания инструментов для разработки программного обеспечения. Также данная система представляет собой комплексное решение, есть возможность использовать только необходимую функциональность под конкретную задачу, не переплачивая.
![Azure DevOps Azure DevOps](https://habrastorage.org/getpro/habr/upload_files/b97/67f/340/b9767f3400ddebdac634e6783a643622.png)
Azure DevOps позволяет совмещать ручное\автоматическое тестирование, в нём также удобно вести и отслеживать метрики по своим тестовым сценариям, настраивать рабочие процессы, собирать или строить необходимое покрытие требований к разработке систем и многое другое.
![Azure DevOps Azure DevOps](https://habrastorage.org/getpro/habr/upload_files/1f4/301/296/1f430129634bba1a05ec214bdb8f150f.png)
Отдельно стоит упомянуть возможность интеграции с IDE всё от той же компании Microsoft, так что вы можете редактировать и настраивать свой код прямиком через Azure и интегрироваться со всевозможными системами из зоопарка Microsoft.
Возможности:
Простая установка и сопровождение системы
Интеграция с любым продуктом компании Microsoft
Комплексное решение, управление тестированием является лишь одним из инструментов
Мануальные\автотесты из единого интерфейса
Расширенные метрики по отчётности
Кастомизация интерфейса\пользовательских атрибутов
Кастомизация и последующее использование параметров
Наличие читабельной документации
Наличие внутреннего баг-трекинга
Цены: от $52 в месяц за базовую функциональность + тест планы
![](https://habrastorage.org/getpro/habr/upload_files/9f2/7d0/531/9f27d0531554842cfe45d13695b23ed7.png)
ALM Octane
ALM Octane — это давно обкатанный в боях и достаточно мощный инструмент, который позволяет оптимизировать и наблюдать за своими рабочими процессами, объединить мануальное и автотестирование, управлять и настраивать релизные циклы. Продукт сложный в освоении, однако его функциональность закрывает потребности больших компаний со сложной внутренней структурой разработки. Система масштабируема в рамках компании что позволяет добавлять в базу знаний всё новых и новых пользователей в том числе делиться с ними уже наработанными данными. Также есть возможность вести требования напрямую в продукте.
![ALM Octane ALM Octane](https://habrastorage.org/getpro/habr/upload_files/7cc/b8d/a6d/7ccb8da6d8816dc60a756b6ba2649f31.jpg)
Всю систему можно кастомизировать под свои потребности\нужды, гибкий функционал по разработке и ведении тестов позволяет существенно сократить время и силы затрачиваемые на повышение качества выпускаемых продуктов компании.
![ALM Octane ALM Octane](https://habrastorage.org/getpro/habr/upload_files/31f/2b3/a71/31f2b3a71bceb428cfde22cb87226fb5.png)
Возможности:
Давно проверенный на рынке инструмент с большой базой уроков\материалов по изучению и способам работы с продуктом
Общий доступ к библиотекам требований и ресурсов
Подробные сведения о коде, тестировании, управлении рисками и их оценке, а также о соответствии требованиям
Быстрый доступ к показателям, например к данным о не устранённых дефектах
Масштабируемая среда разработки и ведения тестовой документации
Работа с мануальными и автоматизированными тестами в едином интерфейсе
Настраиваемый интерфейс и шаринг базы знаний в рамках компании
Создание требований и отслеживание их выполнения на всех этапах жизненного цикла приложения
Расширенные данные по аналитике процессов тестирования и трудозатрат
Интеграция с 50+ инструментами
Цены: от $28 в месяц
![AWS marketplace AWS marketplace](https://habrastorage.org/getpro/habr/upload_files/bc8/309/4df/bc83094df5be5bf55cc21bc33922e629.png)
Бесплатная пробная версия: 30 дней
Test IT
Test IT — российская система управления тестированием, которую создают тестировщики для тестировщиков. Данный продукт быстро набирает обороты и постоянно расширяет свои функциональные возможности. Умеет в мануальное\автотестирование в рамках единого интерфейса, поддерживает гибкую ролевую политику, кастомизацию.
![](https://habrastorage.org/getpro/habr/upload_files/0df/1dd/fef/0df1ddfefab4f419307f938f84c75b08.png)
Присутствуют расширенный возможности по ведению, оформлению и прохождению тестовых артефактов, в том числе в связке с параметрами тестов и используемых конфигураций. Благодаря простым и кастомизируемым отчётам возможно собрать всю необходимую информацию как о мануальных, так и об автотестах. Система подходит как для небольших команд от 3-х тестировщиков, так и для крупных команд.
![Test IT Test IT](https://habrastorage.org/getpro/habr/upload_files/ee0/903/57d/ee090357d23b27f6f5a9bbfd708c814e.png)
Систему отличает приятный дизайн, оперативная техподдержка, частые релизы и обратная связь от разработчиков данного решения.
Возможности:
Удобное управление, оптимизация и выполнение тестовых артефактов
Работа с мануальными и автотестами из единого интерфейса
Расширенный анализ автоматизированных тестов и тест-ранов
Кастомизация интерфейса и пользовательских локальных\глобальных атрибутов
Работа с параметрами\конфигурациями в рамках системы
Полноценное версионирование тестовых артефактов
Кастомизируемые дашборды, которые позволяют вывести всю необходимую информацию по процессам тестирования
Внутренний чат и вебхуки во внешние системы
Гибкая ролевая политика как доступа к системе, так и к проектным областям
Двусторонняя интеграция с JIRA\Azure DevOps
Расширенный функционал публичного API
Игровой элемент
![Test IT Test IT](https://habrastorage.org/getpro/habr/upload_files/d79/9ed/c5f/d799edc5fa4dc63cee3e7888dbe79783.png)
Цены: от 3-х лицензий 2121 рублей в месяц
Бесплатная пробная версия: на 30 дней для 25 юзеров
TestRail
За последний год TestRail приобрёл своего конкурента Xray (плагин для Jira), что позволило им покрыть пользователей, которые плотно работают в Jira. Система одна из самых старых на рынке, поэтому эксплуатирует отточенные методологии тестирования, поддержана функциональность внутреннего чата и оповещений во внешнюю систему, есть возможность удобно настраивать свои рабочие процессы и за последние 2-3 релиза была существенно расширена документация API.
![TestRail TestRail](https://habrastorage.org/getpro/habr/upload_files/e30/2d3/6e2/e302d36e2fc32f7b8ede57cba3e0a4ac.png)
![TestRail TestRail](https://habrastorage.org/getpro/habr/upload_files/372/8da/222/3728da2221eace8247764df86afede90.png)
Возможности:
Широкие возможности настройки, облачные или локальные варианты установки
Большая база знаний по работе с продуктом
Отслеживание состояния и результатов отдельного теста
Расширенный REST API
Типизация проектов под специфику продукта
Наличие внутреннего чата и нотификаций
Достаточно широкие отчётные метрики по проектным и тестовым областям
Интеграция с JIRA, Redmine, YouTrack, GitHub, Jenkins, Selenium и Visual Studio
Цены: от $36 в месяц
Бесплатная пробная версия: 14 дней
Qase
Qase достаточно удобен для небольших и средних размеров команд. Продукт отличается широкими возможностями кастомизациии при аскетичностьи интерфейса. Удобная система отчётов и выполнения тестовых артефактов в совокупности с настройками интерфейса позволяют достаточно быстро и точно настроить свои рабочие процессы.
![Qase Qase](https://habrastorage.org/getpro/habr/upload_files/803/21f/f4c/80321ff4c2c25b264c0fa9c527b4350a.png)
![Qase Qase](https://habrastorage.org/getpro/habr/upload_files/a57/196/063/a5719606311f1cce82eeb1260b3333fb.png)
Возможности:
Тестовый репозиторий: выстраивание тестов в логические группы
Оповещения во внешние сервисы об изменениях в тестах
Удобный интерфейс и расширенной кастомизацией
Хранение документации по проекту
Автотрекинг дефектов в интегрированные TTS
Удобный и простой REST API
Расширенные возможности интеграций с внешними системами
Гибкая ролевая политика
Цены: до 3 юзеров бесплатно, далее от $24 в месяц
Бесплатная пробная версия: 30 дней
Allure TestOps
Allure TestOps – платформа управления качеством ПО, построенная с фокусом на автоматизацию, DevOps-процессы и гибкий цикл разработки. За счёт гибкости системы и большого количества клиентских библиотек и фреймворков её легко интегрировать с уже используемыми инструментами автоматизации тестирования.
![Allure TestOps Allure TestOps](https://habrastorage.org/getpro/habr/upload_files/e13/02e/603/e1302e603360d4e9339616223583946f.png)
Система преимущественно направлена на работу с автоматизированным тестированием, присутствует и мануальное, что позволяет вывести новый путь разработки тестовой документации: от автотеста – к тесту. Можно вести свои тестовые артефакты в коде, синхронизировать шаги мануального и автотеста и анализировать расширенный отчёты по автоматизированному тестированию.
![Allure Test Ops Allure Test Ops](https://habrastorage.org/getpro/habr/upload_files/6c9/813/9c5/6c98139c5dc0a32760437afd8a804f6b.png)
Возможности:
Клиентские библиотеки
Легкая интеграция с automation tools
Хранение мануальных тестов в коде
Кастомизируемые отчёты по автотестам
Совмещение работы с мануальными и автоматизированными кейсами
Многопоточность автотестов, отложенные запуски автотестов
Кастомизация интерфейса\пользовательские атрибуты
Тайм-менеджмент (TimeLine)
![Allure TestOps Allure TestOps](https://habrastorage.org/getpro/habr/upload_files/002/466/f19/002466f19f3afb319da78b8874cd94cf.png)
Цены: Allure TestOps стоит от $30 за пользователя в месяц
Бесплатная пробная версия: 30 дней по запросу
Zephyr Squad (Zephyr For Jira)
Zephyr Squad — простой, лёгкий в освоении и настройки плагин для Jira, который позволяет создавать, настраивать и проходить свои тестовые сценарии в Jira, предназначена для небольших команд с последующим масштабированием на другие продукты компании SMARTBEAR. Плагин отлично подходит для команд, у которых пока что нет сложных процессов тестирования или потребности в сложных структурах, есть всё необходимое в отчётности и приятные возможности по кастомизации сущностей наследуемые от интерфейса Jira.
![Zephyr Squad Zephyr Squad](https://habrastorage.org/getpro/habr/upload_files/83a/09e/7fe/83a09e7fecce1bb90156912e09952b51.png)
![Zephyr Squad Zephyr Squad](https://habrastorage.org/getpro/habr/upload_files/5cf/c01/553/5cfc0155342fad31412408cb56184414.jpg)
Возможности:
Простая установка и настройка плагина
Кастомизация интерфейса\пользовательские атрибуты
Простая и понятная система отчётов в Jira
Масштабируемость под команду
Ведение, отслеживание и покрытие дефектов и требований в Jira
Большое количество видео-уроков, документации
Интеграция с внешними сервисами
Цены: от $10 в месяц за облачную версию
Бесплатная пробная версия: 30 дней
Zephyr Scale (TM4J)
TM4J он же Adaptavist, за последний год был приобретен компанией SMARTBEAR и переименован в Zephyr Scale.
![Zephyr Scale Zephyr Scale](https://habrastorage.org/getpro/habr/upload_files/699/7de/3d8/6997de3d8e0fa6d3311b5c0f9cbd92ae.png)
Zephyr Scale – это масштабируемое, решение для управления тестовыми артефактами, релизами и отчётностью по тестам внутри Jira с расширенными функциями планирования тестирования и повторного использования. Предназначена для среднего размера команд и небольших компаний с возможностью переноса своих исторических данных с Zephyr Squad.
Продукты компании SMARTBEAR на данный момент позиционируют себя так:
Zephyr Squad – для небольших команд
Zephyr Scale – для среднего размера команд и небольших компаний
Zephyr Enterprise – для больших команд и среднего\большого размера компаний
![Zephyr Scale Zephyr Scale](https://habrastorage.org/getpro/habr/upload_files/553/cb6/28b/553cb628b3440a1d606dea7b3dfd1fb6.png)
Возможности:
Покрытие требований, релизных циклов и ведение отчётности напрямую в Jira
Ведение, отслеживание и покрытие дефектов в Jira
Простой в освоении UI
Расширенные дашборды в Jira
Масштабируемость под команду
Широкие возможности кастомизации проектов\тестовых артефактов
Большое количество видео-уроков, документации
Интеграция с внешними сервисами
Цены: от $10 в месяц за облачную версию
Бесплатная пробная версия: 30 дней
Tricentis qTest
Tricentis qTest — это простое в использовании, масштабируемое решение для управления тестами, которое позволяет тестировщикам централизовать и ускорить управление тестами. Система предоставляет возможности отслеживания, управления, организации и отчётности для тестирования программного обеспечения и управления тестовыми сценариями. Также продукт управляет требованиями и тест-кейсами, выполняет тесты, отслеживает дефекты и сообщает о тестовых данных. Есть интеграция с JIRA, Rally и VersionOne, а также с другими популярными инструментами автоматизации.
![Tricentis qTest Tricentis qTest](https://habrastorage.org/getpro/habr/upload_files/7f3/85a/a3e/7f385aa3e14d9dd9356dd37bb76d2377.png)
Возможности:
Легко интегрируется с инструментами Agile и DevOps
Создание значимых отчётов с данными из Jira
Централизует управление и автоматизацию тестирования
Интегрируется с любым открытым или проприетарным инструментом автоматизации тестирования
Идёт зачастую в связке с Tricentis Tosca, что позволяет покрыть и мануальное и авто тестирование
Работа с параметрами и конфигурациями тестов
![Tricentis qTest Tricentis qTest](https://habrastorage.org/getpro/habr/upload_files/96c/318/4f1/96c3184f15696d160acc7a979c85bd16.png)
Цены: Tricentis не указывает свои цены напрямую, запрос можно отправить по этой ссылке
Бесплатная пробная версия: 14 дней
Kiwi TCMS
Kiwi TCMS – бесплатная система управления тестовыми сценариями, написанные на Python и Django. У данной системы достаточно мощных и полезных функций, к примеру интеграция с Bugzilla и JIRA, быстрый план тестирования и выполнения умного поиска, настраиваемый контроль доступа для каждого тест-плана, выполнения теста и прочих артефактов, а также API-интерфейсы и XML-RPC.
![Kiwi TCMS Kiwi TCMS](https://habrastorage.org/getpro/habr/upload_files/1ec/567/7c4/1ec5677c4922117facb0765b56574794.png)
Система отлично подходит под небольшие команды\продукты и предназначена помочь тестировщикам сделать их работу более организованной, прозрачной и подотчётной для всех членов команды.
![Kiwi TCMS Kiwi TCMS](https://habrastorage.org/getpro/habr/upload_files/64d/e41/093/64de410939608c913b47d903cfe9c664.png)
Возможности:
Линкование тестовых сценариев и issue не выходя из JIRA
Работа с автоматизированными тестами
Внутренний баг-трекер
Понятная система отчетов
Использование общего шага
Фактическое время прохождения теста
Экспорт данных в Excel
Цена: Бесплатная система с открытым исходным кодом, но есть платные планы за донейшен или подписку
Понравился пост? Не забудьте поделиться им!
И помните, только тестировщик стоит между багами и клиентом! :)
Комментарии (6)
visirok
29.09.2021 23:32+1Полезная статья. Спасибо.
Наверное уже поздно, но было бы полезно устроить голосование, какие системы читатели Хабра советуют использовать и какие не советуют нет.
В своей жизни я много раз сталкивался с ситуацией. Пытаешься рационально выбрать какой-нибудь инструмент. Вроде бы характеристики и отзывы почитал. Вот этот из этих пяти подходит лучше всего. Покупаешь - и напарываешься на отсутствие фичи, которую считал само собой разумеющейся, или на какое-то неудобство, на которое почему-то никто не жаловался.
ayzhana
19.10.2021 13:20+1Привет! Очень хочется информации из реальной жизни, про проблемы у той или иной TMS. К примеру, TestRail в 2021 вообще сдал. Каждый релиз встречаем со страхом. Форум TestRail переполнен баг-репортами от пользователей, их не фиксят, катят новые релизы с новыми багами. А недавно наша облачная версия TestRail лежала два дня. От саппорта информации не дождешься, проблемы замалчивают, а мы тут в релизные будни оказались без документации. Из последнего: перестали формироваться отчеты, просто падают с ошибкой, а вы живите как хотите.
Конечно же, рассматриваем другие TMS, но и с ними не все так просто. Например, один из отзывов про Azure (прикладываю скрин)
GoncharovPavel
Уточнение - MS берет 52$ в месяц на пользователя за модуль управления тестированием https://azure.microsoft.com/en-us/pricing/details/devops/azure-devops-services/
qa_meister Автор
Спасибо, поправил