Инструментов управления тестированием существует большое множество, и понять, какой из них подходит для конкретного проекта, бывает довольно сложно. Будучи руководителем QA-отдела, я протестировал, проанализировал и оценил самые популярные инструменты управления тестированием и составил спиок лучших из них.

Как выбрать подходящий инструмент


Учитывайте следующее:
  • Какую проблему вы хотите решить? Для начала определите функциональный пробел, который вы пытаетесь закрыть, чтобы понять, какую функциональность должен включать инструмент.
  • Кто будет его использовать? Чтобы оценить затраты и требования, выясните, кто будет использовать софт и сколько лицензий потребуется. Выясните, будет ли нужен доступ к инструментутолько тестировщикам или всей организации. Далее стоит подумать, что для вас в приоритете — простота использования для всех или скорость для опытных пользователей инструментов управления тестированием.
  • С какими другими инструментами он должен работать? Проясните, какие инструменты вы заменяете, какие остаются, а с какими придётся интегрироваться — например с бухгалтерским программами, CRM- или HR-системами. Вам нужно решить, должны ли эти инструменты интегрироваться друг с другом, или, наоборот, можно заменить несколько инструментов одним консолидированным инструментом управления тестированием.
  • Какие результаты важны? Подумайте, какой результат должно принести выбранное программное обеспечение, чтобы считаться успешным. Подумайте, какие возможности вы хотите получить или что вы хотите улучшить, и как вы будете измерять успех. Например, результатом может быть получение большей видимости производительности. Вы можете сравнивать фичи инструментов до посинения, но если вы не думаете о желаемых результатах, вы можете потерять много времени.
  • Как оно будет работать в вашей организации? Рассмотрите выбор инструмента в рамках ваших рабочих процессов и методологии поставки. Оцените, что работает хорошо, а в каких областях возникают проблемы, требующие решения. Помните, что все бизнесы отличаются друг от друга — не стоит быть уверенным в том, что если инструмент популярен, то он будет гарантированно работать и в вашей компании.

Обзор инструментов


Теперь перейдем непосредственно к инструментам. Они помогают в процессе обеспечения качества и сокращают объём ручного тестирования, чтобы вы тратили меньше времени на возню с Excel таблицами или старыми тест-кейсами, а больше времени уделяли самому тестированию и исправлению багов.

1. PractiTest


PractiTest — это сквозная SaaS-платформа для управления тестированием в одном месте. Имеет 14-дневную бесплатную пробную версию. Стоимость: от $2490/год


Панель тестовых прогонов фиксирует статус тестового задания, ответственных лиц и дат.

Являясь общим местом встречи для всех заинтересованных сторон по части обеспечения качества, PractiTest обеспечивает полную видимость процесса тестирования, а также более глубокое и широкое понимание результатов тестирования. Инструмент является полностью настраиваемым и гибким; закрывает все потребности QA-команд, позволяя им настраивать поля, представления, разрешения, рабочие процессы и многое другое.

Этот инструмент также позволяет пользователям повторно использовать тесты и сопоставлять результаты в разных релизах и продуктах, а также избегать дублирования работы с помощью фичей защиты от дублирования багов, перестановок, параметров шагов и фичи вызова тестов.

Ещё одна замечательная фича — уникальные иерархические деревья фильтров, которые отлично подходят для организации и быстрого поиска. Члены QA-команды могут визуализировать данные с помощью расширенных дашбордов и отчётов.

PractiTest поддерживает множество сторонних интеграций с такими распространёнными баг-трекерами, как Redmine, Jira, Pivotal Tracker и другими, а также с инструментами автоматизации. Инструмент в том числе предлагает надёжный API для дальнейших интеграций.

2. Tuskr


Tuskr — интересное решение благодаря доступной цене и полному набору фичей управления тестированием. Стоимость: от $9 за пользователя в месяц (минимум пять пользователей). Доступна бесплатная пробная версия.


Tuskr позволяет создавать и выполнять гибкие тестовые прогоны, включая фильтрованные или полные тест-кейсы в рамках текущего проекта.

Tuskr — это комплексное решение для управления тестированием для продакт-менеджеров, QA-инженеров, команд разработчиков и ИТ-специалистов. Простой, но интуитивно понятный пользовательский интерфейс оснащён мощными инструментами и возможностями для проведения тестирования. Вы можете создавать тест-кейсы с помощью WYSIWYG-редактора с RTF-форматированием. Огромные тестовые данные можно легко организовать с помощью HTML-таблиц.

Вы можете создавать гибкие тестовые прогоны с настраиваемыми полями и фиксировать результаты. Софт позволяет создавать пользовательские статусы результатов, соответствующие конкретным требованиям, а функция массового режима позволяет переназначать тест-кейсы или добавлять пользовательские результаты. С помощью Tuskr можно создавать подробные отчёты о состоянии и экспортировать их в формате PDF, чтобы поделиться ими со стекхолдерами и клиентами. Доступна диаграмма рабочей нагрузки, которая поможет определить, кто из тестировщиков загружен или недогружен. Также можно сравнивать графики плановой и фактической производительности, чтобы отличить лучших исполнителей от тех, кто работает неэффективно.

3. TestRail


TestRail — универсальный инструмент управления тестированием с кастомизируемыми дашбордами и широкими возможностями интеграции. Стоимость: от $37 за пользователя в месяц. Имеет 14-дневную бесплатную пробную версию.


В TestRail есть настраиваемые шаблоны для создания планов тестирования и тестовых случаев.


TestRail — это платформа управления тестированием для QA-команд и разработчиков, которая помогает управлять тест-кейсами, планировать и выполнять тесты, а также отслеживать результаты ручного и автоматизированного тестирования. Её можно использовать как в agile-проектах, так и в проектах с каскадной моделью управления. Вы можете организовать тест-кейсы в папках и разделах, а также настроить тест-кейсы с помощью шаблонов, статусов и полей.

API TestRail позволяет инженерам по автоматизации тестирования загружать результаты тестирования из автоматизированных скриптов, что позволяет отслеживать результаты как ручных, так и автоматизированных тестов. TestRail также предлагает дашборды и отчёты, которые помогут команде сообщать о количестве пройденных и проваленных тестов, отслеживать ход цикла тестирования и оценивать текущий уровень риска нового релиза.
TestRail интегрируется с Jira, GitHub, GitLab, Asana и 20 другими инструментами баг-трекинга. Он поддерживает отчётность по тестам, запущенным с помощью Selenium, Cypress, Appium, Cucumber, Junit, TestNG, Pytest или любого другого инструмента автоматизации тестирования или фреймворка с использованием TestRail API. TestRail также можно интегрировать с CI/CD-пайплайнами, такими как Jenkins, GitHub Actions, GitLab CI, Azure DevOps и другими.

4. Tricentis qTest


Tricentis qTest — решение для перехода к Agile и поддержки проектов с каскадной моделью. Стоимость: от $1,200 за пользователя за год. Есть 14-дневная бесплатная пробная версия.


Tricentis qTest и Jira могут быть интегрированы и работать вместе, что облегчает процессы управления тестированием.

Tricentis qTest — это инструмент управления тестированием, который масштабируется и подходит для бизнеса любого масштаба. Софт даёт командам DevOps и QA единое представление о задачах и действиях на протяжении всего жизненного цикла разработки программного обеспечения. Централизованный контроль и оркестровка всех автоматизированных рабочих процессов облегчает внедрение тестирования в пайплайн непрерывной разработки. Команды тестировщиков и разработчиков могут использовать этот инструмент для перехода к Agile-методологии или для поддержки своих проектов с каскадной моделью.

Команды DevOps и QA могут повторно использовать свои тест-кейсы и обмениваться ими между проектами, чтобы создавать и продвигать установленные стандарты и масштабировать лучшие практики. Это также упрощает создание и поддержку большего количества тест-кейсов. Пользователи могут объединить или централизовать свои решения для автоматизированного, исследовательского и ручного тестирования в одном и том же программном обеспечении. Кроме того, они могут создавать настраиваемые отчёты о данных по тестированию, используя более 60 готовых настраиваемых отчётов.

Этот инструмент имеет встроенные интеграции с некоторыми из наиболее распространённых решений для планирования, разработки и тестирования продуктов, такими как Selenium, Jira, Jenkins и GitHub.

5. Tricentis Test Management


Tricentis Test Management — решение для поддержки рабочих процессов DevOps с помощью интеграций. Стоимость: от $1,38 за пользователя в месяц (первые 100 пользователей). Имеет 30-дневную бесплатную пробную версию.


Tricentis Test Management позволяет отслеживать состояние различных тестов и видеть, в каких из них есть проблемы.

Tricentis Test Management — это софт для управления тестированием, который интегрируется с различными инструментами планирования, тестирования и DevOps, включая Jenkins, Selenium и Jira, что позволяет командам иметь единое представление о процессе тестирования ПО.
Данное решение помогает подходить к тестированию стратегически и совместно. Это достигается благодаря нескольким полезным фичам, включая:
  • qTest Manager для планирования этапа тестирования,
  • qTest Pulse для автоматизации событий,
  • qTest Launch для автоматизации тестирования и
  • qTest Explorer для документирования.

Tricentis Test Management использует автоматизированный подход к тестированию, без написания кода и с использованием искусственного интеллекта, что позволяет ускорять релизы. Кроме того, это решение масштабируется, а миграция данных из электронных таблиц и старых решений для управления тестированием не представляет сложности, что позволяет при внедрении Tricentis без проблем продолжить тестирование. Эта платформа помогает:
  • отслеживать, организовывать и составлять отчёты о процессе тестирования,
  • создавать пользовательские рабочие процессы,
  • управлять автоматизированным тестированием,
  • записывать сеансы тестирования,
  • а также использовать настраиваемый дашборд для аналитики и отчётности.

Tricentis позволяет пользователям плавно переходить от старых систем управления к Tricentis и интегрироваться с несколькими Agile- и DevOps-инструментами. Эти интеграции могут быть настроены для поддержки управляемых событиями рабочих процессов с любым сторонним инструментом, включая Bamboo, Azure Pipelines, Teams и Slack.

6. Xray


Xray — приложение для управления тестированием в Jira, которое использует родные типы вопросов Jira для управления артефактами тестирования. Стоимость: от $10 за пользователя в месяц. Есть 30-дневная бесплатная пробная версия.


Xray позволяет управлять ручными и автоматизированными тестами как Jira issues, настраивать экраны, поля и рабочие процессы.

Xray для Jira — это полноценный инструмент управления тестированием, который помогает организовать, спланировать, выполнить тесты и отчитаться о ходе тестирования и готовности к развёртыванию.

Xray использует встроенные в Jira типы проблем (issues), а все требования связаны с тест-кейсами — благодаря этому вы не пропустите ни одного теста. Поскольку Xray интегрирован в Jira, и разработчики, и тестировщики работают в одной единой экосистеме, что обеспечивает прозрачность работы, видимость хода тестирования и улучшает процесс сотрудничества между разработчиками и тестировщиками. Таким образом, все говорят на одном языке, а каждый тест учитывается.

С помощью Xray можно использовать agile-доски для отслеживания состояния требований и хода выполнения тестов в режиме реального времени. Кроме того, вы получаете широкие возможности по созданию отчётности, ипользуя встроенные отчёты для отслеживания и анализа покрытия, а также дашборд с элементами, позволяющими оценить состояние тестирования. Xray также поддерживает тестирование на основе данных с параметризованными тестами, что позволяет быстро тестировать большие наборы итераций.

Интеграция с инструментами непрерывной интеграции, включая Cucumber и Jenkins, проводится с помощью встроенного REST API. Xray также интегрируется с популярными фреймворками для автоматизации тестирования, включая Cucumber, JUnit, NUnit, Robot Framework, а также поддерживает тестирование в BDD с помощью фреймворков на основе Gherkin.

7. Kualitee


Kualitee — решение для управления тест-кейсами и отслеживания багов. Стоимость: от $15 за пользователя в месяц. Есть 7-дневная бесплатная пробная версия.


Управление проектами, тестированием и дефектами в одном месте.

Kualitee — это облачный инструмент управления тестированием. Он поддерживает как ручное, так и автоматизированное тестирование. Тестировщики могут создавать и импортировать тест-кейсы, а также связывать их со сборками и требованиями, чтобы обеспечить полную сквозную прослеживаемость.

Благодаря фиче управления дефектами Kualitee обеспечивает полный цикл тестирования — от планирования тестов до их выполнения и отслеживания проблем. Это инструмент «всё в одном», который могут одновременно использовать тестировщики, разработчики и руководители проектов.

С помощью этого инструмента можно создавать пользовательские отчёты о проведённом тестировании и багах, а также использовать функции планирования требований. Интерактивные дашборды интуитивно понятны и удобны в пользовании.
Kualitee интегрируется с Jira, Selenium, Jenkins и Bitbucket. Также есть мобильное приложение.

8. TestMonitor


TestMonitor — инструмент управления тестированием с функцией управления рисками. Стоимость: от $39 в месяц. Есть 14-дневная бесплатная пробная версия.


TestMonitor отслеживает тесты, чтобы обеспечить оптимальную эффективность и прогресс, предоставляя пользователям статистику в режиме реального времени.

TestMonitor позволяет командам создавать, выполнять и контролировать тест-кейсы, управлять дефектами; а также предоставляет функции отслеживания и отчётности.

Этот инструмент поддерживает ручное и автоматизированное тестирование, облегчая управление тестами во всех тестовых средах. TestMonitor интегрирован с различными фреймворками автоматизированного тестирования, что позволяет запускать скрипты непосредственно из инструмента. Можно создавать комплексные планы тестирования для последующего использования на протяжении всего цикла разработки ПО.

В TestMonitor можно добавлять комментарии, создавать и назначать действия, а также следить за процессом устранения дефектов. Вы также можете создавать тест-кейсы, назначать их тестировщикам и устанавливать ожидаемые результаты. Чтобы помочь другим членам команды понять цель каждого тест-кейса, добавьте скриншоты или видео. Кроме того, есть возможность импортировать тест-кейсы из внешних источников, то есть перенести в платформу любые уже существующие тест-кейсы.

Вы можете создавать этапы, представляющие ключевые события в процессе тестирования, и назначать соответствующие тест-кейсы для каждого этапа. Это поможет расставить приоритеты и обеспечить решение всех критических проблем перед переходом к следующему этапу. TestMonitor также включает в себя функцию drag-and-drop, которая пригождается при расстановке приоритетов и группировке тест-кейсов.

Функция управления требованиями и рисками TestMonitor позволяет создавать, отслеживать и управлять требованиями, обеспечивая учёт всех необходимых функциональных возможностей. Одновременно инструмент предлагает комплексный подход к управлению рисками, выявляя потенциальные проблемы и их влияние на проект.

Настраиваемые отчёты о проделанной работе позволяют анализировать данные о результатах тестирования и отслеживать показатели качества.

Доступны интеграции с Jira, Asana, DoneDone, MantisBT, Azure DevOps, Slack, Microsoft Teams и TOPdesk. Вы также можете подключить TestMonitor к учётной записи Zapier, чтобы получить доступ к дополнительным интеграциям.

9. Testiny


Testiny — инструмент для управления тестированием с бесплатным планом для 3-х пользователей. Стоимость: от $17 за 4-х пользователей в месяц. Есть 14-дневная бесплатная пробная версия.


Пользователи могут отслеживать состояние своих тестов в режиме реального времени.

Testiny — это инструмент управления тестированием, который облегчает планирование, выполнение и подготовку отчётности. Его настраиваемые рабочие процессы помогают командам эффективно управлять тест-кейсами, требованиями и дефектами. Testiny может обрабатывать различные процессы тестирования, такие как функциональное тестирование, тестирование производительности и регрессионное тестирование.

Пользователи могут создавать в программе планы тестирования, которые описывают требования к тестированию, тест-кейсы и ожидаемые результаты. Планы могут быть назначены членам команды, а система отчётности может генерировать отчёты, которые дают представление о процессе тестирования. Эта фича помогает пользователям выявлять баги, отслеживать решение проблем и обеспечивать соответствие процесса тестирования общим целям проекта.

Инструмент поддерживает совместное управление тестированием через обмен документами, командные чаты и назначение задач. Пользователи могут создавать автоматизированные тесты, которые могут выполняться многократно, а функции настраиваются в соответствии с конкретными потребностями. Функции автоматизации помогают оптимизировать процессы тестирования и снизить риск появления ошибок, связанных с человеческим фактором. Функция просмотра выполнения тестов позволяет пользователям отслеживать ход выполнения тестов и определять, какие тесты были успешно завершены, а какие требуют дополнительного внимания.

С программой работают баг-трекеры, такие как JIRA, Bugzilla и Trac.

10. aqua ALM


aqua ALM — решение для управления требованиями, тест-кейсами и дефектами. Стоимость: от $38/месяц. Есть 30-дневная бесплатная пробная версия.


QA-команды могут создавать отчёты и визуализации данных, используя интерфейс aqua ALM с функцией drag-and-drop.

aqua — это простая в использовании немецкая система управления тестированием, известная тем, что предоставляет услуги корпоративного уровня для клиентов всех уровней по доступной цене (тарифы начинаются от 39 евро в месяц). С помощью aqua можно организовывать тесты и команды, запускать сценарии тестирования любой сложности и масштаба и плавно переходить от ручного к автоматизированному тестированию. Аналитика в реальном времени и отчёты корпоративного уровня обеспечивают ясность рабочих процессов тестирования и разработки: вы видите, что нужно улучшить и автоматизировать.

С 2008 года aqua служит в качестве решения для управления тестированием и ALM для крупнейших предприятий Германии. С 2022 года они также запустили облачный уровень для SMB, который включает поддержку и гибкость корпоративного уровня.

К каждому тарифу прилагается возможность подключения неограниченного числа бесплатных пользователей «Basic» уровня, которые могут просматривать отчёты, а также создавать и выполнять тест-кейсы (что идеально подходит для ручных тестировщиков). Это поможет сэкономить расходы — платную версию aqua можно приобрести только для тест-менеджеров и тестировщиков, занимающихся автоматизированным тестированием.

Больше практических навыков по управлению командами, проектами, а также разработкой и тестированием вы можете получить в рамках практических онлайн-курсов от экспертов отрасли.

Комментарии (5)


  1. GeoSerg
    09.07.2024 20:38
    +1

    Tricentis qTest - цена от 1200$ за пользователя? Интересно, сколько у них пользователей?


  1. Pardus_cx
    09.07.2024 20:38

    Удивлён, что в списке нет Аллюр ТестОпс.

    И было бы интересно узнать о минусах проектов.


  1. lingva
    09.07.2024 20:38

    Где Testops allure или zephyr?


  1. klimin007
    09.07.2024 20:38

    Еще есть Squash TM (точно была бесплатная Community и платная редакции).


  1. e_x_z_o
    09.07.2024 20:38

    Да, почему нет в списке актуальных для работы инструментов? Test IT, например.
    Хотелось бы видеть таблицу сравнения по инструментам и их тарифам. Текст нуждается в обновлении.