Несмотря на колоссальные возможности современных табличных редакторов, для многих команд разработки рано или поздно встает вопрос о внедрении специализированных инструментов (систем) для управления процессом тестирования в своих проектах. Какой же из них выбрать?
Такой вопрос в моей практике задавался не раз. Это подтолкнуло меня на создание этой обзорной статьи. Чтобы в будущем сэкономить немного времени себе и всем тем, кто также столкнется с этим вопросом. И пусть даже в конце статьи на него не будет ответа (извините за спойлер), но ваше подсознание, скорее всего, определится уже сейчас и в нужный момент на определенном проекте подскажет ответ.
В своих поисках я натыкался на множество аналогичных статей (в одной из которых я позаимствовал структуру сравнительной таблицы), но все они скупо перечисляют функции с сайтов этих систем и 1-2 скриншота интерфейса и зачастую содержат скрытую или открытую рекламу одного из таких инструментов. Мне же захотелось испытать каждую систему “на себе” и непредвзято поделиться увиденным, рассказать о своих ощущениях.
Ниже приведена итоговая сравнительная таблица (кликабельная), после неё читатель, не спешащий на встречу, найдет несколько слов о каждой системе.
TestRail
QA Touch
Test Collab
qTest Manager
PractiTest
Zephyr Standalone
TestLodge
EasyQA
TestLink
Squash TM
Kiwi TCMS
Важно:
Скриншоты интерфейсов кликабельны и спрятаны под спойлер. Еще больше скриншотов вы найдете на моём сайте. Никто не любит саморекламу, поэтому если есть примеры статей или способ как быстро и удобно добавить в статью на Хабре подобные галереи изображений, подскажите в комментариях или в личном сообщении. Постараюсь переделать и затем убрать эту ремарку.
Сайт: www.gurock.com/testrail
Разработчик: Gurock Software GmbH
Цена: TestRail Cloud $30 за юзера / месяц (1-20 пользователей)
Радует: удобный и понятный интерфейс; быстрая вставка изображений; Markdown разметка текста; добавление пользовательских полей; настройка порядка отображения полей кейса; возможность назначить каждый кейс (или тестран) на отдельного пользователя; быстрое копирование и перемещение кейсов; группировка нескольких тестранов в тестовый план; быстрые интеграции с багтрекерами (по URL трекера или используя плагины); экспорт как кейсов, так и отчетов в XML и CSV форматы; широкие возможности API для интеграции с вашими внутренними системами (синхронизация информации в кейсах, сохранение результатов автотестов и т.д); наглядные отчеты; аккуратные печатные формы; при создании проекта можно выбрать три типа структуры для хранения тест кейсов (одна из которых позволяет разделять кейсы на ветки, соответствующие разработке).
Не радует: нет встроенных требований; нет своего багтрекера; цена довольно высокая (особенно для небольших компаний).
Сайт: www.qatouch.com
Разработчик: DCKAP
Цена: Professional $69 за 50 юзеров / месяц
Радует: широкие имеющиеся и планируемые возможности при адекватной цене; приятный UI; встроенные багтрекер и требования; интеграция с внешними багтрекерами JIRA, GitHub, GitLab; релизное планирование тестранов; есть возможность создания пере-прогона (re-run) с кейсами определенного статуса; голосовой набор и автодополнение текста заголовка кейса и бага; переиспользуемые шаги кейса.
К сожалению, не смог опробовать и сделать скриншот некоторых компонентов продукта, т.к. они доступны только в платных планах.
Не радует: составляющие кейса (основные поля, шаги, вложения) разнесены на вкладки при редактировании; нет форматирования текста; картинку хоть и можно добавить к отдельному шагу, но только к одному и как скачиваемый файл; нет версионности кейса; текстовые области шагов и ожидаемых результатов, при изменении их размера вручную, сбиваются во время редактирования (не на одной линии); форма выбора кейсов для тестрана немного разная при создании и при редактировании его; список кейсов и багов включает только их название и ID (для быстрого обзора списка дополнительные настраиваемые поля были бы не лишними); отметка статуса при прогоне также вынесена на отдельную вкладку от общей информации кейса; есть небольшие косяки в отображаемых данных (общее количество кейсов на дашборде и странное поле «Assigned to» — списываю это на то, что я зарегистрировался еще в том году, с тех пор вендор существенно его дополнил).
Сайт: testcollab.com
Разработчик: Test Collab
Цена: Startups от $25 за юзера / месяц (свыше 50 пользователей — $10)
Радует: широкая настройка почтовых уведомлений (с возможностью редактировать шаблоны писем); объединение тестранов в тест-планы; приятный интерфейс с подсказками (которые можно отключить); функция повторного использования шагов (reusable steps); возможность комментирования кейса при редактировании; тэги; выбор типа форматирования текста (Markdown, HTML/WYSIWYG, Plain Text); добавление пользовательских полей; настраиваемые шаблоны для выборки кейсов в тестран; встроенные требования; цена (для небольших проектов есть бесплатный план с 200 кейсами и 400 выполненными кейсами).
Не радует: нельзя редактировать системные поля (в частности Priority); нет возможности сохранить отображаемые поля в списках (при обновлении страницы сбрасываются по умолчанию); есть небольшие огрехи в отображении элементов UI; нет печатных форм ни для кейсов ни для отчётов (наверное, сейчас их редко используют, но другие инструменты предлагают такую функцию); данные на общем дашборде обновляются с задержкой; экспорт кейсов только для одного тестового набора (при этом вложенные наборы обрабатывает только экспорт в XML); неудобная вставка изображений в шаги кейса (через ссылку); нет своего багтрекера.
Сайт: tricentis.com
Разработчик: Tricentis (приобрела QASymphony в 2018)
Цена: от $99 за юзера / месяц (цена приблизительна и зависит от количества пользователей)
Радует: настройка системных и добавление пользовательских полей к различным объектам (с возможностью предпросмотра этого объекта и даже изменения цвета для статуса прогона); информативная история изменения кейса; встроенный HTML-редактор в текстовых полях кейса; комментирование отдельного кейса; можно подписаться на отдельный кейс и получать уведомления на почту об изменениях; интересная реализация авто-версионирования кейса (с мажорной и минорной составляющей); функция быстрого прогона кейса (без выставления статуса каждому шагу); встроенные требования с привязкой кейсов и указанием целевой сборки, также имеется встроенный багтрекинг; переиспользуемые кейсы; настраиваемые конфигурации тестранов; широкие возможности по интеграции как с багтрекерами, так и CI/CD сервисами; API для еще более гибкого взаимодействия; хранимые запросы поиска по кейсам, требованиям и т.д.; разнообразные отчеты; гибкая настройка на стороне администратора (пользователи, уведомления, права, группы и т.д.); встроенный проект со всеми данными для ознакомления с возможностями продукта; планы тестирования.
Не радует: нет печатных форм кейсов; экспорт кейсов только в Excel формате (но зато он имеет читаемый вид); немного неудобный просмотр картинок в шагах кейса при прогоне; на сайте нет информации о цене продукта (нужно делать отдельный запрос) и она внушительная.
Сайт: www.practitest.com
Разработчик: PractiTest
Цена: ENTERPRISE $49 за юзера / месяц (минимум от 3 пользователей)
Радует: возможность комментирования кейса (теста); теги (ключевые слова) для теста; быстрый переход по номеру теста; генерация перестановок тестранов (для разных тестировщиков, версий); использование параметров в шагах кейса (с возможностью изменить значение при каждом прогоне); включение шагов (call to test) одного кейса в другой (иногда это действительно нужно и не надо прыгать по ссылкам на другие кейсы); двусторонняя интеграция с Jira и YouTrack (с помощью создания API токена); добавление пользовательских полей; канбан доска по статусам для кейсов; свои багтрекер и требования (но не сделал скриншоты с ними).
Не радует: сложный UI/UX в целом (в частности разделение структуры кейса на вкладки: описание и шаги на разных вкладках); скудная, непрезентабельная печатная версия как самих кейсов так и отчетов; хоть и есть поддержка markdown разметки, но картинки к шагам добавляются только как вложения; нельзя изменить статус всего кейса, если какой-то шаг не прошёл (это и правильно, но иногда нужно «озеленить» весь тест); пользовательскому списку нельзя задать приоритет сортировки (сортирует по алфавиту); цена (завышена, даже учитывая уникальные функции); виджет чата поддержки на каждой странице.
Сайт компании на момент публикации был недоступен с российского IP, при этом веб-платформа открывалась.
Сайт: www.getzephyr.com
Разработчик: SmartBear Software
Цена: от $50 за юзера / месяц (цена взята из прошлого, сейчас не указана на сайте)
Радует: привлекательное планирование стадий тестирования (на подобии диаграммы Ганта) с добавлением и настройкой различных работ по тестированию; встроенные требования и багтрекинг, которые при наличии JIRA бесшовно интегрируются с ней (с возможностью поиска и просмотра тикетов напрямую из Zephyr); есть возможность добавлять пользовательские поля к объектам (проекту, кейсам, требованиям), изменять название и цвет статусам прогона (всего кейса и отдельного шага); можно добавить виджеты для проекта с различными характеристиками (диаграммами), которые будут обновляться через заданное время; экспорт кейсов в HTML и PDF формат с указанием необходимых полей.
Не радует: непривычный интерфейс, к UX/UI надо привыкать какое-то время; нет прямой ссылки на отдельный кейс (только через поисковый запрос можно сформировать URL для него); плашка с виджетом помощи внизу не убирается; нельзя менять системные поля; картинки к шагам кейса можно добавить только как вложения ко всему кейсу; заточенность только под JIRA; цену нужно узнавать по запросу (и только по телефону, в электронном сообщении эту информацию не предоставляют).
Сайт: www.testlodge.com
Разработчик: TestLodge Limited
Цена: Basic $49 за 600 кейсов / месяц (подписка по количеству данных)
Радует: лаконичный интерфейс; создание и выбор конфигурации при создании тестрана; быстрая интеграция с популярными баг-трекерами; создание тест-плана (с шаблоном по умолчанию); матрица покрытия (если требования вести внутри продукта); модель подписки по количеству данных (для некоторых проектов это плюс); экспорт набора в HTML (она же печатная форма).
Не радует: нет разделения кейса на отдельные шаги; пользовательские поля нельзя переместить выше системных; картинку можно вставить только как вложение или ссылку на нее; экспорт кейсов только каждый набор в отдельности; тестовый набор можно указать только для одного тест-плана; нет своего багтрекера.
Сайт: geteasyqa.com
Разработчик: ThinkMobiles
Цена: $10 за юзера / месяц
Радует: возможности для мониторинга и тестирования мобильных сборок (APK и IPA файлы), интегрируясь с GitHub или GitLab репозиториями; свой багтрекер с возможностью добавить плагин для интеграции с другими системами (GitHub, GitLab, YouTrack, JIRA, RedMine, Pivotal Tracker, Trello); простота в обращении (иногда это плюс) с тестовыми объектами (планы, тестраны, тест-кейсы, отчеты); наглядное сопоставление полей при экспорте кейсов из CSV файла (но требует внимания, можно уйти в бесконечный цикл экспорта).
Не радует: нет возможности хоть как-то кастомизировать объекты; нет ожидаемого результата для каждого шага кейса; в кейсах нельзя форматировать текст и прикладывать картинки; есть вопросы к UI в некоторых местах (особенно при отображении таблиц); не получил письма с приглашением для второго участника на почту с личного домена; нельзя менять права для ролей (+ не смог сменить роль проекта для неподтверждённого пользователя).
Судя по активности в социальных сетях и блоге на сайте, они приостановили разработку.
Бесплатные системы многих привлекают отсутствием ежемесячной платы. Но определенных затрат они, безусловно, потребуют. Во-первых, аренда хостинга (вычислительные ресурсы). Во-вторых, трудозатраты системного администратора по установке, настройке и поддержке работоспособности системы. Но сервер (или небольшая виртуальная машина) у вас уже может быть, а наличие готовых Docker-образов упрощает развертывание, поэтому запуск бесплатной системы “с нуля” может оказаться проще регистрации в платной системе (утрирую, конечно, но в каждой шутке есть доля шутки). Добавим к этому тенденцию “полного контроля” над данными, и продукты с открытым исходным кодом становятся всё более привлекательными для внедрения. Я взял на обзор три таких системы: TestLink, Squash TM и Kiwi TCMS.
Сайт: testlink.org
Язык разработки: PHP
Радует: встроенные требования и отслеживание их через кейсы; разнообразные текстовые отчеты; возможность добавить пользовательские поля; гибкая настройка ролей пользователей; интеграция с багтрекерами (JIRA, YouTrack, GitLab, Bugzilla и др.); тестлид может дополнительно установить срочность (urgency) для каждого кейса в тестране, что повлияет на порядок выполнения кейсов; управление списком тестируемых платформ; инвентарный список хостов (мелочь, но приятно); HTML-редактор с возможностью вставлять картинки, ссылки, таблицы, списки; по-моему, самый популярный Open Source инструмент со множеством инструкций и статей по настройке и использованию; наличие ресурса разработки на языке PHP позволяет изменить продукт под свои потребности (если стандартных функций покажется недостаточно или они окажутся не такими удобными).
Не радует: интерфейс, требующий небольшого привыкания; придется повозиться с настройкой некоторых компонентов для полноценной работы (точечная настройка конфигурационных файлов, отправка почты, интеграция с багтрекером); в текстовых окнах HTML-редактора не работает стандартная проверка орфографии браузера; нельзя редактировать системные поля и порядок их отображения на форме кейса; ручная смена порядка шагов (приходится вводить цифры, вместо перетаскивания); назначение кейсов для тестрана (билда) после платных инструментов покажется неудобным.
Сайт: www.squashtest.org
Язык разработки: Java
Радует: управление требованиями с привязкой к тест-кейсам; HTML-редактор; использование параметров в шагах кейса и предусловиях; возможность создать тест кейс с Gherkin сценарием (BDD); UI функция сворачивания содержания шагов кейса; есть режим прогона кейсов с отображением во фрейме тестируемого веб-сайта (в большинстве случаев уже не актуально, но возможность такая есть); использование существующего кейса (Call a test case); добавление пользовательских полей к объектам; цветовое разграничение компонентов продукта, также показался удобным цветовой индикатор статуса в библиотеке кейсов; плагины для интеграции с багтрекерами JIRA и Mantis; есть подробная документация (правда, некоторые разделы не в том порядке).
Не радует: чтобы прикрепить картинку во вложении, нужно сначала добавить расширения для таких файлов в белый список системных настроек (по умолчанию png и jpg отсутствуют); нельзя редактировать системные поля (категория и приоритет); нельзя редактировать имеющиеся семь ролей прав доступа (однако, 7 уровней этого зачастую достаточно); не смог сгенерировать некоторые отчеты (из логов узнал, что проблема с инициализацией класса); необычная терминология для тест-планов и тестранов (тут они названы Campaign и Iteration); разбиение UI на вкладки.
Сайт: kiwitcms.org
Язык разработки: Python
Радует: гибкая настройка прав групп пользователей; интеграция с багтрекерами JIRA, Bugzilla, GitHub and GitLab; быстрая работа системы; Markdown разметка текста с возможностью быстрого предпросмотра; возможность подключить плагины (некоторые, правда, только в планах на разработку) для сбора результатов автотестов; внешний API; подробная документация по продукту; активная разработка новых фич и планы на будущее.
Не радует: в тесте нет деления на отдельные шаги; некоторые счетчики в UI не обновляются, после совершения действия (необходимо обновлять страницу); своя подсветка орфографии в текстовом редакторе; один отчет по созданным кейсам (но в планах добавить еще несколько); нет деления на проекты внутри системы.
Это лишь малая часть доступных на рынке систем. Однако, обзор уже получается довольно длинным. Не вошли в него плагины для JIRA (TM4J, Zephyr, Xray, TestFLO и др.), т.к. это птицы разного полёта. JIRA хоть и используется сейчас на многих проектах, но всё-таки она не панацея. Поэтому это тема для отдельной, не меньшей статьи. Также под прицел не попала Test IT, но она вышла совсем недавно, когда основная часть этой статьи уже была написана. Возможно, за это время “родились” еще системы или есть уже существующие, достойные обзора — напишите в комментариях. Кажется, люди любят сериалы — напишем продолжение!
А пока предлагаю поучаствовать в обсуждении “Какая система управления тестированием у вас на проекте?”.
(Понимаю, что не всегда это есть “желаемая” система, тогда поделитесь вашей болью: с какой работаете, и с какой хотели бы работать.)
Такой вопрос в моей практике задавался не раз. Это подтолкнуло меня на создание этой обзорной статьи. Чтобы в будущем сэкономить немного времени себе и всем тем, кто также столкнется с этим вопросом. И пусть даже в конце статьи на него не будет ответа (извините за спойлер), но ваше подсознание, скорее всего, определится уже сейчас и в нужный момент на определенном проекте подскажет ответ.
В своих поисках я натыкался на множество аналогичных статей (в одной из которых я позаимствовал структуру сравнительной таблицы), но все они скупо перечисляют функции с сайтов этих систем и 1-2 скриншота интерфейса и зачастую содержат скрытую или открытую рекламу одного из таких инструментов. Мне же захотелось испытать каждую систему “на себе” и непредвзято поделиться увиденным, рассказать о своих ощущениях.
Дисклеймер
В статье только моё субъективное мнение, некоторые моменты могли измениться (учитывая время, прошедшее от идеи до публикации, — 9 месяцев). Я не имею никакого отношения к перечисленным компаниям и продуктам, все скриншоты представлены в ознакомительных целях. В тексте очень много англицизмов. Положение в таблице или тексте это не положение в рейтинге, “лучший” и “худший” вы определяете для себя сами.
Очень похожая статья вышла буквально месяц назад от другого автора — у вас не дежавю, но это не исключает факт того, что в параллельном мире (если выбрали синюю таблетку) вы уже прочитали именно мою статью.
Ниже приведена итоговая сравнительная таблица (кликабельная), после неё читатель, не спешащий на встречу, найдет несколько слов о каждой системе.
Платные инструменты:
TestRail
QA Touch
Test Collab
qTest Manager
PractiTest
Zephyr Standalone
TestLodge
EasyQA
Open Source инструменты:
TestLink
Squash TM
Kiwi TCMS
Важно:
Скриншоты интерфейсов кликабельны и спрятаны под спойлер. Еще больше скриншотов вы найдете на моём сайте. Никто не любит саморекламу, поэтому если есть примеры статей или способ как быстро и удобно добавить в статью на Хабре подобные галереи изображений, подскажите в комментариях или в личном сообщении. Постараюсь переделать и затем убрать эту ремарку.
TestRail
Сайт: www.gurock.com/testrail
Разработчик: Gurock Software GmbH
Цена: TestRail Cloud $30 за юзера / месяц (1-20 пользователей)
Радует: удобный и понятный интерфейс; быстрая вставка изображений; Markdown разметка текста; добавление пользовательских полей; настройка порядка отображения полей кейса; возможность назначить каждый кейс (или тестран) на отдельного пользователя; быстрое копирование и перемещение кейсов; группировка нескольких тестранов в тестовый план; быстрые интеграции с багтрекерами (по URL трекера или используя плагины); экспорт как кейсов, так и отчетов в XML и CSV форматы; широкие возможности API для интеграции с вашими внутренними системами (синхронизация информации в кейсах, сохранение результатов автотестов и т.д); наглядные отчеты; аккуратные печатные формы; при создании проекта можно выбрать три типа структуры для хранения тест кейсов (одна из которых позволяет разделять кейсы на ветки, соответствующие разработке).
Не радует: нет встроенных требований; нет своего багтрекера; цена довольно высокая (особенно для небольших компаний).
Скриншоты интерфейса:
QA Touch
Сайт: www.qatouch.com
Разработчик: DCKAP
Цена: Professional $69 за 50 юзеров / месяц
Радует: широкие имеющиеся и планируемые возможности при адекватной цене; приятный UI; встроенные багтрекер и требования; интеграция с внешними багтрекерами JIRA, GitHub, GitLab; релизное планирование тестранов; есть возможность создания пере-прогона (re-run) с кейсами определенного статуса; голосовой набор и автодополнение текста заголовка кейса и бага; переиспользуемые шаги кейса.
К сожалению, не смог опробовать и сделать скриншот некоторых компонентов продукта, т.к. они доступны только в платных планах.
Не радует: составляющие кейса (основные поля, шаги, вложения) разнесены на вкладки при редактировании; нет форматирования текста; картинку хоть и можно добавить к отдельному шагу, но только к одному и как скачиваемый файл; нет версионности кейса; текстовые области шагов и ожидаемых результатов, при изменении их размера вручную, сбиваются во время редактирования (не на одной линии); форма выбора кейсов для тестрана немного разная при создании и при редактировании его; список кейсов и багов включает только их название и ID (для быстрого обзора списка дополнительные настраиваемые поля были бы не лишними); отметка статуса при прогоне также вынесена на отдельную вкладку от общей информации кейса; есть небольшие косяки в отображаемых данных (общее количество кейсов на дашборде и странное поле «Assigned to» — списываю это на то, что я зарегистрировался еще в том году, с тех пор вендор существенно его дополнил).
Скриншоты интерфейса:
Test Collab
Сайт: testcollab.com
Разработчик: Test Collab
Цена: Startups от $25 за юзера / месяц (свыше 50 пользователей — $10)
Радует: широкая настройка почтовых уведомлений (с возможностью редактировать шаблоны писем); объединение тестранов в тест-планы; приятный интерфейс с подсказками (которые можно отключить); функция повторного использования шагов (reusable steps); возможность комментирования кейса при редактировании; тэги; выбор типа форматирования текста (Markdown, HTML/WYSIWYG, Plain Text); добавление пользовательских полей; настраиваемые шаблоны для выборки кейсов в тестран; встроенные требования; цена (для небольших проектов есть бесплатный план с 200 кейсами и 400 выполненными кейсами).
Не радует: нельзя редактировать системные поля (в частности Priority); нет возможности сохранить отображаемые поля в списках (при обновлении страницы сбрасываются по умолчанию); есть небольшие огрехи в отображении элементов UI; нет печатных форм ни для кейсов ни для отчётов (наверное, сейчас их редко используют, но другие инструменты предлагают такую функцию); данные на общем дашборде обновляются с задержкой; экспорт кейсов только для одного тестового набора (при этом вложенные наборы обрабатывает только экспорт в XML); неудобная вставка изображений в шаги кейса (через ссылку); нет своего багтрекера.
Скриншоты интерфейса:
qTest Manager
Сайт: tricentis.com
Разработчик: Tricentis (приобрела QASymphony в 2018)
Цена: от $99 за юзера / месяц (цена приблизительна и зависит от количества пользователей)
Радует: настройка системных и добавление пользовательских полей к различным объектам (с возможностью предпросмотра этого объекта и даже изменения цвета для статуса прогона); информативная история изменения кейса; встроенный HTML-редактор в текстовых полях кейса; комментирование отдельного кейса; можно подписаться на отдельный кейс и получать уведомления на почту об изменениях; интересная реализация авто-версионирования кейса (с мажорной и минорной составляющей); функция быстрого прогона кейса (без выставления статуса каждому шагу); встроенные требования с привязкой кейсов и указанием целевой сборки, также имеется встроенный багтрекинг; переиспользуемые кейсы; настраиваемые конфигурации тестранов; широкие возможности по интеграции как с багтрекерами, так и CI/CD сервисами; API для еще более гибкого взаимодействия; хранимые запросы поиска по кейсам, требованиям и т.д.; разнообразные отчеты; гибкая настройка на стороне администратора (пользователи, уведомления, права, группы и т.д.); встроенный проект со всеми данными для ознакомления с возможностями продукта; планы тестирования.
Не радует: нет печатных форм кейсов; экспорт кейсов только в Excel формате (но зато он имеет читаемый вид); немного неудобный просмотр картинок в шагах кейса при прогоне; на сайте нет информации о цене продукта (нужно делать отдельный запрос) и она внушительная.
Скриншоты интерфейса:
PractiTest
Сайт: www.practitest.com
Разработчик: PractiTest
Цена: ENTERPRISE $49 за юзера / месяц (минимум от 3 пользователей)
Радует: возможность комментирования кейса (теста); теги (ключевые слова) для теста; быстрый переход по номеру теста; генерация перестановок тестранов (для разных тестировщиков, версий); использование параметров в шагах кейса (с возможностью изменить значение при каждом прогоне); включение шагов (call to test) одного кейса в другой (иногда это действительно нужно и не надо прыгать по ссылкам на другие кейсы); двусторонняя интеграция с Jira и YouTrack (с помощью создания API токена); добавление пользовательских полей; канбан доска по статусам для кейсов; свои багтрекер и требования (но не сделал скриншоты с ними).
Не радует: сложный UI/UX в целом (в частности разделение структуры кейса на вкладки: описание и шаги на разных вкладках); скудная, непрезентабельная печатная версия как самих кейсов так и отчетов; хоть и есть поддержка markdown разметки, но картинки к шагам добавляются только как вложения; нельзя изменить статус всего кейса, если какой-то шаг не прошёл (это и правильно, но иногда нужно «озеленить» весь тест); пользовательскому списку нельзя задать приоритет сортировки (сортирует по алфавиту); цена (завышена, даже учитывая уникальные функции); виджет чата поддержки на каждой странице.
Сайт компании на момент публикации был недоступен с российского IP, при этом веб-платформа открывалась.
Скриншоты интерфейса:
Zephyr Standalone
Сайт: www.getzephyr.com
Разработчик: SmartBear Software
Цена: от $50 за юзера / месяц (цена взята из прошлого, сейчас не указана на сайте)
Радует: привлекательное планирование стадий тестирования (на подобии диаграммы Ганта) с добавлением и настройкой различных работ по тестированию; встроенные требования и багтрекинг, которые при наличии JIRA бесшовно интегрируются с ней (с возможностью поиска и просмотра тикетов напрямую из Zephyr); есть возможность добавлять пользовательские поля к объектам (проекту, кейсам, требованиям), изменять название и цвет статусам прогона (всего кейса и отдельного шага); можно добавить виджеты для проекта с различными характеристиками (диаграммами), которые будут обновляться через заданное время; экспорт кейсов в HTML и PDF формат с указанием необходимых полей.
Не радует: непривычный интерфейс, к UX/UI надо привыкать какое-то время; нет прямой ссылки на отдельный кейс (только через поисковый запрос можно сформировать URL для него); плашка с виджетом помощи внизу не убирается; нельзя менять системные поля; картинки к шагам кейса можно добавить только как вложения ко всему кейсу; заточенность только под JIRA; цену нужно узнавать по запросу (и только по телефону, в электронном сообщении эту информацию не предоставляют).
Скриншоты интерфейса:
TestLodge
Сайт: www.testlodge.com
Разработчик: TestLodge Limited
Цена: Basic $49 за 600 кейсов / месяц (подписка по количеству данных)
Радует: лаконичный интерфейс; создание и выбор конфигурации при создании тестрана; быстрая интеграция с популярными баг-трекерами; создание тест-плана (с шаблоном по умолчанию); матрица покрытия (если требования вести внутри продукта); модель подписки по количеству данных (для некоторых проектов это плюс); экспорт набора в HTML (она же печатная форма).
Не радует: нет разделения кейса на отдельные шаги; пользовательские поля нельзя переместить выше системных; картинку можно вставить только как вложение или ссылку на нее; экспорт кейсов только каждый набор в отдельности; тестовый набор можно указать только для одного тест-плана; нет своего багтрекера.
Скриншоты интерфейса:
EasyQA
Сайт: geteasyqa.com
Разработчик: ThinkMobiles
Цена: $10 за юзера / месяц
Радует: возможности для мониторинга и тестирования мобильных сборок (APK и IPA файлы), интегрируясь с GitHub или GitLab репозиториями; свой багтрекер с возможностью добавить плагин для интеграции с другими системами (GitHub, GitLab, YouTrack, JIRA, RedMine, Pivotal Tracker, Trello); простота в обращении (иногда это плюс) с тестовыми объектами (планы, тестраны, тест-кейсы, отчеты); наглядное сопоставление полей при экспорте кейсов из CSV файла (но требует внимания, можно уйти в бесконечный цикл экспорта).
Не радует: нет возможности хоть как-то кастомизировать объекты; нет ожидаемого результата для каждого шага кейса; в кейсах нельзя форматировать текст и прикладывать картинки; есть вопросы к UI в некоторых местах (особенно при отображении таблиц); не получил письма с приглашением для второго участника на почту с личного домена; нельзя менять права для ролей (+ не смог сменить роль проекта для неподтверждённого пользователя).
Судя по активности в социальных сетях и блоге на сайте, они приостановили разработку.
Скриншоты интерфейса:
Бесплатные системы многих привлекают отсутствием ежемесячной платы. Но определенных затрат они, безусловно, потребуют. Во-первых, аренда хостинга (вычислительные ресурсы). Во-вторых, трудозатраты системного администратора по установке, настройке и поддержке работоспособности системы. Но сервер (или небольшая виртуальная машина) у вас уже может быть, а наличие готовых Docker-образов упрощает развертывание, поэтому запуск бесплатной системы “с нуля” может оказаться проще регистрации в платной системе (утрирую, конечно, но в каждой шутке есть доля шутки). Добавим к этому тенденцию “полного контроля” над данными, и продукты с открытым исходным кодом становятся всё более привлекательными для внедрения. Я взял на обзор три таких системы: TestLink, Squash TM и Kiwi TCMS.
TestLink
Сайт: testlink.org
Язык разработки: PHP
Радует: встроенные требования и отслеживание их через кейсы; разнообразные текстовые отчеты; возможность добавить пользовательские поля; гибкая настройка ролей пользователей; интеграция с багтрекерами (JIRA, YouTrack, GitLab, Bugzilla и др.); тестлид может дополнительно установить срочность (urgency) для каждого кейса в тестране, что повлияет на порядок выполнения кейсов; управление списком тестируемых платформ; инвентарный список хостов (мелочь, но приятно); HTML-редактор с возможностью вставлять картинки, ссылки, таблицы, списки; по-моему, самый популярный Open Source инструмент со множеством инструкций и статей по настройке и использованию; наличие ресурса разработки на языке PHP позволяет изменить продукт под свои потребности (если стандартных функций покажется недостаточно или они окажутся не такими удобными).
Не радует: интерфейс, требующий небольшого привыкания; придется повозиться с настройкой некоторых компонентов для полноценной работы (точечная настройка конфигурационных файлов, отправка почты, интеграция с багтрекером); в текстовых окнах HTML-редактора не работает стандартная проверка орфографии браузера; нельзя редактировать системные поля и порядок их отображения на форме кейса; ручная смена порядка шагов (приходится вводить цифры, вместо перетаскивания); назначение кейсов для тестрана (билда) после платных инструментов покажется неудобным.
Скриншоты интерфейса:
Squash TM
Сайт: www.squashtest.org
Язык разработки: Java
Радует: управление требованиями с привязкой к тест-кейсам; HTML-редактор; использование параметров в шагах кейса и предусловиях; возможность создать тест кейс с Gherkin сценарием (BDD); UI функция сворачивания содержания шагов кейса; есть режим прогона кейсов с отображением во фрейме тестируемого веб-сайта (в большинстве случаев уже не актуально, но возможность такая есть); использование существующего кейса (Call a test case); добавление пользовательских полей к объектам; цветовое разграничение компонентов продукта, также показался удобным цветовой индикатор статуса в библиотеке кейсов; плагины для интеграции с багтрекерами JIRA и Mantis; есть подробная документация (правда, некоторые разделы не в том порядке).
Не радует: чтобы прикрепить картинку во вложении, нужно сначала добавить расширения для таких файлов в белый список системных настроек (по умолчанию png и jpg отсутствуют); нельзя редактировать системные поля (категория и приоритет); нельзя редактировать имеющиеся семь ролей прав доступа (однако, 7 уровней этого зачастую достаточно); не смог сгенерировать некоторые отчеты (из логов узнал, что проблема с инициализацией класса); необычная терминология для тест-планов и тестранов (тут они названы Campaign и Iteration); разбиение UI на вкладки.
Скриншоты интерфейса:
Kiwi TCMS
Сайт: kiwitcms.org
Язык разработки: Python
Радует: гибкая настройка прав групп пользователей; интеграция с багтрекерами JIRA, Bugzilla, GitHub and GitLab; быстрая работа системы; Markdown разметка текста с возможностью быстрого предпросмотра; возможность подключить плагины (некоторые, правда, только в планах на разработку) для сбора результатов автотестов; внешний API; подробная документация по продукту; активная разработка новых фич и планы на будущее.
Не радует: в тесте нет деления на отдельные шаги; некоторые счетчики в UI не обновляются, после совершения действия (необходимо обновлять страницу); своя подсветка орфографии в текстовом редакторе; один отчет по созданным кейсам (но в планах добавить еще несколько); нет деления на проекты внутри системы.
Скриншоты интерфейса:
Заключение
Это лишь малая часть доступных на рынке систем. Однако, обзор уже получается довольно длинным. Не вошли в него плагины для JIRA (TM4J, Zephyr, Xray, TestFLO и др.), т.к. это птицы разного полёта. JIRA хоть и используется сейчас на многих проектах, но всё-таки она не панацея. Поэтому это тема для отдельной, не меньшей статьи. Также под прицел не попала Test IT, но она вышла совсем недавно, когда основная часть этой статьи уже была написана. Возможно, за это время “родились” еще системы или есть уже существующие, достойные обзора — напишите в комментариях. Кажется, люди любят сериалы — напишем продолжение!
А пока предлагаю поучаствовать в обсуждении “Какая система управления тестированием у вас на проекте?”.
(Понимаю, что не всегда это есть “желаемая” система, тогда поделитесь вашей болью: с какой работаете, и с какой хотели бы работать.)
JakUi
Использовали Testrail, но т.к. у них нет помесячной оплаты стали искать что-то другое. В итоге наткнулся на qase.io он полностью бесплатный (по крайне мере на данный момент) с платным функционалом, который мало кому понадобится. Багтрекинг весьма не плох, не требует установки на выделенный сервер, легко настраивается. Из плюсов — отлично работает импорт тест кейсов из других трекеров (перенос тестов из testrail занял пару минут и очень прост)
hotenov Автор
Спасибо!
Существует ли возможность в ней добавить ожидаемый результат для каждого шага кейса? Сейчас смотрю главную страницу сайта, кажется, нет. В настройках или, может быть, платной версии нельзя переключить вид кейса?
UPD: Не совсем понял про плату за TestRail или вы про выделенный сервер? тогда да там написано что сразу за год платить
JakUi
Можно.
Функционал создания тест кейса:
hotenov Автор
Хабр, любит свой хостинг картинок. Но в коде страницы выдернул ссылки и посмотрел. Да действительно есть. Круто, надо будет посмотреть её. Добавил себе.
RussianTM
Вторая статья за месяц про выбор системы тестирования в которой нет TFS. Он не популярен?
hotenov Автор
Если люди про него спрашивают, значит какая-то популярность есть. Я года два назад пробовал в ней кейсы писать. Может сейчас она стало еще круче (надо как-то глянуть). Но это вотчина Microsoft. Не купит ли она завтра другую компанию для этого, а свою систему забросит. GitHub тому пример.
Я как «счастливый» обладатель Windows Phone теперь немного с опаской смотрю на них. Хотя VS Code их конечно шикарен.
samhuawey
Если в компании используется Jira, логичным вариантом будет покупка лицензий и использование кастомного Workflow. Работа над проектом будет полностью прозрачной для менеджмента, а по удобству при некоторых усилиях Джира может поспорить как с TestRail, так и с ужасным по дизайну Test Link. Не говоря о возможностях расширения всяческими покупными и самописными плагинами (к примеру, у меня кнопка в тикете запускала билд).
TestRail хорош, но как по мне слабовата интеграция в Jira. TestLink удобный, но сломал себе мозг пока прошёл процедуру установки (второй раз пройду за 5 минут). Опять таки обе системы для инженеров QA с соответствующим опытом, а если продукт отдали на тестирование заказчику, он просто не поймёт как ими пользоваться. И тут Jira выиграет.
hotenov Автор
Согласен. Всё зависит от заказчика, поэтому и нет универсальной пилюли. Каждый выбирает по бюджету и уровню специалистов.
SlavikF
Работаю QA 8 лет.
В разных компаниях в США.
Видел разные системы.
Мой вывод: если у вас больше 5 тест кейсов, то все эти системы добавляют слишком много оверхеда (лишней головной боли), и без них — лучше, чем с ними.
2 самых эффективных способа держать в порядке тест кейсы и репорты:
1) Excel (или Google Spreadsheets). Да, да. Кто бы что ни говорил, редактировать в Excel гораздо проще, чем во всех этим тулзах, где разные тесты и поля на разных экранах, и что-то надо делать так, а что-то по другому.
2) MD (MarkDown) файлы с тест кэйсами, которые хранятся вместе с основной репой.
Тут процесс такой:
— тест планы хранятся в репе вместе с продуктом, поэтому они всегда правильной версии
— когда нужно что-то тестировать, то репорт сохраняется:
* а) в комментариях к PR, который вы тестируете. И это очень ЛОГИЧНО: это такой ручной критерий именно этого PR. ИЛИ
* б) в JIRA таске (или какой-то другой системе, которую вы используете). Так что вы всегда можете найти этот репорт, потому что эта таска находится в правильном проекте, с правильной версией, назначенной на нужного человека и т.д… Если вы смотрите на статус спринта, то вы видите там задачу «Manual QA», вы можете её открыть, посмотреть, что уже сделано и т.д.
hotenov Автор
Интересный подход.
1. Как справляетесь с большой базой кейсов? Как идёт выборка и добавление определенных кейсов для прогона?
2. Как работаете с вложениями (картинками в частности), если в MD еще это представляю как реализуется. А вот в Экселе меня дико бесило, что нельзя картинку вставить (только ссылкой куда-то)
3. Как историю по прогонам отслеживаете? есть отдельный репорт?
SlavikF
1.В чём проблема с большой базой кэйсов?
Я работал в медицинской компании, там были десятки тест протоколов и тысячи репортов. Хранили в Excel, Excel хранили в Confluence — там была система документооборота заточенная под требования аудита.
Вместо Confluence можно и другие системы использовать, если там есть версионность и некоторые фишки аудита (типа NextCloud)
2. Очень редко у меня были случаи когда нужно добавлять картинки. Но и в Excel и в Google Spreadsheet картинки вставлять можно.
3. Что такое «история по прогонам»? Мы работаем в контексте версий (вот репорты для этой версии) или в контексте PR (вот репорт для этого PR).
Обычно структура такая:
— есть regression suite (протокол), который обязательно нужно прогнать перед релизом, и может быть посреди цикла, если изменения большие.
— и есть отдельные протоколы на features. Разрабатываем и тестируем feature A, то значит её протокол и создаём (обновляем) и используем.
hotenov Автор
1. Выглядит жутко, по мне. Как сейчас помню скролил даже 100 кейсов в одном Эксель файле. А у вас тысячи. Плюс это еще куда-то в систему документооборота уходит. Менеджеры у вас все эти портянки смотрят? или вы им красивые отчеты уже готовите?
2. Счастливый вы человек.
3. Я про отслеживание изменений. Т.е. реально у вас взять один кейс и сразу увидеть в какой версии он упал, а в которой успешно прошёл?
SlavikF
1. Вот как раз в Excel можно открыть файл с тысячей кэйсов и легко с ними работать, скролить через все, сделать поиск по всем и сразу увидеть. Ни одна из веб-систем и близко не приближается в плане удобства к Excel.
Посмотреть 1000 кэйсов в Excel нетрудно, а вот кликать через пагинацию в веб-приложении — боль.
Смотреть на пироги-репорты — занятие тоже довольно бессмысленное (хотя в Excel это тоже делается легко).
3. нет, такой возможности нет. Но вроде бы не особо и надо. Если что боле-менее серьёзное, то баги есть в JIRA.
hotenov Автор
Спасибо, что поделились своим опытом.
Но удалять статью я пока не буду =) Что-то мне подсказывает, что неспроста их столько на рынке. Еще и новые появляются. Или тоже всё маркетинговые уловки это? и на самом деле нам не нужны все эти «плюшки»?
SlavikF
Статья на самом деле полезная, удалять не надо. Это очень полезно быть в курсе того, какие инструменты сегодня есть на рынке.
Я нередко наблюдал такую картину:
— в компании есть тестеры, которые тем или иным образом занимаются тестирование
— возникает «проблема». Проблемы, связанных с процессом может быть две:
а) тестеры прохлопали серьёзный баг, которые выкатили в продакшен (отправили клиенту, ...) и теперь начинают разбираться — а чем там тестеры занимались, кто виноват… Ну а тестеры прикрывают себе заднее место, никто не может понять кто и что тестировал. И тогда начальство решает: поставить систему, чтобы всё было видно: кто и что тестировал, и что не тестировали.
б) каждый раз, когда готовиться релиз, тестеры заваливают сроки. От них невозможно получить надёжного ответа на вопрос: что уже сделано и сколько осталось? И тогда начальство требует, чтобы им сделали дэшборды, чтобы там это всё было видно и «прозрачно».
В обоих случаях тестеры получают головную боль, потому что им теперь нужно в той или иной системе заниматься внесением мета-информации (кто, что, когда, какой результат)… Аджайл быстро перестаёт быть аджайлом, процесс формализуется. Со сроками становится ещё хуже, а заднее место прикрывать тестеры всё равно как-нибудь сумеют. На дэшборды никто не смотрит до следующего фэйла, а при фэйле — там ясности не добавляется.
В корне этих проблем: все эти инструменты нагружают тестеров не очень полезной и нудной деятельностью с довольно большим оверхедом.
Тех же целей (разделение ответственности и более прозрачное планирование) можно достичь с намного более меньшим оверхедом использую более простые инструменты: Excel или чеклисты в MarkDown файлах
P.S. В прошлом году, я был на StarEast conference (наверное самая большая конференция тестеров в США), и там один мужик представлял очередную подобную систему. Так он показательно начал свою презентацию с таких слов:
С его слов я понял, что они (продажники таких систем) знают, что большинство тестеров сидит в Excel, и очень не хотят переходить ни на какие «современные инструменты». Потому что уже проходили.
Было бы интересно сделать опрос. Вангую, что больше половины используют Excel / Google Spreadsheet.
hotenov Автор
Так вот как раз эти системы и призваны записывать всю эту мету информацию, не отвлекая от самого тестирования. Разве это не полезно?
А как вы тогда разбираетесь и выявляете слабые места процесса? Или у вас заказчики спокойно относятся к фейлам?
SlavikF
так в том-то и дело, что «не отвлекая от самого тестирования» лучше всего получается у Excel.
Все остальные инструменты отвлекают очень серьёзно.
Например, у вас есть сценарий:
— открыть приложение в браузере
— залогиниться
— сделать 3-4 CRUD операции
— разлогиниться
И вам надо тестировать это в 3-4 браузерах.
Если вы это делаете в Excel — это выделать мышкой регион и нажать Ctrl-V 3-4 раза.
Если вы это делаете в любой системе — вы не можете там сделать Ctrl-V на все шаги. Вы должны каждый шаг: 1) открыть, 2) ввести результат, 3) отправить. После каждого шага надо ждать, пока веб-сервер ответит (даже если это немного — это всё равно складывается).
В результате Excel уделывает любую систему раз в 10 по времени, которое тестеры надо потратить на то, чтобы ввести результаты.
Другой вариант:
допустим у вам в тест-кейсах есть какие-то детали, связанные с окружением: может имя сервера, или ожидаемый текст сообщения в ответе и т.д.
И если это поменялось, и надо изменить больше одного тест-кэйса, то в Excel — это «Find and Replace».
А вот в «полезном инструменте» это превращается в ад, когда надо вручную открыть и исправить стопятьсот кэйсов. Или сделать экспорт в Excel, исправить там, и импортировать обратно ;-) Это если у инструмента есть вменяемый импорт-экспорт
hotenov Автор
Опрос я хотел добавить. Но видимо у меня кармы не хватает. Не увидел нигде "добавить опрос" при публикации, а сторонний сервис уже не хотел искать, итак затянул со статьей. И там как раз хотел добавить вариант Эксель и еще "своя разработка"
hotenov Автор
Коллеги, добавил опрос. Теперь можно проголосовать за один вариант.
Извините, что сразу после модерации не проверил Редактирование статьи. До модерации опрос был не доступен.
Я выбрал TestLink т.к. с ним работал на последнем проекте. Также помимо него в разное время использовали: Табличный документ, Zephyr for Jira, TestRail