Инструменты для тестирования методом «чёрного ящика» (black box) сосредоточены на анализе входных и выходных данных программного обеспечения, его поведения и функциональности с точки зрения конечного пользователя. Они используются для различных типов тестирования, включая функциональное, системное и приёмочное, не требуя доступа к исходному коду.
Преимущества этих инструментов заключаются в их способности обеспечить объективную оценку внешних функций программного обеспечения. Они помогают убедиться в том, что разрабатываемый софт соответствует требованиям пользователей и ведёт себя ожидаемым образом в реальных ситуациях. Эти инструменты особенно полезны для выявления несоответствий в функциональности и интерфейсе программы, что делает их идеальными для тестировщиков без глубоких технических знаний о внутреннем устройстве софта. Такой подход способствует ориентированности на пользователя.
Mobot
Решение для аутсорсинга сложных тестов «чёрного ящика».
Mobot помогает оптимизировать процесс мобильного и веб-тестирования путём передачи обязанностей по тестированию механическому роботу. В результате все тесты проводятся практически полностью вручную: робот выполняет функции и сравнивает их с заранее установленными стандартами, чтобы предоставить отчёт о выполненных тестах.
Благодаря тому, что тестирование проводится вручную, тест-планы не требуют написания кода. Достаточно лишь описать желаемый тест и указать, как его провести. Команда Mobot легко преобразует видео в индивидуальный план тестирования. После автоматизации плана роботы смогут проводить несколько тестов одновременно и генерировать отчёт, который можно использовать для выявления и исправления багов.
Отличительные особенности Mobot:
Менеджер по работе с клиентами внимательно проверяет все результаты тестирования, отмечая определенные тесты для обсуждения и указывая на неудачные тесты, чтобы упростить анализ отчетов.
Все отчёты включают в себя результаты тестирования, включая сравнение скриншотов тестов с исходными скриншотами.
Роботы проводят тесты на реальных устройствах, что помогает выявить проблемы, связанные с конкретными устройствами, вместо использования эмуляторов и симуляторов.
Кроме того, роботы могут также проводить тестирование Bluetooth-соединений между тестируемым устройством и различными сторонними устройствами, такими как наушники.
Mobot интегрируется с Jira, Slack и Github. Он также поддерживает Android и iOS.
Цены на Mobot начинаются от 1500 долларов в месяц. Доступна 30-дневная бесплатная пробная версия.
Плюсы:
Установка без написания кода экономит много времени.
Каждого клиента сопровождает менеджер, который помогает ему на протяжении всего процесса.
5 дней тестирования с участием человека сокращаются до 1 дня автоматизированного тестирования.
Минусы:
Ограниченные программные интеграции.
Katalon
Платформа для управления E2E-тестированием.
Katalon Studio — это платформа для создания автоматизированных тестов с поддержкой искусственного интеллекта, использующая в качестве языка программирования Groovy. Она позволяет повторно использовать автоматизированные скрипты без необходимости в кодировании и обеспечивает тестирование различных типов приложений — веб-сайтов, API, визуальных, настольных и мобильных систем. Благодаря сквозной экосистеме разработки программного обеспечения, Katalon помогает DevOps быстро предоставлять решения.
Отличительные особенности Katalon:
Предоставляет начинающим пользователям возможность работы с low-code, многократно используемыми артефактами тестирования и единой средой разработки для тестирования всех типов приложений.
Среда выполнения Katalon обеспечивает планирование, самовосстановление и интеллектуальное ожидание, что позволяет выполнять параллельное тестирование в различных браузерах, устройствах и операционных системах.
Обширные возможности тестирования на основе данных и ключевых слов в сочетании с автоматической генерацией скриптов помогают получить ценные сведения и эффективно анализировать причины возникновения проблем.
Встроенная система CI/CD обеспечивает уведомления в реальном времени, целостную видимость конвейера и множество интеграций DevOps.
Быстрая автоматическая запись и воспроизведение позволяют быстро реагировать на реальные сценарии использования приложений.
Katalon можно интегрировать с такими инструментами CI/CD, как Jira, Bamboo и Jenkins.
Katalon — бесплатный, но у него также есть тарифные планы Premium и Ultimate. Тарифного план Premium стоит от 25 долларов в месяц, а также предлагает 30-дневный бесплатный пробный период.
Плюсы:
Быстрое создание скриптов
Параллельное выполнение тестов
Интеграция с другими DevOps платформами
Минусы:
Значительная кривая обучения, поэтому не подходит для новичков
Gremlin
Решение для тестирования микросервисов и контейнеризированных приложений.
Gremlin — это фреймворк, который используется для автоматизации систематического тестирования с применением хаос-тестирования, особенно в сферах облачных приложений, микросервисов и контейнеризированных приложений.
Он специально вызывает сбои в приложениях, чтобы изучить, как сделать их более устойчивыми. Gremlin позволяет тестировщикам управлять межсервисными сообщениями на сетевом уровне, помогая минимизировать возможные сбои и откаты кода, которые часто возникают в недостаточно устойчивых продуктах.
Отличительные особенности Gremlin:
Тестирование отказоустойчивости в облачной инфраструктуре и приложениях, таких как контейнеры и микросервисы.
Автоматизация тестирования Gremlin позволяет тщательно протестировать каждый уровень инфраструктуры приложения, включая безопасную остановку и автоматический откат.
В комплект поставки входит хорошо задокументированный API и CI/CD, что ускоряет разработку качественного кода и позволяет проводить надёжные тесты.
С помощью Gremlin можно использовать 12 экспериментов хаос-инженерии для выявления слабых мест в системе.
Gremlin интегрируется с LoadRunner Professional 2022.
Цены на Gremlin начинаются от 300 долларов в месяц за услугу. Доступна 30-дневная бесплатная пробная версия.
Плюсы:
Простой в освоении и использовании.
Обеспечивает команды надёжным и быстрым тестированием.
Тестирование помогает улучшить результаты во всём технологическом стеке.
Минусы:
Gremlin обеспечивает лишь ограниченную поддержку хаос-инъекций в локальных системах.
Watir
Бесплатный инструмент для тестирования методом «чёрного ящика» веб-приложений на Ruby.
Watir (Web Testing Application in Ruby) — это инструмент автоматизированного тестирования с открытым исходным кодом для языка Ruby, который позволяет писать тесты в человекообразном стиле, имитируя действия пользователя в браузере. Он использует протокол OLE для эффективного взаимодействия между браузером и Ruby.
Отличительные особенности Watir:
Вместо создания симулятора браузера, как в большинстве систем веб-тестирования, Watir использует протокол OLE (как уже упомянули выше).
Поддерживает наиболее популярные и актуальные браузеры, такие как Chrome, Firefox, Internet Explorer, Opera и Safari.
Повышает эффективность и результативность тестов и тестовых наборов, позволяя запускать тесты одновременно.
Позволяет проводить тестирование пользовательского интерфейса через командную строку — без открытия браузера, то есть в headless-режиме.
С помощью Page Objects Watir обеспечивает повторное использование кода и измерение производительности страницы.
Watir обеспечивает интеграцию с кроссбраузерными инструментами и средствами автоматизации тестирования, такими как Cucumber, BrowserStack и SauceLabs. Помимо Ruby, он также интегрируется с Python, Rails и Selenium.
Плюсы:
Бесплатный, с открытым исходным кодом и очень простой в использовании.
Тестирование на основе OLE с библиотеками Ruby устраняет необходимость во внешнем сервере.
Использование языка Ruby для написания тестовых скриптов.
Минусы:
Поддерживается только фреймворком Ruby.
IBM Rational Functional Tester (RFT)
Лучше всего подходит для создания скриптов тестирования методом «чёрного ящика» с помощью регистратора тестов.
IBM Rational Functional Tester (RFT) — это автоматизированная система тестирования от IBM для регрессионного, функционального и GUI-тестирования. RFT поддерживает различные языки программирования и среды (Java, AJAX, Power Builder, SAP, .Net, Dojo Toolkit и Siebel), охватывает как веб-приложения, так и приложения на базе эмулятора терминала.
RFT позволяет записывать, воспроизводить и экспортировать тестовые скрипты с агентами Robotic Response Time, обладает интеллектуальными возможностями обслуживания сценариев и различными вариантами настройки.
Он эффективно масштабируется для широкого спектра сценариев, полезен для различных типов бизнеса и обладает возможностями создания отчётов для коммуникации и сотрудничества в гибридных средах.
Отличительные особенности RFT:
IBM Rational Functional Tester (RFT) предоставляет широкие возможности для тестирования различных систем, что делает его универсальным инструментом для команд QA. RFT позволяет гибко тестировать как устаревшие, так и современные приложения в различных бизнес-сценариях.
Одной из ключевых особенностей RFT является возможность повторного использования тестов с различными данными, что ускоряет процесс тестирования и сокращает циклы тестирования.
RFT также предлагает продвинутые функции создания тестовых скриптов, включая возможность просмотра и анализа времени отклика и других метрик во время тестирования. С помощью технологии ScriptAssure легко управлять изменениями пользовательского интерфейса без дополнительных затрат на обслуживание.
Кроме того, RFT интегрируется с другими продуктами IBM, такими как IBM Jazz® integration, для совместного управления жизненным циклом приложений. Он также интегрируется с неродными корпоративными решениями для обмена сообщениями, такими как JMS и TIBCO EMS.
Цены предоставляются только по запросу. Стартовая версия — бесплатна.
Плюсы:
Обеспечивает надёжное тестирование в требуемом масштабе.
Даёт возможность легко переключаться между языками и платформами.
Хорошо работает с мэйнфреймами.
Минусы:
Сложно добиться оптимальных результатов при работе со сложными Java-приложениями.
Selenium IDE
Selenium IDE — это бесплатный инструмент с открытым исходным кодом для автоматизированного тестирования веб-сайтов. Он позволяет записывать и воспроизводить действия на веб-страницах, что облегчает создание тестов автоматизации. Благодаря функциям Selenium IDE разработчики могут избежать повторения ручных действий. Инструмент также позволяет DevOps и тестировщикам управлять тестами, записывать, редактировать и отлаживать их.
Selenium IDE является лёгким расширением для веб-браузера с минимальными накладными расходами и цифровым следом.
Отличительные особенности Selenium IDE
Создание, управление и организация тест-кейсов и тестовых наборов для лёгкого развёртывания командами тестирования.
Возможность выполнения кроссбраузерных тестов с помощью Selenium WebDriver.
Возможность записи и запуска устойчивых тестов из разных локаторов для элементов.
Бесшовная работа в популярных браузерах, таких как Chrome и Firefox.
Сохранение скриптов и загрузка их для выполнения по требованию.
Возможность повторного использования одного тест-кейса внутри другого и контроль скорости.
Помимо плагинов для браузеров, Selenium IDE интегрируется с Jenkins, Azure DevOps и IntelliJ.
Плюсы:
Это бесплатный инструмент с открытым исходным кодом
Простой в использовании
Для его использования не требуется язык программирования
Обеспечивает гибкость при написании расширенных тестов
Минусы:
Не поддерживает тестирование на основе данных
Selendroid
Фреймворк для автоматизированного тестирования методом «чёрного ящика» нативных, веб- и гибридных приложений для Android.
Selendroid повышает эффективность тестирования веб-приложений на Android. Он позволяет одновременно взаимодействовать с несколькими устройствами, что делает его отличным выбором для тестирования в режиме «чёрного ящика». Для написания тестов вам потребуется использовать клиентский API Selenium 2, известный как Selenium WebDriver.
Отличительные особенности Selendroid:
Автоматизация действий пользователя в мобильном приложении.
Совместимость с протоколами JSON Wire Protocol и Selenium 3 Ready, возможность использования обоих протоколов.
Масштабируемость и параллельное тестирование через интеграцию эмуляторов и реальных устройств в сеть Selenium.
Гибкость в расширении среды выполнения с помощью пользовательских расширений.
Selendroid также поддерживает горячее подключение аппаратных устройств и полную интеграцию с фреймворками Selenium.
Плюсы:
Возможность тестирования различных видов Android устройств.
Нет дублирования усилий, поскольку одна и та же концепция используется для автоматизации нативных и гибридных приложений.
Нет необходимости модифицировать тестируемое приложение для его автоматизации.
Минусы:
Для успешного использования Selendroid необходимо, чтобы тестировщики также владели Selenium.
Squish от Froglogic
Хорошо подходит для тестирования графического интерфейса пользователя (GUI) методом «чёрного ящика».
Squish от Froglogic — это инструмент для автоматизированного тестирования графических пользовательских интерфейсов (GUI) и человеко-машинных интерфейсов (HMI). Он идеально подходит для проверки визуальных функций и элементов приложения.
Squish предоставляет возможность разработки и тестирования с учетом поведенческих факторов (BDD) и поддерживает методологию Agile, способствуя сотрудничеству между бизнесом и техническими специалистами. Этот инструмент обладает кросс-платформенной совместимостью с различными типами GUI-тестов на настольных, мобильных, встроенных и веб-платформах. Squish поддерживает различные языки программирования, такие как Python, JavaScript, Perl, Ruby и Tcl.
Отличительные особенности Squish:
Включает возможность рефакторинга скриптов для соответствия сценариям использования, сравнение изображений для проверки значений в таблицах.
В Squish IDE можно создавать, отлаживать и редактировать тесты. Он также включает такие фичи, как запись и воспроизведение, а также распознавание изображений и объектов.
Благодаря исчерпывающей документации и инструментам квалификации для обеспечения соответствия стандартам безопасности, Froglogic Squish обеспечивает надёжное выполнение тестов.
Squish легко интегрируется с мультитехнологичными приложениями из различных наборов инструментов, таких как iOS, Android, Embedded (Qt, Windows, Java), Java, AWT, Swing, SWT, RCP, JavaFx, Windows и Mac.
Squish от Froglogic поддерживает такие фреймворки и платформы, как Windows, Android, iOS, Qt, Web, HTML5, Flex & JavaApplets, Java и другие.
Цена: плавающая лицензия Squish Tester стоит $589 в месяц с ежегодной оплатой. Доступна 10-дневная бесплатная пробная версия.
Плюсы:
Помимо работы с малоизвестными QT-приложениями, Squish может работать с Windows и Mac.
Оснащён централизованным дашбордом и системой мониторинга.
Поддерживает аудиозапись тестовых скриптов.
Минусы:
Много времени уходит на ручное тестирование.
QTP/UFT
Инструмент автоматизированного тестирования с минимальным мониторингом системы.
QTP/UFT (англ. Unified Functional Testing — унифицированное функциональное тестирование) разработан компанией Micro Focus для функционального, регрессионного и сервисного тестирования без использования систем мониторинга.
Он подходит для пользователей с разным уровнем технических знаний и обеспечивает тестирование как GUI, так и API с использованием виртуализированных средств.
Отличительные особенности:
QTP/UFT позволяет пользователям автоматизировать действия, выявлять и тестировать баги в режиме реального времени.
Обеспечивается единообразие действий для разных пользователей и браузеров на Windows.
QTP/UFT предоставляет все услуги под общей IDE, включая тестирование GUI и не-GUI с помощью API Service Test.
В качестве языка скриптов в QTP/UFT используется VB Script.
QTP/UFT использует ALM для интеграции с другими продуктами HP. Он также интегрируется с SAP и Oracle.
Плюсы:
Для эффективной работы не требуется практически никакого мониторинга.
Позволяет тестировать как API, так и графический интерфейс.
Минусы:
Время выполнения относительно велико по сравнению с другими инструментами тестирования.
Ограничен настольными приложениями и ОС Windows.
AutoHotkey
Бесплатный инструмент с открытым исходным кодом для автоматизации действий пользователя через имитацию нажатия клавиш и кнопки мыши.
Инструмент AutoHotkey разработан для Microsoft Visual Studio Community 2022; он достаточно легковесный, быстрый и стабильный.
Как программа для создания макросов, AutoHotkey позволяет легко передавать пользовательские нажатия мыши и клавиш в приложение. Помимо сокращения задач по вводу данных, инструмент позволяет разработчикам выполнять сложные задачи, такие как создание заполнителей форм. Кроме того, AutoHotkey полностью программируема и поддерживает различные концепции, такие как массивы, матрицы и объектные модели компонентов (COM).
Отличительные особенности:
Благодаря скриптам и макросам AutoHotkey позволяет пользователям настраивать сочетания клавиш и переназначать их.
Можно создавать небольшие или сложные скрипты для выполнения различных задач, таких как заполнение форм.
Возможность анализа файлов скриптов с использованием таких парадигм программирования, как ООП, процедурное программирование и программирование на основе команд.
AutoHotkey позволяет структурировать скрипты как независимые модули, особенно с подпрограммами, такими как функции, Hotstrings и Hotkeys.
AutoHotkey может интегрироваться с такими платформами, как Git, VSCode и PowerShell.
Плюсы:
Мощный, но простой в освоении
Хорошая документация
Полностью программируемый
Другие инструменты для тестирования «чёрного ящика»
Вот ещё несколько вариантов, которые не попали в топ-лист:
SilkTest — инструмент автоматизации для регрессионного и функционального тестирования.
MbUnit — фреймворк для автоматизированного модульного тестирования на C#.
Ranorex — универсальный фреймворк для автоматизации тестирования.
В заключение приглашаем всех заинтересованных в развитии тестировщиков на открытые уроки:
9 апреля: Стабильность команды QA и взаимозаменяемость людей. Записаться
16 апреля: Способы организации тестовой модели. Записаться