Всем привет. Я QA Аutomation engineer уже 14 лет и 9 из них мне так или иначе приходилось работать с автоматизацией веб-приложении (и не только). Я писала свои автотесты на C#, Java, и JS. Сейчас я хотела бы поделиться опытом, как я выбираю фреймворк для тестирования веб приложения. Думаю, для кого-то мой текст может быть полезен. 

Первое, с чего следует начинать создание своего фреймворка, - это выбор движка взаимодействия с браузером. Именно движок в дальнейшем станет краеугольным камнем ваших тестов. Поэтому выбор движка является фундаментом дома, который вы строите (и потом этот фундамент никак не переделать сторонними библиотеками).

Глава 1. Выбор движка

На данный момент времени есть 4 популярных способа работы с браузером: Selenium, Puppeteer, Cypress и Playwright. Ниже приведена таблица сравнений этих движков. 

На выбор движка влияет очень важный аспект: как вы планируете запускать свои тесты. А именно как вы планируете настраивать свою непрерывную интеграцию.

Глава 2: как мы будем запускать?

Ели вы выбрали второй путь, советую прочитать вот эту сравнительную статью.

Первый способ vs Второй способ

Резюме:

• Если вам очень важно тестировать на IE или на подлинном Safari, вам подойдет только Selenium - он многовековой, проверенный временем продукт. Если вы выбрали Selenium, то советую использовать облачные серверы. Иначе, вся работа по обновлению WebDriver и браузера, ляжет на ваши плечи.

• Если вам важна кроссбраузерность, но от поддержки IE вы отказались (он перестает поддерживаться в 2021-2022 году), а также вы согласны на движок WebKit, вместо Safari, то смело берите Playwright. Это достаточно молодой продукт, но быстро развивающийся. Лучше, конечно, содержать своего агента потому, что он будет дешевым (можно купить безголового Linux агента). Обновления браузеров идет внутри пакета Playwright. По факту эти браузеры могут не стоять на машине, они запускаются из коробки Playwright.

• Если вам не важна кроссбраузерность и можно гонять тесты на одном браузере, тогда берите Puppeteer. Он самый шустрый, а также chromium, на данный момент времени, самый стабильный браузер.

• Если вам важно делать Network mocking в тестах, то используйте Cypress, там больше готовых сценариев чем на Playwright. Но! Это решение подходит только для тех, кто дружит с JS.

Глава 3: что дальше?

Выбор Test Runners.

Следующими этапами после выбора Движка должны быть этап выбора Test Runners. Фреймворка, который будет ваши тесты организовывать. Тест раннеры зависят от языка программирования, на которых вы пишете. Для JS можно сравнить 3 самых популярных: Jest, Mocha и Jasmine.

В автоматизации я не заметила особой разницы в использовании того или иного раннера, но один пункт все-таки отмечу:

Тут находится хороший текст, переведенный с английского языка по этому поводу:

«Два популярных соперника - это Jest и Mocha. Jest - это среда тестирования с открытым исходным кодом разработанная Facebook. Встроенный в популярный пакет create-react-app, он быстрее и удобнее для написания идиоматических тестов на JavaScript. Он имеет встроенные возможности имитации и утверждения при параллельном запуске тестов, что обеспечивает более плавный и быстрый запуск теста. Одной из уникальных особенностей Jest является то, что он обеспечивает тестирование снимков для полного контроля над пользовательским интерфейсом. Mocha предоставляет разработчикам базовую среду тестирования с такими опциями, как библиотеки assertion, mocking и spy. Это одна из самых гибких библиотек для тестирования JavaScript. Небольшой недостаток Mocha - это необходимость в дополнительной настройке. Chai, самая популярная библиотека утверждений с открытым исходным кодом, используется с Mocha».

Эпилог

Обертка

Третьим этапом подготовки к автоматизации должен быть выбор фреймворка - обертки на движок. Например WebdriverIO (для Selenium) или CodeceptJS (для Selenium или Puppeteer). Выбор обертки также следует делать, взвешивая плюсы и минусы. Это тема для следующей статьи. 

Помимо всего прочего, есть еще визуальные фреймворки. Самыми популярными являются Percy и Applitools. Они добавят в ваше приложение красивое сравнение скриншотов, если это вам необходимо.

Движки Cypress и Playwright можно использовать без дополнительных обёрток, в них отлично описаны функции.

Selenium и Puppeteer лучше обертывать всегда, чтобы не изобретать велосипед.

На этом у меня пока все. Спасибо за внимание!