Всем привет! На связи техническая команда портала «Рамблер»!

Весна 2022 года подарила российскому бизнесу много занимательных недель, потраченных на поиск альтернатив ушедшим с отечественного рынка сервисам. Нас этот «тренд» тоже не обошел стороной, но мы смогли без проблем, финансовых потерь и кранчей заменить западное ПО равноценным российским аналогом. 

Получилось настолько хорошо, что мы решили рассказать вам об этом. Как минимум, чтобы поделиться опытом, как максимум – вселить в скептиков уверенность в отечественном софте.

Поиск альтернативы

Для организации качественного и структурированного тестирования наших разработок мы, как и многие в России, использовали инструмент TestRail от немецкого холдинга Gurock. Это мощный пакет с простым интерфейсом и очень гибкой тарификацией. TestRail полностью нас устраивал, причин уходить с него не было. Но 31 марта Gurock закрыл все российские аккаунты, хранившие контент в облаке. 

Нам повезло больше, так как мы использовали не облако, а развернули TestRail на своих серверах. Пакет работал, но ни обновлений, ни поддержки, ни уверенности в завтрашнем дне больше не было. После этих по-немецки безапелляционных новостей, в первые несколько дней отдел тестирования был похож на известную гифку с Траволтой.

Собравшись с мыслями и юристами, мы сформировали список требований для поиска новой системы тестирования:

1. российское ПО с оплатой в рублях;

2. высокая скорость работы;

3. возможность импорта тестового покрытия;

4. интеграции со смежными IT-системами;

5. поддержка автотестов.

Изучив отечественные решения и собрав отзывы на них от коллег по индустрии, мы остановились на инструменте Test IT, который лучше других отвечал требованиям. Представители Test IT провели для нас демонстрацию работы системы и сделали сравнительный анализ с конкурентами, результаты которого полностью совпали с нашими собственными выводами.

Отдельное уважение за клиентоориентированность — всякие приятные плюшки, персональные скидки и оперативную поддержку от российских спецов, которые отлично понимают нас, а мы – их. Ребята сопровождали весь процесс внедрения и начала использования Test IT.

Мы начали пилотирование и развернули систему на наших серверах, коллеги из Test IT активно помогали в любых непонятных ситуациях — видно, что люди болеют за свой продукт. После развертывания, с учетом всех особенностей нашей серверной архитектуры и политик информационной безопасности, мы приступили к миграции тестового покрытия из бэкапа TestRail.

Миграция и эксплуатация

В процессе миграции из TestRail мы перевезли около 15 000 тестовых сценариев. Это были сценарии различной степени сложности – от простых чек-листов до сложных сценариев с большим количеством шагов, пред- и постусловиями и вложенными медиаданными.

Большинство данных тестовых сценариев удалось перевезти в автоматическом режиме путем экспорта в XML данных из TestRail с последующим их импортом в Test IT. Потребовалось только внести минимальные изменения в сам XML — сменить название поля <steps_case></steps_case> на <steps_separated></steps_separated> (для всех вхождений).

Но как не бывает фильмов без конфликта, так не бывает миграции совсем без проблем. Из-за устаревшей версии TestRail 5.5 мы не смогли перевезти медиаданные из тестов в автоматическом режиме. Метод API, который поддерживает автопереезд, появился в версии TestRail 5.7.

Второй трудностью стала часть тест-данных наших сценариев в TestRail, находившаяся в поле <expected></expected>. Эти данные тоже не удалось импортировать в Test IT автоматически.

Мы передали этот кейс команде Test IT, и там завели задачу на новую фичу (едва ли на такую реакцию можно было бы рассчитывать при контакте с европейскими компаниями). 

Нам нужно было решить проблему «прям щас», поэтому перенос мы закончили вручную. Весь процесс миграции прошел очень быстро —  исправление XML и автоматическая выгрузка из одной системы в другую заняли порядка двух часов. И это при нашем-то немалом объеме. А ручную работу с данными, которые не удалось перенести автоматически, мы решили совместить с их актуализацией и повышением качества тестового покрытия, которые давно запланировали. На всё про всё ушел месяц, но Test IT не имел к этому отношения.

Полет нормальный, тестирование отличное

После полного переезда мы погрузились в изучение возможностей Test IT: переработали часть наших сценариев в формат чек-листов, а часть перевели в формат общих шагов, что позволило сократить объемы тестов, не теряя в их глубине и качестве.

Поработав несколько месяцев с Test IT, мы начали сокращать избыточность объема тестовых сценариев. Оставшиеся проходят актуализацию и стандартизацию с помощью инструментов Test IT. Заодно мы интегрируем систему с нашей Jira, чтобы упростить создание баг-репортов для разработчиков — в принципе это всё умел и TestRail, но где теперь TestRail, а где теперь мы все.

Сейчас мы планируем интеграцию с нашими системами автоматизации, чтобы сделать Test IT единой точкой входа для управления, исполнения и анализа тестирования всех наших продуктов.

Эта история могла быть длиннее, если бы в процессе миграции с немецкого на российский сервис мы столкнулись с множеством препятствий и героически их преодолевали. Но героизм в этой истории проявила только поддержка Test IT, которая всегда была на связи и активно участвовала в нашем переезде. 

Главное достоинство Test IT для нас заключается в том, что этот инструмент смог полностью заменить TestRail без скидок и компромиссов. После простого переезда мы продолжили работать без изменений в процессах и их результативности.

За перспективы российской IT-отрасли мы теперь переживаем меньше — если очень захотеть, отечественный аналог зарубежного продукта найдется. И чтобы призвать к себе специалиста поддержки, не придется выписывать ему командировку из Германии и заказывать переводчика.