Внедрение искусственного интеллекта в процессы тестирования программного обеспечения — это амбициозный и сложный проект, пилот которого мы запустили в прошлом году. Я Марина Каприз, заместитель руководителя блока качества в РСХБ-Интех. В этой статье расскажу, как был организован процесс внедрения ИИ в тестирование, с какими проблемами мы столкнулись и как их преодолели.

«Спросите у инопланетян»

Идея использовать ИИ в регрессионном тестировании возникла у меня в 2021 году после знакомства с успешным опытом Национального расчетного депозитария Московской биржи на одной из ИТ-конференций: они представили первые результаты внедрения ИИ в сопровождении через 4 года после старта проекта. Выглядело привлекательно. Но я тогда подумала, что внедрение ИИ может быть слишком долгосрочной задачей, и оставила эту мысль. В 2023 году, когда технологии ИИ стали более доступными, мы решились на реализацию этого проекта.

В IT-тестировании внедрением ИИ на тот момент никто не занимался. Это было вызовом, но мы решили рискнуть. Однако в воздухе повис вопрос «Как же мы будем это делать, если никто не знает, как делать?», кто-то пошутил и сказал, что надо спросить у инопланетян. А это мысль! Итак, идею нужно было сделать реальной.

Одной из ключевых проблем на начальном этапе стало отсутствие готовых решений и экспертов на рынке. Мои первоначальные поиски не привели к успеху.

Наши программисты скептически относились к возможностям ИИ в автоматизации тестирования, так же как и руководители направлений. Тогда на рынке программисты только-только начали пробовать делать валидацию кода с помощью GPT, их вердикт — «ИИ не справился с этой задачей, разочарованы». А российского решения не было в принципе. Яндекс только анонсировал свою нейросеть, Сбер заявил, что к концу года они сделают Giga-чат. А нам нужно было уже сейчас.

Поэтому «продать» автотестеру то, во что никто не верил, было сложной задачей. Если говорить откровенно, четкого понимания, в какой части процесса применим ИИ, тоже не было. Было большое желание автоматизировать тестирование при помощи ИИ среди первых. Мы точно знали, что будет нескучно — «Пойдём туда, не знаем куда, принесём то, не знаем что. Но ты не переживай, обязательно получится». Когда один автотестер из команды в 25 человек все же загорелся, мы начали работу.

Первый этап работы — изучение определения ИИ, методов ИИ, возможностей ИИ.
Из всей имеющейся информации, включая иностранные, мы выделили, что существует два метода ИИ: генеративный ИИ и ML (Machine Learning).

Второй этап – нарисовали процесс автоматизации «as is» и разложили его на шаги. Затем начали мозгоштурм по применимости конкретного метода ИИ к каждому шагу процесса. Нарисовали архитектурную схему реализации, за ней — сетевую. Расписали задачи, оценили примерные объемы работ, разложили по срокам. Отрезали список задач, выполнение которых, по нашему мнению, заняло бы больше года. Получили нужное количество FTE (Full-Time Equivalent).

На третьем этапе оценили объем необходимого оборудования, но наше представление о нужном объеме сильно отставало от реальности. Для нашего проекта требовалось мощное оборудование, которое надо было закупить со сроком «вчера». Можно было весь наш план зачеркивать и начать заново. Тут нам помогли коллеги из Лаборатории ИИ в банке. Они развивают технологию для банка, их плотный график расписан на 5 лет вперед под нужды бизнеса. Но для нас сделали исключение, так как мы обещали прийти со своими ресурсами. К тому же мы стали бы пользоваться доступом к сервису генеративного ИИ вместе.

Пролетели скопление метеоритов

Теперь Лаборатория ИИ по нашим требованиям обещала реализовать автоматизацию этапа актуализации регрессионной тестовой модели методом ML. Лед тронулся. Первая часть нашего плана стала понятной и реализуемой. Нужно было сосредоточиться на том, как внедрять генеративный ИИ.

Очертили круг проблем. Самая глобальная проблема — в информационной безопасности (ИБ). Как организовать передачу данных во внешний контур в безопасном режиме? Если вы работаете в банке, то знаете, что это самое сложное.

Мы организовали цикл встреч с коллегами из департамента ИБ. Результат был отрицательный. Но нам удалось придумать компромиссное решение — организовать доступ к ИИ-сервисам через защищенный контур: решили запускать проект через собственную микросервисную платформу App.Farm. Это было выходом из ситуации. Перерисовали схему, согласовали ее с коллегами департамента ИБ, скорректировали план.

Концепт прошёл внутренние комитеты, план, ресурсы — всё было готово.
И тут… уволился тот самый единственный автотестер, которому я хотела доверить полноценное лидерство данного направления.

Две недели поиска на НН, собеседования, нулевой результат. На рынке были специалисты, ориентированные на Machine Learning, ни слова не слышавшие про тестирование. Или лиды тестирования, которые не особо интересовались ИИ.

Почти отчаявшись, пошла на Хабр. Там мне попалась интересная статья, правда, про нагрузочное тестирование. «Какое отношение это имеет к нашей теме», — подумали сейчас вы. Я тоже так сначала подумала, пока не углубилась и не посмотрела, что автор не только глубоко знал нагрузочное тестирование, но и обладал солидным опытом в автоматизации тестирования. Логично, что для него не составило бы труда разобраться в технологии ИИ. Связавшись с ним я узнала, что он понимает технологию ИИ уже на достаточно продвинутом уровне и принимал участие в соответствующих хакатонах. Я решила заполучить его в команду любой ценой — предложила ему лидировать процесс внедрения ИИ в тестирование в нашей команде. Он согласился. Кстати, на днях выйдет его статья «Тестирование с интеллектом: Пилотный проект внедрения ИИ в РСХБ-Интех», следите за нашими публикациями (он предложит методики разработки API и UI‑автотестов, основанные на ИИ).

С новым лидером продолжили проект: нужно было собрать команду. Оставалось 6 месяцев.

«Лидеры», «Вдохновляющие», «Аналитики» и «Осторожные»

Итак перед нами был очередной вызов: где нанять команду, если никого подходящего на рынке нет? На рынке практически не было гибридных специалистов с компетенцией тестирования и компетенцией по искусственному интеллекту. И мы решили, что нужно часть команды составить из специалистов по ИИ, а часть — из специалистов по автотестированию. И это стало хорошей стратегией.

При подборе команды мы обращали особое внимание на несколько ключевых критериев:

• Мотивацию на результат. Для работы в инновационном проекте важно, чтобы сотрудники были нацелены на достижение конкретных результатов, никак иначе.

• Логическое мышление и математические способности. Поскольку ИИ — это в первую очередь математика, эти навыки были критически важны.

• Обучаемость. Команде предстояло осваивать как тестирование, так и ИИ‑технологии, поэтому способность быстро учиться была в списке требований к кандидатам.

• Интерес к предметной области. Я обращала внимание на то, насколько кандидаты увлечены темой ИИ и следят за ее развитием.

Еще одним важным аспектом было формирование сбалансированной команды с разными типами личности: «красные» (пробивные лидеры), «желтые» (вдохновляющие), «синие» (аналитики) и «зеленые» (осторожные). В команде должны быть все эти типы. Красный и желтый в команде уже были, поэтому мы подобрали оставшиеся «цвета». Это позволило эффективно решать различные задачи проекта.

С помощью знаний лидера нам удалось «переопылить» команду недостающими знаниями, и они успешно закрыли задачи нашего плана по внедрению ИИ в тестирование. А Лаборатория искусственного интеллекта сделала нам инструмент, который позволяет актуализировать тестовые сценарии.

Как сработала команда? 50% регрессионной модели было автоматизировано с помощью ИИ-решений. Это позволило сократить трудозатраты и повысить скорость реагирования на изменения в тестируемых системах.

Смотрим в будущее

Нужно идти развивать ИИ дальше.

Поначалу у нас было некое разочарование, поскольку мы убедились, что ИИ может выполнять только компетенцию джунов. По сути это дорого и не сильно оправдано, хотя, судя по последним новостям, сервис генеративного ИИ стал намного дешевле, чем в начале прошлого года.

Но сама цель в части использовании ИИ для компетенции джунов все же не сильно интересна. Мы поставили себе новую цель — чтобы ИИ выполнял компетенцию мидлов и сеньоров. А для этого мы планируем внедрить векторную базу данных, которая позволит хранить смыслы нашей деятельности. Лаборатория искусственного интеллекта банка развернет в среде RAISA для нас локальный GPT, который будет использовать данные нашей векторной базы данных, и мы обучим локальный ИИ под наши нужды. Это позволит снизить зависимость от подрядчика сервиса. И появится точный и хороший инструмент, который поможет решить наши конкретные цели в автотестировании.

Возможно, в горизонте 5 лет мы сможем вывести какой‑то коммерческий продукт для других компаний. Но это уже точно другая история.

Будущее за теми, кто обладает компетенциями и в тестировании, и в ИИ. Для этого мы расширили обучающие материалы нашей школы тестирования К.О.Т. в части промпт‑инжиниринга.

Успех внедрения ИИ в тестирование во многом зависит от грамотного менеджмента и умения собрать сильную команду, готовую к решению сложных и неоднозначных задач. Надеемся, что наш опыт будет полезен другим ИТ‑компаниям, которые стремятся повысить эффективность своих процессов с помощью передовых технологий. Глаза боятся, а руки делают. Обошлись, кстати, без инопланетян.