В декабре Контур принимал ежегодную городскую тест-сессию Екатеринбурга. На этот раз 38 тестировщиков 5 часов искали баги в новом мобильном приложении. Игорь Борисихин, специалист по тестированию и организатор мероприятия, поделился опытом, рассказал что нового для тест-сессии придумал Контур и как попасть на мероприятие в этом году.
Что такое тест-сессия
Тест-сессия — это соревнование для начинающих и продвинутых тестировщиков и людей неравнодушных к тестированию, аналог мастер-класса или воркшопа у разработчиков. На тест-сессии можно познакомиться с коллегами из других компаний, проверить на «прочность» новый для себя продукт, выяснить, кто лучше умеет находить баги. Сессии тестирования — традиционное мероприятие для Екатеринбурга. Какой была прошлая четвертая общегородская тест-сессии можно узнать в сообществе тестировщиков Екатеринбурга — UTC.
О формате
Классический формат тест-сессии предполагает тестирование веб-сервиса. У участника есть аналитика по продукту. Есть N часов на поиск багов. В конце жюри считают, кто сколько багов нашел. Лучшим — призы. К классическому формату тест-сессии Контур добавил:
Мобильное приложение.
Продуктом для тестирования было мобильное приложение Контур.Конференция для проведения внешних и внутренних конференций. Подробнее о приложении Контур.Конференция можно почитать в маркетах: Google Play, App Store. Вот как оно работает:
MindMap вместо аналитики.
Мы не стали грузить участников тоннами скучной аналитики по приложению, вместо этого у каждой команды была мэпка с особенностями его работы и свободное поле для исследования. Для мэпки использовали программу XMind.
Обучение.
По формату тест-сессии в процессе поиска багов участники изучали новые методики и техники тестирования мобильных приложений. Подробнее о пунктах 2 и 3 чуть дальше.
Об участниках
На тест-сессию собрались 38 тестировщиков из разных компаний Екатеринбурга: iRidium mobile, Ridero, Motorsport.com, Уральские Авиалинии, Точка, Адванта, Мерката, Экстрим про, Студия Флаг, BD Cube, ITM Холдинг, Digital Spectr, SkyDNS, Naumen и Контур.
Тестирование на основе опыта
Вместо того чтобы грузить тестировщиков аналитикой, мы предложили другой способ знакомства с приложением — тестирование на основе опыта.
Тестирование на основе опыта — эвристический эксплоринг в открытом многомерном пространстве. Если проще — исследуй приложение и делай выводы правильно или нет оно работает. Каждый участник тест-сессии уже бывал на конференциях, поэтому предметная область приложения ему знакома.
В основе тестирования на основе опыта лежат три методики:
- Угадывание ошибок — предположить ошибку и проверить, что её нет в приложении.
- Тестирование на основе чек-листа — придумать верхнеуровневые проверки для приложения, а конкретные тест-кейсы генерировать и проверять во время тестирования.
- Исследовательское тестирование — сравнение ожидаемого и полученного результата поведения приложения на основе собственного опыта.
Но не все участники тест-сессии имели опыт тестирования мобильных приложений.
Чтобы подсказывать направления исследования новичкам, поделиться опытом и специфическими кейсами с бывалыми тестировщиками, в течение тест-сессии мы рассказывали участникам об эвристиках мобильного тестирования.
Эвристики мобильного тестирования — это совокупность исследовательских методов, способствующих открытию ранее неизвестного.
О парном тестировании
На сессии участники тестировали в парах. Было составлено 19 команд. Объединяли команды и балансировали их по следующим критериям:
Опыт в тестировании.
Новичкам комфортнее с новичками. Опытному с опытным. Если новичок работает в паре с очень опытным и матерым тестером, в большинстве случаев, опытный доминирует и не дает раскрыться идеям начинающего коллеги. Если стаж участников более 4 лет, например, 5 и 10 лет, то можно смело объединять их в 1 команду.
Опыт в тестировании мобильных приложений.
Тест-сессия открытое мероприятие для тестировщиков с любой специализацией, поэтому хорошо, если в одну команду попадают тестировщики, занимающиеся не только мобильным тестированием.
Девайсы.
На тест-сессию люди приходили со своими гаджетами. Старались, чтобы устройства в команде были и iOS и Android.
Разнообразие общения.
Мы за общение! Коллеги из одной компании не могут быть в одной команде.
Парное тестирование помогает сосредоточиться на задаче, помогает тестировщику сохранять движение, пока другой делает перерыв. Пара поощряет каждого тестировщика объяснять и реализовывать идеи. Когда тестировщик объясняет свои мысли другому, то сам процесс формулирования порождает новые идеи и кейсы. Парное тестирование — отличный способ прокачать навыки коммуникации и научиться эффективно взаимодействовать с коллегой. Для кого-то это был первый опыт тестирования в парах, для кого-то — нет. Надеемся, что участники захотят применить такой метод в своей работе.
О багтрекере
Системой для багтрекинга был традиционный для Контура Youtrack. Многие тестировщики первый раз работали с Youtrack, поэтому мы подготовили короткую видеоинструкцию о том, как работать с системой и как заводить баги.
О системе оценки багов
По плану побеждали 5 команд, набравшие большее количество баллов. Приведем пример системы оценки.
В багтрекере можно было создать две сущности.
Task — предложения по улучшению работы системы. Таски оценивались в 1 балл.
Bug — дефект в продукте. У багов был разный приоритет: crash, major, minor.
К багам с приоритетом crash относились бесконечная загрузка, зависание, потеря данных (не сохраняются введенные или отредактированные данные), блокирование основных функций девайса. Такие баги оценивались в 20 баллов.
К major относились нерабочие кнопки или ссылки, не редактируемые поля, неожиданный результат выполнения, съехавшая верстка (мешающая работе), нарушение безопасности данных. Такие баги оценивались в 10 баллов.
К minor относились опечатки, съехавшая верстка (не мешающая работе), некорректная анимация, не информативные подсказки, нестабильно воспроизводящаяся проблема. Такие баги оценивались в 5 баллов.
О сленге
Участники получили особенности сленга для грамотных багрепортов в мобильных приложениях. Небольшой пример:
Тап — краткое прикосновение к сенсорному экрану с последующим отстранением.
Дабл-тап — два коротких прикосновения пальцем, сродни дабл-клику.
Тач — прикосновение длиннее, чем Тап.
Тач-энд-холд — прикоснуться и держать. Прикосновение длиннее, чем Тач.
Свайп (Слайд) — продолжительное скольжение пальцем по экрану.
Тост — всплывающее сообщение на поверхности окна приложения.
Тогл — переключатель состояния.
Тайтл — заголовок название экрана.
Стейт — состояние, ориентация устройства (портретная или ландшафтная).
Теперь вы тоже вспомнили, чем тап отличается от свайпа, тогл от тоста, а тайтл от стейта.
О призах
По итогам тест-сессии мы выбирали 5 команд победителей, набравших наибольшее количество баллов. Контур часто проводит соревнования по спортивному программированию, поэтому мы выбрали проверенную схему и вручать призы как на ACM ICPC. На общем столе с призами команда, набравшая большее количество баллов, первая выбирает призы, вторая по баллам команда — выбирает вторая и т.д.
Кто лучше всех тестирует
Пока жюри подводило итоги, участники могли пообщаться с коллегами, перекусить пиццей, посетить экскурсию по офису или провести время в гейм-зоне: поиграть в телефонный дарт, 100 к 1 для тестировщиков, приставки, кикер.
Всего участники сделали 446 репортов, из которых 349 с типом bug и 97 — task.
Жюри приняло 278 и отклонило 140 репортов. Отклоняли непонятно описанные, невоспроизводимые или повторяющиеся в рамках одной команды баги.
Из принятых репортов 215 оказались багами. Из них 118 багов имеют приоритет minor, 80 — major и 17 — crash.
Подчеркну, что это статистика по всем командам. В 215 репортах много повторяющихся между командами или девайсозависимых багов. Поэтому число уникальных задач, которые перекочевали в багтрекер команды, разрабатывающей приложение, составило 23.
Все фото с тест-сессии можно посмотреть здесь.
TestHackathonChallenge
Мы попробовали новую для себя тему. И сделали тест-сессию по мобильным приложениям. Ребятам понравилось, значит продолжим и в 2018 году, но добавим новизны. Следующая тест-сессия пройдет в конце года, анонс появится в нашем блоге — не пропустите!