Привет, Хабр! В мобильной экосистеме Huawei есть несколько инструментов для отладки и проверки приложений: можно запускать автоматические тесты в облаке или дистанционно на устройствах Huawei, а также работать с группами пользователей. На облачной платформе DigiX Lab разработчики могут проверять стабильность работы, производительность, уровень энергопотребления и совместимость своих приложений с устройствами нашего бренда в режиме эмулятора. Сервисы A/B- и открытых тестов помогают понять реакцию аудитории и получить обратную связь. Под катом я расскажу о возможностях этих сервисов и о том, как начать в них работать. 

Из чего состоит DigiX Lab

DigiX Lab — лаборатория в среде Huawei Developer. В него входят 2 сервиса: тестирования и отладки.

Сервис облачного тестирования позволяет протестировать совместимость, стабильность, производительность и энергопотребление приложения с помощью эмуляторов устройств. После проведения тестов разработчик получает результаты в виде подробного отчёта. Благодаря этому он может обнаружить любые проблемы с приложением: сбои, неожиданные закрытия, повышенное энергопотребление, ошибки и др.

Сервис облачной отладки (дебаггинга) позволяет выявить проблемы с работой приложений на конкретных устройствах. После подтверждения личности можно 24 часа работать бесплатно с любыми реальными устройствами — на одну модель предоставляется до 2 часов работы. Когда 24 часа истекут, можно подать заявку на продление работы на 4 или 8 часов. Число заявок не ограничивается. 

Как начать работать с DigiX Lab?

Зарегистрироваться в сервисе DigiX Lab может как корпоративный, так и индивидуальный разработчик. Индивидуальному разработчику необходимо будет загрузить документ, удостоверяющий личность, и дождаться его проверки. Корпоративному разработчику для проверки данных понадобится предоставить лицензию на ведение коммерческой деятельности, номер DUNS (девятизначный международно признанный идентификатор компаний), адрес компании.

Корпоративные разработчики получают доступ к большему количеству разделов, например к службе платежей, Huawei Ability Gallery, AppTouch, платному продвижению и подаркам, управлению комментариями, AppAdvisor, HiAI, HMS Core Ads Kit. У индивидуальных разработчиков доступа в эти разделы не будет. 

Типы облачных тестов

В DigiX Lab можно запускать 4 вида тестов: на совместимость, стабильность работы, производительность и энергопотребление.

Тестирование совместимости займёт около 60 минут. Тест предоставит данные о первой и повторной установке приложения, его удалении и возникающих при этом сбоях и ошибках, например отсутствии ответа (ANR) или неожиданном закрытии приложения.

Этот режим позволяет отфильтровать устройства по моделям и версиям операционной системы. Можно выбрать как одну, так и несколько моделей.

Тестирование стабильности позволит отследить сбои в работе приложения, например инциденты с «зависанием» — отсутствием ответа (ANR), сбоями платформы — native crash — и утечкой ресурсов. Из данных обо всех инцидентах система сформирует отчёт. Если количество сбоев будет больше 10, то тестирование прошло неуспешно. Длительность теста вы можете регулировать на своё усмотрение.

При тестировании стабильности можно выбрать длительность тестирования, а также отобрать нужные модели смартфонов и версии операционных систем. Одновременно можно тестировать только одну модель. Для тестирования другой модели необходимо создать новый тест. По окончании тестирования можно скачать отчёт или посмотреть его краткую версию. Краткое отчёт содержит данные о проценте прохождения, распределении ошибок и подробные данные тестирования.

Отчёт тестирования стабильности содержит журналы Logcat, скриншоты хода тестирования, зарегистрированные данные производительности, включая длительность запуска, загрузку процессора, использование памяти, потребление трафика и электроэнергии.

Тестирование производительности займёт около 60 минут. Тест предоставляет данные о производительности приложения, такие как загрузка процессора, использование памяти, энергопотребление, использование трафика и др., а также позволяет провести глубокий анализ с целью выявления проблем производительности приложения. Для тестирования производительности также можно выбрать одно или несколько устройств.

Тестирование энергопотребления займёт около 100 минут. Тест предоставляет данные о потребляемой мощности и демонстрирует использование ресурсов, например длительность блокировки (wakelock), использование экрана, использование Wi-Fi и аудио, а также выявляет закономерности поведения.

Во время тестирования интеллектуальный алгоритм обхода делает скриншоты, чтобы облегчить обнаружение проблем. Некоторые показатели в результате теста могут отличаться в зависимости от категории приложения.

Как запустить тесты и посмотреть их результаты

После подтверждения аккаунта вам откроется доступ к облачным сервисам тестирования. В DigiX Lab доступно более 2 000 моделей устройств, и эта библиотека постоянно пополняется. Автоматическое тестирование ведётся на эмуляторах мобильных телефонов Huawei.

Чтобы провести тестирование, необходимо загрузить APK, выбрать модели устройств и версию операционной системы. Количество устройств для запуска теста неограниченно, но мы рекомендуем выбирать до 9 моделей. Иначе своей очереди придётся ждать слишком долго. Помните, что для теста стабильности можно выбрать только одно устройство.

Иногда ожидание задачи может занять слишком много времени. Это означает, что одну из выбранных моделей использует слишком много разработчиков одновременно. Также система может заблокировать тест — это означает, что выбранное устройство удалено. В этом случае необходимо выбрать другое устройство и запустить тест заново.

Краткую версию отчёта можно посмотреть без скачивания. Такой отчёт содержит данные о проценте прохождения, распределении ошибок и подробные данные тестирования.

Локализация ошибок с помощью сервиса дебаггинга

Сервис дебаггинга позволяет подобрать подходящие под запрос модели гаджетов для проверки работы приложения в режиме реального времени. Вы получаете доступ к реальным устройствам бренда и можете протестировать работу своего приложения на любом из них.

Этот сервис позволяет выбрать устройство, на котором будет проходить тестирование, и версию операционной системы, EMUI и длительность отладки: 30 минут, 1 час или 2 часа. Одновременно с одного Huawei ID дебаггинг можно проводить на 2 реальных устройствах. В любой момент отладки можно просмотреть подробную информацию об устройстве, на котором проводите дебаггинг.

На дебаггинг одного устройства вам даётся 2 часа. Всего каждый пользователь получает 24 часа бесплатного использования сервиса. Когда у пользователя остаётся менее 2 часов, он может подать заявку на продление на 4 или 8 часов. Количество таких заявок не ограничивается. Отчёты в журнале можно фильтровать по типу, а данные можно смотреть онлайн или экспортировать.

Проверка реакции аудитории с помощью А/B-тестов

Сервис А/B-тестов позволяет проводить тесты на 2 разных группах пользователей, которые получают разные варианты тестируемого продукта и отмечают свою реакцию. Его можно использовать для запуска нескольких тестов под разные аудитории или сравнения реакции пользователей на варианты дизайна, контента, функциональности.

Для того чтобы запустить A/B-тесты, необходимо сначала интегрировать Huawei Analytics Kit, затем в AppGallery Connect найти нужный проект и на странице с конфигураций A/B-тестов создать эксперимент. В нём необходимо указать условия, продолжительность и ключевые показатели тестирования и предоставить сервису доступ к службам (удалённой настройки, Push Kit и Analytics Kit), необходимым для его проведения.

Данные эксперимента и содержание отчёта зависят от выбранных вами индикаторов отслеживания. Обычно данные отчёта можно просмотреть уже на следующий день после публикации эксперимента. Но если в качестве индикатора отслеживания выбраны «ежедневная продолжительность взаимодействия» или «уровень удержания через 15 или более дней», то для создания отчётов потребуется больше времени.

Открытое тестирование на группах пользователей

Этот сервис работает пока в бета-режиме. Он позволяет предоставить доступ к своему приложению первой тестовой группе пользователей и получить обратную связь. Чтобы запустить «открытое тестирование», необходимо отправить электронное письмо на адрес agconnect@huawei.com для заявки.

После того как вашу заявку утвердят, вы сможете создать список тестовых пользователей в AppGallery Connect, настроить его, загрузить пакет приложения и разослать приглашения выбранным пользователям. После того как пользователь согласится принять участие в открытом тестировании, он сможет загрузить тестовую версию вашего приложения в AppGallery. После этого пользователь сможет напрямую сообщать вам о проблемах, обнаруженных в приложении.

На этом пока всё. Если у вас есть вопросы по тестированию и отладке приложений на платформе HMS, задавайте в комментариях.