В цифровом пространстве важно развиваться, улучшать свой продукт и привлекать аудиторию, что зачастую требует немалых вложений. В связи с этим особую важность приобретает такая культура и организация работы в компании, при которой подобные вложения будут приносить максимальную отдачу, а результаты - использованы наиболее эффективно. В этом поможет культура тестирования, или, как ее иначе называют, Test & Learn. В этой статье я расскажу, на каких принципах основывается эта культура, почему стоит к ней присмотреться и как развивать ее в своей компании.
Test & Learn: что это такое
Test & Learn — это особый вид культуры и организации работы в компании. Такая культура помогает на основе данных и результатов тестов принимать эффективные решения, совершенствовать маркетинговую и продуктовую стратегию. Благодаря тестированиям бизнес регулярно получает информацию и развивается, поэтому в идеале они должны стать неотъемлемой частью рабочего процесса.
Если кратко, работает это так: вы выдвигаете гипотезы, тестируете их и с помощью результатов улучшаете продукт. Именно этих принципов придерживаются многие крупные компании: Amazon, Microsoft, Facebook, Google. Например, сервис Booking.com проводит более чем 25 000 тестов в год1. А в команде Shutterstock тестируют всё: начиная от дизайна до поисковых алгоритмов и функций распознавания языка2.
Зачем внедрять культуру Test & Learn
Основное преимущество Test & Learn — возможность проверить на практике, что и как будет работать. Результаты тестов — это источник полезной информации, которая двигает бизнес во всех аспектах: продуктовом, маркетинговом, в части общебизнесовых решений.
Культура Test & Learn хороша тем, что вы не стараетесь угадать, какой вариант сработает лучше, и не ориентируетесь на чье-либо мнение, а получаете четкий ответ на свой вопрос. Это помогает сэкономить время и зачастую деньги на бесконечных пробах и ошибках.
Как говорил Марк Окерстром, бывший генеральный директор американской глобальной туристической компании Expedia Group, «благодаря экспериментам нам не нужно угадывать, чего хотят клиенты; у нас есть возможность регулярно проводить массовые опросы, чтобы они сами сказали нам, чего хотят»1.
Основные принципы культуры Test & Learn
Основным отличием культуры Test & Learn от обыкновенного регулярного тестирования - является внедрение в работу компании нескольких основных принципов. Именно эти принципы и помогают выстроить слаженную стратегию вокруг процессов тестирования и максимизировать их отдачу.
-
Демократизация и доступность экспериментов. Суть этого принципа заключается в устранении бюрократических преград для проведения экспериментов. Многочисленные согласования экспериментов, необходимость детальных и, нередко, невыполнимых, расчетов по прогнозу результатов неэффективно растрачивают ресурсы компании. Такие ситуации, к сожалению, не редкость. Даже на собственном опыте я сталкивалась со случаями в компаниях-партнерах, когда для согласования эксперимента и получения инженерного ресурса одного-двух сотрудников на несколько часов, десятки сотрудников в течение нескольких недель могли готовить расчеты и прогнозы, утверждая их на нескольких встречах. Стоит ли говорить о малой эффективности такой системы.
Гораздо более эффективной будет система, где подобные бюрократические преграды будут минимизированы, и где каждый сотрудник, имеющий достаточно четкое представление о необходимости и целях проведения эксперимента - сможет его реализовать. Например, так работает Booking.com, где каждый сотрудник может провести эксперимент, не спрашивая об этом у руководства1. Однако, чтобы сделать такую демократизацию наиболее эффективной
и не перейти к анархии, имеет смысл подумать над форматами, делающими процедуру тестирования структурированной и универсально понятной. Хорошим вариантом могут стать стандартные шаблоны. Перед проведением теста в такой специальной форме можно указать название эксперимента, его цель, гипотезу, предыдущие эксперименты и любую другую известную информацию об объекте исследования, предполагаемое количество попыток и последующие шаги при каждом из результатов. -
Поощрение интереса сотрудников. Чем больше в компании экспериментируют, тем лучше для нее. Важен любой результат, даже если он не совпал с первоначальными ожиданиями. Не стоит расценивать это как неудачу: главное — учиться на экспериментах. В конце концов, именно поэтому эффективная культура тестирования называется «Test & Learn». Поощряйте интерес и любопытство ваших сотрудников, это значительно может повысить их вовлеченность в процессы, а также стимулирует генерацию новых идей.
Также эффективный способ привлечь внимание сотрудников к инициативе — внедрение элементов геймификации. Например, можно предложить коллегам предсказать исход эксперимента: это отличный способ их заинтересовать.
Принятие решений на основе данных. Именно данные должны стоять на первом месте. В эффективной культуре тестирования результаты экспериментов преобладают над мнениями — даже если это мнение генерального директора. Например, если генеральный директор настаивает на том, что промо-стратегия А будет наиболее успешной, а данные эксперимента говорят в пользу стратегии B, - выбор стоит делать именно на основе данных эксперимента.
Новое видение стратегического управления. С переходом к культуре Test & Learn меняются и ключевые задачи руководства. Вместо прямого и регулярного вовлечения в тактические задачи, на первый план выходит формирование стратегии. К примеру, нужно поставить перед компанией общую стратегическую цель и интегрировать возможности тестирования в процессы, работающие на достижение этой цели.
Наличие необходимых инструментов. Речь не только о ПО для А/В-тестирования. В распоряжении компании должен быть набор различных инструментов: аналитическая панель, шаблоны отчетов, пакет визуализации данных, ПО для проведения опросов. Также помогут инструменты управления проектами: Jira, Trello, Basecamp.
Мы рассмотрели общие черты и принципы культуры Test & Learn, теперь поговорим о некоторых практических рекомендациях по запуску тестирования.
Как тестировать эффективно
1. Сформулировать гипотезу
Культура Test & Learn заключается в тестировании гипотез — предположений, которые в ходе эксперимента могут быть доказаны или опровергнуты. Основные требования к гипотезе — четкость, проверяемость, логичность и опора на данные.
Важно правильно сформулировать гипотезу: от этого зависит, какой получится результат и как он будет оценен. Необходимо указать, что конкретно проверяется и как именно. Когда эксперимент завершится, должно быть ясно, доказана гипотеза или опровергнута.
2. Исследовать конкретную метрику
При тестировании важно сконцентрироваться на одной метрике. Такая метрика должна соответствовать вопросу, заданному в гипотезе. Например, вы хотите понять, какой из промо креативов лучше работает на оптимизацию стоимости установки приложения (CPI). В этом случае, целевой метрикой эксперимента будет цена за установку, поэтому по итогам эксперимента не следует смещать фокус на иные метрики из этой же категории, например, такие “предшествующие” метрики как стоимость клика или показа.
Тем не менее, экспериментируя с основной метрикой, полезно понаблюдать и за метриками, которые дают информацию о других аспектах работы продукта или процесса. Они помогут прийти к важным инсайтам и посмотреть на вопрос под другим углом, а также подтвердить целесообразность итогового результата. Так, в примере выше, ключевой является стоимостная метрика - цена за установку; в этом случае интересно будет понаблюдать за метриками вовлеченности новых пользователей - например, за длиной сессий, или за метриками удержания новых пользователей, например, показателем оттока.
3. Собрать экспертную команду
Команда играет важную роль в процессе тестирования. Она может быть небольшой: 3-4 сотрудника, но важно вовлечь в тестирование людей с разной экспертизой. Идеальный состав такой команды — менеджер продукта, аналитик и маркетолог.
4. Использовать результаты
Результаты тестирования будут полезны, даже если они не оправдали первоначальных ожиданий. Всегда можно предложить другую гипотезу, а предыдущие результаты взять за основу дальнейших экспериментов. Если же гипотеза подтвердилась, и результат устраивает сотрудника, следующий шаг — внести корректировки в продукт или стратегию.
Эффективным является создание базы исследований с возможностью поиска и внесение туда результатов. Такая база данных по экспериментам с их описанием, количеством попыток и результатами поможет коллегам быть в курсе изменений, эффективно формулировать свои гипотезы и развивать культуру тестирования, а также сравнивать результаты тестирований через время.
Отдельное внимание стоит уделить информированию сотрудников из разных департаментов о проводимых тестированиях и их результатах. Часто случается так, что подразделения внутри компании не пересекаются. Это может привести к недопониманию в работе и коммуникации, снизить вовлеченность сотрудников в процессы и ограничить возможность появления полезных идей и предложений. Поэтому важно рассказывать о результатах другим отделам, делиться полученными знаниями на встречах, в корпоративных изданиях и рассылках.
Подводя итоги, внедрение культуры тестирования дает компании следующие возможности:
Преимущества Test & Learn
возможность проверить идеи на практике и получить полезную информацию, которая помогает развивать бизнес;
возможность получить четкие ответы на свои вопросы, при этом сэкономить время и деньги на потенциальных ошибках;
дополнительная мотивация для сотрудников: можно не просто строить абстрактные гипотезы, а реализовывать большое количество идей;
возможность накопить информационную базу, которой сотрудники смогут пользоваться в будущем;
в ходе экспериментов повышается информированность сотрудников о продукте, а значит и их вовлеченность.
Как мы видим, культура Test & Learn — неотъемлемый способ получения данных, которые помогают бизнесу идти вперед. Она не только позволяет принимать эффективные решения и улучшать продукт или сервис, но и экономит время бюджет компании, а также повышает информированность и вовлеченность ее сотрудников.
Источники:
1Thomke, Stefan. Building a Culture of Experimentation. Harvard Business Review, March-April 2020
2Jenkins, Wyatt. A/B Testing and the Benefits of an Experimentation Culture. Harvard Business Review, February 2014
3 Acquitain, 7 ways to embed a test and learn culture in your organisation
4 Acquitain, 10 reasons why test and learn can benefit your organisation