Большинство статей и выступлений про качественные исследования посвящены методам сбора информации. Но очарование качественных методов в маркетинговых и UX-исследованиях исчезает на этапе анализа и представления результатов. Эту непростую задачу исследователи решают по-разному. Иногда ради быстрого результата, или по незнанию они нарушают методологию качественных исследований, отчего работа выглядит непрофессионально и не вызывает доверия.

В статье рассмотрим один из методов качественного анализа – Метод тематических сетей:

— обсудим частые ошибки качественных исследований и вспомним «кальсонных гномов»;
— разберем пошаговый алгоритм метода и его возможные ловушки;
— применим метод к анализу ИТ-продукта и нарисуем тематическую карту.

Статья будет интересна:

— исследователям;
— менеджерам продуктов и маркетологам;
— тем, кто использует в работе результаты исследований;
— тем, кто давно искал удобный метод структурирования нецифровой информации.

Статья продолжает тему исследований пользователей. В этот раз отступим от анкетного исследования (статья 1 и статья 2), вернемся к анализу потребностей пользователей (статья 3) и обсудим качественные методы обработки результатов исследования.

За что исследователи любят качественные методы? За необязательную репрезентативность выборки, отсутствие статистики и прочую свободу действий. Свобода на деле оказывается мнимой, но заметить это можно, только если относиться к методологии качественных исследований всерьез. А без такого отношения и под влиянием устоявшейся ориентации на позитивизм качественные методы в бизнес-исследованиях становятся «ленивыми» количественными, которым будто разрешили «не быть такими строгими».

Чаще всего ошибки появляются на этапе выбора методологии и на этапе обработки и представления результатов. Выбору методологии исследований я планирую посвятить отдельные статьи. А вот две основные ошибки обработки результатов качественных исследований:

1. Результаты качественных исследований представляются, как в презентации «кальсонных гномов» из «Южного парка». Подробно обосновывается первый этап – качественный метод сбора данных, а потом, минуя обсуждение результатов, даются выводы и рекомендации. Такие отчеты не содержат промежуточные обобщенные данные, и вычисления исследователей остаются для заказчика в «черном ящике». Заказчики экономят время и, при большом доверии к исследователям, рады получить только итоговые выводы. Но если посмотреть, сколько информации теряется и искажается при такой интуитивной обработке, и заказчики, и исследователи не будут рады результатам.

2. Исследователи ссылаются на высказывания и действия участников исследования, распространяют результаты на всех пользователей и пытаются прогнозировать их поведение (это допустимо только для количественных методов). Иногда используется статистика: описательная (подсчет частот и средних, таблицы сопряженности) и индуктивная (корреляционный, факторный анализ и др.). Действительно, эти методы допустимо использовать при обработке качественных данных в социальных науках, но в маркетинговых исследованиях они не могут уберечь исследователя и заказчика от смещения внимания с качественных данных на количественные результаты, с понимания на предсказание.

Даже в отчетах опытных UX-исследователей встречается этот легкий переход от качественных методов сбора информации к их количественной интерпретации. При такой подаче результатов читатель интуитивно обобщает выводы, или подсчитывает проценты: «Из 6 участников UX-тестирования 3 не смогли найти кнопку заказа – Ясно. Половина наших пользователей до нас не доходит!», «60% пользователей (3 человека из 5) выбрали кнопку зеленого цвета. – Нужно менять палитру сайта, раз большинству нравится зеленый». В итоге получаются смехотворные результаты.

«Не все, что важно, может быть измерено, не все, что может быть измерено, важно» (А. Эйнштейн).

Основной задачей качественных исследований остается описание феноменологии принятия решений пользователями и понимание их эмоций, мотивов и путей рассуждения (когниций, предубеждений, стереотипов, и т.д.), а не подсчет действий отдельных участников эксперимента. Значит, и метод анализа результатов качественного исследования принесет больше пользы, если будет сосредоточен на понимании, передаче смыслов и описании вариантов оценки ситуации пользователем, а не на подсчете проделанных им операций.

Метод тематических сетей (Thematic networks) – это метод упорядочивания результатов качественного исследования. Основная цель тематического анализа – выделение основных тем, содержащихся в качественных данных, их группировка и отображение, удобное для понимания исследователю и читателю (заказчику исследования). Результатом таких группировок становится паутиноподобная сеть, в которой отражаются все выделенные темы и связи между ними.

Так выглядит классическая структура тематической сети.

Нельзя однозначно отследить отделение тематического анализа, как самостоятельного метода, так как этапы, принципы и общая структура угадываются и в других качественных методах (например, методе обоснованной теории, качественного анализа и других). Так что, метод тематических сетей – не принципиально новый. Но его применение обосновано, удобно и легко автоматизируется в программах для качественных исследований, так называемых Computer Assisted/Aided Qualitative Data AnalysiS (CAQDAS). Например, в программе ATLAS.ti.

Важно, что в цели тематического анализа не входит определение причин аргументации. Анализ тематических сетей не подразумевает также подсчет частоты встречаемости разных тем, или их комбинаторику. Хотя частая встречаемость темы в текстах считается положительным обстоятельством, даже при одном упоминании темы в одном тексте, она включается в анализ на общих правах. Основная задача тематического анализа – разбиение текстов на осмысленные отрезки и выделение в них «рационализаций» (когнитивных схем, интерпретаций, обоснований, возражений и др.). Другими словами, все найденные темы, независимо от частоты их появления в текстах и авторства, одинаково важны для анализа.

Метод тематических сетей подходит для работы с самыми разными данными:

Метод тематических сетей хорошо проявляет себя, когда исследователь встречается с неожиданными, или скрытыми паттернами мышления (неосознаваемыми предубеждениями, тайными желаниями, и др.). В таком анализе удается не только выделить основных «когнитивных игроков», но и дать им интерпретацию и даже описать их типичные маски в обыденной речи, или поведении пользователей.

При обычном тестировании продукта, когда реакции пользователей, в основном, предсказуемы и ожидаемы, метод тематических сетей не приносит новых открытий, но помогает доказать и качественно структурировать основные темы, чтобы потом на их основе наметить конкретные действия по доработке, или продвижению продукта.

Надежность метода тематических сетей находится под постоянным вниманием критиков, так как во многом зависит от опыта и выбранной стратегии кодировщика, проводящего анализ. Чтобы повысить надежность метода, рекомендуется параллельно обрабатывать данные нескольким кодировщикам. Если этого не удается достичь, исследователю рекомендуется регулярно возвращаться к оригинальным текстам и сравнивать их с выделенными кодами и темами.

Для удобства рассмотрим использование метода на примере анализа текста. Аналогично его можно применять к другим видам данных.

Этапы применения метода тематических сетей

Этап 1: Кодирование.
На этом этапе в тексте выделяются осмысленные текстовые фрагменты. Каждый из них кодируется.

Что нужно делать
Шаг 1. Исследователь просматривает тексты и записывает в отдельном документе названия кодов и их расшифровки. Позже эта система кодирования будет применена для обработки текстов.

Как подбираются коды
Способы кодирования, в общем, сводятся к следующим:

? система кодов выбирается на основе заранее заданных теоретических предпосылок (дедуктивный путь, «theory-driven» исследование);
? система кодов выбирается на основе значимых тем, появляющихся в тексте (индуктивный путь, «data-driven» исследование);
? сочетаются оба подхода.

Выбранные коды могут быть заданными понятиями, взятыми из гипотез исследования, фрагментами обыденной речи участников исследования, неологизмами, или сленгом.

Шаг 2. Исследователь разбивает текст на осмысленные участки (абзацы, предложения, фразы, слова) и присваивает им коды.

В итоге такой работы все тексты разбиваются на коды. При применении сервисов автоматизации на этом этапе каждый выделенный фрагмент текста заменяется кодом. Этот этап позволяет проверить, все ли темы в оригинальных текстах охвачены кодами, и все ли коды точно подходят к заменяемым отрезкам текста.

Где можно ошибиться
На этом этапе важен принцип «необходимости и достаточности». С одной стороны, коды должны быть четко определены, чтобы избежать смешения понятий и пересечения области значений нескольких кодов. С другой стороны, количество кодов должно быть ограниченным и обоснованным, чтобы исследователь не поддался соблазну присвоить код каждому новому предложению.

Также не забывайте записывать для каждого кода расшифровку. Вначале кажется, что все коды можно удержать в памяти, но позже могут возникнуть курьезные ситуации, когда придется переделывать работу.

Этап 2. Определение тем.
На этом этапе в текстах выделяются базовые темы.

Что нужно делать
Шаг 3. Исследователь просматривает коды и выделяет среди них наиболее значимые, объединяющие, или выдающиеся темы. Близкие по смыслу коды группируются в темы.

Шаг 4. Исследователь просматривает темы и «очищает» их, чтобы избежать повторов и сделать темы достаточно широкими, способными включить несколько кодов. В итоге, каждая тема должна быть довольно узкой, чтобы точно передавать определенную идею и не пересекаться с другими темами, но и достаточно широкой, чтобы обобщать разные высказывания и формулировки в этой смысловой области.

Удобно работать, если тем начального уровня анализа получается не больше 16. В то же время, хорошо, если их не очень мало: с 2-3 темами тематическая карта не получится интересной и содержательной.

Где можно ошибиться
Это этап обобщения информации, но это не значит, что на нем необходимо группировать все коды. Если в тексте выделились коды, которые нельзя сгруппировать, и которые представляют значимость для исследования, таким кодам присваиваются собственные темы. Однако, на практике обычно удается сгруппировать и обобщить в темы несколько кодов.

Этап 3. Конструирование тематической сети.
На этом этапе рисуется тематическая сеть – графическая основа метода.

Что нужно делать
Шаг 5. Исследователь группирует и упорядочивает по смыслу базовые темы. Порядок задается контентом, или предварительными теоретическими основаниями исследования. Темы можно переименовать, чтобы внутри одной группы они представляли однородные и легко считываемые элементы.

Шаг 6. Исследователь организует близкие по смыслу базовые темы и обобщает их под одной общей «организующей» темой. Название этой темы содержит обобщение для всей группы входящих в нее тем. Оно должно быть достаточно говорящим и считываемым с первого взгляда.

Шаг 7. Исследователь объединяет близкие организующие темы под общими «глобальными» темами. Глобальные темы обычно включают по 2-3 организующие темы и становится финальной обобщающей частью тематической сети. Поэтому их названия обычно метафоричны, они передают общий смысл объединенных ими тем.

Количество кодов, базовых, организующих и глобальных тем не предписано правилами. Оно задается разнообразием собранного материала и аналитической работой исследователя. Но обычно в работах встречается до 3-х глобальных тем (чаще всего 1-2), по 2-3 организующие темы для каждой глобальной и по 2-3 базовые темы для каждой организующей темы.

Шаг 8. Как только произошли все обобщения и темы получили «говорящие» названия, настает время визуализации. Она делается просто, с соблюдением 2 важных принципов: 1) в центре сети размещается глобальная тема, от которой отходят организующие и – далее – базовые темы; 2) расположение тем одной группы не должно быть иерархичным, они все располагаются, как однородные равноценные элементы сети.

Шаг 9. Когда сеть нарисована, исследователь возвращается к ее проверке и обновлению. На этом этапе исследователь открывает сырые тексты и удостоверяется, что каждый затронутый в тексте значимый аспект нашел адекватное отображение в сети и не исказился в процессе обобщения. Также проверяется, есть ли для каждой темы в сети эквивалент в сырых данных, цитатой из которого можно при необходимости проиллюстрировать тему.

Где можно ошибиться
Выбор названий для организующих и глобальных тем – довольно сложная задача. Названия должны быть говорящими, не искажать смысл объединенных тем и находить соответствия в сырых данных. На этапе обобщения велика опасность смещения акцентов и добавления личных смыслов от исследователя. Поэтому, рекомендуется выполнить эту работу нескольким исследователям независимо и потом сравнить результаты, или одному исследователю несколько раз перепроверить выделенные темы.

Этап 4. Описание и объяснение тематической сети.
Создание тематических сетей – это только инструмент анализа, но не анализ по сути. Для того, чтобы совершить качественный анализ и продвинуться в понимании текстов, исследователь объясняет выделенные темы и определяет паттерны мышления участников исследования, которые скрываются за этими темами.

Что нужно делать
Шаг 10. Описание сети. Как только сеть построена, исследователь возвращается к сырым материалам и описывает содержание сети с использованием цитат из оригинальных текстов.

Шаг 11. Объяснение сети. Когда для частей сети предложены примеры из текстов, исследователь приступает к их обсуждению и интерпретации.

Он возвращается к прочтению оригинальных текстов, но на этот раз читает их не линейно, а использует каркас тематической сети. Теперь он может давать объяснения текстам с точки зрения выделенных базовых, организующих и глобальных тем. Таким образом, у исследователя и его читателя появляется инструмент для понимания, обобщения и иллюстрации содержания оригинальных материалов.

В аналитическом отчете результаты анализа появляются в виде текстового блока, где обсуждаются темы, приводятся участки оригинальных текстов и дается их объяснение.

Где можно ошибиться
При описании и объяснении сети рекомендуется использовать дословные цитаты из оригинальных текстов, наиболее ярко характеризующие тему, с краткой справкой об участнике исследования, или источнике, в котором была взята цитата.
Если исследователь уверен, что в данных скрыты темы, но он не может подобрать для них примеры, такой материал нельзя включать в отчет. Нужно либо провести дополнительное исследование, либо изменить методологию интерпретации данных.
Используйте правило качественного анализа: «Не все, что есть в данных, нужно включать в анализ. Но все, что включено в анализ, должно иметь подтверждение в оригинальных данных».

Этап 5. Резюмирование тематической сети.
На этом этапе обобщаются результаты, выделяются и обсуждаются основные темы.

Что нужно делать
Шаг 12. Исследователь описывает и анализирует выделенные темы. В итоговом отчете анализ представляется в форме свободного описания.

Где можно ошибиться
Ценность этой части отчета – в рассуждениях исследователя и глубине погружения в анализ. Стиль этих рассуждений задается принятой коммуникацией в компании. Анализ не должен быть громоздким, но должен учитывать основное требование качественных исследований – глубокое, «трехмерное» погружение в проблему.
Этап 6. Интерпретация паттернов.
Заключительный аналитический этап.

Что нужно делать
Шаг 13. Исследователь возвращается к первоначальным задачам, сопоставляет гипотезы с результатами, дает объяснения, предлагает интерпретации, дополняет первоначальные теоретические конструкты.
В итоговом отчете анализ представляется в форме заключения.

Где можно ошибиться
Выводы качественных исследований нередко оставляют у исследователей и заказчиков ощущение: «Я и так это знал!». После исследования могут опуститься руки, работа покажется бесполезной тратой времени. Однако, деятельность исследователя заключается в доказательстве гипотез. Очевидное знание (которое только кажется очевидным) не может быть взято в работу без обоснованных доказательств, если в вашей компании принят научный подход и используются исследования. Не забывайте также об известном когнитивном искажении «эффект знания задним числом», при котором информация кажется людям очевидной только после того, как они ее узнают.
Наконец, за кажущейся очевидной информацией могут скрываться новые открытия, или неподтвердившиеся частные гипотезы, которые ошибочно считались очевидными.

Вот, и все. 13 шагов, и построение тематических сетей завершено. Теперь обсудим пример использования метода в исследовании пользователей ИТ-продукта.

Пример использования тематических сетей в исследовании отзывов пользователей ИТ-продукта

Используем метод тематических сетей для иллюстрации отношения пользователей к облачной системе автоматизации рекрутинга «HRP». Наша компания – совладелец этой системы, мы с самого начала участвовали в ее разработке. Cвои продукты исследовать сложнее, но попытаемся представить сокращенный пример анализа, чтобы проиллюстрировать применение метода тематических сетей, не нарушая договор о неразглашении.

Качественное исследование пользовательского опыта не предполагало анализ глубинных побуждений и неосознаваемых предубеждений (что может встречаться, например, при изучении опыта игроков компьютерных игр), поэтому анализ получился простым и очевидным. Но вполне соответствующим задаче демонстрации метода.

Дано: Система существует на рынке около 2-х лет. Она хорошо известна в области сервисов автоматизации рекрутинга, заявки на тестовый доступ поступают регулярно и в желаемом количестве. Однако, много пользователей теряется при переходе от бесплатного тестирования к покупке платного доступа. Цена ежемесячного использования невысокая (ниже, чем у большинства конкурентов), поэтому гипотеза о ценовых возражениях клиентов для этого исследования отбрасывается.
Оставляют заявки релевантные пользователи: руководители компаний, рекрутеры, руководители рекрутинговых служб и руководители служб автоматизации. Гипотеза о том, что нерелевантный поток заявок влияет на плохую конверсию, также отбрасывается.

Задача: узнать, какие когниции (мысли, рационализации) возникают у пользователей при тестировании системы автоматизации рекрутинга.

Качественный материал исследования: Отзывы пользователей собирались неструктурированно, преимущественно из писем обратной связи и телефонных разговоров. В базу исследования вошли: отзывы, вопросы и возражения, написанные (сказанные) пользователями после знакомства с системой. Регион сбора отзывов: Россия, Беларусь, Украина, Казахстан, Литва. Количество текстов, участвующих в анализе: 40 записей.

Напомним, что при применении качественных методов исследования на первый план выходит не количество респондентов, не репрезентативность выборки и не соотношение охваченных и откликнувшихся пользователей. В таких исследованиях важны только темы (паттерны мышления, рационализации, идеи, возражения и т.д.), возникающие у пользователя при знакомстве с продуктом. Поэтому, мнения, собранные от 8 пользователей и обработанные качественными методами анализа, так же важны, как мнения, собранные от 200 пользователей. Особенно, при условии достижения «насыщения» результатов на ранних этапах сбора информации. (Термин «насыщение» в исследованиях подразумевает, что исследование можно остановить, когда темы начинают повторяться, и каждый последующий участник не приносит новых данных).

Этап 1. Определение кодов.
На этом этапе мы просмотрели все записи и выделили коды, емко передающие затронутые в текстах вопросы. У нас получилось 42 кода (см. таблицу ниже). Обычно для кодов подбираются схематичные, односложные названия, понятные кодировщику. Но в целях наглядности оставим в примере развернутые названия, чтобы дополнительно не давать их подробные расшифровки.

Этап 2. Определение тем.
Коды были объединены в 11 базовых тем, а те – в 6 организационных тем. В итоге финального обобщения получилось 2 глобальные темы: «Драйверы «ЗА» покупку системы» и «Сомнения и пожелания доработки».

Эти глобальные темы соответствовали задачам нашего исследования. При других задачах могли быть выделены другие глобальные темы. Например, «Действия для маркетинга» и «Действия для разработки». В этом заключается удобство метода тематических сетей: он достаточно гибкий и позволяет структурировать результаты под нужным углом, чтобы потом с ними было удобно работать на следующих стадиях доработки продукта.

Получились такие результаты:


Этап 3. Конструирование тематической сети.
Для каждой глобальной темы должна быть построена отдельная тематическая сеть. Для примера, построим сеть для первой темы: «Драйверы «ЗА» покупку системы».

Пример тематической сети отзывов пользователей ATS.

Этап 4. Описание и объяснение тематической сети.
(На этом этапе обсуждаются выделенные темы и приводятся дословные цитаты из оригинальных текстов. Для примера ограничимся разбором нескольких тем).

(…)
Тема: «Интерфейс системы современный, красивый, приятный в использовании».

Тема «приятности» и современности интерфейса оказалась одной из лидирующих в отзывах пользователей. Часто выделяли интерфейс системы пользователи, проводившие сравнительный анализ нескольких систем автоматизации рекрутинга. Они упоминали, что система выглядит современнее и приятнее, чем другие программы, с которыми им приходилось работать. Интерфейс подкупает «простотой» и «чистотой», отсутствием лишних деталей и украшений.

Евгения, руководитель направления по подбору персонала, медиа-холдинг:
«Ваша программа действительно хороша, а именно:
— простотой функционала
— нет награмаждения ненужных фич.
— к интерфейсу просто нужно привыкнуть».

В то же время, когда интерфейс рассматривался пользователями с позиции не общего восприятия, а быстрого выполнения задачи (составить заявку, назначить исполнителя, прикрепить кандидата и т.д.), упоминались, напротив, сложности, «лишние движения» и неудобства. Эти отзывы касались заложенного в систему процесса подбора и составили основу следующей темы.

Тема: «К заданному в системе процессу подбора сложно адаптироваться, он не соответствует процессу подбора в компании клиента».

Пользователи отмечали сложность адаптации к заложенному в системе процессу подбора (согласование заявки, назначение исполнителей, обязательные этапы рассмотрения кандидатов и подачи обратной связи). Часто пользователи хотели адаптировать процесс к практике компании, или выступали за гибкую систему, позволяющую пропускать некоторые этапы.

Олег, технический директор, ИТ-компания: «Причина – избыточность действий и информации, которая не участвует в наших процессах рекрутинга, плюс уникальность наших внутренних действий, которые не предусматриваются системой».

Марина, HR-менеджер, производственный холдинг: «Постоянно поступают жалобы от Заказчиков в подразделениях о том, что процедура заполнения заявки на подбор персонала в системе чрезмерно сложная».

Тема: «Опасения по поводу кражи, или потери внесенной в систему информации».

Вопросы и сомнения по поводу кражи, или потери данных встречались как в письменных отзывах о системе, так и в первичных вопросах пользователей при знакомстве с системой. Обычно угроза воспринималась в пяти возможных сценариях: 1) кража базы кандидатов провайдером сервиса (то есть, нами), 2) взлом системы и кража базы кандидатов конкурентами, 3) потеря информации из-за ошибки сотрудников клиента, 4) потеря информации из-за технических неполадок и 5) потеря информации из-за прекращения оплаченного доступа к системе.

Евгения, руководитель направления по подбору персонала, медиа-холдинг:
«В нашем случае нам важно иметь всю информацию у нас в компании и максимально снизить риск потери данных.
Мы желаем Вам процветать и развиваться, но будем очень не рады, если доступ к Вашему ресурсу по той или иной причине будет прекращен и мы имеем риск потерять всю нашу базу.
Когда выбирали программу для работы не продумали эту историю».

И хотя мы сразу предоставляли гарантии сохранности информации (цитировали фрагменты договора, гарантировали ежедневное сохранение информации, ссылались на мировой опыт использования облачных сервисов и пр.), многие пользователи все равно высказывали опасения по поводу возможной потери данных.
(…)

Этап 5. Резюмирование тематической сети.
(На этом этапе обобщаются все темы, дается общая интерпретация результатам анализа. Пропустим этот этап, так как он задается логикой исследования и принятым стилем коммуникации в исследовательской группе и не нуждается в наглядности).

Этап 6. Интерпретация паттернов.
(На этом этапе темы сравниваются с гипотезами исследования, вносятся дополнения в теоретические конструкты, обсуждается, насколько мнения пользователей соответствуют представлениям разработчиков и владельцев продукта. Приведем фрагмент такого анализа).

(…)
Анализ отзывов выявил три особенно интересных обстоятельства:

1. Аналитика.
В систему заложен сервис аналитики, позволяющий получать отчет в виде графиков и диаграмм по разным показателям подбора. В отдельной вкладке автоматически формируются отчеты: показатели выполнения плана и следования нормативам закрытия вакансий, воронка подбора (конверсия соискателей на каждом этапе подбора), анализ эффективности каналов привлечения кандидатов и – в перспективе – анализ взаимосвязи показателей кандидатов на собеседовании с показателями их успешности на рабочем месте (пролонгированная аналитика для проведения глобальных исследований о компании).

Для рекрутера такой сервис означает получение отчета о работе по «одному клику», а для руководителя – возможность быстро просмотреть аналитику и принять решение. Не говоря о набирающей популярность теме HR аналитики, HR Big Data и др., с сервисом аналитики можно проводить самые разные исследования в компании.

Но наше исследование показало, что тема аналитики ни разу не появилась в отзывах пользователей. Люди при тестировании системы не проявляли потребности в проведении исследований, или в быстром контроле за процессом рекрутинга. Мы считали эту функцию очень важной и потратили на нее много ресурсов разработки и дизайна, упоминали во всех рекламных материалах, делали акцент при продажах. Но оказалось, что пользователи интересовались ей по остаточному принципу. По крайней мере, в их отзывах аналитика не фигурировала.

Получив результаты, мы приняли решение уделить больше внимания презентации аналитики в тестовом доступе к системе и провести дополнительное исследование потребностей пользователей в аналитике.

2. Жесткий процесс.
Задумывая концепцию системы, мы сделали ставку на автоматизацию лучших практик подбора. Наша компания много лет формировала службы рекрутинга в разных компаниях, и именно этот опыт мы решили оцифровать. Процесс в системе обучал и вел за собой, содержал «защиты от дурака», не позволял совершить стандартные ошибки в процессе согласования заявок и рассмотрения кандидатов, защищал рекрутеров от несправедливых обвинений. Это мы считали важнейшей функцией системы. В сущности, первые продажи мы строили как раз на основе продажи лучшего опыта, автоматизированного процесса.

Но общение с клиентами в процессе этих продаж зародило гипотезу, которую позже подтвердило исследование: клиенты не готовы покупать жесткий процесс и не готовы меняться под него.

Оказалось, что та функция, которую мы считали сильнейшим козырем системы, стала ее основным недостатком. Почти в каждом отзыве мы встречали просьбы сделать процесс более гибким, убрать «ненужные» этапы, «облегчить» систему. Эта находка теперь требует от нас новых решений в области разработки и маркетинга.

3. Оценка компетенций и сравнение кандидатов.
Еще один интересный факт проявился в отношении третьего козыря системы – сервиса оценки и сравнения кандидатов.

В систему заложена библиотека с 500 вопросами для оценки личностных качеств и профессиональных компетенций кандидатов. К каждому вопросу предлагается по 6 вариантов ответа. После проведения собеседования система предлагает табличное сравнение кандидатов на соответствие профилю должности с выставлением баллов.

Эта функция системы – ее уникальное торговое предложение. Проведенный нами анализ рынка показал, что ни в одной другой ATS нет оценочных вопросов с вариантами ответов. Мы потратили много усилий на добавление этой функции: над созданием уникальных вопросов трудились профессиональные психологи и рекрутеры. Но исследование показало, что и в этом случае «козырь» системы воспринимается пользователями неоднозначно.

Система оценки компетенций выборочно игнорировалась пользователями. Тем, кому была нужна только система управления рекрутингом, база в 500 оценочных вопросов была не нужна. Такие пользователи сравнивали условия сервиса с простейшими конкурентами и ожидали более низкую цену. Наша цена (включающая сервис оценки компетенций) казалась им завышенной.

А пользователи, которые понимали ценность базы оценочных вопросов и уже знакомились с другими ИТ-продуктами по оценке компетенций, напротив, сомневались насчет подозрительно низкой цены. И эти сомнения в низкой цене парализовали покупку так же, как недовольство высокой ценой у первой группы пользователей.

Получив такие данные, мы приняли решение по доработке системы и адаптации модели продаж.

Краткое резюме статьи
1. Методология качественных исследований включает не только качественные методы сбора информации, но и качественные методы анализа.
2. В маркетинговых и UX-исследованиях часто нарушается этап качественного анализа: данные обрабатываются интуитивно, без использования специальных методов, или применяются количественные методы.
3. Использование качественной методологии предполагает не подсчет отдельных действий пользователей, а поиск причин этих действий и сопровождающих их эмоций и размышлений. Цель качественных методов – не предсказание, а объяснение.
4. Важное требование качественного анализа: «Не все, что есть в данных, нужно включать в анализ. Но все, что включено в анализ, должно иметь подтверждение в оригинальных данных».
5. Результаты анализа качественных данных редко содержат неожиданные выводы. Но даже информация, кажущаяся очевидной, нуждается в доказательстве.
6. Метод тематических сетей – удобный метод качественного анализа. Он позволяет анализировать разные виды данных, с трудом поддающиеся другим методам анализа.
7. Метод тематических сетей состоит из 13 шагов анализа: исследовательские данные разбиваются на тематические фрагменты и последовательно группируются в темы более высокого порядка. Итогом анализа становится визуальная тематическая сеть.
8. С помощью тематической сети легко визуализировать результаты исследования в презентациях и отчетах. Сеть удобно использовать, как основание для дерева решений, или планов разработки продукта.

Алгоритм метода


Можно дополнительно почитать (полные тексты статей есть в открытом доступе):

1. Attride-Stirling, J. Thematic networks: an analytic tool for qualitative research / J. Attride-Stirling // Qualitative Research. – 2001. – vol. 1 no. 3. – P. 385-405.
История возникновения метода тематических сетей, описание этапов проведения, а также подробный разбор применения на примере исследования культурных репрезентаций о сексуальности.

2. Войскунский, А.Е. Качественный анализ данных / А.Е. Войскунский, C.В. Скрипкин // Вестник Московского университета. Сер. 14. Психология. – №2. –2001. – С. 93–109.
Рассуждения о разделении качественных методов сбора информации и качественных методов анализа, описание еще одного метода анализа качественных данных – Качественного контент-анализа.

3. A Survey and Thematic Analysis Approach as Input to the Design of Mobile Music GUIs / A. Tanaka [et al.]. – 2012.
Пример тематического анализа (упрощенного) в исследовании пользователей музыкальных мобильных приложений.