Маргарита Скляренко
Исследователь, Циан
10 сентября 2023
Как протестировать гипотезу за день: без исследователя и вовлечения аудитории
Текст подготовлен волонтером ProductCamp: https://t.me/Veronika_Act
В новой статье разобрали кейс из выступления Маргариты Скляренко, исследователя Циан, на конференции ProductCamp. Поймете какое решение помогло команде Циан кратно увеличить количество продуктовых исследований, как его внедрить на практике и какие смелые результаты можно получить.
Проблема: отдел исследований не успевает обработать запросы продуктовой команды
Циан не первый год использует в работе продуктовый подход и тестирует важные решения. В компании есть целый отдел исследователей - 17 человек. Однако со временем стало понятно, что даже отдел физически не сможет покрыть потребности бизнеса во всех тестированиях, так как ежемесячно в команду поступает более 90 исследовательских задач. Половина задач предполагает проведение UX-интервью. При этом оставшаяся половина - зачастую носит точечный характер и требует быстрой реакции, чтобы принять оперативное решение для бизнеса. Выдергивать исследователей из глубинных интервью для решения точечных запросов не всегда эффективно. В результате команда исследователей ежемесячно успевала обработать меньше половины поступающих задач. Назрел вопрос: как удовлетворить потребности бизнеса и повысить скорость исследований, без потери качества и не расширяя штат.
Какое нашли решение и как внедряли
Определили инструмент
С учетом задачи, которая стояла перед отделом исследователей с инструментом определились достаточно быстро. Выбор пал на немодерируемые тесты. Или по простому - тесты без модератора (исследователя). Выбирая данное решение следует помнить про особенности метода:
- Четко понимать ограничения. В частности этот метод не подойдет для глубинных и сложных исследований, так как мы получим некий результат, но не поймем почему так или иначе сложилось.
- Однозначно формулировать запросы. У нас есть всего один шанс, чтобы человек правильно считал, понял и выполнил задание, так как мы его задумали.
- Нетривиально подходить к задаче. В немодерируемых тестах ограниченный набор инструментов, при этом важно получить из опроса максимально релевантный результат в сжатые сроки.
Выбрали платформу Следующим шагом начали искать удобную платформу. которая позволит в том числе неподготовленным людям, без большой исследовательской практики, оперативно проводить опросы. Приоритетно было:- возможность легко масштабировать тест на большую аудиторию - как внутреннюю аудиторию Циана, так и внешнюю,- простой и интуитивно понятный инструмент с неограниченным доступом для всей продуктовой команды, не только исследователей,- наглядные готовые отчеты сразу по итогу тестов.
Сейчас на рынке много решений для тестирования, поэтому при выборе нужно исходить из конкретных условий и задач бизнеса. Под потребности Циан наиболее удачным решением, которое закрывало принципиальные запросы, стала платформа Pathway. Она позволяет:
- Проводить немодерируемые тесты. При этом содержит разные типы вопросов (см. рис. ниже).
- Масштабировать исследования. Можно отправлять ссылки для рассылки, нанимать тестеров в турборежиме в том числе под конкретные условия.
- Работать новичкам. Простой инструмент с широким доступом.
- Строить наглядные отчеты: хитмепы, карты кликов, статистику по выполнению задач.
Рис. 1 Типы вопросов и заданий доступные на платформе Pathway
Рис. 2 Примеры отчетов на платформе PathwayКарта кликов. Отражает последовательность действий пользователя
Хитмэп. Показывает самые кликабельные места на прототипе
Внедрили практику исследований без исследователей
После того как инструмент и платформа были найдены, предстоял еще большой этап: внедрить исследования без исследователей на практике. Как же это сделали в команде Циан?
Сначала подготовили наглядный мануал по исследовательской работе на выбранной платформе Pathway. В мануале прописали организационные моменты, распределили зоны ответственности, четко зафиксировали требования и ограничения по тестам. Здесь же дали описание структуры типового теста, типировали вопросы для тестов и для наглядности приложили примеры удачных и неудачных вопросов. Манул сделали специально подробным, чтобы в будущем исключить личный онбординг и сократить время исследователя для ответов на однотипные вопросы и разбор типовых ошибок.
Следующим шагом провели обучающую встречу и презентовали инструмент и мануал команде дизайнеров. Именно они были основными заказчиками быстрых точечных исследований и хотели получать оперативный результат. Во время встречи провели демонстрацию платформы и в режиме онлайн прошли полный путь формирования теста. Также назначили ответственного исследователя, к кому можно обращаться за помощью, и распространили новый мануал по рабочим чатам.
Далее ответственный исследователь поддерживал ребят в процессе освоения нового инструмента. Отвечал на вопросы, разбирал первые тесты и как верно интерпретировать результаты. Также при необходимости помогал налаживать общение с техподдержкой платформы.
На финальном этапе поделились с другими командами новой практикой работы в части исследований. В частности техлидам важно было понимать, что теперь любой спорный вопрос с продуктовой командой о той или иной фиче можно решить с помощью нового инструмента. Первый опыт и наглядные результаты нашли отклик и коллег. Вслед за дизайнерами активно использовать тесты начали и редакторы.
Задачи, которые смогли решать в обход исследователей
Разберем пример типовой задачи, когда команда дизайнеров подготовила новый макет сервиса и прежде чем отдавать его в производство хочет удостовериться, что новое решение помогает пользователю, а не путает.
Чтобы проверить гипотезу с помощью платформы Pathway, как вариант можно организовать следующие виды тестирования:
- Тест 5 секунд - поможет определить что запомнится на странице в первую очередь при беглом просмотре.
- Тест первый клик - поможет проверить понятность и заметность наиболее важного блока.
- Решение пользовательских задач - помогает определить насколько понятно и как быстро пользователь сможет решить свою задачу на сайте. Например, можно предложить пользователю отправить заявку на получение услуги на сайте и спросить куда он для этого нажмет.
- Выбрать точку входа для нового сервиса между двумя прототипами с помощью карты кликов
2. Оценить понятность описания нового сервиса на лендинге с помощью вопросов на понимание
Главные итоги
Внедрение нового подхода не заставило ждать результатов.
Уже за первые месяцы стало заметно большое вовлечение со стороны коллег, так как проводить опросы стали не только дизайнеры, но и сотрудники других подразделений. За первые два месяца на новой платформе было запущено более 50 тестов и это потребовало менее 10% рабочего времени одного исследователя на поддержку. Как главный итог:
- продуктовые команды стали увереннее принимать решения,
- появился инструмент для решения спорных вопросов между продуктом и разработкой,
- в команде стали успевать тестировать практически все нововведения,
- компания экономит ресурсы разработки и минимизирует риски неудачных решений до полноценного эксперимента на своей основной аудитории.
Полное выступление Маргариты Скляренко на конференции ProductCamp можно посмотреть в разделе Видео, а заодно и потренироваться составлять тесты для гипотез.
Присоединяйся к чату комьюнити
Будь в курсе всех новостей, обращайся за помощью к коллегам и находи единомышленников!
