![](https://productland.s3.eu-central-1.amazonaws.com/profile-photos/rUYzFoQb1HIoIsjyNxHHMBdvV7xBVJpyjNRZPn08.jpg)
Маргарита Скляренко
Исследователь, Циан
10 сентября 2023
Как протестировать гипотезу за день: без исследователя и вовлечения аудитории
Текст подготовлен волонтером ProductCamp: https://t.me/Veronika_Act
В новой статье разобрали кейс из выступления Маргариты Скляренко, исследователя Циан, на конференции ProductCamp. Поймете какое решение помогло команде Циан кратно увеличить количество продуктовых исследований, как его внедрить на практике и какие смелые результаты можно получить.
Проблема: отдел исследований не успевает обработать запросы продуктовой команды
Циан не первый год использует в работе продуктовый подход и тестирует важные решения. В компании есть целый отдел исследователей - 17 человек. Однако со временем стало понятно, что даже отдел физически не сможет покрыть потребности бизнеса во всех тестированиях, так как ежемесячно в команду поступает более 90 исследовательских задач. Половина задач предполагает проведение UX-интервью. При этом оставшаяся половина - зачастую носит точечный характер и требует быстрой реакции, чтобы принять оперативное решение для бизнеса. Выдергивать исследователей из глубинных интервью для решения точечных запросов не всегда эффективно. В результате команда исследователей ежемесячно успевала обработать меньше половины поступающих задач. Назрел вопрос: как удовлетворить потребности бизнеса и повысить скорость исследований, без потери качества и не расширяя штат.
Какое нашли решение и как внедряли
Определили инструмент
С учетом задачи, которая стояла перед отделом исследователей с инструментом определились достаточно быстро. Выбор пал на немодерируемые тесты. Или по простому - тесты без модератора (исследователя). Выбирая данное решение следует помнить про особенности метода:
- Четко понимать ограничения. В частности этот метод не подойдет для глубинных и сложных исследований, так как мы получим некий результат, но не поймем почему так или иначе сложилось.
- Однозначно формулировать запросы. У нас есть всего один шанс, чтобы человек правильно считал, понял и выполнил задание, так как мы его задумали.
- Нетривиально подходить к задаче. В немодерируемых тестах ограниченный набор инструментов, при этом важно получить из опроса максимально релевантный результат в сжатые сроки.
Выбрали платформу Следующим шагом начали искать удобную платформу. которая позволит в том числе неподготовленным людям, без большой исследовательской практики, оперативно проводить опросы. Приоритетно было:- возможность легко масштабировать тест на большую аудиторию - как внутреннюю аудиторию Циана, так и внешнюю,- простой и интуитивно понятный инструмент с неограниченным доступом для всей продуктовой команды, не только исследователей,- наглядные готовые отчеты сразу по итогу тестов.
Сейчас на рынке много решений для тестирования, поэтому при выборе нужно исходить из конкретных условий и задач бизнеса. Под потребности Циан наиболее удачным решением, которое закрывало принципиальные запросы, стала платформа Pathway. Она позволяет:
- Проводить немодерируемые тесты. При этом содержит разные типы вопросов (см. рис. ниже).
- Масштабировать исследования. Можно отправлять ссылки для рассылки, нанимать тестеров в турборежиме в том числе под конкретные условия.
- Работать новичкам. Простой инструмент с широким доступом.
- Строить наглядные отчеты: хитмепы, карты кликов, статистику по выполнению задач.
Рис. 1 Типы вопросов и заданий доступные на платформе Pathway
![image](https://productland.s3.eu-central-1.amazonaws.com/uploads/5aScqPgaahRYnn3LzdMk0KFNmaE61XEi9YrAMkI2.png)
Рис. 2 Примеры отчетов на платформе PathwayКарта кликов. Отражает последовательность действий пользователя
![image](https://productland.s3.eu-central-1.amazonaws.com/uploads/SvSHx1RZwi4an1or6cLrOC7tPGbuTsHrvQL7TfT1.png)
Хитмэп. Показывает самые кликабельные места на прототипе
![image](https://productland.s3.eu-central-1.amazonaws.com/uploads/5Bf63PAvFtGRlCAttixZ62gvcxxeAJBt0oDHfboP.png)
Внедрили практику исследований без исследователей
После того как инструмент и платформа были найдены, предстоял еще большой этап: внедрить исследования без исследователей на практике. Как же это сделали в команде Циан?
Сначала подготовили наглядный мануал по исследовательской работе на выбранной платформе Pathway. В мануале прописали организационные моменты, распределили зоны ответственности, четко зафиксировали требования и ограничения по тестам. Здесь же дали описание структуры типового теста, типировали вопросы для тестов и для наглядности приложили примеры удачных и неудачных вопросов. Манул сделали специально подробным, чтобы в будущем исключить личный онбординг и сократить время исследователя для ответов на однотипные вопросы и разбор типовых ошибок.
Следующим шагом провели обучающую встречу и презентовали инструмент и мануал команде дизайнеров. Именно они были основными заказчиками быстрых точечных исследований и хотели получать оперативный результат. Во время встречи провели демонстрацию платформы и в режиме онлайн прошли полный путь формирования теста. Также назначили ответственного исследователя, к кому можно обращаться за помощью, и распространили новый мануал по рабочим чатам.
Далее ответственный исследователь поддерживал ребят в процессе освоения нового инструмента. Отвечал на вопросы, разбирал первые тесты и как верно интерпретировать результаты. Также при необходимости помогал налаживать общение с техподдержкой платформы.
На финальном этапе поделились с другими командами новой практикой работы в части исследований. В частности техлидам важно было понимать, что теперь любой спорный вопрос с продуктовой командой о той или иной фиче можно решить с помощью нового инструмента. Первый опыт и наглядные результаты нашли отклик и коллег. Вслед за дизайнерами активно использовать тесты начали и редакторы.
Задачи, которые смогли решать в обход исследователей
Разберем пример типовой задачи, когда команда дизайнеров подготовила новый макет сервиса и прежде чем отдавать его в производство хочет удостовериться, что новое решение помогает пользователю, а не путает.
Чтобы проверить гипотезу с помощью платформы Pathway, как вариант можно организовать следующие виды тестирования:
- Тест 5 секунд - поможет определить что запомнится на странице в первую очередь при беглом просмотре.
- Тест первый клик - поможет проверить понятность и заметность наиболее важного блока.
- Решение пользовательских задач - помогает определить насколько понятно и как быстро пользователь сможет решить свою задачу на сайте. Например, можно предложить пользователю отправить заявку на получение услуги на сайте и спросить куда он для этого нажмет.
- Выбрать точку входа для нового сервиса между двумя прототипами с помощью карты кликов
![image](https://productland.s3.eu-central-1.amazonaws.com/uploads/H7NJBuBq8zovqY6LShocQLE4iPHjyCIOBrswPU1L.png)
2. Оценить понятность описания нового сервиса на лендинге с помощью вопросов на понимание
![image](https://productland.s3.eu-central-1.amazonaws.com/uploads/3EiAfTmEjgyD0S2gph85QxODwRnAF4aCBFm0nkhP.png)
Главные итоги
Внедрение нового подхода не заставило ждать результатов.
Уже за первые месяцы стало заметно большое вовлечение со стороны коллег, так как проводить опросы стали не только дизайнеры, но и сотрудники других подразделений. За первые два месяца на новой платформе было запущено более 50 тестов и это потребовало менее 10% рабочего времени одного исследователя на поддержку. Как главный итог:
- продуктовые команды стали увереннее принимать решения,
- появился инструмент для решения спорных вопросов между продуктом и разработкой,
- в команде стали успевать тестировать практически все нововведения,
- компания экономит ресурсы разработки и минимизирует риски неудачных решений до полноценного эксперимента на своей основной аудитории.
Полное выступление Маргариты Скляренко на конференции ProductCamp можно посмотреть в разделе Видео, а заодно и потренироваться составлять тесты для гипотез.