Почему вашей команде нужны еженедельные обзоры метрик

*Этот материал был переведен и отредактирован командой волонтеров ProductCamp, перевела и отредактировала Катя Гурцак. Источник

В Манифесте для data-informed команд было представлено пять принципов, один из которых заключался в ознакомлении всей компании с метриками вместо того, чтобы перекладывать это на «специалистов по данным». 

Сразу же обрушились вопросы: действительно ли это важно? Это реалистично? Как организация может достичь этого? Поэтому мы углубимся в то, как сделать это применимым на практике. 

Как и с чем-либо другим в жизни здесь нет быстрых путей; единственный способ - это часто и открыто показывать данные всей команде.

Большинство команд это понимает - поэтому создаются дашборды, ссылки на них пересылаются друг другу, и нам всем напоминают о том, как важно «обязательно добавить эту ссылку в закладки и часто ее проверять».

К сожалению, если в названии вашей должности нет слова «данные», то просмотр этой страницы почти никогда не попадает в топ вашего списка дел. Даже если Вы действительно считаете данные важными! Так начинается великий путь дашбордов в никуда - они не используются и перестают поддерживаться. Из-за этого в тот момент, когда вам наконец-то нужно их изучить, они не работают и оказываются бесполезными. 

Вот почему data–informed командам недостаточно только желания делиться данными с коллегами, нужны регулярные практики. Основных практик три - это 1. еженедельные обзоры метрик, 2. еженедельные отчеты об инсайтах и 3. обзоры инсайтов. 

В этой статье мы рассмотрим одну из самых значимых практик для построения data–informed команд: еженедельные обзоры метрик. 

Unsupported block type: action

Что такое еженедельный обзор метрик? 

Еженедельный обзор метрик - это встреча всей команды (продакт, разработчики, дизайнеры) для рассмотрения ключевых метрик для продукта, находящегося на стадии масштабирования, то есть прошедшего стадию нахождения product-market fit. Такие встречи могут (и должны!) проходить как на уровне руководителей компании, включая CEO и руководителей высшего звена, так на уровнях конкретных продуктовых команд.

Еженедельный обзор метрик должен быть коротким и лаконичным (примерно 5-15 минут, обычно в начале регулярной встречи команды) и проводиться ответственным за данные, который расскажет команде о ключевых метриках для вашей общей зоны ответственности (например, рост новых пользователей, доход, конверсионные показатели, решенные тикеты). 

Группа должна проанализировать, как ключевые метрики менялись в последние несколько недель, в идеале просмотрев ряд графиков. Докладчик также может подготовить несколько ключевых сегментов для обзора, например, если определенный тип пользователя, платформы или рынка стратегически важен для команды, или если команда запустила что-то, что влияет на конкретный сегмент (например, новую функцию на тестовом рынке). 

Лучше сохранить совещание легким. Подготовка должна быть простой, в идеале не более 30 минут. Многие отличные обзоры метрик просто начинаются со скриншотов дашбордов. Ответственный за данные не должен иметь ответы на все (почему активные пользователи взлетели две недели назад?). Нормально вернуться к ответу позже. 

Каков успешный результат еженедельного обзора метрик? 

Обзор метрик отличается от обзоров продукта или совещаний по принятию решений; его цель - общее понимание того, как команда продвигается к своим целям, а не принятие решений или создание задач. Это необычное предложение, учитывая что целеустремленные команды осторожны и не хотят тратить время на встречи. После прочтения подобной статьи и тестирования такого формата встреч, вы можете задаться вопросом: действительно ли эта встреча помогает нам достичь чего-либо? Еженедельный обзор метрик часто отменяют, переводят в формат апдейтов по электронной почте, а иногда его итогом становится огромный список вопросов, чтобы группа почувствовала, что что-то сделала. 

И тем не менее, мы утверждаем, что знакомство с эффектом от работы команды само по себе является достаточно важной целью для синхронизации. Мы работаем в командной среде, поэтому иметь общий контекст по различным направления является критически важным. Идеальным результатом обзора метрик будет понимание каждым человеком ответов на следующие вопросы:

1. Достигаем ли мы наших целей? 

Мало что так же эффективно фокусирует команду, как график, отображающий прогресс за неделю в направлении целевого показателя.Такой совместный ритуал заставляет команду столкнуться с вопросами вроде «Сможем ли мы достичь нашей цели?» и «Оказывает ли наша работа тот эффект, на который мы рассчитывали?», что в итоге приводит нас к главному вопросу: «Работает ли наша стратегия?»

2. Что помогает нам достигать наших целей лучше всего? 

Если бы было очевидно, что команда должна делать, успех был бы гарантирован. К сожалению, мир так не работает.

Креативная работа - это бесконечный путь проб и ошибок - придумывание идей, которые, возможно, приведут к желаемой цели, а затем проверка того, были ли вы правы. Только когда вы учитываете получившиеся результаты, вы улучшаете свои навыки. 

Предположим, что мы потратили три месяца на создание фичи X. Допустим дальше нам нужно принять решение о том, стоит ли дальше делать Xv2. Просто изучения результатов X недостаточно для принятий решения. Мы должны рассмотреть это в отношении других возможностей - что насчет улучшения фич A, B или C? Когда мы тратим время на регулярное осмысление нашей работы через обзор метрик, мы начинаем лучше понимать, что действительно движет наш бизнес. 

Иными словами, одним из главных преимуществ внедрения еженедельных обзоров метрик является то, что каждый человек в команде улучшит свое продуктовое мышление. Например, дизайнер будет менее склонен предлагать важную кнопку внизу страницы, если он знает, что CTR снижается примерно в 2 раза по сравнению с верхней частью. Инженер будет более бдительным в отношении производительности при реализации новой функции, если знает, что быстрая загрузка является главным фактором использования.

3. Что нормально? 

У каждого бизнеса есть свой уровень волатильности и сезонности. Например, корпоративные приложения чаще используются в будние дни, в то время как в видеоигры чаще играют по выходным. Предположим, вы ожидаете, что для вашего бизнеса январь будет хуже, чем декабрь, и, как и предсказывали, вы видите падение в январе. Насколько большим должно быть это падение, чтобы вы начали беспокоиться о том, что что-то не так?

Знакомство с нормальными ритмами вашего бизнеса необходимо, чтобы быстро определить, когда вам может потребоваться принять меры, потому что что-то не в порядке или в ваших измерениях есть ошибка. Например, если член команды сообщает, что недавний эксперимент привел к увеличению ключевой метрики X на 20%, но вы знаете, что X очень сложна в увеличении, это вызывает у вас подозрения и вы зададите дополнительные вопросы. Со временем хорошо отточенное понимание того, что является нормой, приводит к лучшему прогнозированию и планированию будущего. 

Хороший обзор метрик создает у команды общее понимание достигнутого прогресса, улучшает стратегическое видение команды и  позволяет быстрее выявлять проблемы. Однако бойтесь тайного убийцы таких обзоров - слишком большого количества вопросов на изучение. 

Не поймите неправильно, задавание вопросов необходимо для выстраивая в команде осведомленности и хорошие вопросы могут привести к новым важным открытиям. Однако, не все вопросы стоят того, чтобы тратить время на поиск ответов на них. Легко задать десяток вопросов, просто потому что вы любопытный человек и можете это сделать, но это может привести к десяткам часов работы после. Вместо этого старайтесь задавать вопросы, которые могут привести к изменению решения.

Хорошая проверка на то, стоит ли задавать вопрос такая: Какой мой самый оптимистичный прогноз и что я сделаю, если он сбудется? Какой мой самый пессимистичный прогноз и что я сделаю, если сбудется онт? Если Ваши действия в обоих случаях одинаковы, то, скорее всего, на вопрос не стоит отвечать.

Например, рассмотрим вопрос: В какой стране наши показатели хуже всего, и насколько она хуже, чем средняя страна? Если в ситуации наихудшего ответа вы не сделаете ничего, если только это не одна из десяти лучших стран, то тратить время на поиск ответа не стоит. (Лучше задать вопрос: Какая из лучших десяти стран показывает худший результат в этом квартале?)

Как внедрить еженедельные ревью метрик? 

Внедрить еженедельные ревью метрик не всегда просто, потому что нужно убедить других в том, что это стоит их времени. Если вы работаете с данными, начните с обсуждения идеи с человеком, который несет ответственность за работу команды в целом и будет наиболее заинтересован в отслеживании прогресса и синхронизации. Это может быть CEO, руководитель направления (например, главный операционный директор, руководитель продаж) или лидер продукта (например, продакт менеджер или техлид). 

Если вы сами являетесь таким ответственным лицом, то предложите идею обзора метрик вашему аналитику. Если оба согласны, то попросите остальных членов команды обязаться попробовать это хотя бы на квартал. Если добавить обзор метрик в уже существующую командную встречу, это снизит сложность внедрения.

Ваш обзор метрик не обязательно должен быть всесторонним с самого начала, начните с 10-минутного слота раз в две недели. Аналитик должен быть готов управлять повесткой и напоминать всем о целях на первых встречах (“Это наша основная целевая метрика…”, “Я показываю Вам этот сегмент, потому что…”, “Я показываю вам эту связанную метрику, потому что…”). Используйте первые несколько встреч для сбора обратной связи по ключевым метрикам и их разбивкам, которые стоит рассматривать. Помните, что лучше начать с небольшого количества данных, чем перегрузить команду десятками цифр и графиков. Всегда можно сделать письменный фоллоуап с перечнем того, что обсуждалось, и того, что стоит доизучить.