Скачать презентацию

Введение в тестирование и ставки

• В видео обсуждается идея тестирования и ставок в контексте продуктового менеджмента.

• Тестирование помогает предсказать, будет ли фича работать в продакшене, и позволяет сделать ставки на успех или провал.

Примеры и кейсы

• В видео представлен кейс из практики автора, где он рассказывает о двух вселенных с одинаковыми метриками, но разными результатами.

• Обсуждаются понятия "значимый успех" и "незначимый успех" в контексте тестирования.

Ставки и методология тестирования

• В видео объясняется, что ставки делаются на основе результатов тестирования и выбора метрик для тестирования.

• Обсуждаются различные типы метрик и их влияние на результаты тестирования.

Анализ результатов теста

• Обсуждаются результаты теста, проведенного для улучшения конверсии в карточку товара и корзину.

• Метрики, которые были выбраны для анализа, включают конверсию из просмотра в карточку товара, долю отмен по заказам из этой вертикали и долю отмен по заказам из других вертикалей.

Выводы и рекомендации

• В результате теста было обнаружено, что конверсия в карточку товара и корзину выросла, а доля отмен по заказам из этой вертикали осталась неизменной.

• Однако, конверсия в заказ не изменилась значимо.

• В качестве рекомендаций для будущих тестов, автор предлагает более широкий взгляд на метрики и учитывать влияние на деньги и другие показатели.

Важность методологии и команды

• Спикер подчеркивает важность методологии и команды для успешного проведения экспериментов и исследований.

• Он также упоминает, что у них есть классная команда, которая помогает им в этом процессе.

Преимущества работы с собственным решением

• Спикер объясняет, почему они предпочитают работать с собственным решением, а не с вендором.

• Он выделяет преимущества, такие как стабильность, управляемость, гибкость и возможность контролировать процесс.

Рандомизированные эксперименты и количество ошибок

• Спикер обсуждает, как рандомизированные эксперименты помогают разделить аудиторию и избежать влияния внешних факторов.

• Он объясняет, что ошибки в экспериментах возникают из-за изменений в окружающей среде, а не из-за изменений в тестируемой фиче.

Проблемы множественного тестирования

• Обсуждение сложностей, связанных с множественным тестированием, когда у компании есть тысячи метрик и нужно определить, какие из них являются значимыми.

• Упоминается проблема, когда все метрики становятся красными, что может быть признаком проблемы в системе.

Метрики и их использование

• В зависимости от стадии развития продукта, метрики могут быть разными.

• Упоминаются метрики, связанные с покрытием, стабильностью системы, долей пользователей, которые получили фичу, и количеством тестов.

Процесс разработки и тестирования

• Упоминается процесс разработки и тестирования, включающий в себя процессные части, такие как аудит и взаимодействие с пользователями.

• Упоминается важность снижения дисперсии и трудозатрат при разработке и тестировании.

А/Б тест и его использование

• Атест не является "приколюхой", а необходим для обеспечения качества продукта и снижения трудозатрат.

• Упоминается, что платформа - это предохранитель на кольте, который не позволяет ему стрелять.

Обсуждение подходов к тестированию

• Спикер обсуждает два подхода к тестированию: ждать, что продукты будут делать классные гипотезы, и помогать им делать инструменты для анализа и повторных гипотез.

• Он также упоминает, что они не используют сертификацию для равномерного распределения пользователей по группам, так как это может быть дорого и не всегда необходимо.

Вопросы и ответы

• Спикер отвечает на вопросы о том, как часто метрики зависят от платформы и как они справляются с метриками, которые требуют более длительного времени для проверки.

• Он также обсуждает использование прогнозных метрик для прогнозирования будущих результатов и их использование в качестве метрик для оценки LTV.

Раздача подарков

• В конце спикер раздает подарки зрителям, которые задавали вопросы.

• Он призывает зрителей задавать вопросы и общаться с аналитиками, если они сталкиваются со сложными кейсами.