Cómo elegir una métrica para una prueba A/B
Seleccione un resultado primario que conecte el experimento con una decisión real de marketing o de producto.
Respuesta rápida
Seleccione un resultado primario que conecte el experimento con una decisión real de marketing o de producto. Comience con la decisión que cambiará si la prueba tiene éxito. Elija una única métrica primaria cercana a esa decisión y que pueda responder al tratamiento. Defina con exactitud cómo se calcula la métrica y qué encuestados la integran.
Para quién es
Equipos que deciden si medir clics, comprensión, intención de compra, registros, intención de satisfacción, intención de retención u otro resultado de negocio.
Pasos
- Comience con la decisión que cambiará si la prueba tiene éxito.
- Elija una única métrica primaria cercana a esa decisión y que pueda responder al tratamiento.
- Defina con exactitud cómo se calcula la métrica y qué encuestados la integran.
- Agregue métricas secundarias solo cuando expliquen el mecanismo o protejan frente a daños.
- Establezca la ventana de observación antes del lanzamiento.
- Verifique que ambos brazos del experimento puedan generar la métrica de la misma manera.
- Registre la definición de la métrica con el plan de análisis.
Por qué es importante
Un experimento puede producir una respuesta estadísticamente ordenada a una pregunta incorrecta. Una métrica primaria claramente definida limita el reporte selectivo y facilita defender la recomendación final.
Antes de realizar el estudio
- Use una sola métrica primaria.
- Defina numerador y denominador.
- Mantenga la medición idéntica en ambos brazos.
- Separe métricas diagnósticas de métricas de decisión.
- Evite cambiar la métrica después de ver resultados.
Preguntas frecuentes
¿Para qué sirve esta guía?
Equipos que deciden si medir clics, comprensión, intención de compra, registros, intención de satisfacción, intención de retención u otro resultado de negocio.
¿Cuál es el flujo de trabajo básico?
Comience con la decisión que cambiará si la prueba tiene éxito. Elija una única métrica primaria cercana a esa decisión y que pueda responder al tratamiento. Defina con exactitud cómo se calcula la métrica y qué encuestados la integran. Agregue métricas secundarias solo cuando expliquen el mecanismo o protejan frente a daños.
¿Qué debo comprobar antes de realizar el estudio?
Use una sola métrica primaria. Defina numerador y denominador. Mantenga la medición idéntica en ambos brazos. Separe métricas diagnósticas de métricas de decisión.
Guías relacionadas
Los nombres de productos y plataformas pertenecen a sus respectivos propietarios. Conjoint Survey es una herramienta independiente y no está afiliada, patrocinada ni respaldada por esos servicios.