Cómo ejecutar una prueba A/B

Para quién es

Investigadores de marketing, producto, organizaciones sin fines de lucro y empresas que requieren una prueba clara de si la versión B se desempeña de manera diferente a la versión A.

Pasos

1. Escriba una decisión específica a la que deba informar la prueba.
2. Elija un único resultado primario antes de recopilar datos.
3. Cree un experimento de encuesta con la versión A como primera condición de referencia y la versión B como segunda condición.
4. Mantenga constante todo excepto la diferencia de tratamiento prevista.
5. Asigne aleatoriamente a los encuestados, recopile la muestra planificada y evite detenerse porque un resultado temprano parezca favorable.
6. En Results, seleccione el resultado primario y lea la diferencia de medias, el intervalo de confianza del 95% y la gráfica de tratamiento versus referencia.
7. Reporte el resultado, el tamaño de muestra, la incertidumbre y cualquier exclusión junto con la recomendación para el negocio.

Por qué es importante

Las pruebas A/B reemplazan debates informales de preferencia por una comparación aleatorizada. La primera condición sirve como referencia y la diferencia de medias estimada muestra cómo la segunda versión cambió el resultado seleccionado en la muestra evaluada.

Antes de realizar el estudio

• Cambia una sola cosa significativa a la vez.
• Seleccione el resultado primario con anticipación.
• Use asignación aleatoria.
• Planifique el tamaño de muestra antes del lanzamiento.
• Lea el intervalo de confianza, no solo el p-value.
• Documente nulo tanto como resultados positivos.

Preguntas frecuentes

Guías relacionadas