Como Escolher uma Métrica para um Teste A/B
Selecione um desfecho primário que conecte um experimento a uma decisão real de marketing ou de produto.
Resposta rápida
Selecione um desfecho primário que conecte um experimento a uma decisão real de marketing ou de produto. Comece com a decisão que mudará caso o teste seja bem-sucedido. Escolha uma única métrica primária próxima a essa decisão e que consiga responder ao tratamento. Defina exatamente como a métrica é calculada e quais respondentes entram nela.
Para quem é
Equipes que decidem se devem medir cliques, compreensão, intenção de compra, cadastros, satisfação, intenção de retenção, ou outro desfecho de negócio.
Etapas
- Comece com a decisão que mudará caso o teste seja bem-sucedido.
- Escolha uma única métrica primária próxima a essa decisão e que consiga responder ao tratamento.
- Defina exatamente como a métrica é calculada e quais respondentes entram nela.
- Adicione métricas secundárias apenas quando explicarem o mecanismo ou protegerem contra danos.
- Defina a janela de observação antes do lançamento.
- Verifique que ambos os braços do experimento geram a métrica da mesma maneira.
- Registre a definição da métrica com o plano de análise.
Por que isso importa
Um experimento pode produzir uma resposta estatisticamente bem comportada para a pergunta errada. Uma métrica primária claramente definida limita relatórios seletivos e facilita a defesa da recomendação final.
Antes de aplicar a pesquisa
- Use uma única métrica primária.
- Defina numerador e denominador.
- Mantenha a mensuração idêntica entre os braços.
- Separe métricas diagnósticas de métricas de decisão.
- Evite mudar a métrica após ver os resultados.
Perguntas frequentes
Para que serve este guia?
Equipes que decidem se devem medir cliques, compreensão, intenção de compra, cadastros, satisfação, intenção de retenção, ou outro desfecho de negócio.
Qual é o fluxo de trabalho básico?
Comece com a decisão que mudará caso o teste seja bem-sucedido. Escolha uma única métrica primária próxima a essa decisão e que consiga responder ao tratamento. Defina exatamente como a métrica é calculada e quais respondentes entram nela. Adicione métricas secundárias apenas quando explicarem o mecanismo ou protegerem contra danos.
O que devo verificar antes de aplicar a pesquisa?
Use uma única métrica primária. Defina numerador e denominador. Mantenha a mensuração idêntica entre os braços. Separe métricas diagnósticas de métricas de decisão.
Guias relacionados
Os nomes de produtos e plataformas pertencem aos seus respetivos proprietários. O Conjoint Survey é uma ferramenta independente e não é afiliado, patrocinado nem endossado por esses serviços.