Como Conduzir um Teste A/B

Para quem é

Pesquisadores de marketing, produto, organizações sem fins lucrativos e negócios que necessitam de um teste claro para verificar se a versão B desempenha de forma diferente da versão A.

Etapas

1. Escreva uma única decisão específica que o teste deve informar.
2. Escolha um único desfecho primário antes de coletar dados.
3. Crie um experimento de survey com a versão A como primeira condição de referência e a versão B como segunda condição.
4. Mantenha todos os elementos constantes, exceto pela diferença de tratamento pretendida.
5. Atribua aleatoriamente os respondentes, colete a amostra planejada e evite interromper porque um resultado inicial parece favorável.
6. Em Results (Resultados), escolha o desfecho primário e leia a diferença de médias, o intervalo de confiança de 95% e o gráfico de tratamento versus referência.
7. Relate o resultado, o tamanho da amostra, a incerteza e quaisquer exclusões junto com a recomendação para o negócio.

Por que isso importa

Testes A/B substituem debates informais de preferência por uma comparação aleatorizada. A primeira condição funciona como referência, e a diferença média estimada mostra como a segunda versão alterou o desfecho selecionado na amostra testada.

Antes de aplicar a pesquisa

• Altere uma coisa significativa por vez.
• Selecione o desfecho primário com antecedência.
• Use atribuição aleatória.
• Planeje o tamanho da amostra antes do lançamento.
• Leia o intervalo de confiança, não apenas o valor-p.
• Documente como nulo tanto resultados negativos quanto positivos.

Perguntas frequentes

Guias relacionados