Você alterou a cor do botão e as vendas aumentaram. Foi por causa da cor ou foi pura sorte? No marketing digital, “achar” é proibido. Use a Calculadora de Teste A/B abaixo para comprovar matematicamente se a sua nova versão é realmente vencedora ou se o resultado foi apenas uma variação natural do acaso.
Calculadora de Teste A/B
Verifique a significância estatística dos seus resultados.
🅰️ Versão A (Controle)
🅱️ Versão B (Teste)
Calculado usando teste Z bicaudal (Two-tailed Z-test). Busque sempre acima de 95% de certeza.
O perigo de confiar apenas nos números brutos
Imagine o seguinte cenário:
- Sua página original (A) teve 100 visitas e 2 vendas. (Conversão: 2%)
- Sua nova página (B) teve 100 visitas e 4 vendas. (Conversão: 4%)
A página B converteu o dobro, certo? Errado. Com uma amostra tão pequena, a chance de esse resultado ter sido pura sorte é gigantesca. Se você trocar tudo para a versão B, pode descobrir na semana seguinte que ela converte menos que a original.
É para evitar esse erro clássico que existe a Significância Estatística.
Como interpretar os resultados da Calculadora
Nossa ferramenta utiliza o método Z-Test Bicaudal (Two-tailed), padrão da indústria para comparações diretas. Veja o que cada saída significa:
1. Taxa de Conversão (Conversion Rate)
Mostra a eficácia de cada versão. É calculada dividindo o número de conversões pelo número de visitantes.
2. Impacto (Lift)
Mostra o quanto a Versão B é melhor (ou pior) que a A.
- Exemplo: Se o Lift for +20%, significa que a nova versão gerou 20% mais resultados proporcionalmente.
3. Certeza Estatística (Significance Level)
Este é o número mais importante da tela. Ele diz qual a probabilidade de o resultado ser real e não obra do acaso.
- Abaixo de 90%: O teste é inconclusivo. Não tome decisões ainda. Continue rodando o tráfego.
- Entre 90% e 95%: Há uma tendência forte, mas ainda existe risco.
- Acima de 95%: O “Gold Standard” do mercado. Você pode declarar a versão B vencedora com segurança científica.
O que é o Teste A/B e quando fazê-lo?
O Teste A/B consiste em dividir o seu tráfego aleatoriamente entre duas versões de uma mesma página (Versão A ou Controle vs. Versão B ou Variante).
Você deve rodar um teste sempre que quiser validar uma hipótese de melhoria, como:
- Manchete (Headline): Mudar a promessa principal aumenta a retenção?
- Botão (CTA): Mudar de “Compre Agora” para “Quero meu Desconto” aumenta os cliques?
- Preço: Testar ofertas diferentes (cuidado, isso exige ética e transparência).
- Imagens: Uma foto de pessoa sorrindo converte mais que a foto do produto?
Erros comuns que destroem seus testes
- Parar o teste cedo demais: O erro número 1. Não encerre o teste assim que a versão B passar a frente. Aguarde atingir pelo menos 95% de certeza estatística.
- Testar muitas coisas ao mesmo tempo: Se você mudar o título, a foto e o botão na versão B, nunca saberá qual elemento causou a melhora. Teste uma variável por vez.
- Ignorar a sazonalidade: Não compare a performance de uma segunda-feira com a de um domingo. Testes A/B devem rodar por ciclos completos de semanas (7, 14 ou 21 dias).
