Template gratuito: como planejar seus testes AB
O início do trimestre é um momento importante para profissionais de growth e marketing. Seja pela preparação de seus planos táticos, estabelecendo novos objetivos, seja por ser o momento em que eles pensam mais profundamente sobre suas estratégias a partir dos resultados do trimestre anterior. Nossos clientes passam por essas mesmas situações; e é exatamente nessa época do ano que eles costumam nos procurar pedindo ajuda para planejar seus testes AB.
Suas principais dúvidas giram em torno de algumas dessas questões:
- Como organizar as hipóteses?
- Como priorizar seus testes?
- Quais métricas utilizar para avaliar seus resultados?
- Como estimar a duração de um teste?
- Qual método utilizar para analisar resultados?
- Como documentar o processo para revisões futuras?
Planejando testes AB
Já abordamos alguns desses tópicos em outros posts do nosso blog. Vamos revisitá-los agora.
Como organizar hipóteses
Para formular hipóteses, você precisa de conhecimento prévio e criatividade. E não há nada como um brainstorming para gerar novas ideias. Convide seus colegas para uma sessão de elocubrações sobre como aumentar as taxas de conversão. Quanto mais diversificado for seu time, melhor: peça ajuda para designers, copywriters, engenheiros, cientistas de dados, profissionais de marketing e produto.
Você deve listar de 10 a 20 hipóteses para começar seus testes.
Exemplo: Andreia é uma terapeuta holística que está tentando prospectar novos clientes em São Paulo. Essas são as ideias que ela decidiu testar em seu site:
- Descontos em serviços específicos
- Desconto de primeira compra
- CTA de desconto por tempo limitado
- Vídeos e artigos para aumentar o engajamento
- Novas landing pages baseadas no clima local
- Cards com depoimentos de clientes
- Banners exibindo cursos online com práticas simples para tentar em casa
- Personalizações baseadas nas últimas sessões dos usuários
- Novos heros com imagens e copys que se destaquem
- Novos headlines
Se você não sabe por onde começar, tente se fazer as seguntes perguntas:
- Qual o objetivo de cada teste?
- Quais KPIs você precisa melhorar?
- Quais dados você já possui sobre as áreas a serem otimizadas?
- Qual o impacto de confirmar cada hipótese?
- Quanto tempo vai levar para implementar cada teste?
- Quem precisa estar envolvido em cada tarefa?
Se você não sabe as respostas, use o ICE Score, um método que te ajuda a definir quais tarefas, projetos ou testes devem ser priorizados. Exploraremos essa técnica na próxima seção.
Como priorizar seus testes
O ICE Score é utilizado em times de growth e produto. Para colocar em prática, recomendamos que você peça a colaboração da equipe para avaliar o impacto possível de cada teste, a confiabilidade a respeito desse impacto e a facilidade de implementação de cada um.
Se você quer testar diferentes audiências, não se esqueça de voltar no item “como priorizar hipóteses”. Dessa maneira, você pode avaliar a relevância de cada audiência e os problemas que os criativos testados podem resolver.
Outros pontos importantes:
- Quais abordagens já foram validadas pelos seus competidores?
- Quais são os seus anúncios com mais interações?
- Quais keywords trazem mais tráfego?
- Quais são as tendências da sua indústria no momento?
- Quais são as personas que mais interagem com seu produto?
Usar dados que já existem vai te ajudar a definir suas estratégias para os próximos meses e poupar tempo com experimentos repetidos.
Quais métricas utilizar para avaliar seus resultados
Na teoria, essa é a parte fácil já que suas métricas estão ligadas aos objetivos que foram definidos. No entanto, é importante definir métricas secundárias para te ajudar com as análises, pois diferentes experimentos impactam diferentes etapas do seu funil.
Suas métricas devem coincidir com os resultados que você espera desses testes, como:
CTR: quais elementos de seu teste tiveram maior interação (um botão, uma imagem, um novo CTA)? Você pode aplicar essas mudanças em outras partes de seu site?
CAC e NPS: o custo de novos clientes diminuiu? Seus clientes estão felizes com a experiência atual?
ROI: seu resultado superou o investimento feito nos testes?
Você precisa analisar métricas específicas para validar hipóteses, mas não se prenda apenas a números. Considerar aspectos abstratos das suas hipóteses te ajuda a usar a criatividade e criar conteúdo relevante para suas audiências.
Como estimar a duração de um teste?
É fácil definir a duração de um teste a partir do ponto de vista estatístico, mas aqui estão alguns pontos a mais para considerar:
- Qual é a sua taxa de conversão atual?
- Qual melhoria você quer testar nesse experimento?
- Quantas variações seu teste tem?
Todos esses fatores podem afetar a duração do teste. Se o impacto de uma variante sobre o baseline for muito baixo, você provavelmente deve rodar o teste por mais tempo para observar as mudanças.
Para isso, você pode usar a calculadora disponível no nosso template.
Qual método utilizar para analisar resultados
Os métodos mais utilizados são o frequentista e o Bayesiano.
A inferência frequentista foi desenvolvida no século XX e se tornou o método estatístico dominante na ciência. É uma abordagem sólida com resultados válidos, mas apresenta limitações quando se trata de testes AB. Com base em nosso benchmark, a abordagem Bayesiana tornou-se o padrão da indústria de testes AB por fornecer informações mais ricas para tomada de decisão.
Como documentar o processo para revisões futuras?
Documentar testes AB é uma prática muito simples, mas muitas pessoas subestimam essa parte do processo. A documentação não deve demandar muito tempo, por isso criamos um template para te ajudar a organizar as informações mais críticas.
Baixe o seu template
Para te ajudar a planejar seus testes AB, criamos um template gratuito em formato de planilha.
Esse guia oferece:
- Uma lista de ideias para você testar em seu site
- Uma ferramenta para te ajudar a priorizar seus experimentos usando o ICE score
- Uma calculadora para estimar por quanto tempo você deve executar seus testes
- Um modelo para documentar seus experimentos.
Sinta-se à vontade para baixá-lo e compartilhá-lo com seus amigos!
E se você quer ter em suas mãos uma plataforma fácil de usar para criar seus testes de forma autônoma e sem precisar da ajuda diária dos devs, crie sua conta gratuita e explore a Croct.