Teste AB com personalização: como usar no seu site

Você se considera uma pessoa analítica? Hoje em dia, ser um profissional analítico vai muito além de utilizar ferramentas de analytics e planilhas ou saber como fazer um teste AB. A maneira com que usamos essas ferramentas para entender e resolver problemas diretamente ligados ao negócio é o que realmente nos diz se somos, de fato, analíticos.

As equipes de SEO costumam se concentrar em palavras-chave e taxas de rejeição, enquanto as de performance focam em impressões, custos e taxas de cliques. Os profissionais de conteúdo acompanham métricas de sessão e visualizações de página, enquanto os de produto estão de olho na velocidade e no desempenho do site.

Todos eles olham para a mesma fonte de dados para obter informações completamente diferentes, cada um conduzindo seus próprios experimentos. Nesses casos, é essencial que você adote um ponto de vista específico para responder às perguntas relacionadas aos seus testes AB.

Neste post, vamos falar sobre três estágios de um teste AB — planejamento, implementação e análise —, e destacar como a análise de dados pode dar suporte a cada um deles. Para isso, falaremos sobre:

• Como usar dados para gerar e validar uma hipótese
• Como analisar experimentos para obter insights
• Como incentivar experimentos futuros.

Como planejar seus testes AB [Template grátis]

Baixe esse passo a passo para aprender a priorizar, documentar e estimar a duração dos seus experimentos.

Saiba mais

O papel dos dados no planejamento de um teste AB

Primeiramente, é importante definir o que é uma plataforma de análise de dados e do que ela é capaz. Para muitas pessoas, uma plataforma de análise de dados é como um cofre que contém o segredo de como gerar mais tráfego, mais receita e mais sucesso para o negócio. Na realidade, ela está mais para uma ferramenta, que não faz nada demais até que você faça a pergunta certa. Se você vagar sem rumo pelos dados em busca de informações, você provavelmente não vai encontrar muita coisa útil.

Em vez disso, dê um passo atrás e considere os problemas que você está tentando resolver. Pode ser um palpite ou uma série de perguntas e ideias sobre seu site, produto ou cliente. Com essas perguntas em mãos, use sua plataforma de análise de dados para confirmar ou invalidar seu palpite. Se os dados confirmarem essa hipótese, isso pode ser um bom indício de que ali existe uma oportunidade de otimização que merece um teste AB.

Mas calma, fazer as perguntas certas e gerar hipóteses de testes AB te parece algo difícil? Você não é a única pessoa com esse desafio. Esse é o principal motivo pelo qual algumas plataformas de análise de dados lançaram sessões de insights em seus dashboards. Embora ainda sejam um pouco rudimentares, essas ideias, orientadas por inteligência artificial, são um passo na direção certa.

Entretanto, como nem todos esses insights podem fazer sentido para você, aqui vão algumas dicas para fazer as perguntas certas:

• Colocar-se no lugar dos seus usuários
• Acompanhar os eventos do seu site ou produto
• Segmentar sua base de usuários.

Coloque-se no lugar dos seus usuários

Uma das melhores maneiras de identificar uma boa ideia de teste AB é colocar-se no lugar dos usuários. Navegue pelo seu site ou aplicativo como se você fosse um novo usuário e procure pontos de atrito. Outra maneira de fazer isso é pedindo para alguém que você conhece — pode ser da sua família ou algum amigo — navegar pelo seu site, com o objetivo de completar alguma task, como realizar uma compra ou um cadastro. Pergunte a essa pessoa quais foram os pontos de fricção que ela encontrou ou qual etapa da navegação ela achou mais intuitiva. Além disso, entrevistar usuários e pedir feedbacks é sempre um ponto chave para entender o que realmente funciona para eles.

Se você trabalha em um e-commerce, pode descobrir que os custos de envio para determinadas regiões estão muito elevados ou que o tempo de entrega sequer é exibido até que o usuário tente finalizar a compra. Esse pode ser um ponto de frustração em potencial para os usuários. Com hipóteses como essa, você já tem um bom conjunto de perguntas para fazer na sua plataforma de análise de dados.

Acompanhe eventos relevantes

Se você trabalha há mais tempo com otimização, essa sugestão pode até parecer boba, mas por aqui a gente continua se surpreendendo com a quantidade de empresas que ainda não aproveitam as informações originadas de eventos. Se você estiver criando um teste AB novo ou implementando alguma nova feature, reserve um tempo para mapear as ações e os eventos importantes que um usuário pode gerar.

O engajamento com o cabeçalho ou rodapé, os cliques nos CTAs, a profundidade da rolagem, a reprodução de vídeos, entre tantas outras, são ações valiosas que podem ajudá-lo a descobrir informações importantes com base nos comportamentos do usuário.

Mas fique atento e não confunda isso com mapas de calor — eles mostram em que áreas do site os usuários clicam, mas não permitem segmentá-los com base nessas ações para fazer qualquer tipo de análise.

Imagine que você tem uma página de produto com um vídeo e um mapa de calor mostra que muitos de seus usuários estão clicando nesse vídeo. A princípio, o próximo passo seria colocar mais vídeos no seu site, certo? Não necessariamente. Ao formular essa hipótese, você parte de um princípio que pode não se comprovar: será que as visualizações de vídeo estão realmente relacionadas à conversão?

Para confirmar essa hipótese, você deve comparar os dados dos usuários que clicam no vídeo com os dados dos que não clicam para conferir se a conversão desses dois grupos é de fato diferente. Você pode descobrir, por exemplo, que na verdade aqueles que não assistem ao vídeo têm mais chances de converter. Essa é uma boa oportunidade para mais um teste AB.

Segmente sua base de usuários

Todo profissional de marketing usa segmentação no dia a dia e sabe que esse conceito vai muito além de dados demográficos. Segmentos de usuários podem originar novos insights completamente não explorados, por fornecer maior granularidade. Uma das maneiras mais valiosas de usar segmentos é entender melhor os usuários que navegam pelo seu site ou produto.

As plataformas de análise de dados geralmente relatam de forma intercambiável o número de sessões, de visualizações de página, de usuários, etc, em relatórios padrões. Muitas ferramentas de teste, no entanto, operam no nível de usuários únicos. A criação de segmentos com base nos usuários permitirá estimar com mais precisão informações como tamanho do público-alvo, taxa de conversão e duração do teste AB.

Testes comuns

Antes de mais nada, vale relembrar rapidamente como a segmentação da audiência é feita em um teste AB comum. Quando criamos um experimento, definimos qual parcela da audiência verá o site como ele é atualmente, sem nenhuma modificação: o famoso grupo de controle. Em seguida, dividimos igualmente a parcela restante entre as variações que queremos testar.

Para garantir consistência, a atribuição de um usuário a um segmento deve ser sempre aleatória e garantir que, uma vez sorteado, ele sempre caia no mesmo segmento nas visitas seguintes.

Testes com personalização

Quando introduzimos a personalização, a principal mudança está no começo do fluxo de segmentação. Vamos supor que temos duas personalizações ativas no site, uma para quem está navegando na região Sul e outra para quem está na região Norte. Nesse caso, temos três segmentos da audiência geral do site:

Agora, vamos imaginar que queremos fazer um teste AB relacionado ao conteúdo personalizado que será exibido para cada um desses segmentos. Queremos descobrir se (1) a personalização traz algum benefício e (2) se sim, qual é o conteúdo mais apropriado.

Para cada um dos segmentos, criamos um grupo de controle, que não verá nenhuma personalização, e duas variações personalizadas. O resultado da nossa segmentação, então, fica da seguinte maneira:

Note que, diferentemente do teste comum, a primeira segmentação não é aleatória e é sempre previsível, já que a localização do usuário é sempre definida da mesma maneira. A partir desse ponto, a segunda segmentação segue a mesma regra de um teste comum (aleatória com garantia de consistência em visitas futuras).

A implementação de um teste AB

Usar análise de dados para identificar uma ideia de teste AB é apenas a metade do caminho: saber o que rastrear e como medir o desempenho de um experimento é fundamental. Para avaliar o sucesso e obter insights, você precisa garantir que está acompanhando as métricas corretas.

Há muitas informações disponíveis sobre esse assunto, então vamos listar apenas algumas das práticas mais recomendadas. De modo geral, tenha em mente que seus testes AB são tão bons quanto as métricas que você correlaciona a eles.

Defina suas métricas antecipadamente

Recomendamos que você acompanhe sempre duas métricas em seus testes: as primárias e as secundárias.

Métricas Primárias

As métricas primárias devem ser consistentes em muitos (senão em todos) os seus experimentos. Se você trabalha em um e-commerce, muito provavelmente sua métrica primária é receita média por usuário ou taxa de conversão de venda. Se o principal objetivo é a geração de leads, pode ser número de leads ou taxa de conversão de lead. Em um SaaS, ela pode ser, por exemplo, a quantidade de pedidos de demonstração ou a taxa de cadastro. Sua métrica principal deve sempre estar intimamente ligada aos resultados do seu negócio.

Métricas Secundárias

Sua métrica principal é o seu guia para a tomada de decisões, mas ela não te ajuda a contar toda a história por trás de um teste AB. Normalmente, utilizamos as métricas secundárias para ajudar a explicar por que a métrica principal aumentou ou diminuiu.

Geralmente essas métricas são mais específicas do experimento e mudam de acordo com o que você está testando. Ela pode estar relacionada a uma etapa do seu funil ou ser focada em engajamento, como cliques em um CTA ou visitas a uma página específica.

As métricas secundárias são especialmente relevantes quando um teste AB tem um impacto negativo em sua métrica principal. Nesse caso, são métricas de suporte que te ajudam a entender o que de fato está acontecendo, uma vez que elas mostram de forma mais detalhada como os usuários se comportam.

Integre sua ferramenta de teste AB à sua ferramenta de análise de dados

Por mais que tenhamos falado aqui sobre garantir que as métricas sejam definidas antecipadamente, a realidade é que nem sempre estamos certos sobre quais delas serão impactadas. Podemos, por exemplo, esperar que a taxa de conversão mude, mas ela pode permanecer estável enquanto o ticket médio aumenta consideravelmente. Se você não antecipou possíveis impactos no ticket médio, pode não perceber que seu teste AB, na verdade, trouxe resultados positivos.

É por isso que integrar sua plataforma de análise de dados à sua ferramenta de teste AB é muito importante. Seguindo a linha do que mencionamos acima sobre acompanhar os eventos dos usuários, nesse caso ainda seria possível identificar esse aumento analisando os eventos de confirmação de pedido.

A análise de um teste AB

A personalização já se provou uma forte aliada na construção de experiências únicas de navegação que gera um ROI alto. Um estudo da McKinsey, por exemplo, mostrou que a personalização pode reduzir o CAC em até 50%, aumentar a receita de 5% a 15% e melhorar a eficiência de marketing de 10% a 30%. Contudo, o seu objetivo deveria ser medir quanto, de fato, a personalização traz de resultado para o seu negócio.

Antes de falar sobre a análise de testes com personalização, vamos relembrar o objetivo de tais testes. Em geral, o que queremos descobrir é qual conteúdo personalizado é o mais indicado para um determinado segmento. Isso quer dizer que não faria sentido compararmos métricas do segmento S1 com N1, por exemplo.

Com isso, o que devemos analisar aqui é a diferença entre as métricas dos subsegmentos da região Sul e os subsegmentos da região Norte, para responder às duas perguntas que levantamos anteriormente:

1. A personalização traz algum benefício? Ou seja, a métrica do grupo de controle é melhor ou pior que as restantes?
2. Se sim, qual é o conteúdo mais apropriado para cada um dos segmentos? Ou seja, qual das variações apresentou o melhor resultado?

Determinando o sucesso de um experimento

Ao final do teste, você deve avaliar se as variações tiveram um desempenho melhor ou pior que o do grupo de controle. A maneira de fazer isso depende muito da metodologia que você utiliza e das métricas que você definiu antes de iniciar o teste.

Não é incomum se deparar com uma situação em que a métrica principal se mantém estável e as métricas secundárias apresentam alguma variação. Imagine, por exemplo, que você trabalha em um e-commerce e acabou de realizar uma experiência na página inicial, apresentando uma nova seção de produtos. Você descobre que a taxa de conversão não mudou, mas que o engajamento com os produtos em destaque é alto e que o tráfego para as páginas de produto também aumentou.

Nesse exemplo, você conseguiu introduzir uma nova área promocional, que não prejudica a taxa de conversão, e criou uma oportunidade para apresentar produtos que podem ser de alto valor para o negócio.

Estimando o impacto a médio prazo

Projetar o impacto de seus testes AB é essencial para embasar a argumentação, provar o valor dos seus testes e garantir que suas iniciativas continuem recebendo o orçamento que merecem.

Você provavelmente é responsável por determinados KPIs e precisa mostrar que seus testes AB estão afetando positivamente os resultados do negócio. O objetivo de projetar o impacto é provar o retorno do investimento (ROI) de seus experimentos, além de demonstrar valor e impacto a longo prazo.

A abordagem comum a essas projeções é usar o aumento observado de seu teste para estimar quanto de receita adicional, vendas ou leads você poderia ter caso a variação fosse implementada e ficasse visível para toda a audiência do site.

Vamos explorar um exemplo simples para esclarecer esse conceito. Digamos que você faça um experimento com uma variação e um grupo de controle por quatro semanas. Sua variação resulta em um aumento de 5% na taxa de conversão. Impressionante, não? Mas você precisa mostrar o que esse aumento de 5% significa para os negócios de maneira geral.

Em um segundo caso, ignorando a sazonalidade decorrente de diferentes campanhas e outros fatores externos, podemos aplicar o acréscimo de 5% à receita anual, já que um aumento na taxa de conversão acarretaria no aumento proporcional da receita.

Em qualquer caso não existe certo e errado, por isso é muito importante rotular essa abordagem como uma projeção ou estimativa.

Descobrindo novos insights

Descobrir novas idéias é o que importa. O objetivo principal dos testes AB é encontrar caminhos para melhorar a receita e elevar as taxas de conversão, mas usar os insights é a chave para o verdadeiro sucesso a longo prazo.

Esperamos que esse blog post tenha sido útil para você. Se você tem interesse em colocar o que aprendeu em prática, crie gratuitamente sua conta na Croct e explore nossa plataforma! Ela reúne em um só lugar funcionalidades de personalização e teste AB, para que você passe a mensagem certa para cada cliente e alavanque seus resultados com mais autonomia.