A VTEX não tem mais uma ferramenta de teste AB nativa. O app AB Tester foi descontinuado em 2023 e o repositório do app administrativo informa que ele não recebe mais manutenção. Ou seja: hoje, rodar testes AB em uma loja VTEX depende de uma solução externa.

A questão é qual. E a resposta muda bastante dependendo de quem vai rodar os testes no dia a dia: o time de desenvolvimento ou o de growth.

Neste post, vamos detalhar como o sistema antigo funcionava, os problemas que levaram à sua descontinuação, o que existe hoje e como rodar testes rápidos, confiáveis e escaláveis na VTEX com a Croct.

O que aconteceu com o teste AB nativo da VTEX

Os testes AB nativos da VTEX eram implementados pelo aplicativo AB Tester. A configuração e o gerenciamento dos experimentos eram 100% dependentes dos desenvolvedores, pois eram realizados por meio da VTEX CLI, conforme mostra este guia oficial. O conceito era simples:

1. Você criava um workspace com as alterações da variante (interface, layout ou funcionalidade).
2. O aplicativo dividia o tráfego de sessões entre o workspace master (controle) e o workspace de produção (variante).
3. Os usuários eram agrupados e permaneciam na versão atribuída durante todo o teste.
4. Os resultados (sessões, conversões, receita) eram exibidos no painel da VTEX.

Os testes precisavam ser finalizados manualmente no painel, e os dados eram mantidos por apenas 30 dias, sendo descartados depois. Por fim, o workspace vencedor podia ser promovido a master, tornando as alterações disponíveis a todos os usuários.

Além da alta dependência de desenvolvedores, o app tinha limitações conhecidas e documentadas pela própria VTEX:

• Métricas mal calculadas: sessões e conversões às vezes exibiam valores incorretos.
• Roteamento de requisições inconsistente: o mesmo usuário podia ver versões diferentes nas requisições.

Vale dizer o que essas duas limitações significam na prática: se as métricas estiverem incorretas e o usuário trocar de variante no meio da navegação, o resultado do teste não será confiável. Não é uma questão de precisão, é uma questão de validade.

Por esses e outros motivos, a VTEX descontinuou o aplicativo em 2023.

As opções disponíveis hoje

Com a descontinuação do teste nativo, as lojas VTEX passaram a depender de ferramentas externas. Cada tipo resolve uma parte do problema, e nenhum deles resolve tudo por si só, exceto as plataformas completas de experimentação.

Por que os editores visuais são um problema no e-commerce

Se você já usou um editor visual de uma plataforma de testes client-side, provavelmente conhece o efeito flicker: o conteúdo original pisca antes do carregamento da variante. Isso acontece porque o DOM está sendo reescrito depois da renderização da página, o que:

• Prejudica o desempenho e derruba as pontuações nos Core Web Vitals.
• Cria risco de penalidades de SEO devido a conteúdo inconsistente.
• Pode ser bloqueado por ad blockers, o que distorce os dados do experimento.

No e-commerce, isso pesa mais do que em qualquer outro tipo de site. Você está rodando o teste justamente nas páginas para as quais compra tráfego. Uma ferramenta que atrasa o carregamento está cobrando um imposto sobre o tráfego que você pagou para trazer.

Por que feature flags não resolvem sozinhas

Ferramentas de feature flag são ótimas para o que foram feitas: implementar e testar mudanças no código de forma gradual e controlada. Elas não causam flicker nem prejudicam o desempenho.

O problema é o modelo de operação. Uma feature flag devolve um valor booleano que o seu código interpreta, então:

• Cada nova variante é uma branch criada, revisada e publicada por um desenvolvedor.
• Elas normalmente não trazem analytics, então você ainda precisa de uma ferramenta separada para medir.
• A segmentação por comportamento exige um CDP à parte.

Na prática, a velocidade de experimentação fica limitada ao ritmo das sprints. Se o time de growth quer testar cinco versões de um banner neste trimestre, cada uma vira um ticket.

Como a Croct funciona em lojas VTEX

A Croct é um CMS de componentes com teste AB e personalização nativos, que roda ao lado da VTEX em vez de substituí-la. Você usa a Croct apenas nos elementos que quer testar ou personalizar, e o resto da loja continua exatamente como está.

Os elementos que as lojas mais costumam integrar são: top bars, menus, carrosséis de banners, seções de destaque e callouts nas páginas de produto, de carrinho e de checkout.

Rastreamento automático de eventos da loja

Esta é a parte específica da VTEX e é a que mais economiza tempo. Nossa integração acompanha automaticamente os eventos da loja e os envia para a Croct: visualizações de produto, visualizações de carrinho, alterações de carrinho, início do checkout, pedidos finalizados, buscas e adições à lista de desejos.

Cada um desses eventos também registra uma conversão, então você consegue medir um teste AB a partir de qualquer interação da loja sem escrever código de tracking.

A integração também normaliza os valores monetários que a VTEX reporta: converte os totais de carrinho de centavos para a unidade principal e trata os descontos como valores positivos. Como a VTEX reporta uma compra por meio de dois eventos distintos, o pedido é registrado apenas uma vez, evitando a contagem de receita em dobro.

Além disso, os dados do cliente enriquecem o perfil do visitante com atributos como nome, sobrenome, e-mail, telefone e endereço, provenientes dos eventos de cliente, de carrinho e de pedido.

Tudo resolvido no server-side

A variante é decidida no servidor, antes da resposta chegar ao navegador. Não existe flicker, não existe script anti-flicker e não existe penalidade nos Core Web Vitals. O tempo de resposta ponta a ponta fica abaixo de 90 milissegundos no P95.

Como a resolução ocorre no nível do componente, o restante da página permanece em cache. Só o trecho testado é dinâmico.

Analytics e segmentação inclusos

O rastreamento de exposições, o tracking de conversões e a engine estatística são nativos. A análise usa a abordagem Bayesiana e é calculada em tempo real e com 100% dos dados, sem amostragem.

Os perfis de visitante também são nativos, o que significa que você monta audiências por comportamento em tempo real, sem precisar contratar um CDP separado. Um visitante que já comprou, que abandonou o carrinho ou que chegou por uma campanha específica pode ser segmentado na hora.

Uma integração, nenhum deploy por teste

Os desenvolvedores conectam os componentes apenas uma vez. Depois disso, o time de growth cria audiências, escreve variantes e publica experimentos diretamente na interface, sem deploy nem ticket.

Sobre custo

Vale corrigir uma percepção comum: plataformas headless de experimentação são frequentemente descritas como caras, o que faz sentido quando se fala de suítes enterprise.

Nós, por outro lado, oferecemos um plano gratuito para sempre, com 10.000 usuários ativos por mês, sem necessidade de cartão de crédito. O plano Growth começa em R$ 600 por mês para 20.000 usuários ativos mensais e a cobrança é feita em reais, com emissão de Nota Fiscal.

Como integrar a Croct na VTEX

O caminho depende da versão da VTEX em que a sua loja foi construída.

VTEX Legacy e VTEX FastStore

Use os SDKs da Croct para rastrear eventos e buscar conteúdo dinâmico.

Para lojas FastStore que enviam eventos no padrão GA4 para o data layer, a integração com o Google Tag Manager é o caminho recomendado para o rastreamento automático.

VTEX IO

Como a VTEX não permite personalizar diretamente os componentes dela, na VTEX IO você precisa duplicá-los e criar versões personalizadas.

Siga este guia da própria VTEX ou confira este exemplo para desenvolver componentes personalizados e usar o conteúdo entregue pela API da Croct, em vez de deixá-lo fixo no código ou buscá-lo no CMS da VTEX. Assim, o conteúdo já chega personalizado quando a VTEX é renderizada.

Lojas construídas com Store Framework (VTEX IO) transmitem eventos pelo mesmo mecanismo usado pelos apps de Pixel, então o rastreamento automático funciona adicionando um único script ao HTML da loja ou injetando-o pelo Google Tag Manager.

Como escolher

• Se a sua loja está em VTEX IO e o time de engenharia quer manter tudo em código, uma ferramenta de feature flag como a GrowthBook resolve a atribuição e a estatística, desde que você aceite um deploy por variante e uma ferramenta separada de analytics.
• Se você precisa de heatmaps e gravações de sessão junto com os testes, uma suíte de CRO como a VWO cobre mais superfície, com o custo e o impacto de performance que vêm junto.
• Se o time de growth precisa rodar experimentos sem depender de desenvolvedores, e você não quer contratar um CDP e uma ferramenta de analytics só para começar, a Croct entrega o ciclo completo e roda ao lado da VTEX sem migração.

A pergunta que mais define a escolha não é técnica. É quem vai lançar o próximo teste.

Precisa de ajuda?

Para otimizar seus experimentos e jornadas personalizadas com a Croct, crie uma conta gratuita ou consulte a documentação completa.

Nosso time tem bastante experiência com lojas na VTEX, então fique à vontade para agendar uma conversa técnica. Você vai ter tudo o que precisa para integrar em poucas horas.