A parte difícil do teste A/B automatizado de anúncios é chegar ao fim

Montar um teste A/B de anúncio leva poucos minutos. Qualquer plataforma constrói a divisão por você, a tela de configuração dá uma sensação de ciência, e no começo todo mundo olha os números. A parte difícil do teste A/B automatizado de anúncios nunca foi o começo. O difícil é ler o teste até o fim, semanas depois, quando a conta pegou fogo em outro canto e ninguém lembra mais por que o experimento existe.

É aí que o teste manual morre. Não no desenho. No acompanhamento.

Por que a maioria dos experimentos nunca é lida?

A falha tem cara conhecida, e já vimos de tudo em contas que herdamos. Às vezes é abandono: o teste nasce com intenção de verdade, aí uma dúvida de orçamento ou um aviso de política come a semana, e o experimento fica rodando para sempre em silêncio, ou é pausado no meio sem veredito. A outra versão é pior, porque parece diligência. Alguém espia cedo, uma variação parece na frente, e o vencedor é declarado com um punhado de cliques. "Parece na frente" não é resultado. É ruído vestido de terno.

Vencedor escolhido no feeling é como uma conta acaba otimizada para o que por acaso converteu numa terça-feira.

O que o teste A/B automatizado muda de verdade

Nosso sistema desenhou, agendou e leu 15 experimentos A/B até o fim. Sozinho, sem ninguém pedir, com boa parte da leitura feita de madrugada. Nenhum teste foi abandonado porque um humano ficou ocupado, porque não tinha humano segurando o teste. E nenhum vencedor foi declarado cedo porque uma variação parecia na frente, porque o sistema não tem sentimentos por variação.

A confiança das leituras mora nos detalhes. Toda leitura sai com sua faixa provável, não com um número único e triunfante. Se a resposta honesta é que a variação B provavelmente melhorou algo entre um pouco e bastante, é isso que fica registrado. E dois cliques nunca viram veredito. O sistema sabe a diferença entre uma diferença e um cara ou coroa, e segura a decisão até os dados merecerem uma conclusão. É essa disciplina que o Attribution aplica a cada experimento que roda, e ela é chata de propósito.

Quão pequeno pode ser um sinal de verdade?

Paciência não é esperar volume gigante. Um dos experimentos revelou um tema que tinha juntado só 23 cliques. Minúsculo. Em quase qualquer painel, invisível. Só que esses 23 cliques tinham virado 11 vendas, e essa proporção grita mesmo em volume de sussurro. A leitura se sustentou dentro da faixa provável, então o tema foi promovido a grupo de anúncios próprio, com orçamento próprio e espaço para provar o resultado em escala.

Um humano revisando essa conta quase certamente passaria reto por uma linha de 23 cliques, não por descuido, e sim porque a triagem manda o olho para as linhas maiores. Quem gerencia conta na mão olha onde o dinheiro está, e linha pequena não ganha autópsia. Ler todo experimento até o fim, inclusive os pequenos, é exatamente o tipo de trabalho que um software que não se entedia deveria fazer.

Nenhuma etapa disso pede assinatura. Os experimentos são lançados, rodam e são lidos sem uma única confirmação do dono da conta, porque a graça é justamente remover o gargalo humano que mata teste. Experimento que precisa da sua aprovação para concluir é experimento esperando ser abandonado de novo.

O limite que vale admitir

Teste A/B automatizado de anúncios não deixa experimento mais rápido. O dado chega na velocidade que o seu tráfego permite, e nenhuma esperteza muda isso. Tem teste que termina num dar de ombros: nenhuma diferença relevante entre as variações. Isso não é fracasso. "Esses títulos performam igual" é uma resposta de verdade, e libera o próximo teste para ousar mais.

O que a automação muda é a taxa de conclusão. Todo teste que começa, termina, e todo final ganha uma leitura honesta. Na nossa experiência, só isso já vence a maioria dos programas de teste, porque a concorrência não é um analista mais esperto. A concorrência é um experimento que ninguém nunca mais abriu.