Experiências de gestão, liderança e governança

Pessoa consulta o celular ao lado de uma caixa de café por assinatura aberta e uma xícara de café.

Como testar um reajuste de assinatura sem perder de vista quem cancela

Última atualização em 10 min de leitura
Compartilhe este artigo

No segundo trimestre de 2016, a Netflix esperava adicionar 2,5 milhões de assinaturas líquidas no mundo e registrou cerca de 1,7 milhão. Segundo a carta aos acionistas, as entradas brutas atingiram a expectativa. O que surpreendeu a administração foi uma alta dos cancelamentos que coincidiu com a cobertura jornalística, em abril, do fim da proteção de preço para clientes antigos. Entre os assinantes cujo preço realmente mudou, a empresa classificou os cancelamentos como compatíveis com sua previsão. A carta não informa quantos desistiriam se o anúncio e a mudança de preço tivessem ocorrido em datas diferentes. Carta da Netflix aos acionistas, julho de 2016.

Para um negócio de assinatura, o episódio muda o início do teste. A primeira reação de um cliente pode ocorrer no dia em que recebe a comunicação, semanas antes da fatura. Se o fundador medir apenas quem pagou a nova mensalidade, excluirá justamente as pessoas que reagiram cedo. Uma decisão de ampliar o reajuste pede duas leituras simultâneas. Quanto de contribuição se acumulou por conta originalmente incluída e quantas dessas contas a empresa aceitou perder a mais em relação ao grupo que manteve o preço?

Qual política chega ao cliente e quando começa a observação?

Considere uma empresa hipotética que vende assinaturas mensais por R$ 100 e quer testar R$ 112 em um plano existente. Escreva a proposta da forma como o cliente vai recebê-la. Em qual renovação entra o preço? Haverá mudança de benefício? Ele pode migrar para um plano menor ou encerrar a assinatura antes da cobrança? Qual condição comercial continuará válida para quem já tem preço garantido? Contratos incompatíveis com a mudança ficam fora da população elegível. Registre a quantidade excluída e a razão para saber a quem uma eventual conclusão se aplica.

Uma empresa que precisa alterar preço e benefícios ao mesmo tempo consegue testar o pacote completo. Atribuir a reação exclusivamente ao preço exigiria outro desenho. O mesmo vale para dois e-mails com explicações muito diferentes, ou para uma oferta de retenção que só os clientes de um dos grupos recebem. Decidir o que haverá na política antes do sorteio permite que atendimento, produto e cobrança reproduzam a experiência que a direção efetivamente pensa em ampliar. Quando o tratamento muda no meio, a próxima onda precisa de identificação própria.

Defina a unidade de decisão. Um pagador com três licenças compartilhadas decide se renova as três. Sortear usuários dentro da mesma conta enviaria mensagens incompatíveis e trataria decisões relacionadas como independentes. Sorteie a conta pagadora ou, em contratos vinculados, o conjunto que negocia o preço em bloco. Separe contas mensais das anuais e distribua aleatoriamente dentro de grupos como faixa de antiguidade e semana de renovação. Isso evita que uma única safra de vencimentos concentre a mudança, sem transformar cada subdivisão em um novo teste com poder de decisão próprio.

Nos dois braços, fixe uma data de referência anterior à exposição. O grupo de comparação continua no preço antigo durante toda a janela combinada. Para cada conta dele, atribua a data em que teria recebido a comunicação e acompanhe os mesmos vencimentos relativos que a conta sorteada para o reajuste. A diferença média entre os grupos estima o efeito do pacote oferecido se a atribuição funcionou, se as medições são comparáveis e se um grupo não alterou materialmente a experiência do outro. Essa comparação contrafactual é a contribuição do sorteio. Guia de experimentos controlados de Kohavi e coautores.

O que entra no denominador, inclusive quando o cliente vai embora

O cadastro do piloto deve preservar cada conta sorteada, seu grupo original, preço anterior e data de referência. Vincule o envio do aviso, o vencimento, a cobrança efetiva, um desconto, o estorno, a mudança de plano e a data de encerramento. Guarde também o motivo registrado e as tentativas de cobrança. Falha de cartão pede uma ação operacional diferente de um pedido explícito de saída. Ambas afetam a contribuição efetivamente obtida, inclusive quando o cliente deixa o pedido de cancelamento para o último dia já pago.

Um aviso devolvido ou uma negociação excepcional fazem parte do desempenho da política que a organização consegue executar. Mantenha essa conta na comparação original, mesmo que ela não receba o reajuste que lhe cabia. Faça um diagnóstico adicional de entrega e cobrança para explicar o mecanismo. Analisar só as pessoas que abriram o e-mail seleciona clientes por comportamento posterior à atribuição e transforma atenção à mensagem em critério de inclusão. O grupo que continua a abrir e-mails pode diferir em uso, vínculo e risco de saída.

Combine o horizonte com o ciclo de faturamento. No exemplo a direção acompanha da comunicação até o fechamento de três ciclos mensais completos por conta. Uma assinatura incluída no último lote terá o mesmo tempo para cancelar que a primeira. O painel deve mostrar quantas ainda não completaram a janela. Contar essas contas como renovadas favorece o lote mais recente. Cancelamentos programados e ainda reversíveis podem aparecer num indicador antecipado separado da perda efetiva da assinatura. A regra de encerramento precisa valer também no grupo de comparação.

O que aconteceu com duas coortes de mil contas?

No exercício didático a seguir, há mil contas mensais em cada grupo, uma assinatura por conta e um único plano. Todas as contas estavam ativas quando a comparação começou. Chamaremos de pagante no ciclo quem permaneceu na base e pagou integralmente aquela mensalidade. Para facilitar a conferência, as saídas são definitivas no período. Não há inadimplência, reativação, desconto, imposto incidente no valor do exemplo nem migração de plano. A contribuição desconta os custos variáveis especificados. Esses números não pertencem à Netflix.

Cada grupo começa com mil contas. Aos preços de R$ 100, restam 980, 960 e 940 contas. Aos R$ 112, restam 965, 935 e 900.
Exemplo didático. Cada ponto mostra quantas das mil contas originais continuam pagantes. A diferença chega a 40 contas ao fim do terceiro ciclo.

O grupo mantido em R$ 100 registra 980, 960 e 940 pagantes nos três ciclos. O grupo de R$ 112 registra 965, 935 e 900. Somar os três fechamentos produz 2.880 mensalidades pagas no controle e 2.800 no reajuste. Essa soma conta uma mesma pessoa até três vezes, como convém para calcular o valor do serviço prestado em três meses. Para calcular a perda de contas no fim do piloto, conta-se cada pagador uma única vez. São 60 baixas no primeiro grupo e 100 no segundo. O cancelamento acumulado passa de 6% para 10%, diferença de quatro pontos percentuais.

Admita custo variável de R$ 40 por assinatura paga em cada ciclo, igual nos dois grupos. O controle produz 2.880 vezes R$ 60 de contribuição, ou R$ 172.800. O reajuste produz 2.800 vezes R$ 72, ou R$ 201.600. O piloto exigiu R$ 2.400 adicionais de atendimento no grupo reajustado. Deduzida essa despesa, restam R$ 199.200. Dividindo pelo número inicial de contas em cada grupo, a direção encontra R$ 172,80 e R$ 199,20 acumulados por conta em três ciclos. A diferença favorável de R$ 26,40 por conta convive com 40 cancelamentos adicionais entre as mil contas acompanhadas.

Os R$ 172.800 do controle recebem acréscimo de R$ 33.600 pelo preço. Subtraem-se R$ 4.800 pelas mensalidades perdidas e R$ 2.400 pelo atendimento. Restam R$ 199.200.
Exemplo didático. A ponte reconcilia a contribuição acumulada dos dois grupos nas três renovações. O ganho de R$ 26.400 equivale a R$ 26,40 por conta inicialmente sorteada.

É possível conferir a conta pela movimentação. O reajuste adicionou R$ 12 às 2.800 mensalidades efetivamente pagas, ou R$ 33.600. As 80 mensalidades a menos custaram R$ 4.800, avaliadas pela contribuição unitária anterior de R$ 60. Os R$ 2.400 do atendimento completam a passagem entre os grupos. Em um negócio que permite migração, refaça a conta com o preço líquido e o custo de servir em cada plano e ciclo. Um fundador que acompanhasse apenas o tíquete médio dos remanescentes poderia ver crescimento mesmo se as contas de menor valor simplesmente tivessem abandonado o serviço.

Em que situação a empresa deve sustar a próxima onda?

Suponha que, antes do piloto, a direção tenha fixado duas condições para ampliar a mudança. A contribuição por conta precisa crescer e o aumento de cancelamento acumulado ao fim do terceiro ciclo deve ficar abaixo de dois pontos percentuais, com precisão suficiente para sustentar ambas as conclusões. O limite de retenção é uma escolha gerencial didática. Ele pode refletir o custo de trazer de volta um cliente, a importância de manter distribuição ou o efeito das indicações que uma base ativa gera. Usar apenas a margem dos três primeiros vencimentos para escolher o limite ignora consequências posteriores ao teste.

O ganho observado de R$ 26,40 satisfaz a direção do critério econômico. A retenção exige cautela adicional. Com mil contas independentes por braço e as proporções de 6% e 10%, uma aproximação normal de 95% para a diferença de cancelamento vai de aproximadamente 1,6 a 6,4 pontos percentuais. O cálculo usa a diferença de quatro pontos e soma as variâncias das proporções dos dois grupos. O limite de dois pontos está dentro do intervalo. Esses dados não estabelecem que o dano excedeu dois pontos com esse grau de confiança, mas tampouco sustentam que ele ficou abaixo do máximo aceito. A decisão compatível com a regra é suspender a expansão.

Para a margem, a incerteza deve ser calculada sobre o resultado acumulado de cada conta ou grupo sorteado. Tratar as três faturas da mesma empresa como três clientes independentes reduziria artificialmente o erro estimado. Antes de abrir o piloto, o responsável deve usar a dispersão histórica da contribuição e a retenção típica para dimensionar a amostra que permita distinguir uma mudança relevante. Se pretende tomar decisões estatísticas em várias datas durante a execução, deve prever um método sequencial coerente com essas leituras. Com data final predefinida, o painel intermediário serve a correções operacionais e aos limites de proteção acordados. Planejamento e tamanho de amostra para testes controlados.

O que verificar antes de cobrar o próximo lote

Reconstitua a população a partir do cadastro que existia antes do aviso. Confira quantas contas foram atribuídas a cada braço e quantas entraram no extrato analítico. Uma divisão planejada em metades admite variação aleatória conforme o método de sorteio. Um desvio incompatível com a atribuição exige explicação. Um sistema que registra exposição apenas quando a fatura é paga, por exemplo, pode apagar da análise quem cancelou entre o aviso e a cobrança. Fabijan e coautores documentaram como discrepâncias desse tipo revelam problemas na coleta ou na execução de experimentos. Pesquisa sobre a proporção entre grupos de teste.

Confira ainda como a notícia circulou. Contas do controle podem ouvir falar do aumento, procurar o suporte e cancelar por antecipação. Nesse cenário, os grupos comparam a atribuição individual em um mercado já informado. A diferença entre eles pode deixar de representar o efeito de comunicar toda a carteira de uma vez. Na apresentação de resultados da Netflix em 2016, a direção destacou que a surpresa alcançara assinantes que ainda não precisavam escolher um novo preço. Chamados, datas de aviso e cobranças permitem investigar esse mecanismo sem converter coincidência em certeza. Entrevista de resultados da Netflix.

Para um negócio com 40 contratos anuais negociados um a um, três ciclos mensais e um sorteio de mil contas sequer descrevem a operação. O fundador pode organizar uma introdução em ondas de renovação, comparar contas semelhantes por tamanho e duração e registrar quais concessões recuperaram o contrato. Se calendários, renegociações ou perfis de uso diferirem, a estimativa é observacional. Nessa escala, fixar o valor máximo de contratos expostos por onda e acompanhar o que acontece em cada negociação oferece controle de perda, mesmo quando os dados não têm precisão para estimar a elasticidade do preço.

Ao fim dos três meses do exemplo, a próxima pauta é específica. A contribuição aumentou R$ 26,40 por conta. A diferença observada de cancelamento ficou em quatro pontos percentuais, diante de uma tolerância de dois. Para localizar o momento da reação, distribua as 100 saídas do grupo reajustado e as 60 do controle entre aviso, primeira cobrança e renovações seguintes. Divida as saídas de cada intervalo pelas mil contas originalmente sorteadas em cada grupo. A diferença total de 40 indica um excesso no grupo reajustado. Os dados não identificam quais pessoas teriam permanecido ao preço antigo. Cruze o calendário com divergências entre mensagem e fatura e acompanhe a renovação seguinte das contas remanescentes. Esse diagnóstico serve para formular uma nova política testável. A autorização para cobrar o próximo grupo depende de mostrar que o ganho continua de pé dentro do limite de perda escolhido.