No segundo trimestre de 2016, a Netflix esperava adicionar 2,5 milhões de assinaturas líquidas no mundo e registrou cerca de 1,7 milhão. Segundo a carta aos acionistas, as entradas brutas atingiram a expectativa. O que surpreendeu a administração foi uma alta dos cancelamentos que coincidiu com a cobertura jornalística, em abril, do fim da proteção de preço para clientes antigos. Entre os assinantes cujo preço realmente mudou, a empresa classificou os cancelamentos como compatíveis com sua previsão. A carta não informa quantos desistiriam se o anúncio e a mudança de preço tivessem ocorrido em datas diferentes. Carta da Netflix aos acionistas, julho de 2016.
Para um negócio de assinatura, o episódio muda o início do teste. A primeira reação de um cliente pode ocorrer no dia em que recebe a comunicação, semanas antes da fatura. Se o fundador medir apenas quem pagou a nova mensalidade, excluirá justamente as pessoas que reagiram cedo. Uma decisão de ampliar o reajuste pede duas leituras simultâneas. Quanto de contribuição se acumulou por conta originalmente incluída e quantas dessas contas a empresa aceitou perder a mais em relação ao grupo que manteve o preço?
Qual política chega ao cliente e quando começa a observação?
Considere uma empresa hipotética que vende assinaturas mensais por R$ 100 e quer testar R$ 112 em um plano existente. Escreva a proposta da forma como o cliente vai recebê-la. Em qual renovação entra o preço? Haverá mudança de benefício? Ele pode migrar para um plano menor ou encerrar a assinatura antes da cobrança? Qual condição comercial continuará válida para quem já tem preço garantido? Contratos incompatíveis com a mudança ficam fora da população elegível. Registre a quantidade excluída e a razão para saber a quem uma eventual conclusão se aplica.
Uma empresa que precisa alterar preço e benefícios ao mesmo tempo consegue testar o pacote completo. Atribuir a reação exclusivamente ao preço exigiria outro desenho. O mesmo vale para dois e-mails com explicações muito diferentes, ou para uma oferta de retenção que só os clientes de um dos grupos recebem. Decidir o que haverá na política antes do sorteio permite que atendimento, produto e cobrança reproduzam a experiência que a direção efetivamente pensa em ampliar. Quando o tratamento muda no meio, a próxima onda precisa de identificação própria.
Defina a unidade de decisão. Um pagador com três licenças compartilhadas decide se renova as três. Sortear usuários dentro da mesma conta enviaria mensagens incompatíveis e trataria decisões relacionadas como independentes. Sorteie a conta pagadora ou, em contratos vinculados, o conjunto que negocia o preço em bloco. Separe contas mensais das anuais e distribua aleatoriamente dentro de grupos como faixa de antiguidade e semana de renovação. Isso evita que uma única safra de vencimentos concentre a mudança, sem transformar cada subdivisão em um novo teste com poder de decisão próprio.
Nos dois braços, fixe uma data de referência anterior à exposição. O grupo de comparação continua no preço antigo durante toda a janela combinada. Para cada conta dele, atribua a data em que teria recebido a comunicação e acompanhe os mesmos vencimentos relativos que a conta sorteada para o reajuste. A diferença média entre os grupos estima o efeito do pacote oferecido se a atribuição funcionou, se as medições são comparáveis e se um grupo não alterou materialmente a experiência do outro. Essa comparação contrafactual é a contribuição do sorteio. Guia de experimentos controlados de Kohavi e coautores.
O que entra no denominador, inclusive quando o cliente vai embora
O cadastro do piloto deve preservar cada conta sorteada, seu grupo original, preço anterior e data de referência. Vincule o envio do aviso, o vencimento, a cobrança efetiva, um desconto, o estorno, a mudança de plano e a data de encerramento. Guarde também o motivo registrado e as tentativas de cobrança. Falha de cartão pede uma ação operacional diferente de um pedido explícito de saída. Ambas afetam a contribuição efetivamente obtida, inclusive quando o cliente deixa o pedido de cancelamento para o último dia já pago.
Um aviso devolvido ou uma negociação excepcional fazem parte do desempenho da política que a organização consegue executar. Mantenha essa conta na comparação original, mesmo que ela não receba o reajuste que lhe cabia. Faça um diagnóstico adicional de entrega e cobrança para explicar o mecanismo. Analisar só as pessoas que abriram o e-mail seleciona clientes por comportamento posterior à atribuição e transforma atenção à mensagem em critério de inclusão. O grupo que continua a abrir e-mails pode diferir em uso, vínculo e risco de saída.
Combine o horizonte com o ciclo de faturamento. No exemplo a direção acompanha da comunicação até o fechamento de três ciclos mensais completos por conta. Uma assinatura incluída no último lote terá o mesmo tempo para cancelar que a primeira. O painel deve mostrar quantas ainda não completaram a janela. Contar essas contas como renovadas favorece o lote mais recente. Cancelamentos programados e ainda reversíveis podem aparecer num indicador antecipado separado da perda efetiva da assinatura. A regra de encerramento precisa valer também no grupo de comparação.
O que aconteceu com duas coortes de mil contas?
No exercício didático a seguir, há mil contas mensais em cada grupo, uma assinatura por conta e um único plano. Todas as contas estavam ativas quando a comparação começou. Chamaremos de pagante no ciclo quem permaneceu na base e pagou integralmente aquela mensalidade. Para facilitar a conferência, as saídas são definitivas no período. Não há inadimplência, reativação, desconto, imposto incidente no valor do exemplo nem migração de plano. A contribuição desconta os custos variáveis especificados. Esses números não pertencem à Netflix.

O grupo mantido em R$ 100 registra 980, 960 e 940 pagantes nos três ciclos. O grupo de R$ 112 registra 965, 935 e 900. Somar os três fechamentos produz 2.880 mensalidades pagas no controle e 2.800 no reajuste. Essa soma conta uma mesma pessoa até três vezes, como convém para calcular o valor do serviço prestado em três meses. Para calcular a perda de contas no fim do piloto, conta-se cada pagador uma única vez. São 60 baixas no primeiro grupo e 100 no segundo. O cancelamento acumulado passa de 6% para 10%, diferença de quatro pontos percentuais.
Admita custo variável de R$ 40 por assinatura paga em cada ciclo, igual nos dois grupos. O controle produz 2.880 vezes R$ 60 de contribuição, ou R$ 172.800. O reajuste produz 2.800 vezes R$ 72, ou R$ 201.600. O piloto exigiu R$ 2.400 adicionais de atendimento no grupo reajustado. Deduzida essa despesa, restam R$ 199.200. Dividindo pelo número inicial de contas em cada grupo, a direção encontra R$ 172,80 e R$ 199,20 acumulados por conta em três ciclos. A diferença favorável de R$ 26,40 por conta convive com 40 cancelamentos adicionais entre as mil contas acompanhadas.

É possível conferir a conta pela movimentação. O reajuste adicionou R$ 12 às 2.800 mensalidades efetivamente pagas, ou R$ 33.600. As 80 mensalidades a menos custaram R$ 4.800, avaliadas pela contribuição unitária anterior de R$ 60. Os R$ 2.400 do atendimento completam a passagem entre os grupos. Em um negócio que permite migração, refaça a conta com o preço líquido e o custo de servir em cada plano e ciclo. Um fundador que acompanhasse apenas o tíquete médio dos remanescentes poderia ver crescimento mesmo se as contas de menor valor simplesmente tivessem abandonado o serviço.
Em que situação a empresa deve sustar a próxima onda?
Suponha que, antes do piloto, a direção tenha fixado duas condições para ampliar a mudança. A contribuição por conta precisa crescer e o aumento de cancelamento acumulado ao fim do terceiro ciclo deve ficar abaixo de dois pontos percentuais, com precisão suficiente para sustentar ambas as conclusões. O limite de retenção é uma escolha gerencial didática. Ele pode refletir o custo de trazer de volta um cliente, a importância de manter distribuição ou o efeito das indicações que uma base ativa gera. Usar apenas a margem dos três primeiros vencimentos para escolher o limite ignora consequências posteriores ao teste.
O ganho observado de R$ 26,40 satisfaz a direção do critério econômico. A retenção exige cautela adicional. Com mil contas independentes por braço e as proporções de 6% e 10%, uma aproximação normal de 95% para a diferença de cancelamento vai de aproximadamente 1,6 a 6,4 pontos percentuais. O cálculo usa a diferença de quatro pontos e soma as variâncias das proporções dos dois grupos. O limite de dois pontos está dentro do intervalo. Esses dados não estabelecem que o dano excedeu dois pontos com esse grau de confiança, mas tampouco sustentam que ele ficou abaixo do máximo aceito. A decisão compatível com a regra é suspender a expansão.
Para a margem, a incerteza deve ser calculada sobre o resultado acumulado de cada conta ou grupo sorteado. Tratar as três faturas da mesma empresa como três clientes independentes reduziria artificialmente o erro estimado. Antes de abrir o piloto, o responsável deve usar a dispersão histórica da contribuição e a retenção típica para dimensionar a amostra que permita distinguir uma mudança relevante. Se pretende tomar decisões estatísticas em várias datas durante a execução, deve prever um método sequencial coerente com essas leituras. Com data final predefinida, o painel intermediário serve a correções operacionais e aos limites de proteção acordados. Planejamento e tamanho de amostra para testes controlados.
O que verificar antes de cobrar o próximo lote
Reconstitua a população a partir do cadastro que existia antes do aviso. Confira quantas contas foram atribuídas a cada braço e quantas entraram no extrato analítico. Uma divisão planejada em metades admite variação aleatória conforme o método de sorteio. Um desvio incompatível com a atribuição exige explicação. Um sistema que registra exposição apenas quando a fatura é paga, por exemplo, pode apagar da análise quem cancelou entre o aviso e a cobrança. Fabijan e coautores documentaram como discrepâncias desse tipo revelam problemas na coleta ou na execução de experimentos. Pesquisa sobre a proporção entre grupos de teste.
Confira ainda como a notícia circulou. Contas do controle podem ouvir falar do aumento, procurar o suporte e cancelar por antecipação. Nesse cenário, os grupos comparam a atribuição individual em um mercado já informado. A diferença entre eles pode deixar de representar o efeito de comunicar toda a carteira de uma vez. Na apresentação de resultados da Netflix em 2016, a direção destacou que a surpresa alcançara assinantes que ainda não precisavam escolher um novo preço. Chamados, datas de aviso e cobranças permitem investigar esse mecanismo sem converter coincidência em certeza. Entrevista de resultados da Netflix.
Para um negócio com 40 contratos anuais negociados um a um, três ciclos mensais e um sorteio de mil contas sequer descrevem a operação. O fundador pode organizar uma introdução em ondas de renovação, comparar contas semelhantes por tamanho e duração e registrar quais concessões recuperaram o contrato. Se calendários, renegociações ou perfis de uso diferirem, a estimativa é observacional. Nessa escala, fixar o valor máximo de contratos expostos por onda e acompanhar o que acontece em cada negociação oferece controle de perda, mesmo quando os dados não têm precisão para estimar a elasticidade do preço.
Ao fim dos três meses do exemplo, a próxima pauta é específica. A contribuição aumentou R$ 26,40 por conta. A diferença observada de cancelamento ficou em quatro pontos percentuais, diante de uma tolerância de dois. Para localizar o momento da reação, distribua as 100 saídas do grupo reajustado e as 60 do controle entre aviso, primeira cobrança e renovações seguintes. Divida as saídas de cada intervalo pelas mil contas originalmente sorteadas em cada grupo. A diferença total de 40 indica um excesso no grupo reajustado. Os dados não identificam quais pessoas teriam permanecido ao preço antigo. Cruze o calendário com divergências entre mensagem e fatura e acompanhe a renovação seguinte das contas remanescentes. Esse diagnóstico serve para formular uma nova política testável. A autorização para cobrar o próximo grupo depende de mostrar que o ganho continua de pé dentro do limite de perda escolhido.



