País ou região e idioma

    Escolha seu país ou região e seu idioma.

    Sugerido para você

      Todos os países e regiões

        Escolha seu personagem

        Ele aparece na barra superior e no seu perfil. Você pode mudar quando quiser.

        Métricas e testes A/B

        Defina um resultado, teste explicações alternativas e decida o que as evidências sustentam.

        • 6 cenários
        • 30 minutos cada um
        • Fale ou digite suas respostas
        • Um relatório para o seu nível

        Uma voz sintética faz as perguntas.

        Seu nível de entrevista

        Cenários de prática

        Escolha um cenário. Cada entrevista termina com um relatório do nível que você selecionou.

        30 min4 etapasPleno (nível)

        Um experimento de checkout com um limite de segurança

        A Elm Tickets está testando um novo checkout com atribuição aleatória por usuário. O grupo de controle tem 200 compras de 1,000 usuários atribuídos e 8 reembolsos; o de tratamento tem 230 compras de 1,000 usuários atribuídos e 23 reembolsos. A equipe precisa de uma decisão de liberação que leve em conta o aumento de compras e o dano aos clientes.

        Começar a entrevista
        Rubrica e preparaçãoO que uma resposta de nível mid cobre · 4 lições para se preparar

        Pleno padrão

        • Relacione as suposições, o método e o resultado: uso as compras por usuário atribuído como resultado principal por intenção de tratar, porque excluir quem não compra muda a população randomizada. Defino um limite de segurança para reembolsos, com uma janela de acompanhamento comum, e verifico primeiro o registro e a atribuição.
        • Teste o caso limite que mais importa: verifico a atribuição aleatória, a proporção da amostra, o registro da exposição e se os usuários podem influenciar uns aos outros, porque essas condições sustentam uma interpretação causal. Estimo a incerteza do resultado definido previamente e evito parar no primeiro resultado favorável.
        • Explique uma verificação de validação ou operacional pela qual você é responsável: eu seguraria a liberação ampla enquanto verifico a maturação dos reembolsos e o limite de segurança, porque mais compras, por si sós, não demonstram melhores resultados para os clientes. Relato os dois efeitos e a incerteza e, em seguida, combino uma regra de decisão em vez de declarar vitória com base na taxa principal.
        30 min5 etapasPleno (nível)

        Uma queda na conclusão do onboarding

        A Maple Desk mudou seu fluxo de cadastro para agendamento, e a gestão de produto quer revertê-lo. O fluxo antigo teve 240 conclusões em 400 inícios; o novo teve 252 em 600 inícios e recebeu mais tráfego de celular. Decida o que a comparação sustenta e como você investigaria a queda.

        Começar a entrevista
        Rubrica e preparaçãoO que uma resposta de nível mid cobre · 3 lições para se preparar

        Pleno padrão

        • Defina coortes maduras de pessoas usuárias elegíveis, compare a mistura de dispositivos e verifique os eventos antes de propor um teste controlado.
        • Comparo separadamente as coortes de celular e de desktop, porque uma mudança na mistura de tráfego pode alterar a taxa agregada, e concilio os eventos brutos antes de confiar na instrumentação. Fazer as janelas dos relatórios coincidirem ajuda a expor conclusões ausentes perto do horário de corte.
        • Uso atribuição aleatória no nível da pessoa usuária, com um guardrail claro e uma regra de parada, porque pessoas usuárias que trocam de fluxo contaminariam um experimento controlado. Defino o tamanho da amostra a partir de um efeito que valha a pena e dou a cada coorte atribuída a sua janela de conclusão.
        30 min5 etapasPleno (nível)

        Uma disputa sobre um painel de retenção

        A Northstar Notes quer saber se o novo plano melhorou a retenção. Dos 100 clientes que começaram em abril, 80 estavam ativos em maio; dos 50 que começaram em maio, 30 estavam ativos em junho, e um gráfico separado os combina como 110 usuários retidos. Uma mudança de plano pode criar outro registro de conta para o mesmo cliente.

        Começar a entrevista
        Rubrica e preparaçãoO que uma resposta de nível mid cobre · 3 lições para se preparar

        Pleno padrão

        • Associe as mudanças de plano a identidades de cliente estáveis, exclua as observações imaturas e diferencie uma taxa de retenção de uma contagem.
        • Associo cada mudança de plano e cada conta duplicada à sua identidade de cliente estável antes de contar, porque, caso contrário, a mesma pessoa pode ser ao mesmo tempo um cliente novo e um cliente que voltou. Verifico as associações sem correspondência e distingo uma queda no registro de uma atividade zero.
        • Comparo grupos de clientes com um controle ou um experimento aleatório, porque a escolha do plano pode estar relacionada à atividade anterior, antes de o plano mudar qualquer coisa. Mantenho a atribuição na análise por intenção de tratar se alguns clientes recusarem o plano.
        30 min4 etapasPleno (nível)

        Planeje um experimento antes de coletar resultados

        A Pine Dispatch quer testar um lembrete que ajuda os usuários a concluir uma reserva. Sua linha de base de planejamento é de 20 por cento de conclusão, e a equipe considera que subir para 22 por cento vale a pena. Ela precisa de um plano de teste antes do próximo lançamento, incluindo quanto tempo esperar e quando decidir.

        Começar a entrevista
        Rubrica e preparaçãoO que uma resposta de nível mid cobre · 3 lições para se preparar

        Pleno padrão

        • Use a linha de base, o efeito mínimo detectável, a significância e o poder estatístico em um cálculo do tamanho da amostra e, em seguida, converta o tráfego elegível em duração.
        • Divido os usuários atribuídos necessários pelo tráfego diário elegível e depois reservo a janela de resultado de sete dias, porque o fim da entrada de usuários não torna maduros os resultados mais recentes. Cubro o ciclo operacional semanal e verifico o equilíbrio da atribuição antes de interpretar os resultados.
        • Mantenho a decisão de horizonte fixo definida de antemão, a menos que tenha sido escolhido um desenho sequencial válido, porque parar repetidamente ao ver significância aumenta os falsos positivos. Monitoro uma métrica de proteção contra danos definida separadamente e posso parar por segurança sem declarar uma vitória precoce em eficácia.
        30 min4 etapasPleno (nível)

        Um pico de lançamento que se dissipa

        A Birch Boards atribuiu aleatoriamente seus usuários a um novo layout do espaço de trabalho durante quatro semanas. O tratamento melhorou as tarefas concluídas na primeira semana, mas o ganho semanal foi diminuindo em direção a zero, e a equipe verificava a significância todas as manhãs. Decida se isso sustenta uma implantação duradoura.

        Começar a entrevista
        Rubrica e preparaçãoO que uma resposta de nível mid cobre · 3 lições para se preparar

        Pleno padrão

        • Separe a semana de entrada do tempo desde a exposição, preserve a atribuição e compare os efeitos semanais maduros com sua incerteza.
        • Olhar os dados todos os dias e parar no primeiro resultado significativo aumenta o risco de falsos positivos, porque o teste de horizonte fixo pressupõe o plano de análise declarado. Uso a análise final definida de antemão ou um método sequencial válido e informo todos os resultados planejados.
        • Seguraria a implantação ampla até que o efeito sustentado e a métrica de proteção de qualidade estejam claros, porque um ganho inicial por novidade não demonstra valor duradouro. Uma coorte nova definida de antemão ou um acompanhamento maduro mais longo pode testar a persistência sem reescrever a regra de sucesso depois de ver os resultados.
        30 min4 etapasPleno (nível)

        Uma média que esconde um atendimento mais lento

        A Spruce Support informa uma resposta média mais rápida depois de uma mudança de roteamento. Antes dela, 80 tickets simples tinham média de 2 horas e 20 tickets complexos tinham média de 10 horas; depois, 95 tickets simples tinham média de 3 horas e 5 tickets complexos tinham média de 12 horas. Explique o resultado e recomende a próxima análise.

        Começar a entrevista
        Rubrica e preparaçãoO que uma resposta de nível mid cobre · 3 lições para se preparar

        Pleno padrão

        • Mantenha constante a mistura de tickets, verifique a censura dos tickets abertos e defina o evento de resposta antes de atribuir uma mudança.
        • Usar a mistura antiga de 80 para 20 com os novos tempos por segmento dá 4.8 horas, porque 80 vezes 3 mais 20 vezes 12 são 480. Os dois segmentos ficaram mais lentos, então separo essa piora da maior proporção de tickets simples.
        • Recomendo investigar a resposta dentro de cada tipo de ticket, porque a média agregada mais baixa reflete a mistura e não um atendimento mais rápido. Publicaria as contagens por segmento e a latência de cauda junto com a média e, depois, testaria o roteamento com chegadas comparáveis e uma métrica de proteção para o trabalho acumulado.

        Acesso ao Interview Hub

        O Interview Hub está incluído no All Access. Escolha um plano ou entre na sua conta para continuar.

        Ver planosEntre ou cadastre-se

        Your Work Gym account

        Save your progress and pick up on another device. Your browser's progress comes with you.

        or

        You can keep practicing without an account.

        Ajuda e feedback

        Faça uma pergunta, conte o que não está funcionando ou compartilhe uma ideia. Respondemos por e-mail.

        Qual é o assunto?

        Usamos apenas para responder a você.