INS-01·Operação: Analisa·Território Analisar
Um painel flexível quase sempre acha um vencedor.
Inclusive quando não houve efeito nenhum.
Doze métricas, seis turmas e quatro janelas dão 288 comparações possíveis. Cada uma carrega ruído amostral. Escolher a maior delas não devolve a maior verdade, devolve o maior ruído. Defina abaixo o efeito real da sua intervenção, inclusive zero, e veja o que o painel destaca.
INS-01Instrumento
A Máquina do Vencedor
Mude os controles e observe duas leituras do mesmo trimestre: procurar o melhor recorte depois de olhar, ou responder a uma pergunta fixada antes.
Como você mede
Sorteia um novo trimestre com os mesmos parâmetros. O vencedor muda de lugar; o tamanho, quase não.
O que o painel reporta
Comparações possíveis
288
métricas × turmas × janelas
Efeito real
+0,0
definido por você
Reportado pelo painel
+7,0
o melhor recorte
Inflação
+7,0
reportado menos real
Recortes acima da barra
9
parecem convincentes isoladamente
Distribuição das comparações
Dados simuladosOs números abaixo vêm de sorteios gerados no seu navegador a partir dos parâmetros que você define. Nenhum deles descreve turma, cliente ou piloto real.
Você comparou 288 combinações de métrica, turma e janela. O efeito real que você definiu é +0,0 pp. O melhor recorte do painel, na métrica 5, turma 6, janela 3, mostra +7,0 pp. Nada aconteceu, e mesmo assim aparece um vencedor com +7,0 pp. Isso é o máximo de 288 números ruidosos, não uma intervenção. Rode o trimestre de novo: o vencedor muda de lugar e o tamanho continua parecido.
Próximo passo · Antes de escalar o programa que apareceu melhor, pergunte quantas comparações foram olhadas para chegar até ele. Se ninguém souber responder, o número é maior do que parece.
O que este instrumento não sabe
- Observa
- apenas os sorteios desta simulação, com os parâmetros que você definiu nos controles.
- Infere
- o viés de seleção, calculado como a diferença entre o valor reportado e o efeito real que você fixou.
- Simula
- todos os dados. Ruído normal, desvio-padrão de 15 pp e 60 pessoas por turma, o que dá um erro-padrão de 2,74 pp por comparação.
- Não consegue separar
- num painel real, quanto de um achado é efeito e quanto é seleção. Isso só se resolve fixando a pergunta antes ou guardando uma amostra para validação. É a limitação central, e mais dados não a removem.
- Está faltando
- a estrutura de correlação entre as suas métricas. Métricas correlacionadas reduzem o número efetivo de comparações independentes, e este modelo não sabe qual é o seu.
- Limites
- assume comparações independentes e ruído normal. Com correlação e distribuições assimétricas os números mudam; a direção do viés, não.
Procedência
De onde vem o argumento
Múltiplas comparações e controle de FDR já são estudados em educational data mining. O que este instrumento faz é traduzir o problema para a leitura de um painel exploratório de L&D, onde o recorte é escolhido depois de olhar.
- Benjamini & Hochberg (1995), Journal of the Royal Statistical Society B 57(1), 289–300.
- Gelman & Loken (2013), The garden of forking paths.
- Ioannidis (2008), Epidemiology 19(5), 640–648.
Próxima etapa
Quantos recortes foram olhados antes do último achado que virou decisão?
Se a resposta não existe no seu relatório, ela também não existe na sua estimativa de efeito. Dá para consertar isso no desenho da análise, antes de virar promessa de resultado.