Don’t Panic: se os dados não ajudarem, use um polinômio de grau 12
Em setembro de 2020, uma notícia correu o mundo: pesquisadoras(es) anunciaram a possível detecção de fosfina na atmosfera de Vênus.
A descoberta era particularmente interessante porque a fosfina, ou PH₃, é uma molécula difícil de explicar nas condições conhecidas da atmosfera venusiana. Na Terra, ela pode estar associada a determinados processos biológicos e industriais. Isso fez surgir imediatamente uma possibilidade irresistível para manchetes:
Será que encontramos um indício de vida em Vênus?
O artigo publicado na Nature Astronomy era bem mais cuidadoso. As(os) autoras(es) relatavam uma aparente detecção de fosfina e afirmavam que não haviam encontrado uma explicação abiótica conhecida capaz de produzir a quantidade estimada. Vida era apresentada como uma das possibilidades que justificavam novas investigações, não como uma descoberta confirmada.
Mesmo assim, a notícia teve repercussão gigantesca. A própria Nature Astronomy contabilizou aproximadamente 4.700 matérias jornalísticas sobre o assunto.
Então começaram as reanálises.
E é aqui que entra nosso herói:
o polinômio de grau 12.
Quando o tratamento dos dados começa a ficar interessante demais
Para encontrar uma linha espectral muito pequena em meio ao ruído das observações, é necessário tratar os dados.
Isso é absolutamente normal.
Dados brutos frequentemente precisam passar por processos de calibração, correção, filtragem e modelagem antes de serem interpretados.
O problema começa quando o modelo utilizado para separar:
sinal
de
ruído
se torna flexível o suficiente para também ajudar a fabricar aquilo que estamos procurando.
Em outubro de 2020, uma equipe liderada por Ignas Snellen reanalisou independentemente os dados do ALMA utilizados no estudo.
O grupo chamou atenção para o uso de um polinômio de 12º grau no ajuste da linha de base do espectro.
O resultado foi bastante curioso.
Utilizando o mesmo procedimento em outros pontos onde não deveria existir a linha procurada, as(os) pesquisadoras(es) conseguiram produzir cinco outras aparentes linhas com significância superior a 10 sigma, tanto de absorção quanto de emissão.
Quando empregaram uma abordagem mais conservadora, o sinal próximo à frequência atribuída à fosfina caiu para aproximadamente:
2 sigma.
Para a equipe, isso não constituía evidência estatística confiável da presença da molécula.
Daí nasceu a inspiração para a brincadeira:
Don’t panic, and use polynomial of degree twelve!
Porque, se você der flexibilidade suficiente a um modelo...
ele pode começar a encontrar coisas muito interessantes.
Inclusive coisas que talvez não estejam lá.
Mas um polinômio de grau 12 realmente permite encontrar “qualquer coisa”?
Não literalmente.
Essa é justamente a parte sarcástica da frase.
Um polinômio de grau elevado possui mais parâmetros e, consequentemente, maior capacidade de acompanhar variações existentes nos dados.
Isso pode ser útil quando o fenômeno realmente possui uma estrutura complexa.
Mas existe um risco conhecido em estatística e aprendizado de máquina:
overfitting — sobreajuste.
O modelo deixa de capturar apenas a estrutura relevante e começa a se adaptar também:
ao ruído;
às irregularidades;
às particularidades daquela amostra.
No caso da discussão sobre Vênus, uma análise posterior dos dados do JCMT também concluiu que ajustes por polinômios de ordem elevada podiam produzir falsos positivos.
Portanto, o sarcasmo possui um fundo bastante sério:
quando ajustamos demais o método aos dados, corremos o risco de encontrar aquilo que nosso próprio método ajudou a criar.
A história ficou ainda mais complicada
Pouco depois, o próprio observatório ALMA identificou um problema nos dados utilizados.
Havia uma ondulação artificial — um ripple — relacionada às características bastante particulares daquela observação e a problemas no processamento.
Os dados foram retirados temporariamente do arquivo, novamente processados e posteriormente disponibilizados à comunidade científica.
A Nature Astronomy chegou a colocar uma nota editorial no artigo original alertando que um erro no processamento dos dados do ALMA havia afetado as conclusões quantitativas que poderiam ser extraídas daquela parte das observações.
Isso não significa que as(os) pesquisadoras(es) tenham deliberadamente manipulado resultados.
Muito menos que todo o episódio possa ser resumido como:
“cientistas erraram porque usaram um polinômio grande demais”.
A equipe original respondeu às críticas, reanalisou os dados e continuou defendendo evidências de fosfina. Outros grupos continuaram contestando a interpretação.
Na realidade, o episódio mostra uma característica bastante saudável da Ciência:
uma conclusão importante precisa sobreviver à tentativa de outras pessoas de derrubá-la.
E é justamente aí que essa história começa a ficar muito interessante para quem estuda Administração.
O que Vênus tem a ensinar para a Administração?
Muito mais do que parece.
Administradoras(es) trabalham cada vez mais cercadas(os) por:
indicadores;
dashboards;
previsões;
pesquisas;
modelos financeiros;
algoritmos;
Power BI;
inteligência artificial;
Big Data.
E existe uma tentação extremamente perigosa:
achar que um número produzido por um método sofisticado necessariamente representa a realidade.
Não representa.
Ele representa o resultado de:
dados + escolhas + pressupostos + método.
Alterar qualquer um desses elementos pode alterar a conclusão.
O polinômio de grau 12 da sua organização
Talvez sua empresa nunca utilize literalmente um polinômio de grau 12.
Mas certamente pode possuir o equivalente administrativo dele.
Imagine que uma pesquisa de satisfação tenha produzido um resultado ruim.
Então alguém percebe:
“Se retirarmos as pessoas que responderam nos primeiros três dias, o índice melhora.”
Depois:
“Talvez seja melhor considerar somente clientes que realizaram pelo menos três compras.”
Depois:
“Não deveríamos considerar quem abriu reclamação, porque essas pessoas naturalmente estão insatisfeitas.”
Depois:
“Vamos excluir também os valores extremos.”
Pronto.
O indicador agora mostra:
94% de satisfação.
Excelente notícia.
Especialmente se esquecermos de explicar como chegamos até ela.
Esse é o nosso:
polinômio administrativo de grau 12.
Quando o indicador deixa de medir e começa a justificar
Indicadores deveriam ajudar a organização a compreender a realidade.
Mas existe um problema quando primeiro decidimos qual resultado desejamos e depois ajustamos o método até encontrá-lo.
Isso pode acontecer sem fraude.
Uma equipe realmente acredita que determinado projeto funcionou.
Quando aparece um indicador contrário, sua tendência natural pode ser procurar explicações para demonstrar que aquele número está errado.
É o conhecido:
viés de confirmação.
O problema não está em investigar o indicador.
Isso deve ser feito.
O problema está em testar vinte formas diferentes de calcular o resultado e escolher justamente aquela que confirma aquilo que já acreditávamos.
Sete lições para a Administração
1. Defina o método antes de conhecer o resultado
Sempre que possível, critérios de cálculo, exclusão de dados, indicadores e formas de análise devem ser estabelecidos previamente.
Isso reduz a tentação de ajustar o método depois que descobrimos que o resultado não nos agradou.
2. Um modelo complexo não é necessariamente um modelo melhor
Complexidade pode acrescentar capacidade explicativa, mas também pode facilitar sobreajuste.
Em gestão, uma projeção financeira com cinquenta variáveis não é automaticamente superior a um modelo mais simples.
3. Valide resultados por métodos independentes
Se uma conclusão realmente é consistente, diferentes métodos razoáveis deveriam apontar aproximadamente para a mesma direção.
Uma decisão que só funciona com uma combinação muito específica de premissas merece atenção.
4. Separe dado de interpretação
“As vendas diminuíram 12%” é um dado.
“As vendas diminuíram porque a campanha de marketing fracassou” é uma hipótese explicativa.
Confundir essas duas coisas é uma fonte recorrente de decisões ruins.
5. Mantenha rastreabilidade
Uma organização deveria conseguir responder:
Quais dados foram utilizados?
Quem fez o tratamento?
Quais registros foram excluídos?
Por quê?
Qual versão do banco de dados foi usada?
Qual fórmula produziu o indicador?
Essa é uma questão de governança.
6. Crie espaço para contestação
A equipe que tenta provar que um projeto está errado pode ser tão necessária quanto aquela encarregada de demonstrar que ele funciona.
Em projetos importantes, revisão independente não deveria ser entendida como falta de confiança, mas como controle de qualidade.
7. Comunique incerteza
Administração adora números absolutos:
“vai crescer 15%”;
“há 92% de satisfação”;
“o projeto economizará R$ 2 milhões”.
Na prática, boas decisões frequentemente precisam trabalhar com intervalos, probabilidades e cenários.
Admitir incerteza não enfraquece uma análise.
Pode torná-la mais responsável.
A pressão por resultados também modifica a análise
Existe ainda uma dimensão organizacional importante.
Pesquisadoras(es) querem descobertas relevantes.
Empresas querem crescimento.
Setores querem mostrar bom desempenho.
Gestoras(es) querem demonstrar que determinado projeto deu certo.
Governos querem apresentar bons indicadores.
As(os) profissionais responsáveis pelos dados não trabalham em um vácuo.
Existem:
metas;
incentivos;
hierarquias;
expectativas;
reputação.
Uma boa estrutura de governança precisa considerar isso.
Se a pessoa que analisa um indicador sabe que sua promoção depende de demonstrar que determinado projeto funcionou, existe um problema de desenho organizacional — mesmo que ela seja completamente honesta.
Controles internos existem justamente porque organizações não deveriam depender apenas da boa intenção individual.
Dados não tomam decisões
Outra frase bastante comum na Administração é:
“Precisamos tomar decisões baseadas em dados.”
Correto.
Mas incompleto.
Talvez seja melhor dizer:
“Precisamos tomar decisões baseadas em dados adequados, tratados por métodos justificáveis, interpretados criticamente e submetidos à possibilidade de contestação.”
É menos elegante.
Mas evita muitos problemas.
Um dashboard pode parecer objetivo.
Uma planilha pode apresentar números com seis casas decimais.
Um algoritmo pode devolver uma probabilidade de:
87,3462%.
Nada disso garante que o modelo utilizado faça sentido.
Precisão matemática não é sinônimo de precisão sobre a realidade.
E talvez seja essa a melhor parte dessa história
Quando outros grupos questionaram o resultado da fosfina, o processo científico não entrou em colapso.
Aconteceu exatamente o contrário.
Os dados foram reanalisados.
O observatório identificou problemas.
Novas versões foram disponibilizadas.
Métodos foram comparados.
Artigos foram contestados.
Respostas foram publicadas.
É assim que um sistema de conhecimento melhora.
Organizações poderiam aprender bastante com isso.
Quando alguém demonstra que nosso indicador estava errado, que nosso modelo possuía uma falha ou que uma decisão foi baseada em uma premissa ruim, existem duas possibilidades.
Podemos perguntar:
“Quem foi o culpado?”
Ou:
“O que precisamos mudar para que nosso processo encontre esse problema antes da próxima decisão?”
A segunda pergunta costuma produzir organizações melhores.
Então, não entre em pânico
O episódio de Vênus continua sendo uma excelente lembrança de que dados não falam sozinhos.
Nós escolhemos:
como coletá-los;
como tratá-los;
qual modelo utilizar;
quais valores excluir;
quais variáveis incluir;
quais resultados considerar relevantes.
Quanto maior a liberdade para modificar essas escolhas depois de conhecer os resultados, maior o cuidado necessário.
Em Administração, isso vale para:
pesquisas de satisfação;
indicadores de desempenho;
previsões de vendas;
análises financeiras;
avaliações de políticas;
modelos de risco;
inteligência artificial.
Portanto, quando um resultado simplesmente se recusar a confirmar aquilo que você tinha certeza de que aconteceria...
Don’t Panic.
Antes de recorrer ao polinômio de grau 12, talvez seja uma boa ideia considerar a possibilidade de que os dados estejam tentando lhe contar outra história.
