Leituras pela madrugada - A crise de credibilidade na ciência é um dano auto-infligido

 

"Tal como no resto do livro, o que é impressionante nesta recomendação é o que não é dito. Bazerman — um dos gigantes da Psicologia social — apresenta a necessidade de verificação básica de dados como uma ideia inovadora. A implicação é condenatória: académicos seniores rotineiramente associam os seus nomes a artigos científicos sem nunca examinar os dados. Isso era verdade no estudo «assinatura primeiro», e Bazerman sugere que ainda é a norma."

(Bazerman era investigador-estrela de Harvard, tal como os colegas do estudo fraudulento... a crise do ensino universitário também se liga a este fenómeno da comercialização do conhecimento em detrimento da verdade científica)

O que transforma alguns académicos em fraudes?

Da mudança climática às vacinas, a ciência enfrenta uma crise de credibilidade. A política tem o seu papel, mas, na Psicologia, grande parte do dano é auto-infligido. No início do milénio, o campo era confiável e popular. Professores ofereciam dicas sobre como perder peso, conseguir empregos e influenciar outras pessoas, amplificadas pelas redes sociais e pelas palestras TED. Então vieram as falhas de replicação — e os escândalos.

O escândalo mais chocante foi a revelação de que cinco especialistas em honestidade (Lisa L. Shu, Francesca Gino, Nina Mazar, Dan Ariely e Max H. Bazerman) incluíram não uma, mas duas pesquisas fraudulentas num artigo de 2012 publicado na revista Proceedings of the National Academy of Sciences. O artigo afirmava que assinar um formulário na parte superior, em vez de na parte inferior, estimularia a honestidade. Parecia basear-se em evidências sólidas — dois experimentos de laboratório e um estudo de campo com uma seguradora — e a ideia era simples, intuitiva e fácil de aplicar. A Administração de Serviços Gerais dos EUA adoptou-a, assim como a Equipa de Insights Comportamentais do Reino Unido. Mas a base estava podre: os dados tinham sido adulterados.

A fraude foi exposta pelo blogue de vigilância Data Colada, e as manchetes rapidamente se espalharam pelo mundo, com muitos saboreando a ironia de que especialistas em honestidade tivessem falsificado resultados sobre honestidade. 

Após uma longa investigação, Harvard tomou a medida quase inédita de revogar a titularidade de Francesca Gino, outrora uma das suas estrelas mais brilhantes. A história voltou a dominar os ciclos noticiosos, agora acompanhada por processos judiciais, acusações de sexismo e queixas de violações do devido processo legal. A confiança na Psicologia sofreu um golpe. 

O vencedor do Prémio Nobel, Daniel Kahneman, que ajudou a publicar o artigo original da PNAS em 2012, confessou sua desilusão ao The New York Times: 

“Quando vejo uma descoberta surpreendente, a minha reação padrão é não acreditar nela. Doze anos atrás, a minha reação padrão era acreditar em qualquer coisa que fosse surpreendente”.

Entra em cena Max H. Bazerman, professor Jesse Isidor Straus da Harvard Business School e um dos autores do estudo fraudulento sobre as vantagens de «assinar primeiro». No seu novo livro, Inside an Academic Scandal: A Story of Fraud and Betrayal (The MIT Press), ele procura «corrigir o registo» e reparar «a credibilidade perdida da investigação em ciências sociais».

Apresenta-nos uma história moralista, o bem contra o mal, com uma mensagem saudável sobre o perigo da confiança cega. 

«Tento fazer muito mais bem do que mal... tomar decisões sobre o que ensino... para quais causas doo dinheiro e o que como (sou vegano). Agora, defendo que precisamos ir além dessa simples suposição e explorar quando é nossa obrigação confiar, mas verificar.»

Mas, muitas vezes, a confiança demonstrada no livro de Bazerman parece ingenuidade — uma contradição estranha para um estudioso que afirma ter experiência em tomada de decisões éticas, má conduta e cumplicidade. Em outros momentos, a narrativa sugere algo ainda mais inquietante: uma indiferença à própria verdade.

Considere o ponto central do livro: o estudo de campo fraudulento na publicação signing-first. Bazerman apresenta-se como um académico vigilante e ético — alerta o suficiente para detectar que algo estava errado, mas prejudicado pela sua confiança honrosa nos colegas de investigação. 

Ao ler um rascunho inicial, percebeu que os participantes do estudo de campo estavam a percorrer quase 25 000 milhas por ano — muito mais do que o normal. Levantou a questão com a equipa, e Mazar conjecturou que os números talvez representassem vários anos de condução. Isso foi o suficiente para Bazerman suprimir dúvidas e permanecer na equipa. 

 «A ideia de que precisava de verificar a integridade dos colegas nunca passou pela minha cabeça». 

Pelo menos, Bazerman realizou alguma diligência prévia sobre os dados do estudo sobre seguros. Os outros autores parecem não ter feito nada, apesar de não saberem quase nada sobre a proveniência ou precisão dos dados. 

Ariely afirmou que os dados provinham de «uma população mais idosa, principalmente na Flórida — mas que não podiam dizer como tinham obtido os dados, quem era a população (eram todos membros da AARP) — ou mostrar os formulários». 

Diante de tal opacidade, o passo óbvio era examinar os dados em si — representá-los graficamente e verificar as suas propriedades. Cinco autores participaram no projecto mas nem um representou os dados graficamente.

A equipa detectou uma anomalia: os dados não provinham de uma experiência aleatória, como Ariely afirmava. Bazerman acredita que detectaram após a publicação, mas os seus co-autores acreditam que foi antes. 

Qualquer um dos cenários é condenável. Se foi antes, enganaram os leitores ao escrever: «Atribuímos aleatoriamente os clientes a uma das nossas duas condições». Se foi depois, então presumivelmente ninguém criou estatísticas resumidas para testar a aleatoriedade antes de enviar o artigo para publicação.

A equipa também parece ter ignorado os problemas éticos e epistemológicos criados pela adição do estudo de campo, além da fraude que ele continha. Os revisores disseram a Shu, Gino e Bazerman que os seus estudos de laboratório não eram suficientes para merecer publicação e instaram-os a incluir um experimento de campo para demonstrar robustez e valor prático. 

Em vez de realizar um, os autores simplesmente anexaram um estudo concluído que Ariely vinha apresentando em conferências há anos. Selecionar estudos com base no resultado é um pecado epistemológico bem conhecido.

O que leva a erros como esses? Vivemos na era dos esteróides das ciências sociais. Do meu ponto de vista, a maioria dos estudiosos quer fazer pesquisas limpas, mas é levada a medidas extremas para acompanhar o ritmo.

Comecemos pela pressão para publicar. Considere o quão grande essa pressão pode ser. Imagine um académico cujo futuro depende da aceitação de mais um artigo. Isso determinará se se perde o trabalho. O sucesso traz um aumento salarial, uma licença sabática e segurança para o resto da vida. O fracasso significa um corte salarial, uma mudança forçada e o estigma da rejeição. A diferença cria uma enorme pressão para «fazer os resultados funcionarem». 

A pressão por si só não corrompe a ciência ou os cientistas. O problema é que a pressão muitas vezes é para publicar qualquer coisa, não para avançar o conhecimento. Os professores costumam brincar: «O meu reitor não sabe ler, mas sabe contar», capturando a crença de que a titularidade depende de uma cota de artigos em revistas de ponta, independentemente do conteúdo. 

O resultado é um sistema que se assemelha ao Survivor. Chegar à próxima fase é tudo o que importa. Se isso significa ignorar verificações básicas dos dados, que assim seja. O sucesso não é medido pela precisão ou pelo conhecimento, mas simplesmente por seguir em frente.

Acrescente a esta receita para fraude uma colher de sopa de confusão epistemológica. Em 2011 — um ano antes do artigo signing-first ser publicado — estudos influentes mostraram que muitos estudiosos da Psicologia estavam confusos quanto ao significado e à aplicação de testes empíricos comuns. 

O livro de Bazerman ilustra que parte dessa confusão permanece. Ele define «significância estatística» incorretamente e fornece uma explicação do método científico como um «teste estatístico de confirmação da hipótese» quando a maioria dos cientistas usa testes estatísticos para refutar hipóteses, não para confirmá-las. Isso pode parecer uma questão técnica, mas influencia diretamente o que pode ser inferido a partir dos dados.

Bazerman endossa várias soluções comuns para a crise de credibilidade da Psicologia e sugere uma nova. Aplaude os estudiosos que pré-registram hipóteses e planos de análise ou publicam seus dados e códigos para inspeção. Elogia as revistas científicas que incentivam ou exigem tais práticas. Exorta as universidades a serem mais transparentes no julgamento de fraudes, tanto para restaurar a confiança quanto para aliviar o fardo sobre co-autores inocentes. A sua solução central decorre do seu novo mantra: confie, mas verifique. Ele sugere que os co-autores assumam duas novas funções. Primeiro, «quando algo parece errado, devemos investigar minuciosamente até chegarmos a uma resposta sólida». Segundo, «pelo menos uma pessoa adicional [deve revisar] os dados e os detalhes da análise, além da pessoa principal que coleta os dados ou faz a análise».

Tal como no resto do livro, o que é impressionante nesta recomendação é o que não é dito. Bazerman — um dos gigantes da Psicologia social — apresenta a necessidade de verificação básica de dados como uma ideia inovadora. A implicação é condenatória: académicos seniores rotineiramente associam os seus nomes a artigos sem nunca examinar os dados. Isso era verdade no estudo «assinatura primeiro», e Bazerman sugere que ainda é a norma.

Corrigir as ciências sociais exigirá mais do que punir algumas maçãs podres ou verificar os factos básicos, embora isso deva ser feito. Exigirá admitir que a ciência é um desafio tanto intelectual quanto espiritual. Exigirá que sejamos muito mais humildes em relação ao que pensamos saber. Muitas vezes, as ciências sociais tornaram-se uma corrida para publicar e monetizar uma ideia. 

A verdade é que, muitas vezes, não temos nada real para vender. A partir de um único estudo, como o «assinando primeiro», sabemos muito pouco. Mesmo que seja bem conduzido, temos, na melhor das hipóteses, uma pista de que algo está a acontecer. Antes de podermos dizer que «sabemos» alguma coisa, precisamos de replicar uma análise publicada repetidamente, algo que raramente fazemos. Em vez disso, apressamo-nos a monetizar ideias recém-criadas com frases de duas palavras, como «talento rebelde» (Gino) e «eticidade limitada» (Bazerman).

Na era dos esteróides das ciências sociais, as recompensas vão para aqueles que publicam rapidamente resultados surpreendentes, rotulam as suas ideias com nomes apelativos e as amplificam nas redes sociais e no TED. Dentro desse sistema, cortar custos é racional, e o engano torna-se apenas mais uma tática na corrida para acompanhar o ritmo. 

A fraude é um resultado totalmente previsível dos incentivos que criámos. Essa é a traição mais profunda revelada no livro de Bazerman — não aos colegas, mas à própria ciência.

Andrew King in www.chronicle.com

(excertos com alguma adaptação)