Ler artigos científicos

A ordem errada é a ordem impressa

Artigos científicos são escritos numa ordem — introdução, métodos, resultados, discussão — que serve à publicação, não à leitura. Ler linearmente é o modo mais lento de descobrir se o artigo interessa.

A ordem que funciona:

1. Título e resumo (1 min) — sobre o que é e o que encontraram
2. Figuras e tabelas, com legendas (5 min) — os resultados de fato; o texto os narra
3. Última seção da discussão (2 min) — limitações admitidas pelos próprios autores
4. Métodos (10 min) — como fizeram; é aqui que a qualidade vive
5. Resultados (10 min) — os números por trás das figuras
6. Introdução (5 min) — contexto; útil sobretudo pelas referências
7. Discussão completa (10 min) — a interpretação dos autores, que você já pode avaliar

Os três primeiros passos custam oito minutos e decidem se vale seguir. Numa revisão de literatura com quarenta artigos, isso é a diferença entre cinco horas e quarenta.

Avaliar métodos sem ser da área

Você não precisa dominar a estatística do campo para fazer perguntas que separam trabalho sólido de trabalho frágil.

Quantos participantes? Não há número mágico, mas há ordens de grandeza. Um experimento de psicologia cognitiva com 20 participantes por condição é pequeno; com 200, é confortável. Estudos com n muito baixo produzem efeitos instáveis.

Houve grupo de controle e alocação aleatória? Sem controle, não se sabe o que teria acontecido de qualquer jeito. Sem aleatorização, diferenças entre grupos podem preceder o tratamento.

O desfecho medido é o que interessa? Um estudo sobre método de estudo que mede desempenho imediatamente após a sessão mede fluência, não aprendizagem. Roediger e Karpicke ^{[roediger2006]} são um exemplo clássico: no teste imediato a releitura vence; no teste após uma semana, a recuperação vence de longe. O intervalo até o teste muda a conclusão.

Correlação ou intervenção? "Leitores que anotam têm melhor desempenho" é compatível com anotar ajudar, com bons alunos anotarem mais, e com uma terceira causa comum.

O tamanho do efeito é relatado? Um resultado "significativo" com efeito minúsculo é estatisticamente real e praticamente irrelevante. Procure d, g, r ou η². Como referência grosseira, d ≈ 0,2 é pequeno, 0,5 médio, 0,8 grande.

O material se parece com o seu caso? Ebbinghaus ^{[ebbinghaus1885]} estudou sílabas sem sentido. O achado é sólido e a generalização para textos com significado exigiu um século de trabalho adicional.

Sinais de fragilidade

• Amostra de conveniência apresentada como geral — 60 calouros de psicologia de uma universidade americana não são "as pessoas"
• Desfechos múltiplos sem correção — vinte medidas, uma significativa, título sobre essa uma
• Hipótese que aparece só nos resultados — sinal de análise exploratória vendida como confirmatória
• Ausência total de limitações
• Figuras com eixo truncado — diferença de 2% que ocupa metade do gráfico
• Replicação nunca mencionada em achado com mais de dez anos

Nenhum desses sinais invalida um artigo isoladamente. Três ou quatro juntos, sim.

A nota de artigo

Uma nota de artigo tem estrutura diferente de uma nota de livro, porque o que você vai querer depois é diferente.

Roediger & Karpicke (2006) — Test-Enhanced Learning
Psychological Science 17(3), 249-255. DOI 10.1111/j.1467-9280.2006.01693.x

PERGUNTA: testar-se produz mais retenção que reestudar?

DESENHO: experimental, participantes leem texto expositivo e
depois (a) releem ou (b) fazem teste de recordação livre.
Teste final após 5 min, 2 dias ou 1 semana.

ACHADO: em 5 min, releitura vence. Em 1 semana, teste vence
com folga. Participantes previram o inverso.

FORÇA: manipulação limpa, material significativo, três
horizontes temporais — é o intervalo que produz a inversão.

LIMITE: material expositivo curto, participantes universitários,
laboratório. Não testa uso espontâneo fora de tarefa dirigida.

PARA MIM: justifica priorizar recuperação sobre releitura no
sistema de revisão. Ver nota 108 (revisão espaçada).

Sete campos. Os dois últimos — limite e para mim — são os que fazem a nota sobreviver, porque três anos depois você não vai lembrar de nenhum dos dois e vai precisar dos dois.

Pré-prints, revisão por pares e o que isso garante

Revisão por pares filtra alguma coisa e não filtra muita. Ela pega erros grosseiros de método e reivindicações desproporcionais; não pega fraude competente nem, na maior parte dos casos, erros de análise.

Um pré-print não revisado não é lixo, e um artigo publicado em revista respeitada não é verdade. O que muda de fato a confiabilidade é a replicação independente — e é por isso que, ao encontrar um achado espetacular, a pergunta mais produtiva é "quem replicou?".