Métricas alternativas não são mais alternativas

Artigos Relacionados

Estudo mostra como o desmatamento e queimadas influenciam no clima do Centro-Sul do Brasil

17 de abril de 2024

A disseminação de notícias falsas sobre o papel dos animais na transmissão da Covid-19 para pessoas

28 de março de 2024

O que aprendemos com os desastres causados por eventos hidrológicos extremos no Brasil?

25 de março de 2024

 

Por Atila Iamarino

 

Ainda em 2013 escrevi sobre as métricas alternativas. Mas elas não só deixaram de ser alternativas como vão ditar que revistas ficam ou caem em um futuro bem próximo, uma tendência que já segue galopante. Antes de entendermos como e porque, dois desvios.

 

Redes diferentes, métricas diferentes

Normalmente nos referimos a redes sociais como isso, um pacote de aplicativos online que promovem a interação entre usuários. Mas o uso que fazemos de cada uma dessas redes pode ser bem diferente, bem como o público que mais as frequenta. Pessoalmente, encontro minha família no Facebook e no WhatsApp, enquanto o Twitter serve para interações mais profissionais, como é o caso do ResearchGate. E não sou só eu, na pesquisa mais completa sobre o tema, feita pela revista Nature [1], o Twitter se saiu como a rede mais usada por cientistas para se comunicarem entre os pares, compartilhando artigos e trocando informação relevante para a pesquisa.

Como cada rede tem seu uso, as métricas que elas geram falam sobre diferentes impactos que um artigo pode ter. Citações no Twitter provavelmente indicam que pesquisadores estão compartilhando o artigo. Ou que um Kardashian da ciência com muitos seguidores compartilhou o trabalho – com mais de 55 mil seguidores no Twitter e 145 citações, o meu índice é pouco mais de 260, escandalosamente entre os mais altos. Citações no Facebook indicam um artigo com apelo mais popular, que pessoas estão compartilhando com amigos. Citações na Wikipédia indicam um artigo com um impacto tão importante na área que merece ser citado para referências. Citações no Snapchat… não faço ideia do que queiram dizer, eu realmente não faço parte dessa demografia. O ponto é, sabendo onde um artigo é compartilhado, podemos estimar o apelo que aquela pesquisa tem.

 

 

O impacto de uma revista não é o impacto de um artigo

Esta afirmação deveria ser óbvia, mas não é. O Fator de Impacto de uma revista é irreprodutível calculado por magia negra com base nas citações que ela recebe nos dois anos anteriores. O que fala sobre o impacto daquela publicação como um todo, não de cada artigo em particular. Mas mais do que frequentemente, comitês de avaliação de projetos, de carreiras, de pós-gradução, de concursos e outros tomam o caminho curto de assumir a qualidade do trabalho de um pesquisador com base na revista onde ela ou ele publicou, sem avaliar o trabalho em si. Isso fazia muito sentido enquanto não podíamos acompanhar o impacto de cada trabalho, quantas vezes ele foi copiado em uma biblioteca ou citado em aula. Esse não é mais o caso. Não só podemos saber quantas vezes cada artigo foi citado individualmente – e a figura mostra como o Google Scholar se baseia nisso para ranquear os resultados – como podemos saber o impacto das outras formas já descritas.

E métricas por artigo, ou article level metrics, são especialmente cruéis para revistas de alto impacto. Assim como a distribuição de riqueza no mundo, a distribuição de citações por artigos é bastante enviesada, muitos artigos recebem poucas ou nenhuma citação, enquanto poucos artigos recebem muitas citações. O que quer dizer que um Fator de Impacto de 30 de um periódico é sustentado por poucos artigos com centenas de citações, enquanto a maior parte do que a revista publica recebe uma ou duas citações, se muito. E com o surgimento de revistas de amplo espectro de publicações, como a PLoS ONE, muitos desses artigos de alto impacto agora são publicados fora das revistas mais prestigiosas. Na verdade, a fração de artigos de alto impacto publicado pelas revistas mais importantes está caindo a cada ano [3]. E as métricas por artigo deixam isso evidente.

 

Juntando as duas pontas: porque métricas alternativas não são mais alternativas

Se ponha no lugar de uma revista prestigiosa, com fator de impacto maior do que 20, vendo seus melhores artigos sendo submetidos ou aceitos em outra vizinhança. Como fazer para trazê-los de volta? Se você só publica dezenas de artigos por mês em sua revista, enquanto um periódico como a PLoS ONE publica milhares, como fazer para garantir que você não está rejeitando a próxima pesquisa quente? Ainda mais quando ferramentas de busca estão dando atenção para o impacto e o título do artigo, não onde ele foi publicado? Ainda se você pudesse prever o futuro… mas você pode!

As métricas alternativas podem ser grandes preditoras de citações. Isso várias área para área, de revista para revista. Mas enquanto as citações levam meses a anos para ocorrer – e junto com elas mudanças em fator de impacto – compartilhamentos no Twitter acontecem em menos de uma semana após a publicação de um artigo. E em áreas onde pesquisadores se comunicam bastante por essa rede, há grandes chances de um artigo muito compartilhado em dias estar entre os mais citados anos depois [4]. Veja o impacto do artigo recente sobre a detecção de ondas gravitacionais [5]. Ele foi citado em agências de notícia (centenas, mas apenas 65 foram indexadas), blogs (37), Twitter (4292 tuítes), Facebook (72 páginas), Wikipédia (37 artigos!), 147 usuários de Google Plus (nem sabia que ainda tinham tantos usuários), 2 páginas do Reddit e 3 fóruns de perguntas. Tantas fontes diferentes que ficou em 14º na lista de mais de 4,7 milhões de artigos acompanhados e bateu o recorde de score da Altmetric para o intervalo de tempo desde a publicação (no período em que este post foi escrito, menos de um mês). Mereceu até um quadrinho próprio no XKCD – que defendo ser uma excelente métrica de impacto. Alguém desinformado poderia até achar que é um artigo digno de um Nobel.

Sabendo desse poder preditivo dessas métricas, virtualmente todos os jornais adotaram o score da Altmetric para seus artigos. Sem falar em outras iniciativas do tipo. Discutam o que quiserem sobre métricas alternativas, que não são confiáveis, que podem ser manipuladas, que deveriam indicar quanto o impacto de um artigo é negativo (sua repercussão vêm de problemas que ele apresenta, não do valor da pesquisa). Mas quando uma empresa lançada em 2011 gera valores que são adotados por quase todos os periódicos, acho que atingimos um consenso de que são números importantes. Nem o sistema métrico, que é o que é, foi adotado por todos os países – Estados Unidos, estou olhando para vocês.

Não só são números importantes como as casas editoras correram para medir os dados na fonte. A Elsevier comprou a Mendeley, até então a maior rede de armazenamento e compartilhamento de artigos, que gera uma das métricas mais relacionadas com citações. A Thomson Reuters sempre foi dona do Journal Citation Reports, que gera o Fator de Impacto, e do EndNote, uma das ferramentas de gerenciamento de citações mais adotadas (e pirateadas) no meio acadêmico. A McMillan não só é dona da Altmetric, como desenvolveu o leitor de artigos ReadCube. E forçou seu crescimento liberando o compartilhamento de artigos da Nature para não assinantes, apenas dentro da plataforma ReadCube.

O motivo é o mesmo que leva o Facebook a monitorar os dados de seus usuários para anúncios e comprar redes promissoras como o WhatsApp: dados. Quanto mais dados de uso e compartilhamento de artigos, mais fácil saber qual pesquisa é popular no momento e pode render citações futuras. Quanto mais citações, maior o fator de impacto. De alternativas essas métricas não tem nada. Viraram não só o padrão de revistas como certamente estão ditando a direção do que serão os próximos artigos aceitos por periódicos importantes. E o mercado de publicação, como vários outros, segue silenciosamente monitorando e predizendo o futuro com base em dados presentes. Avaliar a qualidade da pesquisa fica por conta de quem lê e compartilha.

 

 

Atila Iamarino é comunicador de ciência e doutor em microbiologia, com publicações na área de Virologia, Câncer e Métricas e Mídias Sociais. Foi co-fundador do ScienceBlogs Brasil, consultor de mídias digitais da BIREME/OPAS/OMS e do SciELO e autor e narrador do Nerdologia, o maior canal de divulgação científica no YouTube Brasil, com mais de 1,3 milhão de assinantes.

 

 

Fontes:

[1] Van Noorden, Richard. “Online collaboration: Scientists and the social network.” Nature 512, no. 7513 (2014): 126-129.

 

[2] Konkiel, Stacy, Heather Piwowar, and Jason Priem. “The imperative for open altmetrics.” Journal of Electronic Publishing 17, no. 3 (2014).

 

[3] Larivière, Vincent, George A. Lozano, and Yves Gingras. “Are elite journals declining?.” Journal of the Association for Information Science and Technology 65, no. 4 (2014): 649-655.

 

[4] EYSENBACH, G. Can tweets predict citations? Metrics of social impact based on Twitter and correlation with traditional metrics of scientific impact. Journal of medical Internet research, 2011, vol. 13, nº 4, p. e123. [cited 05 August 2013]. Available from: doi:10.2196/jmir.2012

 

[5] Abbott, B. P., R. Abbott, T. D. Abbott, M. R. Abernathy, F. Acernese, K. Ackley, C. Adams et al. “Observation of Gravitational Waves from a Binary Black Hole Merger.” Physical Review Letters 116, no. 6 (2016): 061102.