sexta-feira , 29 de março de 2024
Home / Todas as Notícias / Acontece / “Será preciso repensar o sistema de revisão por pares”

“Será preciso repensar o sistema de revisão por pares”

O Professor-Titular do Instituto de Ciência e Tecnologia da Unesp em São José dos Campos, Sigmar de Mello Rode, ocupa atualmente o cargo de presidente da Associação Brasileira de Editores Científicos (ABEC Brasil). Nesta entrevista ao Jornal da Unesp, Rode fala sobre o número surpreendentemente alto de retratações de artigos científicos registrado no ano de 2022, período em que três editoras apenas anunciaram a retratação de mais de mil artigos já publicados, por causas diversas. Ele atribui a escala inaudita ao uso crescente, pelos editores, da inteligência artificial, através de programas que detectam similaridades, como ferramenta para analisar tanto problemas de forma, quanto inconsistências mais graves.

O docente também discorre sobre os problemas ligados ao sistema de revisão por pares, gratuito e, geralmente, anônimo, que é um dos pilares, não apenas do modo de produção das revistas científicas, como da própria metodologia de produção de conhecimento. “Muitos revisores fazem uma avaliação de baixa qualidade. Mas há saídas possíveis, como a adoção de alguma forma de recompensa para os avaliadores, não necessariamente financeira, pode ser uma valorização nos processos de avaliação curricular, e também o fim do anonimato para o revisor, que levaria a avaliações mais elaboradas”, diz. E defende mudanças também no Qualis, o sistema de classificação da produção científica nacional estipulado pela Capes que é usado para ranquear as revistas científicas da pós-graduação, inclusive as brasileiras. “É preciso adotar uma avaliação diferenciada para a produção científica nas revistas brasileiras. Nossa pós-graduação produz ciência no Brasil e para o Brasil, para o desenvolvimento científico e tecnológico do país, e é de fundamental importância que ocorra um estímulo à produção científica no Brasil”, diz.

*****

No ano de 2022, grandes editoras de revistas científicas anunciaram publicamente retratação de centenas de artigos científicos publicados. Em outubro, a editora Hindawi, de Londres, anunciou a retratação de 511 artigos que foram publicados em 16 revistas científicas, alegando ter encontrado indícios de manipulação no processo de revisão por pares. Em setembro, a IOP Publishing também havia anunciado a retratação de mais de quinhentos artigos. E em agosto, a editora PLOS anunciou a retratação de mais de cem artigos de sua revista principal, por revisões manipuladas.

Por que isso está ocorrendo neste momento?

Sigmar de Mello Rode: As pessoas estavam acostumadas a escrever artigos científicos de uma certa forma, que sofreu mudança com o ambiente digital. Os editores têm se preocupado cada vez mais com a qualidade das pesquisas que são encaminhadas até eles, e passaram a utilizar a inteligência artificial para verificar não só eventuais duplicidades desse material como também a veracidade das informações. A inteligência artificial apresenta muitas vantagens e muitas desvantagens. Uma das vantagens é que permite uma verificação mais acurada da veracidade das publicações científicas. Esse recurso tem levado os publishers a se preocuparem com a possibilidade de processos e de outras eventuais repercussões negativas. Passaram então a conduzir essas análises, que têm revelado inconsistências nos artigos. Então o que estamos vendo é fruto do uso da inteligência artificial para aperfeiçoar a credibilidade dos artigos científicos.

Também não se pode esquecer que, no passado, a forma como eram feitas as citações de outros artigos nos textos não era algo tão controlado como ocorre hoje. Por exemplo, antes bastava fazer a citação, não era obrigatório colocar entre aspas o que o autor disse. Essas regras sobre a escrita científica são constantemente aprimoradas e fazem com que os artigos mais antigos possam apresentar problemas, e precisem, então, ser retratados.

Seria um problema mais de forma do que de consistência científica?

Sigmar de Mello Rode: Acho que há os dois casos; é preciso fazer uma distinção entre o que é intencional ou acidental. Pode ter havido alguma redundância na citação. Embora isso possa ser muito relevante, dependendo da época em que o artigo foi escrito, é possível corrigir, optando por uma retratação, que não afeta a qualidade dos resultados. Agora, há outros problemas que são inconsistências científicas.  Estamos cansados de ver pesquisas científicas cujos resultados não conseguem ser reproduzidos ou que levam a falsas premissas. Essas devem ser realmente reavaliadas e retratadas para que os artigos não sejam considerados.  Seja por erro na metodologia, avaliação incorreta dos resultados, análises tendenciosas ou conflitos de interesses que não estavam explicitados, esses casos realmente precisam ser apontados e corrigidos.

Uma dessas editoras, a IOP Publishing, disse suspeitar que alguns dos artigos retratados foram produzidos por fábricas de papers. O que são essas fábricas e como funcionam?

Sigmar de Mello Rode: Alguns grupos de pesquisa montaram verdadeiras fábricas de publicação de artigos, empregando uma metodologia quase industrial para a venda e publicação de artigos. Segundo essa metodologia, ao invés de se produzir um artigo que aborde o tema em questão de forma mais ampla, são publicados pedaços, partes de uma pesquisa mais ampla. Isso é chamado de produção salame, em que o conteúdo é apresentado de forma fragmentada, em vários artigos diferentes, sem mostrar o todo da produção ou com dados falsos.

Assim, consegue-se publicar muito. Os artigos são distribuídos por revistas diferentes, o que dilui o conhecimento e dificulta sua identificação. Isso leva a uma divulgação pior da publicação científica. Mas esse formato atende à demanda por produtividade que todos sentem e os pesquisadores provavelmente utilizam essa forma de publicação pela pressão de publicar. Embora os publishers digam que estão preocupados com essas fábricas de artigos, não podemos esquecer que pode ser um grande negócio pelo aumento da publicação, mas com evidente perda de credibilidade.

O pesquisador transmite sua ideia para o programa de inteligência artificial e ela escreve o texto. Alguns editores já avisaram que não vão aceitar artigos produzidos desta forma. Mas a revisão por pares não consegue identificar.

E agora chegou um elemento novo, que é a escrita por inteligência artificial. O pesquisador transmite sua ideia para o ChatGPT ou outro programa de inteligência artificial, ela escreve o texto e ele obtém o artigo para publicar. Isso está fazendo com que alguns publishers, como a Springer, tenham declarado que não irão aceitar artigos produzidos por inteligência artificial. A inteligência artificial pode virar uma fábrica de produção científica.

Aliás, o Brasil tem gastado grandes quantias com os grandes publishers, para atender às exigências da Capes. A Capes hoje cobra que os docentes que estão na pós-graduação publiquem sua produção científica em revistas de qualidade. Isso torna necessário que os artigos sejam publicados em revistas estrangeiras com alto fator de impacto. Em 2022, o Brasil publicou aproximadamente 200 mil artigos. Por baixo, estimam-se as taxas de publicação por volta de mil dólares por artigo. Ou seja, o total é US$ 200 milhões, mais de 1 bilhão de reais. Isso equivale ao orçamento anual da Fapesp e é superior ao orçamento do CNPq. É um problema sério, pois para atender a esta exigência da Capes estamos financiando os grandes publishers com recursos financeiros que poderiam incentivar uma maior produção nacional.

O número elevado de retratações não indica também uma falha no sistema de revisão por pares?

Sigmar de Mello Rode: Totalmente. Mas é preciso fazer algumas considerações. Há situações que o processo de revisão por pares não consegue pegar. Se alguém estiver dividindo sua produção em muitos artigos e espalhando por revistas diversas, o processo de revisão por pares dificilmente irá detectar. Por outro lado, como se pode saber se o material foi ou não produzido por inteligência artificial?  É muito difícil identificar também isso.

Na minha observação, as falhas no processo de revisão por pares têm ocorrido por várias razões. Uma delas se deve a problemas de qualidade no processo de revisão. O revisor faz um trabalho inadequado, sem cuidado. Outras vezes, o problema pode estar na escassez de pessoas para fazer a avaliação. Um editor recebe o artigo e o envia a vinte, trinta professores, até encontrar um que aceite fazer o trabalho. Ele começa por enviar para os melhores. Mas estes recebem encaminhamentos de revistas do mundo inteiro. O editor continua buscando, e pode acontecer que ele recorra a revisões de menor qualidade para poder publicar o material. E desta forma os problemas nos artigos passam à frente.

O Brasil gasta o equivalente a R$ 1 bilhão para custear publicações científicas em revisas estrangeiras. Isso equivale ao orçamento da Fapesp.

Há quem diga que os revisores preferem trabalhar para revistas de primeira linha. Mas mesmo revistas como a Lancet e a Nature têm problemas no processo de revisão por pares. O processo, como um todo, é muito subjetivo e susceptível a falhas. É por isso que não se pode contar com uma avaliação só, é preciso no mínimo duas avaliações. Se elas forem discordantes, é necessário uma terceira avaliação. Só que hoje está muito, muito difícil conseguir duas ou três avaliações de um artigo. isso está fazendo com que o processo comece a ser questionado.

Mas quais podem ser as alternativas? Acho que uma pode ser remunerar os revisores. Não necessariamente em dinheiro, pode ser um reconhecimento de outra forma para que os revisores possam trabalhar com mais calma e ter seu trabalho valorizado. A Lancet paga para os seus revisores, e mesmo assim tem  problemas sérios. Como o caso daquele artigo que apontou a cloroquina como eficiente para o tratamento da covid-19. Aliás, no passado a Lancet publicou um artigo famoso, dos anos 1960, dizendo que a vacina tríplice causava autismo. E depois o próprio autor reconheceu que o artigo estava errado, e chegou a ser demitido da universidade em que trabalhava. A falta de punição também é um problema sério. Se os autores fossem punidos pelo que publicam, talvez tivéssemos menos erros, menos inconsistências nas publicações.

E, também, punição para quem fez a revisão do artigo. Normalmente, as revistas fazem isso. Se um revisor faz um trabalho ruim ou inadequado, essa pessoa deixa de ser convidada pela revista.  Mas, como existem inúmeras revistas necessitando de avaliadores, essa pessoa provavelmente poderá atuar como revisora para outras publicações. Por isso o processo de revisão aberta passa a ser uma opção extremamente interessante. O editor identifica: “Fulano de tal fez a revisão para esse artigo e colocou tais observações”. Se houver um erro metodológico, surge o questionamento: por que Fulano não identificou? Então, ele não é um bom revisor. Não vamos chamá-lo para outra revisão e, até mesmo, retratar a revisão como fazemos com o artigo.

Eu recebi um convite para avaliar um artigo sobre ética para uma revista do grupo Nature. E o convite já informava de forma bem clara: a avaliação com seu nome ficará disponível, juntamente como artigo, na revista. Aceitei e divulgo essa avaliação, porque para mim é interessante. Sem dúvida, demandou tempo para fazer uma revisão muito bem feita e que pode ser citada, o que só é possível porque é totalmente aberta.

Recentemente, a divulgação preliminar do novo ranking de revistas do sistema Qualis gerou muitas críticas por parte da comunidade acadêmica e até um abaixo-assinado. Como você enxerga estas críticas?

Sigmar de Mello Rode: Elas fazem sentido. O sistema na sua essência é bom, mas necessita de aprimoramento, e de forma urgente porque apresenta muitas inconsistências. Entre outros problemas, ele permite que áreas diferentes façam considerações diferentes quanto às suas revistas, por considerarem critérios diversos. Outro problema é que o sistema não valoriza as revistas brasileiras. Isso faz com que os avaliadores que fazem os índices do Qualis incorram em algumas deturpações que podem ou não gerar favorecimento para as revistas.  Aliás, durante a última reunião da SBPC, em conversa com o presidente do CNPq, Ricardo Galvão, e o presidente da Finep, Wanderley de Souza, foi solicitado que seja estabelecida uma política de governo para favorecer os periódicos científicos brasileiros.

É preciso levar em conta que o Brasil tem o maior mercado de acesso aberto de periódicos científicos do mundo. Somos os campeões mundiais em acesso aberto, muito por causa do programa SciELO, que está completando vinte e cinco anos este ano. O fato de que as revistas brasileiras trabalham no sistema de acesso aberto faz com que elas sofram problemas de financiamento para manter sua qualidade. Porque, mesmo com o acesso aberto, alguém tem que pagar a conta. As revistas estão começando a cobrar dos autores as taxas de publicação, e não é justo que os autores arquem com essa despesa.

O sistema Qualis precisa instituir uma avaliação dos periódicos brasileiros que seja diferente dos periódicos estrangeiros. Se isso ocorrer, conseguiremos resolver alguns dos problemas que estamos vendo. O Qualis adota alguns critérios para a avaliação das revistas que estão corretas, mas que podem prejudicar a avaliação das revistas brasileiras e fazer com que os pesquisadores não publiquem nas nossas revistas. Algumas vezes se tenta inserir certas adequações no processo, a fim de tentar ajudar as revistas e assim beneficiar os pesquisadores brasileiros, o que pode levar a deturpações no processo.

Não produzimos ciência apenas para o mundo. Nosso foco principal deve ser o desenvolvimento científico e tecnológico do Brasil.

Em certas áreas, todas as revistas científicas brasileiras da área estão classificadas como pertencendo ao estrato A. Em outras não há nenhuma revista brasileira no estrato A. Essa diferença ocorre por falta de padronização, e porque o Qualis não tem uma valorização diferenciada para revistas estrangeiras e para revistas brasileiras. Acho que no momento em que o Qualis adotar um sistema diferenciado de avaliação, os autores e a comunidade vão começar a reclamar menos.

E é preciso valorizar, além das revistas científicas, as bases de dados brasileiras. Porque a nossa pós-graduação produz ciência no Brasil, e para o Brasil. Não produzimos ciência só para o mundo. Nosso foco principal tem que ser o Brasil. É claro que, se com isso pudermos ajudar o mundo, ótimo. Mas temos que produzir conhecimento para o Brasil, para o desenvolvimento científico e tecnológico no Brasil. Para que isso ocorra, nós temos que valorizar as coisas brasileiras.

Sobre Leandro Rocha

Veja também

Candidatos ao Conselho Fiscal homologados

De acordo com o Edital das Eleições da ASSOCIAÇÃO BRASILEIRA DE EDITORES CIENTÍFICOS – ABEC ...

//analytics natashaprimati@gmail //analytics natasha@abecbrasil