O funcionamento do sistema de revisão por pares (peer review) tem sido questionado por diversas vezes. Hoje em dia, questionar a revisão por pares é questionar todo o sistema de validação do conhecimento científico.
Um texto intitulado “Turning peer review into modern-day holy scripture” divulgado na passada semana em http://www.spiked-online.com/index.php/site/article/8227/ Frank Furedi coloca o dedo na ferida. O autor aponta alguns dos vícios do sistema.
Diz o autor:
“the individuals who constitute a ‘community of experts’ also tend to be preoccupied with their own personal position and status. Often, the colleagues they are reviewing and refereeing are their competitors and sometimes even their bitter rivals. The contradiction between working as a member of an expert community and one’s own personal interests cannot always be satisfactorily resolved”.
“all too often the question of who gets published and who gets rejected is determined by who you know and where you stand in a particular academic debate”.
“First, there is the genuine mistake.
Second, there is the damaging influence of nepotism and professional jealousy.
The third, and in recent years the most disturbing, threat to the integrity of the peer-review system has been the growing influence of advocacy science.”
O autor aponta como principal exemplo da subversão do sistema de revisão por pares o debate em torno do aquecimento global e o já amplamente conhecido climategate. Denotam-se grandes dificuldades em publicar dados que contrariem as ideias vigentes e, quando a publicação é conseguida, questiona-se o carácter científico da própria revista ou a qualidade da revisão: “it is simply unthinkable that a publication that questions the prevailing consensus could have been properly reviewed”.
São mencionadas ainda acusações de atrasos propositados nas revisões de modo a que textos dos próprios revisores ou de membros do seu grupo de investigação, visando os mesmos temas, fossem publicados antes como portadores de novidades científicas.
Apesar das subversões, o autor acaba por considerar que este é ainda o melhor sistema de validação: “Nevertheless, peer reviewing has traditionally, at least, been the most effective way of exercising quality control over the proposals and output of the scholarly and scientific communities.”
Aconselho a leitura do texto em questão em http://www.spiked-online.com/index.php/site/article/8227/
Espero que possamos trocar aqui umas ideias acerca do assunto.
Supostamente, os revisores não sabem quem são os autores. No entanto, os assuntos são por vezes tão específicos que é possível adivinhar a autoria, nem que seja a partir da bibliografia que frequentemente privilegia os próprios trabalhos numa compreensível tentativa de aumentar o índice-Hirsh (impacto científico de um cientista).
ResponderEliminarA interferência dos revisores é um mal necessário. O pior é quando, apesar das revisões não lhe darem suporte, a decisão de não publicação é meramente de cariz editorial (por exemplo, a revista alega ter demasiadas submissões de artigos). Nesses casos, também não nos podemos deixar de questionar se outras razões menos claras estiveram na origem dessa decisão.
Nem todos os sistemas de revisão por pares pressupõem o anonimato dos autores e dos revisores, i.e. double-blind review. Creio que bastantes revistas optam pelo sistema single-blind review, de acordo com o qual o(s) revisor(es) conhece(m) o nome do(s) autor(es) do artigo mas estes desconhecem o nome do(s) revisor(es). Algumas (creio que poucas) revistas optam pelo sistema de open review, no qual a identidade de todos os envolvidos é conhecida e divulgada.
ResponderEliminarMas tens razão, é sempre possível - normalmente é até fácil - perceber qual o autor.
Também me parece que o sistema de revisão por pares é ainda o melhor que temos.Creio que o sistema de open review é o menos hipócrita e mais justo para o autor.
O problema é sempre o mesmo: a subversão do sistema por pessoas menos honestas. Estas podem até ser os próprios editores das revistas, eles também investigadores.
Um tema bastante interessante. Concordo que o sistema de revisão por pares é provavelmente (pelo menos de momento) o melhor que temos. Evidentemente que não é perfeito, já que tem óbvias limitações. Parece-me que é preferível um sistema de open review ou então de double-blind review, pois o single-blind review parece-me algo contraproducente. No entanto, e um pouco à parte deste tema, preocupa-me mais o facto de, por exemplo, persistir um júri nacional na avaliação das bolsas de doutoramento e de pós-doutoramento da FCT, quando tanto a avaliação dos projectos como das unidades de I&D é já elaborada por um júri internacional, evitando-se assim um maior risco de parcialidade.
ResponderEliminarTambém concordo que um júri internacional é a melhor solução para os concursos de bolsas, ainda que isso não seja garantia que de imparcialidade. Sinceramente, não sei qual o critério para escolha de júris. Talvez tenha em conta as publicações em revistas internacionais com revisão por pares...
ResponderEliminarBoas, antes demais muito obrigado pelo tema em discussão, é muito importantes "puxar" estes assuntos serem para a praça, para que possamos discutir e realmente pensar.
ResponderEliminarEm suma, concordo com quase tudo do que, até ao momento, foi aqui dito. Infelizmente muitas vezes os investigadores deixam-se levar pelas suas guerras e interesses pessoais e não pela "verdade" científica. O sistema de revisão por pares parece-me obsoleto neste momento, e creio que a implementação do double-blind review é a melhor solução. Todavia, esta acarreta outros problemas...mais revisão, mais revisores, mais dinheiro...Não acredito que o façam de "borla", à bela moda portuguesa..Se já com peer-review a publicação leva uma eternidade...
Em relação à FCT não vejo outra solução, perante o nosso panorama, que não passe pelo júri internacional...No entanto isso traz imparcialidade?
Despeço-me lançando aqui o repto para que a discussão se estenda à archport, gostava de ver mais opiniões sobre este tema, a archport precisa destas "verdadeiras" e pertinentes discussões...
Força com o blog
Evidentemente que um júri internacional não é garantia objectiva de imparcialidade, mas será que não reduzirá o risco de parcialidade? Será que se justifica esta diferença entre a avaliação dos projectos e das unidades de I&D por um júri internacional e a avaliação das bolsas por um júri nacional? Será que o nível de parcialidade é semelhante em ambos casos? Não acham que há um maior risco de parcialidade no segundo caso?
ResponderEliminarQuanto ao acréscimo financeiro de ter mais revisores, sei que há quem faça as revisões gratuitamente pois é considerado prestigiante, ainda que seja anónimo. Aliás, tendo em conta que os revisores são especialistas do tema do artigo proposto e que este se adequa à revista proposta, então é muito útil ao investigador convidado para ser revisor aceitar o cargo, pois ele muito provavelmente já publicou e voltará a publicar artigos na revista em questão.
ResponderEliminarNão sei se há muitos a fazer o trabalho sem receber dinheiro. Mas alguns investigadores fazem esse favor.
Quanto à parcialidade dos júris nacionais, concordo completamente com a opinião do João Fonte. Ainda assim, tendo em conta que alguns investigadores têm colaborações com entidades estrangeiras, creio que deveria haver uma forma de perceber se existem eventuais conflitos de interesse.
Há muitos jornais que aceitam a sugestão de reviewers por parte dos autores, e aceitam também a nomeação de possíveis reviewers que eles gostariam que não apreciassem de forma decisiva o paper. Se o editorial-board concordar com os nomes sugeridos o paper pode ser revisto por autores que, ainda que supostamente imparciais, não serão movidos por inimizades ou interesses pessoais.
ResponderEliminarMas o sistema de peer-review está para a ciência como a democracia (nas palavras de Churchill) está para a política "é o pior sistema possível, à excepção de todos os outros".
As ideias contra-paradigma podem ser rejeitadas por jornais de maior impacto, mas ainda que publicadas em jornais "menores" assume-se que poderão ser revisitadas no futuro e ganhar importância à medida que mais evidências se acumulam contra os "senhores do momento". Kuhn e Feyerabend escreveram muito sobre isso. Em ciência (embora o idealismo cientifico do Iluminismo se vá aos poucos diluindo em imperativos económicos) ainda existe o conceito de que uma "verdade" acaba sempre por vir ao de cima, desde que hajam evidências sólidas, quantificáveis e replicáveis. Mas qualquer cientista sabe que a verdade de hoje é a "curiosa, mas errada interpretação" do futuro.
Quanto aos juris da FCT, enfim. A mim parece-me que existem agendas políticas mais ou menos louváveis (previligiar ou não universidade periféricas; previligiar ou não projectos no país em deterimento de projectos com melhor qualidade mas no estrangeiro; etc) e que isso pesa mais do que a imparcialidade dos avaliadores. Mas posso estar errado... Contratar avaliadores internacionais poderia sair incomportavelmente caro à FCT, embora talvez se pudesse negociar com investigadores Portugueses no estrangeiro que não se importassem de fazer avaliações.
De facto temos aqui uma, aliás duas, discussões interessantes.
ResponderEliminarPor exemplo, o Journal of Archaeological Science exige mesmo que os autores enviem 5 nomes de reviewers. Normalmente não há ninguém que vá colocar o nome de um investigador que já sabemos que é contra a teoria que defendemos ou que sabemos não apreciar o nosso trabalho em geral.
É certo que não são obrigados a aceitarem esses nomes, mas por outro lado também tenho dúvidas sobre esta opção.
Quanto aos Júris da FCT, temos de fazer justiça e perceber que o sistema de avaliação evoluiu bastante e está cada vez mais objectivo e transparente. É verdade não é perfeito mas está claramente melhor.
Quando concorri para a minha bolsa de doutoramento em 2001, não sabia quem era o júri nem que critérios foram utilizados. Hoje o Júri é obrigado a pontuar e explicar porque deu a nota e ainda discutir a decisão com os restantes membros do painel.
Também é verdade que o problema dos júris nacionais tem sobretudo a ver com a falta de quadros superiores que possam participar nesses júris, tornando difícil a renovação dos painéis, embora mesmo assim tem acontecido.
E agora lanço uma pergunta, será que numa comunidade científica cada vez mais globalizada não teríamos o mesmo problema, mais tarde ou mais cedo, com os júris internacionais?!
Tenho a sensação que um dos efeitos chave em ambos os contextos de avaliação é o número de pessoas envolvido, quanto mais pessoas, mais objectivas e coerentes têm de ser as avaliações.
Meus caros, conheço casos em que uma bolsa de doutoramento para o estrangeiro foi recusada porque o júri simplesmente desconhecia a avaliação do centro de I&D estrangeiro e então decidiu dar a classificação de 0, quando o referido centro tinha uma avaliação de 5 em contexto internacional!! A situação foi contestada mas a decisão de recusa foi mantida!
ResponderEliminarOra aqui está um caso de clara falta de objectividade e transparência! Se a FCT contempla bolsas para o estrangeiro, e sem querer generalizar este caso, tem obrigatoriamente que ter critérios objectivos de avaliação. Nos critérios de avaliação da FCT apenas estão contemplados os critérios para avaliação dos centros nacionais e essa informação relativamente aos centros estrangeiros em nenhum momento é solicitada no processo de candidatura.
Repito, evidentemente que o risco de subjectividade e parcialidade com um júri internacional continuaria a persistir, embora me pareça que esse risco fosse objectivamente menor! Um júri misto também poderia ser uma boa opção. Por outro lado, acho que não se justifica a diferença existente entre a avaliação das bolsas e das unidades e projectos de I&D.
Reconheço o esforço da FCT em adequar-se ao contexto de internacionalização e excelência na ciência, mas sinto sinceramente que falta ainda muito por fazer.