tag:blogger.com,1999:blog-5850957731699162126.post1328551198053348578..comments2023-04-22T05:08:27.761+01:00Comments on Arqueociências: Revisão por pares (peer review) alvo de criticasJTeresohttp://www.blogger.com/profile/16376341674056968369noreply@blogger.comBlogger10125tag:blogger.com,1999:blog-5850957731699162126.post-86906090995854697582010-03-04T12:08:10.214+00:002010-03-04T12:08:10.214+00:00Meus caros, conheço casos em que uma bolsa de dout...Meus caros, conheço casos em que uma bolsa de doutoramento para o estrangeiro foi recusada porque o júri simplesmente desconhecia a avaliação do centro de I&D estrangeiro e então decidiu dar a classificação de 0, quando o referido centro tinha uma avaliação de 5 em contexto internacional!! A situação foi contestada mas a decisão de recusa foi mantida!<br />Ora aqui está um caso de clara falta de objectividade e transparência! Se a FCT contempla bolsas para o estrangeiro, e sem querer generalizar este caso, tem obrigatoriamente que ter critérios objectivos de avaliação. Nos critérios de avaliação da FCT apenas estão contemplados os critérios para avaliação dos centros nacionais e essa informação relativamente aos centros estrangeiros em nenhum momento é solicitada no processo de candidatura.<br />Repito, evidentemente que o risco de subjectividade e parcialidade com um júri internacional continuaria a persistir, embora me pareça que esse risco fosse objectivamente menor! Um júri misto também poderia ser uma boa opção. Por outro lado, acho que não se justifica a diferença existente entre a avaliação das bolsas e das unidades e projectos de I&D.<br />Reconheço o esforço da FCT em adequar-se ao contexto de internacionalização e excelência na ciência, mas sinto sinceramente que falta ainda muito por fazer.João Fontehttps://www.blogger.com/profile/08499449179989256539noreply@blogger.comtag:blogger.com,1999:blog-5850957731699162126.post-52058838472095309132010-03-03T23:05:54.048+00:002010-03-03T23:05:54.048+00:00De facto temos aqui uma, aliás duas, discussões in...De facto temos aqui uma, aliás duas, discussões interessantes.<br /><br />Por exemplo, o Journal of Archaeological Science exige mesmo que os autores enviem 5 nomes de reviewers. Normalmente não há ninguém que vá colocar o nome de um investigador que já sabemos que é contra a teoria que defendemos ou que sabemos não apreciar o nosso trabalho em geral.<br />É certo que não são obrigados a aceitarem esses nomes, mas por outro lado também tenho dúvidas sobre esta opção.<br /><br />Quanto aos Júris da FCT, temos de fazer justiça e perceber que o sistema de avaliação evoluiu bastante e está cada vez mais objectivo e transparente. É verdade não é perfeito mas está claramente melhor.<br />Quando concorri para a minha bolsa de doutoramento em 2001, não sabia quem era o júri nem que critérios foram utilizados. Hoje o Júri é obrigado a pontuar e explicar porque deu a nota e ainda discutir a decisão com os restantes membros do painel.<br />Também é verdade que o problema dos júris nacionais tem sobretudo a ver com a falta de quadros superiores que possam participar nesses júris, tornando difícil a renovação dos painéis, embora mesmo assim tem acontecido.<br />E agora lanço uma pergunta, será que numa comunidade científica cada vez mais globalizada não teríamos o mesmo problema, mais tarde ou mais cedo, com os júris internacionais?!<br /><br />Tenho a sensação que um dos efeitos chave em ambos os contextos de avaliação é o número de pessoas envolvido, quanto mais pessoas, mais objectivas e coerentes têm de ser as avaliações.Cleia Detryhttps://www.blogger.com/profile/15372829096161465947noreply@blogger.comtag:blogger.com,1999:blog-5850957731699162126.post-60635525766959436472010-03-03T00:12:44.701+00:002010-03-03T00:12:44.701+00:00Há muitos jornais que aceitam a sugestão de review...Há muitos jornais que aceitam a sugestão de reviewers por parte dos autores, e aceitam também a nomeação de possíveis reviewers que eles gostariam que não apreciassem de forma decisiva o paper. Se o editorial-board concordar com os nomes sugeridos o paper pode ser revisto por autores que, ainda que supostamente imparciais, não serão movidos por inimizades ou interesses pessoais. <br /><br />Mas o sistema de peer-review está para a ciência como a democracia (nas palavras de Churchill) está para a política "é o pior sistema possível, à excepção de todos os outros". <br /><br />As ideias contra-paradigma podem ser rejeitadas por jornais de maior impacto, mas ainda que publicadas em jornais "menores" assume-se que poderão ser revisitadas no futuro e ganhar importância à medida que mais evidências se acumulam contra os "senhores do momento". Kuhn e Feyerabend escreveram muito sobre isso. Em ciência (embora o idealismo cientifico do Iluminismo se vá aos poucos diluindo em imperativos económicos) ainda existe o conceito de que uma "verdade" acaba sempre por vir ao de cima, desde que hajam evidências sólidas, quantificáveis e replicáveis. Mas qualquer cientista sabe que a verdade de hoje é a "curiosa, mas errada interpretação" do futuro.<br /><br />Quanto aos juris da FCT, enfim. A mim parece-me que existem agendas políticas mais ou menos louváveis (previligiar ou não universidade periféricas; previligiar ou não projectos no país em deterimento de projectos com melhor qualidade mas no estrangeiro; etc) e que isso pesa mais do que a imparcialidade dos avaliadores. Mas posso estar errado... Contratar avaliadores internacionais poderia sair incomportavelmente caro à FCT, embora talvez se pudesse negociar com investigadores Portugueses no estrangeiro que não se importassem de fazer avaliações.Hugo Oliveirahttp://www.arqueociencias.blogspot.comnoreply@blogger.comtag:blogger.com,1999:blog-5850957731699162126.post-190299546401808162010-03-01T21:09:22.215+00:002010-03-01T21:09:22.215+00:00Quanto ao acréscimo financeiro de ter mais revisor...Quanto ao acréscimo financeiro de ter mais revisores, sei que há quem faça as revisões gratuitamente pois é considerado prestigiante, ainda que seja anónimo. Aliás, tendo em conta que os revisores são especialistas do tema do artigo proposto e que este se adequa à revista proposta, então é muito útil ao investigador convidado para ser revisor aceitar o cargo, pois ele muito provavelmente já publicou e voltará a publicar artigos na revista em questão.<br /><br />Não sei se há muitos a fazer o trabalho sem receber dinheiro. Mas alguns investigadores fazem esse favor.<br /><br />Quanto à parcialidade dos júris nacionais, concordo completamente com a opinião do João Fonte. Ainda assim, tendo em conta que alguns investigadores têm colaborações com entidades estrangeiras, creio que deveria haver uma forma de perceber se existem eventuais conflitos de interesse.JTeresohttps://www.blogger.com/profile/16376341674056968369noreply@blogger.comtag:blogger.com,1999:blog-5850957731699162126.post-87543998450038589662010-03-01T11:16:43.840+00:002010-03-01T11:16:43.840+00:00Evidentemente que um júri internacional não é gara...Evidentemente que um júri internacional não é garantia objectiva de imparcialidade, mas será que não reduzirá o risco de parcialidade? Será que se justifica esta diferença entre a avaliação dos projectos e das unidades de I&D por um júri internacional e a avaliação das bolsas por um júri nacional? Será que o nível de parcialidade é semelhante em ambos casos? Não acham que há um maior risco de parcialidade no segundo caso?João Fontehttps://www.blogger.com/profile/08499449179989256539noreply@blogger.comtag:blogger.com,1999:blog-5850957731699162126.post-41180680118872026712010-03-01T10:17:43.709+00:002010-03-01T10:17:43.709+00:00Boas, antes demais muito obrigado pelo tema em dis...Boas, antes demais muito obrigado pelo tema em discussão, é muito importantes "puxar" estes assuntos serem para a praça, para que possamos discutir e realmente pensar. <br />Em suma, concordo com quase tudo do que, até ao momento, foi aqui dito. Infelizmente muitas vezes os investigadores deixam-se levar pelas suas guerras e interesses pessoais e não pela "verdade" científica. O sistema de revisão por pares parece-me obsoleto neste momento, e creio que a implementação do double-blind review é a melhor solução. Todavia, esta acarreta outros problemas...mais revisão, mais revisores, mais dinheiro...Não acredito que o façam de "borla", à bela moda portuguesa..Se já com peer-review a publicação leva uma eternidade...<br /><br />Em relação à FCT não vejo outra solução, perante o nosso panorama, que não passe pelo júri internacional...No entanto isso traz imparcialidade?<br /><br />Despeço-me lançando aqui o repto para que a discussão se estenda à archport, gostava de ver mais opiniões sobre este tema, a archport precisa destas "verdadeiras" e pertinentes discussões...<br /><br />Força com o blogJoão Marreiroshttps://www.blogger.com/profile/17776915567234328165noreply@blogger.comtag:blogger.com,1999:blog-5850957731699162126.post-65142848489961515122010-02-28T22:09:00.576+00:002010-02-28T22:09:00.576+00:00Também concordo que um júri internacional é a melh...Também concordo que um júri internacional é a melhor solução para os concursos de bolsas, ainda que isso não seja garantia que de imparcialidade. Sinceramente, não sei qual o critério para escolha de júris. Talvez tenha em conta as publicações em revistas internacionais com revisão por pares...JTeresohttps://www.blogger.com/profile/16376341674056968369noreply@blogger.comtag:blogger.com,1999:blog-5850957731699162126.post-91657818146556929102010-02-28T20:52:20.262+00:002010-02-28T20:52:20.262+00:00Um tema bastante interessante. Concordo que o sist...Um tema bastante interessante. Concordo que o sistema de revisão por pares é provavelmente (pelo menos de momento) o melhor que temos. Evidentemente que não é perfeito, já que tem óbvias limitações. Parece-me que é preferível um sistema de open review ou então de double-blind review, pois o single-blind review parece-me algo contraproducente. No entanto, e um pouco à parte deste tema, preocupa-me mais o facto de, por exemplo, persistir um júri nacional na avaliação das bolsas de doutoramento e de pós-doutoramento da FCT, quando tanto a avaliação dos projectos como das unidades de I&D é já elaborada por um júri internacional, evitando-se assim um maior risco de parcialidade.João Fontehttps://www.blogger.com/profile/08499449179989256539noreply@blogger.comtag:blogger.com,1999:blog-5850957731699162126.post-13009384200988783642010-02-28T09:40:20.491+00:002010-02-28T09:40:20.491+00:00Nem todos os sistemas de revisão por pares pressup...Nem todos os sistemas de revisão por pares pressupõem o anonimato dos autores e dos revisores, i.e. double-blind review. Creio que bastantes revistas optam pelo sistema single-blind review, de acordo com o qual o(s) revisor(es) conhece(m) o nome do(s) autor(es) do artigo mas estes desconhecem o nome do(s) revisor(es). Algumas (creio que poucas) revistas optam pelo sistema de open review, no qual a identidade de todos os envolvidos é conhecida e divulgada.<br /><br />Mas tens razão, é sempre possível - normalmente é até fácil - perceber qual o autor.<br /><br />Também me parece que o sistema de revisão por pares é ainda o melhor que temos.Creio que o sistema de open review é o menos hipócrita e mais justo para o autor.<br /><br />O problema é sempre o mesmo: a subversão do sistema por pessoas menos honestas. Estas podem até ser os próprios editores das revistas, eles também investigadores.JTeresohttps://www.blogger.com/profile/16376341674056968369noreply@blogger.comtag:blogger.com,1999:blog-5850957731699162126.post-71903477077219615882010-02-27T23:27:24.498+00:002010-02-27T23:27:24.498+00:00Supostamente, os revisores não sabem quem são os a...Supostamente, os revisores não sabem quem são os autores. No entanto, os assuntos são por vezes tão específicos que é possível adivinhar a autoria, nem que seja a partir da bibliografia que frequentemente privilegia os próprios trabalhos numa compreensível tentativa de aumentar o índice-Hirsh (impacto científico de um cientista).<br /><br />A interferência dos revisores é um mal necessário. O pior é quando, apesar das revisões não lhe darem suporte, a decisão de não publicação é meramente de cariz editorial (por exemplo, a revista alega ter demasiadas submissões de artigos). Nesses casos, também não nos podemos deixar de questionar se outras razões menos claras estiveram na origem dessa decisão.David Gonçalveshttps://www.blogger.com/profile/06009798993984948722noreply@blogger.com