EDITORIAL
Desafios à avaliação da literatura científica: a revisão pelos pares
Carlos E. A. Coimbra Jr.
Editor
O lançamento da Philosophical Transactions, em 1665, foi um marco da ciência. Não somente revolucionou a comunicação científica, como também lançou as bases para a emergência de uma cultura, que se pode dizer "global", de produção intelectual científica centrada na publicação de artigos. Associada à emergência dos periódicos científicos esteve a criação do que hoje conhecemos por "peer review system" ou sistema de revisão pelos pares. Este nada mais é do que o emprego sistemático de peers (ou colegas), na assessoria aos editores das revistas na seleção dos artigos. A expectativa é de que esse sistema seja suficientemente sensível para detectar aqueles trabalhos realmente originais, com metodologias e análises capazes de, efetivamente, somarem-se aos conhecimentos acumulados em um determinado campo da ciência. Espera-se ainda que os revisores sejam capazes de apontar erros, omissões, além de eventuais conflitos de interesse e desvios da ética.
Principalmente em países ou áreas da ciência onde se verifica competição mais acirrada, têm sido cada vez mais freqüentes denúncias, inclusive presentes nas páginas das mais prestigiadas revistas, de artigos publicados com base em dados forjados, análises distorcidas ou plágios, que não foram detectados em tempo pelos revisores. Nesse sentido, é exemplar o caso de um jovem físico que, entre 2000 e 2002, liderou um grupo de pesquisa na Califórnia que publicava cerca de três artigos por mês em revistas como Science, Physics Letters e Nature. Tornou-se um escândalo de proporções internacionais quando a imprensa noticiou que seus trabalhos constituíam fraudes. Como alguém pode ter sido capaz de enganar a comunidade científica durante tanto tempo, literalmente driblando equipes editoriais e revisores de revistas de reputação tão rigorosa? Outro caso (Folha de S. Paulo, 12 out. 2003, Cadernos Mais!, p.18) implicou na identificação de graves falhas metodológicas em um estudo publicado na Science, também em 2002, acerca de uma possível epidemia de Parkinson associada à explosão de consumo de ecstasy (segundo os autores, a substância ativa do ecstasy destruiria neurônios produtores da dopamina, do mesmo tipo cuja destruição provoca o mal de Parkinson).
Por paradoxal que seja, casos como esses que, infelizmente parecem estar se tornando cada vez mais freqüentes, lançam dúvidas acerca da legitimidade do que se vê publicado, evidenciando sérios limites do sistema de revisão pelos pares. Muitos têm dito que, apesar do reconhecimento acerca das limitações do sistema, ainda não criaram nada melhor que pudesse substituí-lo. Por outro lado, o aumento vertiginoso do número de artigos publicados anualmente em todo o mundo, acrescido do surgimento constante de novas metodologias, técnicas e mesmo de especialidades constitui desafio constante à manutenção da qualidade das publicações. Será que sempre poderemos contar com o trabalho altruísta dos colegas para rever cada vez mais originais? Estarão estes sempre disponíveis e em condições de atender aos prazos? Como evitar que eventuais conflitos de interesse interfiram no julgamento? Para responder a essas e a muitas outras perguntas, editores das principais revistas científicas têm se reunido periodicamente para debater o presente e o futuro do sistema de revisão pelos pares. As conceituadas revistas JAMA e BMJ promoveram quatro congressos internacionais sobre "peer review". O 5o Congresso está previsto para ser em Chicago, em 2005 (http://www.jama-peer.org). Esses congressos têm atraído interesse crescente em meio aos editores, pressionados pela onda de denúncias de más-condutas científicas.
Nesses três séculos e meio desde que foi concebido, não surgiu outro sistema de avaliação que se mostrasse mais satisfatório que o sistema de revisão pelos pares. Como toda atividade humana e a história e a sociologia da ciência demonstram fartamente que a prática científica pode ser compreendida como uma prática cultural , é difícil conceber uma condição de perfeição e de consenso na apreciação da produção científica. Independente da direção que se caminhe nessa discussão, o que parece evidente é que não se cogita do abandono da revisão pelos pares, mas sim o seu aprimoramento.
Challenges for the evaluation of scientific literature: peer review
Carlos E. A. Coimbra Jr.
Editor
The launching of the Philosophical Transactions in 1665 was a milestone for science. It not only produced a revolution in scientific communication, but also laid the groundwork for the emergence of what can be described as a "global" culture, namely that of scientific intellectual output focused on the publication of articles. Together with the emergence of scientific periodicals came the creation of what we now know as the "peer review system". The system is nothing more than the systematic use of peers (or colleagues) to advise journals. The expectation is that this system is sufficiently sensitive to detect truly original work, with methodologies and analyses capable of effectively adding to the accumulated knowledge in a given field of science. It is further expected that reviewers be capable of identifying errors, omissions, and occasional conflicts of interest and ethical deviations.
Especially in countries or areas of science in which competition is most fierce, there have been increasingly frequent complaints (even in the most prestigious journals) of articles published on the basis of forged data, distorted analyses, or plagiarism which were not detected in time by reviewers. An illustrative case involved a young physicist leading a research group in California from 2000 to 2002 which published some three articles per month in such journals as Science, Physics Letters, and Nature. A scandal of international proportions broke out when the press revealed that his work contained frauds. How could someone have fooled the scientific community for so long, literally hoodwinking editorial boards and reviewers of journals despite their rigorous reputations? Another recent case (Folha de S. Paulo, Oct., 12, 2003, Cadernos Mais!, p. 18), involved the identification of serious methodological flaws in a study published in Science, also in 2002, on a possible epidemic of Parkinson disease associated with a boom in the consumption of ecstasy (the authors claimed that ecstasy's active ingredient destroys the dopamine-producing neurons of the same type whose destruction causes Parkinson disease).
Although it may seem highly paradoxical, such cases (which unfortunately appear to be increasingly frequent) raise doubts concerning the legitimacy of what is published, thereby underscoring serious limits in the peer review system. Many have contended that despite the recognition of the system's limits, nothing better has been created to replace it. On the other hand, the dizzying increase in the number of articles published yearly all over the world and the constant emergence of new methodologies, techniques, and even specialties constitute an ongoing challenge for maintaining the quality of publications. Can we always count on the altruistic work of colleagues to review more and more originals? Will they always be available and capable of meeting the deadlines? How does one prevent possible conflicts of interest from interfering in their judgment? To answer these and many other questions, editors of the main scientific journals have met periodically to debate the peer review system's present and future. The highly respected journals JAMA and BMJ have held four international congresses on peer review. The 5th Congress will be held in Chicago in 2005 (http://www.jama-peer.org). These congresses have attracted growing interest amongst editors, especially those in charge of medical journals, pressured by the wave of complaints of scientific misconduct.
During these three and a half centuries since it was conceived, no other evaluation system has emerged which has proven more satisfactory than the peer review system. Like all human activity and the history and sociology of science have demonstrated extensively that scientific practice can be seen as a cultural practice , it is difficult to conceive of a condition of perfection, consensus, and absence of conflict in the quality assessment of scientific output. Regardless of the direction this discussion takes, what appears at stake is not to abandon peer review, but to improve it.