EDITORIAL EDITORIAL
E quem avalia os índices?
A transposição de categorias e leis do mundo natural para o estudo de sociedades humanas é arriscada. As analogias, ainda que úteis como recurso didático ou literário, mostram apenas semelhanças aparentes entre coisas essencialmente diferentes. Também é complicado extrapolar para a área social e comportamental métodos de pesquisa e interpretação próprios das ciências experimentais. Será possível avaliar, com a objetividade e exatidão desses métodos, a qualidade da produção de conhecimentos científicos? Por mais objetivo que seja o método científico, por mais neutra e imparcial que seja a pesquisa científica, isso não implica que os mecanismos de comunicação científica sejam imparciais, neutros e universais. A partir do momento em que o conhecimento científico passa a ter valor econômico, como matéria-prima da indústria da informação, além de funcionar como mecanismo de promoção individual e institucional, em clima de acirrada competitividade, seria imprudente generalizar uma decisão que, no âmbito da indústria da informação, implique uma suposta avaliação de qualidade. Quando uma empresa de informação científica declara que seus indicadores estatísticos mostram que revistas presentes em suas bases de dados têm alta qualidade, tal afirmação está muito longe da exatidão que se encontra no resultado de uma pesquisa de uma ciência experimental. Assim, extrapolam-se para a comunicação científica, atividade fundamentalmente social, pressupostos de interpretação e análise que não se coadunam com a complexidade e transitoriedade das relações humanas e sociais. Aceita-se como verdade indiscutível uma decisão que, muitas vezes, tem motivação gerencial, e, portanto, econômica, e não uma fundamentação verdadeiramente científica. Será, assim, atitude 'científica' afirmar que apenas artigos publicados em revistas indexadas em publicações secundárias ditas internacionais é que são válidos como indicadores da qualidade da pesquisa? Será legítimo aceitar como único ou mais importante aval de competência a presença nessas fontes de informação? Por que não lembrar que essas fontes devem, por sua vez, ser avaliadas? Por que não as examinar do ponto de vista social, econômico e político? Esquecemos que esses serviços de informação, públicos ou privados, não foram criados com o objetivo de avaliar periódicos e, por extensão, o conteúdo desses periódicos , mas, sim, de permitir a seus consulentes a recuperação de informações em sua área de interesse. Esses serviços, com exceção dos que são mantidos por organizações internacionais vinculados à Organização das Nações Unidas, têm seus objetivos ditados por razões de mercado e indexarão periódicos que mais se coadunarem com o perfil da maioria de seus consumidores. A avaliação que fazem está muito mais perto de uma avaliação de mercado do que de uma avaliação da qualidade intrínseca do material a ser indexado. Se se verificar, por exemplo, a área das ciências biomédicas, será possível constatar que a produção brasileira, há 30 ou 40 anos, estava mais bem representada no principal serviço de informação dessa área do que hoje em dia. É provável que a causa dessa diminuição deva-se mais ao crescimento da produção científica dos países desenvolvidos do que à perda de qualidade das revistas dos outros países. As tentativas de estabelecimento de procedimentos formais e de base quantitativa para avaliação da qualidade da produção científica têm-se defrontado com enormes dificuldades e suscitado muitos questionamentos. Até o momento não se têm elementos que assegurem que a não-indexação de periódicos científicos em serviços ditos internacionais seja, por si só, um certificado da qualidade inferior desses periódicos.
Antonio A. Briquet de Lemos
Vice-Presidente
Associação Brasileira de Editores Científicos (ABEC)
Who evaluates the indexes?
Transposing categories and laws from the natural world to study societies is risky. Although the analogies can be useful as a didactic or literary recourse, they display only apparent similarities between essentially different things. It is also complicated to extrapolate research and interpretative methods from the experimental sciences to the social and behavioral area. Using the objectivity and exactness of these methods, might it be possible to evaluate the quality of production in scientific knowledge? No matter how objective the scientific method may be, no matter how neutral and impartial scientific research is, it does not imply that mechanisms for scientific communication are impartial, neutral, or universal. When scientific knowledge begins to acquire economic value as raw material for the information industry, in addition to functioning as a mechanism for individual and institutional promotion in an environment of hot competition, it would be foolhardy to generalize a decision which in the sphere of the information industry implies a supposed evaluation of quality. When a scientific information company declares that its statistical indicators show that journals found in its data bases are high-quality, such a statement is a far cry from the exactness found in the results of experimental scientific research itself. Thus, interpretative and analytical premises not in keeping with the complex, transitory nature of human and social relations are extrapolated to scientific communication, a fundamentally social activity. Decisions are accepted as irrefutable truths which are often motivated by management (and therefore economic) issues rather than scientific verification. Is it really "scientific" to claim that only articles published in journals indexed in secondary so-called international publications are valid as indicators of research quality? Is it legitimate to accept presence in these sources of information as the only (or the main) assurance of competence? Why not ask whether these sources themselves might not deserve evaluation? Why not examine them from a social, economic, and political point of view? We tend to forget that these information services, both public and private, were not created with the objective of evaluating periodicals or, by extension, the contents thereof but rather to allow those who consult them to retrieve information pertinent to their fields of interest. With the exception of those maintained by UN system agencies, their objectives are dictated by market factors, and they will index the periodicals most in keeping with the profile of the majority of their consumers. The evaluation they perform is much closer to one of the market than that of the intrinsic quality of the material to be indexed. Taking the biomedical sciences, for example, one notes that Brazilian production 30 or 40 years ago was much more heavily represented in their main information service than today. It is probable that this drop has been due more to the growth of scientific production in the developed countries than a loss of quality in journals from other countries. Attempts to establish formal procedures with a quantitative base to evaluate the quality of scientific production have run up against enormous difficulties and raised numerous challenges. Thus far there is no guarantee that non-indexing of scientific periodicals in so-called international services per se is a certificate of inferior quality for such journals.
Antonio A. Briquet de Lemos
Vice President
Brazilian Association of Science Editors (ABEC)