En el ámbito de la revisión del proceso de evaluación de los programas de posgrado en Brasil, la Dirección de Evaluación de la Coordinación de Perfeccionamiento de Personal de Nivel Superior (Capes) estableció nuevos criterios para la clasificación de las revistas científicas en el Qualis Periódicos (Ofício nº 6/2019-CGAP/DAV/CAPES). La metodología propone una única clasificación de referencia para los periódicos (“Qualis Único”) a partir del uso combinado de los indicadores bibliométricos CiteScore (Scopus), Factor de Impacto (Web of Science) y h5 (Google Scholar). En el caso de revistas científicas no indexadas en las bases Scopus y Web of Science, se realizó un modelo de regresión para establecer la relación del índice h5 con el CiteScore. La clasificación se basa en el percentil en que el periódico está situado en cada base, según la categoría temática. Este percentil está dividido en 8 grupos (cada 12,5% del total), posibilitandose modificar la clasificación de hasta el 30% de los periódicos em cada área.

La premisa de la adopción de un único criterio para la evaluación de periódicos científicos es cuestionable, considerando las profundas diferencias entre áreas académicas dentro de lo que es la producción y divulgación del conocimiento, lo que ocasiona resultados desastrosos para periódicos ya consolidados en sus áreas de actuación. Asimismo, el proceso careció de una mayor transparencia y participación por parte de la comunidad académica implicada. Asimismo, cabe también situar el contexto en el que se formula esta propuesta.

La evaluación de la investigación, ciertamente esencial, está sujeta a intereses de diferentes agentes ¹1. de Camargo Jr. KR. Big publishing and the economics of competition. Am J Public Health 2014; 104:8-10.^,22. Guédon J-C. Future of scholarly publishing and scholarly communication: report of the expert group to the European Commission. https://doi.org/10.2777/836532 (acessado em 03/Ago/2019).
https://doi.org/10.2777/836532... : grandes grupos empresariales, pequeñas editoriales, grupos y centros de investigación, organizaciones reguladoras y financiadores. Es reseñable que el mercado de la publicación científica se encuentra entre los más lucrativos del mundo. La editora Elsevier, por ejemplo, tuvo un margen de beneficio de un 36% en 2010, mayor que empresas como Apple, Google y Amazon ³3. Buranyi S. Is the staggeringly profitable business of scientific publishing bad for science? The Guardian 2017; 27 jun. https://www.theguardian.com/science/2017/jun/27/profitable-business-scientific-publishing-bad-for-science.
https://www.theguardian.com/science/2017... . El pago de tasas de publicación y suscripciones de revistas científicas representa un 45% de las fuentes de ingresos, representando el sector público un 31% ⁴4. Lawson S, Gray J, Mauri M. Opening the black box of scholarly communication funding: a public data infrastructure for financial flows in academic publishing. Open Library of Humanities 2016; 2:e10..

En Brasil, la Capes posee un papel fundamental en la evaluación de las publicaciones que, a su vez, sirve para la evaluación de los programas de posgrado, repercutiendo en la financiación y en la disponibilidad de becas para discentes. Esta función ha estado pautada por el uso de indicadores bibliométricos, creados para finalidades no relacionadas con la evaluación de la calidad de la producción científica.

La incorporación de estos indicadores favorece la priorización de temas de interés procedentes de políticas científicas de países del hemisferio norte (Estados Unidos y Reino Unido, principalmente), y el ajuste del contenido publicado por revistas científicas de países no hegemónicos ⁵5. Losego P, Arvanitis R. La science dans les pays non hégémoniques. Revue d'Anthropologie des Connaissances 2008; 2:334-42., lo que genera citas en bases bibliográficas internacionales. La publicación en inglés, necesaria para este fin, margina la ciencia producida en Brasil para los lectores no especializados. También dificulta el importante papel de las publicaciones para poner a disposición del público conocimientos científicos actualizados, con el fin de apoyar la formación en diversos niveles de posgrado, incluyendo las maestrías profesionales, cuyo impacto social, indispensable en determinadas áreas, no es pasible de reconocimiento y evaluación por estos sistemas de medición.

El modelo de evaluación impulsado por estos indicadores se basa en un fetichismo de la excelencia, anclado en la narrativa de la escasez ⁶6. Moore S, Neylon C, Paul Eve M, Paul O'Donnell D, Pattinson D. "Excellence R Us": university research and the fetishisation of excellence. Palgrave Commun 2017; 3:16105., que no se sostiene frente a los recursos de la publicación electrónica como los preprints (https://blog.scielo.org/blog/2018/09/21/pkp-e-scielo-anunciam-desenvolvimento-de-um-sistema-de-codigo-aberto-de-servidor-de-preprints/), y que infla los precios de las revistas científicas mencionadas con alto impacto (tales como la Lancet Infectious Diseases, cuya publicación de un artículo costaba USD 5.000 en agosto de 2019; http://www.thelancet.com/pb/assets/raw/Lancet/authors/tlid-info-for-authors.pdf). Así, se estimula la competitividad predatoria entre científicos, entre programas de posgrado y entre publicaciones.

Además, debemos considerar las críticas colectivas realizadas por científicos a los indicadores bibliométricos, contenidas en las orientaciones internacionales para la evaluación de la producción científica como en DORA (San Francisco Declaration on Research Assessment) ⁷7. San Francisco Declaration on Research Assessment. https://sfdora.org/read/ (acessado em 03/Ago/2019).
https://sfdora.org/read/... , así como el manifiesto de Leiden, definido en la 19^a International Conference on Science and Technology Indicators (http://sti2014.cwts.nl) ⁸8. Hicks D, Wouters P, Waltman L, de Rijcke S, Rafols I. Bibliometrics: The Leiden Manifesto for research metrics. Nature News 2015; 520:429.. Dos grandes limitaciones se destacan en la DORA: el factor de impacto se puede manipular, y además, incluso dentro de la misma revista, los artículos tienen un número citas extremadamente variado. Ya el manifiesto de Leiden alerta sobre los daños para el sistema científico del uso cada vez más profuso e inadecuado de estos indicadores, proponiendo diez principios para orientar la evaluación de la ciencia.

A la luz de los 10 principios presentes en este manifiesto, comentamos la propuesta de la Capes:

1. La evaluación cuantitativa debe brindar apoyo a la evaluación cualitativa especializada -la cuestión del Qualis debería estar definida tras el establecimiento de un modelo cualitativo de evaluación;

2. Evaluar el desempeño de acuerdo con la misión de la institución, del grupo o del investigador -la política de incentivo al posgrado debe condicionar la evaluación; la estandarización de un indicador único profundiza la desigualdad entre regiones y entre áreas del conocimiento, convirtiéndose en un impedimento real para la política de incentivo al posgrado;

3. Proteger la excelencia de la investigación relevante localmente -preservando el pluralismo y la relevancia para la sociedad, no subordinando la evaluación a la publicación en revistas científicas indexadas en las bases seleccionadas;

4. Mantener la recogida de datos y procesos analíticos abiertos, transparentes y simples -las bases de datos utilizadas para la clasificación inicial y la clasificación de las revistas científicas por áreas deben estar abiertamente puestas a disposición del público;

5. Permitir que los evaluados verifiquen los datos y los análisis -a partir de datos brutos puestos a disposición del público, debe ser posible realizar análisis comparativos y un estudio del impacto de la propuesta en diferentes áreas de conocimiento;

6. Considerar las diferencias entre áreas en las prácticas de publicación y citas -el “Qualis Único” impide la selección de un conjunto más amplio de indicadores, no permitiendo que las distintas áreas definan aquellos que les son más adecuados. Además, la clasificación basada solamente en indicadores bibliométricos perjudica las revistas científicas nuevas y los artículos publicados en lengua portuguesa;

7. Basar la evaluación de investigadores individuales en el juicio cualitativo de su carrera -este es un principio que puede ser extendido a las instituciones, programas y grupos de investigación, y debe considerar el conjunto de la producción a lo largo del tiempo y no solamente en los dos o tres años incluidos en los indicadores;

8. Evitar la solidez mal enfocada y falsa precisión -siendo cuestionable la precisión de puntos de corte de un 12,5%;

9. Reconocer los efectos sistémicos de la evaluación y sus indicadores -debemos recordar que tales aspectos condicionan no sólo la financiación, sino la dirección de los programas de posgrado para atender ese criterio, bien sea obligando a los alumnos a contar con artículos aceptados antes de estar diplomados, sea disminuyendo el número de artículos publicados en las revistas científicas para aumentar los indicadores, o bien sea la adecuación de los programas al criterio propuesto, incluyendo o excluyendo docentes, o incluso estimulando la publicación en revistas científicas mejor clasificadas, aunque sea fuera del área principal de conocimiento;

10. (10) Examinar y actualizar los indicadores regularmente -orientación atendida por la Capes, aunque no se haya debatido de forma colectiva.

Algunos problemas inmediatos en la aplicación de la propuesta de la Capes ya fueron identificados. La definición del área-madre -área del posgrado con mayor número de artículos publicados en la revista- está fuertemente influenciada, en el caso de campos del conocimiento de naturaleza interdisciplinaria, por el área con mayor número de programas de posgrado y alumnos. En el área de salud colectiva, 11 publicaciones fueron inmediatamente reubicadas, y algunas más están en proceso, indicando la fragilidad del criterio “objetivo” adoptado. En otras áreas del conocimiento, marcadamente interdisciplinarias, las revistas científicas han sido clasificadas en áreas-madre inapropiadas, como resultado de una contabilidad automática, que no considera su identidad y público-objetivo.

La asignación de revistas científicas que no constan en las bases Scopus y Web of Science, a partir del uso del h5 (Google Scholar), reconocidamente más inclusivo, es también problemática. A pesar de las limitaciones ya apuntadas, basar en una correlación de apenas 0,5 la asignación de periódicos no constantes en las demás bases indexadoras, implica más decisiones ad hoc.

Resaltando que la función de las mediciones de citas sólo se justifican a largo plazo ⁹9. Rabóczkay T. Significado real do número de citações de um artigo científico. Jornal da USP 2019; 26 jul. https://jornal.usp.br/artigos/significado-real-do-numero-de-citacoes-de-um-artigo-cientifico/.
https://jornal.usp.br/artigos/significad... : ¿cómo comparar el impacto de un artículo que fue publicado en los dos (o tres) años anteriores, y citado en el año de referencia, con un artículo que recibió citaciones a lo largo de 20 años? ¿Por qué limitar la evaluación a los indicadores, cuya intención es estimular una siempre creciente competitividad por los vehículos mencionados de mayor impacto y con un alcance temporal limitado? Otros indicadores cientométricos pueden contribuir a evaluar las publicaciones. La evaluación de la inclusión de periódicos en la base SciELO ¹⁰10. SciELO Brasil. Seleção de Periódicos da Coleção SciELO Brasil. http://www.scielo.br/avaliacao/avaliacao_pt.htm (acessado em 09/Ago/2019).
http://www.scielo.br/avaliacao/avaliacao... es un criterio de calidad y privilegia las publicaciones en acceso abierto, una condición importante para la producción científica nacional. El hecho de que el total de citas que un periódico pueda recibir al año también esté disponible en el Google Scholar, independientemente de su año de publicación, refleja el impacto acumulado de la revista en la comunicación científica. Asimismo, diversas medidas altimétricas están disponibles, por ejemplo, el número de descargas de artículos en el SciELO.

Es posible anticipar las consecuencias de la propuesta: drenaje de artículos hacia áreas con publicaciones periódicas dentro de las categorías A1 y A2 (y cuyas tasas de publicación son razonables); disminución de la remisión de artículos procedentes de programas de posgrado bien evaluados, con más recursos, para pagar su publicación en las revistas científicas de las grandes editoriales internacionales; restricción de la financiación de las revistas científicas, en un proceso de “más para quien tiene más”. Se estimula la competitividad en vez de la solidaridad entre pares, así como el vaciado de revistas científicas recientes.

Este proceso se produce asociado a un contexto de disminución de recursos y producción, de descrédito hacia la ciencia ¹¹11. Proctor R, Schiebinger LL, editors. Agnotology: the making and unmaking of ignorance. Stanford: Stanford University Press; 2008., en el que las evidencias científicas se equiparan a las observaciones de un único individuo. Considerando las críticas y los debates sobre este tema, es necesario reflexionar hasta cuándo adoptaremos clasificaciones que poco contribuyen a evaluar la calidad de la producción de conocimiento.

Fechas de Publicación