RESUMEN

Objetivos:

Valorar los criterios utilizados por los directores de revistas biomédicas cubanas para la selección de sus árbitros.

Métodos:

Se realizó una investigación descriptiva entre septiembre del año 2013 y diciembre de 2014. Se aplicó y se validó un cuestionario enviado por vía electrónica a 21 directores escogidos por muestreo de conveniencia y disponibilidad para participar. La muestra la constituyeron 14 directores. Se exploraron variables relacionadas con el proceso de arbitraje y la selección de los árbitros. Los datos se ingresaron en una base de datos creada al efecto con el programa SPSS versión 15.0. en español. Los resultados se expresaron en valores absolutos y porcentajes.

Resultados:

El prestigio científico fue el criterio de selección marcado por 13 (85,7 %) directores. La característica señalada como indispensable por todos los directores fue la actualización del árbitro en el tema a evaluar. En segundo lugar mencionaron el compromiso de ser ético y responsable, la objetividad en el dictamen, y el gestionar la información pertinente; esta última condición fue muy valorada. Entre las habilidades indispensables en un árbitro, 8 directores declararon que fueran capaces de detectar errores graves de forma y de contenido y problemas metodológicos que afecten la calidad del texto.

Conclusiones:

Los criterios adoptados por los directores para la selección de árbitros denotan una orientación objetiva. No obstante, deben establecerse pautas concretas que establezcan las condiciones y habilidades indispensables para el buen desempeño de un árbitro. Esto facilitaría la gestión de selección de estos expertos.

Palabras clave:
Árbitro; criterios de selección; revisión por pares.

ABSTRACT

Objectives:

To assess the criteria used by the Cuban medical journal editors for the selection of peer reviewers.

Methods:

A descriptive research study was conducted from September 2013 to December 2014. A questionnaire was administered and validated, which was sent by e-mail to 21 editors selected through convenience sampling and willingness to participate in the study. The sample was 14 editors. Several variables related to review process and selection of reviewers were explored. Data were entered into a database created for this purpose with the SPSS 15.0 version software in Spanish. The results were given in absolute figures and percentages.

Results:

The scientific prestige was the selection criterion stated by 13 (85.7%) editors. The characteristic that all the editors pointed out as indispensable was update in terms of evaluation by the reviewer. In the second place, they listed the commitment to ethics and responsibility, objective reporting and relevant information management, the latter was highly assessed by the participants. Among the indispensable skills of a reviewer, eight editors stated that they should be able to detect serious mistakes in form and content and the methodological problems affecting the quality of text.

Conclusions:

The criteria of editors for the selection of peer reviewers show an objective orientation. However, specific guidelines should be set to state the indispensable skills and conditions for good performance of reviewers, which would facilitate the process of selection of these experts.

Keywords:
Reviewer; selection criteria; peer review

INTRODUCCIÓN

Los directores de revistas científicas cubanas, una vez que deciden que un manuscrito es publicable, sobre todo los que tienen resultados de investigación, lo someten al proceso de revisión por pares externos o peer review. Este proceso tiene lugar fuera del ámbito de la casa editora, que se encarga de la redacción, la edición de los manuscritos arbitrados recibidos y de su publicación en una revista científica. El tránsito de los manuscritos desde su recepción hasta su publicación se representa en forma de diagrama de flujo, para su mejor comprensión.¹1. Alfonso Manzanet JE, Silva Ayçaguer LC. Gestión automatizada en el proceso editorial de una revista científica: una demanda inaplazable para favorecer la cultura comunicacional. Educ Méd Super. 2014;28(1):145-53. Acceso: 21 Jun 2015. Disponible en: http://scieloprueba.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412014000100015&lng=es
http://scieloprueba.sld.cu/scielo.php?sc...

El filtro de la revisión por pares permite seleccionar el material para publicar, mejora la presentación del trabajo (su claridad científica y lingüística), elimina errores, evita omisiones y genera un ambiente de credibilidad de lo publicado; por tanto, la revisión por pares es al mismo tiempo una defensa que tiene el autor (contra sus propios errores) y el lector (contra los trabajos sin calidad), así como una ayuda en la toma de decisiones finales del director de la revista científica.²2. González de Dios J, González-Muñoz M, Alonso-Arroyo A, Aleixandre-Benavent R. Comunicación científica (XII). Conocimientos básicos para elaborar un artículo científico (7): El sistema de revisión por pares (peer review) a debate: fortalezas y debilidades. Acta Pediatr Esp. 2014;72(5):103-8. Pero es también un proceso complejo por varias razones, entre ellas: las dificultades en la selección de los pares evaluadores, su lentitud, los sesgos que puede generar y las pocas posibilidades de detectar comportamientos antiéticos como el plagio, la publicación redundante o los resultados fabricados. Otros inconvenientes señalados, sobre todo en esta era digital, es la escasa o nula presencia de peer review en algunas revistas de acceso abierto, la necesidad de su vigilancia continua para su perfeccionamiento y la resistencia de autores y directores a los nuevos sistemas de revisión.²2. González de Dios J, González-Muñoz M, Alonso-Arroyo A, Aleixandre-Benavent R. Comunicación científica (XII). Conocimientos básicos para elaborar un artículo científico (7): El sistema de revisión por pares (peer review) a debate: fortalezas y debilidades. Acta Pediatr Esp. 2014;72(5):103-8.

3. Mendoza Parra S. El sistema de arbitraje en la ciencia: complejo, controvertido pero vigente [editorial]. Ciencia Enfermer. 2011;XVII(1):7-10.^-44. Lilian Nassi-Calò Revisión por pares: mala con ella, peor sin ella. Scielo en Perspectiva. 2015. Acceso: 6 May 2015. Disponible en: http://blog.scielo.org/es/2015/04/17/revisión-por-pares-mala-con-ella-peor-sin-ella/
http://blog.scielo.org/es/2015/04/17/rev...

A pesar de los problemas señalados, actualmente la revisión por pares es aceptada por la comunidad académica mundial y prestigia e identifica a las revistas científicas.

Un número importante de las revistas biomédicas cubanas están indexadas en SciELO y procesadas por Scopus,⁵5. Cañedo Andalia R. Impacto de las revistas médicas cubanas en Scopus. Rev Cubana Inf Cienc Salud. 2014;25(3):333-50. Acceso: 20 Jul 2015. Disponible en: http://scieloprueba.sld.cu/scielo.php?script=sci_arttext&pid=S2307-21132014000300007&lng=es
http://scieloprueba.sld.cu/scielo.php?sc... ⁾ lo que implica que tienen visibilidad internacional en un mundo ilustrado cada vez más competitivo, que las obliga a alcanzar y a mantener altos estándares de calidad en los aspectos científico y editorial, a lo que contribuye el arbitraje siempre que sea riguroso y bien conducido.

En la práctica y, durante la redacción y edición de los manuscritos arbitrados recibidos, el especialista^* detecta problemas que remiten, en algunos casos, en un deficiente arbitraje. La calidad de la selección de los árbitros podría ser una de las causas por las que se identifican estas irregularidades en los manuscritos.

La selección de pares académicos es una tarea que se le asigna tradicionalmente al director de la revista,⁶6. Moreno Ceja F, Cortés Vera JJ, Zumaya Leal MR. Usos, limitaciones y prospectiva de la evaluación por pares. Rev Interam Bibliot. 2012;35(2):201-10. Acceso.22 Jun 2015. Disponible en: http://www.scielo.org.co/pdf/rib/v35n2/v35n2a07.pdf
http://www.scielo.org.co/pdf/rib/v35n2/v... ⁾ por considerarse que es quien mejor conoce el estado del conocimiento en su área de estudio y, por ende, está al tanto de quiénes son los mejores expertos. No obstante se constituye en una tarea compleja.

En las revistas científicas cubanas se publica poco acerca del peer review;⁷7. Monteagudo Canto A. El arbitraje: un proceso poco comprendido. AMC. 2013;17(3). Acceso: 26 Jun 2013. Disponible en: http://www.revistaamc.sld.cu/index.php/amc/article/view/1300/427
http://www.revistaamc.sld.cu/index.php/a...

8. Silva Ayçaguer LC. El arbitraje de las revistas médicas, la gestión editorial en red y la calidad de la publicación científica. Rev Cubana Salud Pública.2012;38(1):1-3. Acceso: 1 Oct 2015. Disponible en: http://scieloprueba.sld.cu/scielo.php?script=sci_arttext&pid=S0864-34662012000100001&lng=es
http://scieloprueba.sld.cu/scielo.php?sc...

9. Fernández Morín J. Importancia del arbitraje delas revistas médicas para la calidad de la publicación científica [editorial]. Rev Méd Electrón. 2012;34(1):110-1. Acceso: 1 Oct 2015. Disponible en: http://scieloprueba.sld.cu/scielo.php?script=sci_arttext&pid=S1684-18242012000100011&lng=es
http://scieloprueba.sld.cu/scielo.php?sc... ^-1010. Galbán Rodríguez E. La revisión editorial por pares: rechazo del manuscrito, deficiencias del proceso de revisión, sistemas para su gestión y uso como indicador científico. Rev Cubana Inform Ciencias Salud. 2013;24(3);313-29. Acceso 16 Sept 2013. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S2307-21132013000300008&lng=es
http://scielo.sld.cu/scielo.php?script=s... ⁾ solo encontramos un artículo que aborda desde la teoría el problema de la selección de los expertos y de las vías para su realización.¹¹11. _______. La revisión editorial por pares: roles y procesos. Rev Cubana Inform Ciencias Salud. 2013;24(2):160-75. Acceso: 21 Jun 2015. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S2307-21132013000200006&lng=es
http://scielo.sld.cu/scielo.php?script=s...

A partir de los antecedentes comentados, y en virtud de la carencia de información que se refiera de manera específica a la selección del árbitro en el ámbito editorial cubano, es objetivo de este trabajo valorar los criterios utilizados por los directores de revistas biomédicas cubanas para la selección de sus árbitros.

MÉTODOS

Se realizó una investigación descriptiva entre septiembre del año 2013 y diciembre de 2014, como parte del proyecto de culminación del curso para editores científicos impartido por la Editorial Ciencias Médicas.

El universo estuvo constituido por 21 directores de revistas biomédicas cubanas certificadas por el Ministerio de Ciencia, Tecnología y Medio Ambiente (CITMA). La selección se realizó a partir de un muestreo por conveniencia,¹²12. Hernández Sampieri R, Fernández-Collado C, Baptista Lucio P. Recolección y análisis de los datos cualitativos. El reporte de resultados en el proceso cuantitativo. En: del Bosque Alayón RA, Islas López N, Rocha Martínez MI, editores. Metodología de la Investigación. 4ta ed. México, D. F.: Mc Graw-Hill Interamericana; 1996. p. 571⁾ y su disponibilidad para participar. La muestra quedó constituida por 14 directores.

Para la recogida de la información, se diseñó por el equipo de investigación, constituido por editores vinculados a las revistas biomédicas por más de diez años, un cuestionario (anexo) validado por criterio de expertos que cumplían los requisitos de tener más de cinco años como integrantes de comités editoriales, poseer formación de máster o doctor en ciencias y experiencia en la publicación de artículos científicos. El cuestionario se envió por correo electrónico a los participantes.

Las variables exploradas en el cuestionario fueron: tiempo en el cargo de director de revista, cumplimiento del objeto social de la revista que dirige, evaluación externa de los artículos, modalidad que emplea y disponibilidad de guía para esta evaluación, criterios que aplica para la selección de los árbitros, presencia de guía que paute las características que debe tener un árbitro, características que considera debe tener un árbitro y su importancia, existencia de guía que paute la forma de evaluar a sus árbitros y -si los evalúa- qué habilidades considera durante la evaluación y su importancia, si ha tenido árbitros que hayan detectado mala praxis científica o rechazado artículos que implican avances médicos importantes y, por último, si reconoce explícitamente a los que considera buenos revisores, y el nivel de satisfacción de estos en relación con la labor que realiza

Para el procesamiento de la información, los datos se ingresaron en una base de datos creada con el programa SPSS versión 15.0. en español. Los resultados se expresaron en valores absolutos y porcentajes.

Se realizó el análisis cualitativo de los datos del cuestionario que aportaban este tipo de información. Se identificaron unidades de análisis.

RESULTADOS

Respondieron el cuestionario en el límite temporal señalado 14 directores (100 %); de ellos, 8 (57,1 %) tenía más de 10 años de experiencia en la actividad de dirección de revista científica; 4 (28,6 %) menos de 5 años y 2 (14,3 %) entre 6 y 10 años. La mayoría, 8 (57,1 %), declaró que su revista cumple totalmente con su objeto social, mientras que 5 (35, 7 %) dijo que solo tenía un cumplimiento parcial, y 1 (7,2 %) no respondió la pregunta.

La evaluación externa (arbitraje) de todos los manuscritos recibidos la realizaban 12 directores (85,7 %); 2 (14,3 %) precisaron que no la hacían, por lo menos en todos los trabajos. La modalidad de arbitraje utilizada por 8 directores (57, 2 %) es la de doble ciego, 3 (21, 4 %) a simple ciego y 1 (7,2 %) declaró la modalidad abierta. Poseen guías para la evaluación de los manuscritos por los árbitros 9 directores (64,3 %); los 5 restantes (35,7 %) no la tienen.

El prestigio científico fue marcado por 13 directores (85,7 %) como criterio utilizado para la selección de sus árbitros (Tabla 1).

Solo 3 directores (21, 4 %) declararon disponer de algún documento o guía que contiene las características que deben tener los árbitros; el resto, 11 (78,6 %) no tiene ningún documento. Entre estas características, la considerada indispensable por 14 directores (100 %) fue el “estar actualizado en el tema objeto de evaluación” (Tabla 2).

La mayoría 8 (57,1%) de los directores no cuenta con un documento que paute las formas de evaluar a los árbitros de su revista; 4 (28,6 %) dijo que sí lo poseen; 1 (7,1 %) no sabía e igual porcentaje no respondió; a pesar de estos resultados, 8 (57,1 %) directores declararon que evalúan de alguna manera las habilidades de sus árbitros; 5 (35, 8 %) no lo hacen y el resto, 1 (7,1 %), no respondió la pregunta.

Las habilidades marcadas como indispensables por la mayoría de los directores, 8 (57,1 %), fueron: detectar errores graves de forma y contenido y problemas metodológicos en el texto, así como ser éticos en sus críticas a los autores (Tabla 3).

La casi totalidad de los directores, 13 (92,9 %) declaró que no han dado como publicables manuscritos que contengan datos o experimentos falseados y 1 (7,1 %) prefirió no responder la pregunta. Asimismo, 12 (85,8 %), expresaron que no han rechazado trabajos cuyos resultados supongan un sorprendente avance de la ciencia; 2 (14,2 %) no respondieron la pregunta.

Menos de la mitad de los directores, 6 (42,9 %) hace reconocimiento explícito a sus buenos árbitros, iguales resultados para los que no lo hacen y 2 (14, 2 %) no respondieron la pregunta.

Dos directores (14,2 %) se sienten muy satisfechos con la labor que realizan en la revista, 5 (35, 5 %) se sienten satisfechos y 3 (21, 4 %) medianamente satisfechos. Los 4 directores restantes se distribuyeron en las categorías de insatisfecho, muy insatisfecho, indiferente y no repuesta, con un director en cada categoría.

Análisis cualitativo

Entre las propuestas de los directores para mejorar la calidad del arbitraje emergieron los aspectos siguientes: las formas de selección del árbitro, la estandarización del proceso de evaluación de los manuscritos, la estimulación, la capacitación, el acceso a la información y la evaluación del desempeño.

Formas de selección del árbitro

La selección del árbitro se basa, según experiencia, en la amistad entre el comité editorial y el árbitro, lo cual debe ser erradicado.

Estandarización del proceso de evaluación de los manuscritos

Valorar la posibilidad de crear una guía de evaluación estandarizada de la Editorial Ciencias Médicas (ECIMED) para todas las revistas. Sería una guía de evaluación general de ECIMED para árbitros que, si es necesario, se pudiera adecuar por los Comité Editoriales.

Estimulación

El arbitraje debe ser retribuido de forma tal que exista un compromiso entre el árbitro y la Revista. Debe existir la posibilidad de estimular el trabajo que realizan los árbitros; así participan y realizan con más entusiasmo el arbitraje de los artículos solicitados; buscar mecanismos que estimulen moralmente al árbitro (reconocimiento en su institución, ante colectivos laborales y organismos políticos y crear un sistema de estímulo moral con adecuada divulgación.

Aunque para los árbitros el hecho de ostentar esta categoría implica un reconocimiento consustancial a su desempeño, sería útil que estos pudieran recibir algún tipo de estímulo de un área distinta al propio comité editorial. Además, debería disponerse de un fondo para remunerar esta labor, una práctica internacional, que ya existe en algunas revistas cubanas. Debe buscarse la forma de incentivar a estos profesionales que de manera gentil contribuyen a la revisión de artículos.

Capacitación

Asistir, junto a editores profesionales a cursos y eventos; crear cursos sistemáticos para arbitraje que sean a distancia preferiblemente; impartir cursos periódicos a los comités editoriales y a los árbitros; organizar entrenamientos a los árbitros: cursos, talleres, seminarios, etcétera. Consideramos que un árbitro debe ser, en primer lugar, un profesional con amplio dominio del tema que se somete a su consideración.

Acceso a la información

Poseer Internet, al menos para el comité editorial y el director o secretario.

Evaluación del desempeño como árbitro

Evaluar al árbitro. Si no es bueno se puede sustituir por otro.

DISCUSIÓN

Las características personales que exhiben la mayoría de los directores de revistas científicas que participaron, tanto por el tiempo de experiencia en la actividad de dirección como por el conocimiento que tienen del objeto social de su revista, expresado como la misión de cada una de ellas y publicadas en la interfaz de la plataforma Scientific ELectronic Library On Line (SciELO), es favorable. Asimismo, lo es también el que la mayoría de los directores sometan los manuscritos recibidos a la evaluación externa por pares. El hecho de que no todos los manuscritos, por ejemplo, las cartas al editor, los editoriales y otros, no reciban este tratamiento, es decisión de cada director.

Las modalidades de la revisión por pares tienen argumentos a favor y en contra.¹³13. Voice of Young Science (VoYS). Peer review. The nuts and bolts.What are the different types of peer review? London: Sense About Science; 2012:12-15. Access: 2015 Jun 23. Available at: http://www.hlg.sld.cu/alfin/download/centro_de_recursos/Peer-review_The-nuts-and-bolts.pdf
http://www.hlg.sld.cu/alfin/download/cen... ^,1414. Council of Science Editors. CSE's White Paper on promoting Integrity in Scientific Journal Publications. Using Anonymous Reviewers: Critique of the Process.3rd ed. Wheat Ridge, CO: Scott-Lichter D, Editorial Policy Committee; 2012:33-4. Access: 2015 Jun 24. Available at: http://www.councilscienceeditors.org/wp-content/uploads/entire_whitepaper.pdf La más utilizada por nuestros directores fue la de doble ciego, variante que otorga mayor libertad a los expertos para hacer sugerencias o críticas y elimina prejuicios de autoría o afiliación; sin embargo, en el mundo académico de hoy están siendo consideradas otras alternativas que se destacan como formas de evolución del proceso original del peer review; se trata de la revisión abierta, publicada al final del artículo y que abre espacios de discusión posteriores a la publicación.¹⁵15. Soares de Araújo CG. Revisión por pares: modalidades, pros y contras. Scielo en Perspectiva. 2015. Acceso: 6 May 2015. Disponible en: http://blog.scielo.org/es/2015/03/27/revisión-por-pares-modalidades-pros-y-contras/
http://blog.scielo.org/es/2015/03/27/rev... ⁾ Entre los directores encuestados, uno declaró hacer un proceso de revisión abierto, en concordancia con las alternativas planteadas hoy día a los métodos de simple y doble ciego.

Las opciones marcadas por los directores como criterios que tienen en cuenta para la selección del árbitro (Tabla 1) se ajusta a lo que consideran algunos investigadores.⁴4. Lilian Nassi-Calò Revisión por pares: mala con ella, peor sin ella. Scielo en Perspectiva. 2015. Acceso: 6 May 2015. Disponible en: http://blog.scielo.org/es/2015/04/17/revisión-por-pares-mala-con-ella-peor-sin-ella/
http://blog.scielo.org/es/2015/04/17/rev... ^,1010. Galbán Rodríguez E. La revisión editorial por pares: rechazo del manuscrito, deficiencias del proceso de revisión, sistemas para su gestión y uso como indicador científico. Rev Cubana Inform Ciencias Salud. 2013;24(3);313-29. Acceso 16 Sept 2013. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S2307-21132013000300008&lng=es
http://scielo.sld.cu/scielo.php?script=s... ^,1313. Voice of Young Science (VoYS). Peer review. The nuts and bolts.What are the different types of peer review? London: Sense About Science; 2012:12-15. Access: 2015 Jun 23. Available at: http://www.hlg.sld.cu/alfin/download/centro_de_recursos/Peer-review_The-nuts-and-bolts.pdf
http://www.hlg.sld.cu/alfin/download/cen... ^,1414. Council of Science Editors. CSE's White Paper on promoting Integrity in Scientific Journal Publications. Using Anonymous Reviewers: Critique of the Process.3rd ed. Wheat Ridge, CO: Scott-Lichter D, Editorial Policy Committee; 2012:33-4. Access: 2015 Jun 24. Available at: http://www.councilscienceeditors.org/wp-content/uploads/entire_whitepaper.pdf^,1616. Martínez G. La revisión por pares y la selección de artículos para publicación. Rev Colombiana Psicol. 2012;21(1):27-35.⁾ El prestigio científico, señalada por todos, es polémico en el sentido de que, por un lado, se supone que quienes ostentan esta categoría, manejan información reciente sobre el tema que evalúan; por tanto, pueden identificar con facilidad los aportes originales de la investigación que se presenta sobre lo ya conocido; y por otro, podemos pensar que el prestigio científico lo tienen profesionales con alto nivel académico, casi siempre en la sexta o séptima década de la vida; y curiosamente, la calidad de la revisión declina con el aumento del rango académico del evaluador.¹⁷17. Alfonso F. El proceso de peer-review en las Revistas Biomédicas: Cualidades de los revisores de Excelencia. Neurología. 2010;25(9). Acceso: 22 Jun 2015. Disponible en: http://apps.elsevier.es/watermark/ctl_servlet?_f=10&pident_articulo=13187644&pident_usuario=0&pcontactid=&pident_revista=295&ty=124&accion=L&origen=zonadelectura&web=www.elsevier.es&lan=es&fichero=295v25n09a13187644pdf001.pdf
http://apps.elsevier.es/watermark/ctl_se...

El argumento a favor de esta afirmación estriba en que los miembros mayores pueden ir adquiriendo un número creciente de responsabilidades académicas y científicas que les hace difícil mantener los estándares de calidad exigidos en el proceso de peer review, son menos impresionables por los nuevos trabajos; sus evaluaciones se basan más frecuentemente en su experiencia y mantienen opiniones más arraigadas.¹⁷17. Alfonso F. El proceso de peer-review en las Revistas Biomédicas: Cualidades de los revisores de Excelencia. Neurología. 2010;25(9). Acceso: 22 Jun 2015. Disponible en: http://apps.elsevier.es/watermark/ctl_servlet?_f=10&pident_articulo=13187644&pident_usuario=0&pcontactid=&pident_revista=295&ty=124&accion=L&origen=zonadelectura&web=www.elsevier.es&lan=es&fichero=295v25n09a13187644pdf001.pdf
http://apps.elsevier.es/watermark/ctl_se...

Las tres opciones no marcadas por los directores como criterio de selección (Tabla 1) merecen comentarse. En primer lugar, la juventud del revisor. Los resultados de diferentes investigaciones, expresan que el perfil de los evaluadores más precisos en su labor suelen tener unos 40 años, residen en Estados Unidos, tienen preparación específica en epidemiología y estadísticas y dedican como promedio tres horas en la redacción del dictamen. Las críticas que recibe este modelo se asientan en la exclusión de las mujeres entre los evaluadores y editores (directores) de revistas de prestigio y de la preferencia por los autores anglosajones.¹⁸18. Posteguillo Gómez S, Piqué Angordans J. El lenguaje de las ciencias médicas: comunicación escrita. En: Alcaráz Varó E, Mateo Martínez J, Yus Ramos F, editores. Las lenguas profesionales y académicas. Barcelona: Ariel Lenguas Modernas; 2007. p. 167-78.

Otros encuentran que el mejor perfil lo ofrecen los jóvenes evaluadores, menores de 40 años, que trabajan en un centro universitario; y añaden que la juventud y el tipo de institución son los únicos predictores independientes de la calidad de las revisiones.¹⁷17. Alfonso F. El proceso de peer-review en las Revistas Biomédicas: Cualidades de los revisores de Excelencia. Neurología. 2010;25(9). Acceso: 22 Jun 2015. Disponible en: http://apps.elsevier.es/watermark/ctl_servlet?_f=10&pident_articulo=13187644&pident_usuario=0&pcontactid=&pident_revista=295&ty=124&accion=L&origen=zonadelectura&web=www.elsevier.es&lan=es&fichero=295v25n09a13187644pdf001.pdf
http://apps.elsevier.es/watermark/ctl_se... Consideran que estos jóvenes tienen más interés en alcanzar reconocimiento profesional, han recibido más recientemente entrenamiento en habilidades de diseño, metodología y estadística, buscan más datos en la literatura y están más abiertos para aceptar nuevas ideas y los avances de las ciencias. En cuanto a las féminas, existe también el criterio de que, a pesar de las dificultades que tienen para su desarrollo científico,¹⁹19. Álvarez Díaz L. Problemas que persisten y frenan el pleno desarrollo de las mujeres en la ciencia. Estudio de género. P II. En: Pérez Viada C, editor. Ser mujer científica o morir en el intento. La Habana: Editorial Academia; 2010. p. 16-32. son tan buenas evaluadoras como los hombres, tienen menos demora y mejor cumplimiento que ellos.¹⁷17. Alfonso F. El proceso de peer-review en las Revistas Biomédicas: Cualidades de los revisores de Excelencia. Neurología. 2010;25(9). Acceso: 22 Jun 2015. Disponible en: http://apps.elsevier.es/watermark/ctl_servlet?_f=10&pident_articulo=13187644&pident_usuario=0&pcontactid=&pident_revista=295&ty=124&accion=L&origen=zonadelectura&web=www.elsevier.es&lan=es&fichero=295v25n09a13187644pdf001.pdf
http://apps.elsevier.es/watermark/ctl_se...

El criterio de solicitar a los autores sus posibles árbitros, otro no marcado por los directores, es factible; pero se ha comprobado que en estos casos los manuscritos en cuestión tienen una mayor frecuencia de aceptación en comparación con los de otros árbitros.¹⁷17. Alfonso F. El proceso de peer-review en las Revistas Biomédicas: Cualidades de los revisores de Excelencia. Neurología. 2010;25(9). Acceso: 22 Jun 2015. Disponible en: http://apps.elsevier.es/watermark/ctl_servlet?_f=10&pident_articulo=13187644&pident_usuario=0&pcontactid=&pident_revista=295&ty=124&accion=L&origen=zonadelectura&web=www.elsevier.es&lan=es&fichero=295v25n09a13187644pdf001.pdf
http://apps.elsevier.es/watermark/ctl_se... ⁾ Además, las posibles relaciones personales o profesionales, ya sean positivas o negativas, entre el autor y otros actores que participan en el proceso de peer review pueden generar conflictos,²⁰20. Council of Science Editors. CSE's White Paper on promoting Integrity in Scientific Journal Publications. Reviewer Selection. 3rd ed. Wheat Ridge, CO: Scott-Lichter D, Editorial Policy Committee; 2012:32. Access: 2015 Jun 24. Available at: http://www.councilscienceeditors.org/wp-content/uploads/entire_whitepaper.pdf y a la larga sesgar las decisiones editoriales. Estos elementos pudieran aplicarse también al criterio de selección que declaró un director: “tener amigos especialistas”, que pensamos debe ser tomado con cautela. Los amigos especialistas del director pueden serlo también de los autores y, más aún si conviven en una misma institución; el resultado, además de conflictos y sesgos, pudiera ser arbitrajes malos o superficiales.

El hecho de que un poco más de la mitad de los directores disponen de modelos para la evaluación que hacen los árbitros, es conveniente. Hoy día, algunos autores publican guías bien completas,²¹21. Šupak Smolčić V, Šimundić AM. Peer-review policy and guidelines for Biochemia Medica Journal. Biochemia Med J. 2014;24(3):321-8. Access: 2015 Jun22. Available at: Available at: http://dw.doi.org/10.11613/BM.2014.034
http://dw.doi.org/10.11613/BM.2014.034... ⁾ pero lo importante es desplazar el mecanicismo y argumentar con solidez la opinión que le merecen el manuscrito y las recomendaciones a los autores.

La selección de personas para realizar determinada labor conlleva que se tengan en cuenta las características y las habilidades que poseen y que las hacen idóneas para la tarea.

Relacionado con las características, podemos plantear que la invitación a un profesional para actuar como árbitro es un reconocimiento a su competencia en un área del conocimiento, a su seriedad en la entrega en tiempo de un dictamen objetivo, a su ética profesional, tanto en la observancia de la confidencialidad del manuscrito que evalúa como en sus críticas constructivas o recomendaciones, y a su responsabilidad en la decisión final del director de publicar o rechazar; de ahí que estas características, señaladas como indispensables por la mitad y más de nuestros directores, se explican por sí solas y se avienen a lo publicado en la literatura.³3. Mendoza Parra S. El sistema de arbitraje en la ciencia: complejo, controvertido pero vigente [editorial]. Ciencia Enfermer. 2011;XVII(1):7-10.^,66. Moreno Ceja F, Cortés Vera JJ, Zumaya Leal MR. Usos, limitaciones y prospectiva de la evaluación por pares. Rev Interam Bibliot. 2012;35(2):201-10. Acceso.22 Jun 2015. Disponible en: http://www.scielo.org.co/pdf/rib/v35n2/v35n2a07.pdf
http://www.scielo.org.co/pdf/rib/v35n2/v... ^,1717. Alfonso F. El proceso de peer-review en las Revistas Biomédicas: Cualidades de los revisores de Excelencia. Neurología. 2010;25(9). Acceso: 22 Jun 2015. Disponible en: http://apps.elsevier.es/watermark/ctl_servlet?_f=10&pident_articulo=13187644&pident_usuario=0&pcontactid=&pident_revista=295&ty=124&accion=L&origen=zonadelectura&web=www.elsevier.es&lan=es&fichero=295v25n09a13187644pdf001.pdf
http://apps.elsevier.es/watermark/ctl_se... ^,2222. Ladrón de Guevara Cervera M, Hincapié J, Jackman J, Herrera O, Caballero Uribe CV. Revisiónpor pares: ¿Qué es y para qué sirve? Salud Uninorte. Barranquilla (Col). 2008;24 (2):258-72.^,2323. El sistema de arbitraje de las publicaciones científicas. Odontoestomatología. 2014;16(24). Montevideo: Departamento de Publicaciones de la Facultad de Odontología. Acceso: 11 Mar 2015. Disponible en: http://www.scielo.edu.uy/scielo.php?pid=S1688-93392014000200008&scrip=sci_arttext
http://www.scielo.edu.uy/scielo.php?pid=... ⁾ Es bueno destacar que la competencia del experto, (dado, entre otros, por "la actualización en el tema a evaluar”( es, sin dudas, una de las características más importante que debe tener un experto y así quedó entendida y marcada por todos los directores.

“Gestiona información pertinente”, particularidad declarada como sumamente importante por la mayoría de los participantes, es interesante por cuanto la enumeración de las referencias en los manuscritos arbitrados recibidos, casi siempre tiene errores,²⁴24. Silva Hernández D, Rodríguez Felizola MC, del Campo Peña AD. Las referencias bibliográficas en artículos originales y de revisión en revistas biomédicas cubanas. [source]Rev Cubana Salud Pública[/source] . 2013;39(1):83-95. Acceso: 28 Sept 2015. Disponible en: http://scielo.sld.cu/pdf/rcsp/v39n1/spu08113.pdf
http://scielo.sld.cu/pdf/rcsp/v39n1/spu0... ⁾ y se considera²⁵25. Soares de Araújo CG. Revisión por pares: un proceso científico en constante perfecionamiento. Arq Bras Cardiol. 2012;98(2):e32-e35. Acceso: 19 Mar 2012. Disponible en: http://www.scielo.br/scielo.php?script=sci_arttex&pid=S0066-782?2000200017&lng=en
http://www.scielo.br/scielo.php?script=s... ⁾ que uno de los mayores aportes que un revisor puede dar es comunicarle al autor aquellos artículos relevantes y recientes que fueron omitidos o aquellas referencias que sobran porque están incompletas o incorrectas en su acotación en el texto o con lo que se dice de ella en el manuscrito. Además, el experto debe hacer una valoración general del número de referencias, su actualización, formateo o estilo y ser exigente en la cita de las fuentes originales, no secundarias, como las tesis o resúmenes de congresos, o las poco accesibles.²⁵25. Soares de Araújo CG. Revisión por pares: un proceso científico en constante perfecionamiento. Arq Bras Cardiol. 2012;98(2):e32-e35. Acceso: 19 Mar 2012. Disponible en: http://www.scielo.br/scielo.php?script=sci_arttex&pid=S0066-782?2000200017&lng=en
http://www.scielo.br/scielo.php?script=s... ⁾

Entre las habilidades (Tabla 3) que los directores marcaron con condición de indispensable, repite la condición ética del experto que ya hemos comentado en párrafos anteriores.

Emergieron también con la misma condición anterior el “detectar problemas metodológicos que afectan la calidad del texto”. Estos problemas deben ser evaluados por los árbitros, en opinión de diferentes autores.¹⁷17. Alfonso F. El proceso de peer-review en las Revistas Biomédicas: Cualidades de los revisores de Excelencia. Neurología. 2010;25(9). Acceso: 22 Jun 2015. Disponible en: http://apps.elsevier.es/watermark/ctl_servlet?_f=10&pident_articulo=13187644&pident_usuario=0&pcontactid=&pident_revista=295&ty=124&accion=L&origen=zonadelectura&web=www.elsevier.es&lan=es&fichero=295v25n09a13187644pdf001.pdf
http://apps.elsevier.es/watermark/ctl_se... ^,2323. El sistema de arbitraje de las publicaciones científicas. Odontoestomatología. 2014;16(24). Montevideo: Departamento de Publicaciones de la Facultad de Odontología. Acceso: 11 Mar 2015. Disponible en: http://www.scielo.edu.uy/scielo.php?pid=S1688-93392014000200008&scrip=sci_arttext
http://www.scielo.edu.uy/scielo.php?pid=... ⁾ El Periódico Brasileño de Neumología,²⁶26. Soares de Araújo CG Recomendaciones a los revisores. J Bras Neumol. 2016. Acceso: 16 Abr 2016. Disponible en: Disponible en: jornaldepneumologia.com.br/portugues/recomendaRevisores_esp.asp
jornaldepneumologia.com.br/portugues/rec... publica un documento titulado “Recomendaciones a los revisores” que contiene siete puntos que sus expertos deben tener presentes durante la evaluación del manuscrito bajo su responsabilidad. El segundo punto dice “Atención a los aspectos metodológicos y al análisis estadístico” y recomienda la necesidad del análisis crítico de estos elementos; los directivos de esta revista habían sido alertados de errores metodológicos graves y análisis estadísticos impropios en artículos publicados.

En la práctica del trabajo de redacción y edición de manuscritos arbitrados, recibimos trabajos sin conclusiones, objetivos mal formulados, las limitaciones del estudio rara vez están presentes, la información aparece mezclada entre las diferentes partes de un artículo original, aparecen figuras con textos ilegibles, entre otros elementos que dificultan la lectura, la comprensión, la redacción y la edición del manuscrito, lo que hace muy probable su devolución al comité editorial. Consideramos que el árbitro no evalúa estos aspectos y no ofrece ayuda a los autores. Se infiere que se fijan más en los errores de forma y contenido, opción marcada por nuestros directores como indispensable, que se corresponde más con la actualización y la preparación que deben tener en determinado campo del conocimiento y dejan de lado la revisión de los aspectos metodológicos o lo hacen de forma inconsistente.

Además, si bien las opciones sobre aspectos relacionados con la bioestadística (Tabla 2), (Tabla 3) la marcaron pocos directores, se percibe, no pocas veces, insuficiente claridad en estos aspectos que pudiera llegar a entorpecer la reproducción de los métodos descritos y, por tanto, la calidad del artículo.

La evaluación del árbitro, tanto en su forma de hacerla o en la de sus habilidades, fue deficiente. En este sentido, los directores pueden aprovechar las ventajas que les ofrece el sistema de acceso abierto [Open Journal System (OJS, siglas en inglés)],¹1. Alfonso Manzanet JE, Silva Ayçaguer LC. Gestión automatizada en el proceso editorial de una revista científica: una demanda inaplazable para favorecer la cultura comunicacional. Educ Méd Super. 2014;28(1):145-53. Acceso: 21 Jun 2015. Disponible en: http://scieloprueba.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412014000100015&lng=es
http://scieloprueba.sld.cu/scielo.php?sc... ⁾ que es una herramienta de gestión editorial útil para directores, árbitros, autores y todos los involucrados en el proceso editorial; le permite al director disponer de un registro de los dictámenes recibidos, el tiempo tomado para su entrega y otros elementos, y así cualquier decisión a tomar o evaluación que se haga sería más fácil y tendría una base objetiva y concreta. Prácticamente todas las revistas biomédicas cubanas están hoy en día incorporadas al OJS.

Ningún experto, según expresaron prácticamente todos los directores, ha detectado en los manuscritos datos o experimentos falseados. Esto es una de las críticas que recibe el peer review, ya aquí comentadas y en la que todos los involucrados coinciden. Es difícil, y en realidad las pocas veces que se ha detectado un problema de este tipo en alguna revista biomédica cubana ha sido obra de la casualidad.²⁷27. Silva Hernández D, Llanes Cuevas R, Rodríguez Silva A. Manifestaciones impropias en la publicación científica. Rev Cubana Salud Pública . 2007;33(4). Acceso: 20 Oct 2010. Disponible en: http://scieloprueba.sld.cu/scielo.php?script=sci_arttext&pid=S0864-34662007000400009&lng=es Tampoco se han rechazado manuscritos cuyos resultados impliquen un avance científico importante, pero uno de nuestros directores argumentó que es preferible abstenerse de diseminar algo que tiene poca comprobación y después resulta no válido o en ese caso, buscar la opinión de un tercer árbitro o del comité editorial. Estamos de acuerdo con la opinión de este director, pero también consideramos que es necesario correr el riesgo; antes que todo puede pasar, incluso en nuestras revistas, que se rechacen manuscritos cuyos resultados sean después objeto de aceptación por su novedad o trascendencia.

El reconocimiento al trabajo del árbitro es un aspecto esencial, que debería ser así considerado por todos los directores; sin embargo, pocos de ellos tienen en cuenta este aspecto y los que lo hacen emplean diferentes formas: aparición de la relación de árbitros en la revista al concluir o iniciar el año acompañado de palabra de agradecimiento, entrega de documento que le sirva para su evaluación profesional anual y currículum vitae, certificado por la labor realizada e información de su buen trabajo en los colectivos de trabajadores. En la actualidad, algunas revistas biomédicas cubanas tienen instrumentada la entrega de una remuneración discreta por cada arbitraje, que se espera repercuta de forma positiva en la calidad y rapidez en la entrega del dictamen. Todas las revistas deberían explorar la posibilidad de hacerlo en aras de estimular de forma material a sus expertos, a pesar de que pueden aparecer los problemas ya comentados cuando existen relaciones personales o de otro tipo entre autores, evaluadores directores y otros participantes en el proceso de producción de revistas científicas.

La satisfacción de los directores con el trabajo realizado en las revistas aportó resultados variables; la mayoría declaró algún grado de satisfacción. Ser director de una revista científica es tener prestigio y autoridad en el mundo académico. Es una actividad compleja, que exige mucho tiempo, pero lo que no debe suceder es que la falta de motivación o de interés que pudieran tener algunos directores lastre el proceso de producción de una revista científica, y que toda su primera etapa -que incluye la primera lectura del director y el arbitraje, entre otras- queden sueltas o simplemente no se hagan.

En el análisis cualitativo hubo coincidencia en las categorías emergentes extraídas de textos generados por las opiniones de los directores; solo pequeñas diferencias a favor de la evaluación del árbitro por los directores.

Una de las limitaciones de este estudio fue la imposibilidad de disponer de la participación de todos los directores de las revistas biomédicas cubanas certificadas por el CITMA, como aparece en el proyecto de investigación. Tiene también la limitación que implica el autorreporte y el sesgo de memoria; pero a pesar de estos inconvenientes, consideramos que esta primera aproximación al tema de la selección del árbitro es válida para todos los participantes en el proceso editorial y para todos los profesionales con potencialidades de ser invitados a participar en él.

Por todo lo expuesto podemos concluir que los criterios adoptados por los directores para la selección de árbitros denotan una orientación objetiva. No obstante, deben establecerse pautas concretas que establezcan las condiciones y habilidades indispensables para el buen desempeño de un árbitro. Esto facilitaría la gestión de selección de estos expertos.

Recomendamos a los directores renovar sus opciones; en la selección del par evaluador, por ejemplo, integrar un experto de alto prestigio científico con otro más joven de menos experiencia y ampliar la participación de la mujer. Considerar la incorporación de especialistas en metodología de la investigación, epidemiología y estadísticas si fuera necesario, y acumular las experiencias conseguidas. También recomendamos la eliminación de expertos amigos entre los criterios de selección, una mayor incorporación del OJS, como herramienta muy útil para el trabajo editorial. y valorar la posibilidad de una Guía de evaluación general de ECIMED para árbitros que si es necesario, se pudiera adecuar por los comités editoriales.

Agradecimientos

A todos los directores de las revistas biomédicas cubanas que aceptaron participar en este trabajo. A los licenciados Ana Luisa Pinillo León, de la Biblioteca Médica Nacional, por la excelente ayuda y la atención brindada en la búsqueda de información. A Mónica Guillén del Campo, Thelvia Berriz Valley Alex Ordaz Sayas, del Centro de Investigaciones Sociales del ICRT, por la creación y organización de la base de datos utilizada, así como el procesamiento de la información.

Anexo

Estimado director de revista:

La Editorial Ciencias Médicas está realizando un estudio con el objetivo de contribuir a elevar la calidad de las revistas biomédicas cubanas. Para ello, hemos centrado la atención en el proceso de selección de los árbitros. Por tal motivo y teniendo en cuenta su experiencia, nos dirigimos a usted para contar con su valiosa opinión. La información recogida es totalmente anónima y solo será utilizada para los fines ya expuestos. Le agradecemos de antemano su colaboración.

1. ¿Durante cuánto tiempo se ha desempeñado como director de revista científicas?

_____ Menos de 5 años _____ 6-10 años _____ Más de 10 años

2. ¿Considera usted que la revista que dirige cumple con su objeto social? (Marque solo una alternativa)

_____ Totalmente _____ Parcialmente _____ No lo cumple _____ No sé

3. ¿Todos los artículos de su revista se someten al proceso de evaluación externa?

_____ Sí _____ No

En caso de que su respuesta sea afirmativa, diga qué tipo emplea:

_____ Simple ciega _____ Doble ciega _____ Abierta

4. ¿Cuentan los árbitros con alguna guía para la evaluación de los artículos?

_____ Sí _____ No _____ No procede

5. ¿A partir de qué criterios se seleccionan a los árbitros de su revista? (Puede marcar más de una respuesta)

_____ Los selecciona el director.

_____ A partir de la revisión de una base de datos.

_____ Se les solicita a los autores.

_____ Por ser relativamente joven.

_____ Por ser mujer.

_____ A sugerencias del comité editorial.

_____ Por su prestigio científico.

_____ Otros, ¿cuáles? ____________________.

6. ¿Cuenta con algún documento que paute las características que deben tener los árbitros de su revista? _____ Sí _____ No _____ No procede.

7. A su juicio, ¿qué características debe tener una persona para ser incluida entre los árbitros de su revista? (Marque a la izquierda)

7.1 De las seleccionadas, ¿qué tan importante las considera?: Indispensable (5), Sumamente importante (4), Medianamente importante (3), Poco importante (2), No lo toma en cuenta (1) (Incluya, a la derecha, el número que se corresponda con su valoración)

_____ Estar actualizado en el tema objeto de evaluación _____.

_____ Ser objetivos en la elaboración del dictamen _____.

_____ Cumplir con el plazo establecido para la elaboración de los dictámenes _____.

_____ Poseer conocimientos de la metodología de la investigación _____.

_____ Pertenecer a una institución de prestigio _____.

_____ Poseer conocimientos de bioestadística _____.

_____ Ser ético y responsable _____.

_____ Tener tendencia a rechazar artículos con resultados negativos _____.

_____ Poseer preparación específica como árbitro _____.

_____ Ser capaz de gestionar información pertinente _____.

_____ Ser un lector crítico _____.

_____ Ser inquisitivo _____.

_____ Ser altruista _____.

_____ Otras, ¿cuáles? ____________________.

8. ¿Cuenta con algún documento que paute las formas de evaluar a los árbitros de su revista?

_____ Sí _____ No _____ No sé.

9. ¿Evalúa usted las habilidades de sus árbitros?

a) _____ Sí >> Pase a la pregunta 10.

b) _____ No >> Pase a la pregunta 11.

10. ¿Qué habilidades considera durante la evaluación a sus árbitros? (Puede marcar más de una respuesta)

10.1 De las seleccionadas, ¿qué tan importante las considera? Indispensable (5), Sumamente importante (4), Medianamente importante (3), Poco importante (2), No lo toma en cuenta (1) (Incluya, a la derecha, el número que se corresponda con su valoración

Que el árbitro sea capaz de:

_____ Generar críticas constructivas.

_____ Detectar errores graves de forma (estructura y diseño) y contenido (constatar el valor científico).

_____ Detectar problemas metodológicos que afecten la calidad (coherencia, claridad, legibilidad) del texto.

_____ Entregar el dictamen en el plazo establecido por la revista.

_____ Argumentar sus valoraciones.

_____ Sugerir la implementación de los métodos estadísticos más apropiados.

_____ Ser éticos en sus críticas.

_____ Constatar el valor científico del artículo propuesto.

_____ Ajustar sus respuestas a la guía de evaluación que utiliza.

_____ Comprobar la valía de las referencias.

_____ Sugerir la inclusión de referencias afines a la temática del artículo.

_____ Declarar conflictos de intereses.

_____ Otros, ¿cuáles?

__________________________________________________________________ __.

11. En algún momento de su actividad, ha tenido árbitros que:

_____ Dan como publicables artículos con datos o experimentos falseados:

_____ Sí _____ No.

_____ Rechazan artículos cuyos resultados suponen un sorprendente avance médico:

_____ Sí _____ No.

12. ¿Realiza usted algún reconocimiento explícito a los que considera buenos revisores?

a) _____ Sí >> Pase a la Pregunta 12.1

b) _____ No >> Si responde No pase a la pregunta 13

12.1. Explique la forma que utiliza para reconocer al revisor (es):

______________________________________________________

______________________________________________________

______________________________________________________

13. ¿Cómo se siente usted en relación con la labor que realiza como director de revista? (Marque solo una alternativa)

14. Para finalizar, le agradeceríamos nos ofreciera opiniones o sugerencias que contribuyan a mejorar la calidad del arbitraje en las revistas biomédicas cubanas.

______________________________________________________

______________________________________________________

______________________________________________________

REFERENCIAS BIBLIOGRÁFICAS

Fechas de Publicación

Histórico