El sistema de evaluación de la ciencia, que se articula a través de las publicaciones en revistas especializadas, está cada vez más cuestionado. La evaluación y promoción en la ciencia incentiva, exige casi (aunque cada vez menos), publicar artículos en las revistas consideradas más prestigiosas, el 25% de todas las publicaciones, agrupadas en el cuartil 1 (Q1). Si una revista del Q1 publica una investigación, sostiene esta lógica, es aval suficiente de la calidad del estudio y no es necesario valorar el contenido propio del artículo.
Debido justamente a esta exigencia, los investigadores priorizan estas publicaciones sobre las demás, de manera que, calcula Isidro Aguillo, responsable del Laboratorio de Cibermetría del Instituto de Bienes y Políticas Públicas del CSIC (IPP-CSIC), actualmente entre el 70% y el 80% de los artículos salen en estas revistas, consideradas de excelencia. Como publicar en otros cuartiles (Q2 o Q3) no tiene recompensa, los autores intentan evitarlos dentro de sus posibilidades.
Pero esta circunstancia plantea un problema con el sistema, razona Aguillo: si todo es excelente, ¿qué es la excelencia? Si el 80% de todos los artículos científicos se publican en estas revistas de supuesto prestigio, ¿el 80% de los artículos “sobresale”, siguiendo la acepción de “excelencia” de la RAE? ¿Puede “sobresalir” el 80% de algo? ¿Respecto a qué sobresale, en ese caso?
“Esto es importante desde el punto de vista de la evaluación”, dice Aguillo, “porque si lo que quieres es medir la excelencia, el 70% o el 80% no puede ser la excelencia”. Por extensión, añade, el sistema no es fiable. “Aunque reconocida como un indicador de excelencia, una publicación en una revista Q1 ya no marca ese nivel”, añadía el experto.
La división de revistas en cuartiles genera otras disfunciones. Esta organización se hace por posición y no por rango: se coge el total de las revistas de un campo, se ordena en función del factor de impacto (JIF) y se divide en cuatro grupos iguales. El Q1 lo forma el 25% con mayor JIF, el Q2 el siguiente 25%, etc.
En la práctica esto quiere decir que puede haber más diferencia entre revistas dentro de un cuartil que de un cuartil a otro: puede haber (y hay) más diferencia en el factor de impacto de la primera a la última revista de un cuartil que de la última revista del Q1 a la primera del Q2. “Dentro de Q1 la diferencia de impacto entre revistas puede ser muy grande”, explica Aguillo. “Pero entre el final del Q1 y el Q2 y el Q3 hay muy poca diferencia”. Y el sistema premia publicar en una revista del Q1 mucho más que en cualquiera de los otros dos porque lo que cuenta es el cuartil, no el factor de impacto de una revista propiamente dicha.
Un sistema contraproducente
Además, un estudio publicado esta semana en Plos Biology explica que este sistema, basado en el factor de impacto de las revistas y no de los artículos concretos, no solo no es fiable, sino que es contraproducente para los científicos. El estudio demuestra que existen muchos más artículos altamente citados en revistas de impacto medio o bajo que artículos publicados en revistas “de élite”, y que esta distorsión se traslada directamente a la evaluación de los investigadores. Esto sucede porque los artículos no son juzgados (evaluados) en función del impacto de esa publicación en sí, sino por el factor de impacto de la revista que los publica, de manera que si alguien publica un artículo muy citado en una revista con un bajo factor de impacto lo que se considera es el bajo factor de impacto de la revista, no el alto éxito del texto.
La consecuencia, explica este estudio, es que una gran parte de la comunidad científica —incluyendo mujeres, minorías raciales y científicos en etapas tempranas de su carrera— queda infrarrepresentada en los procesos de reconocimiento, promoción y financiación cuando se usan métricas basadas exclusivamente en la revista de publicación, tal y como se viene haciendo habitualmente.
“La escasez artificial de reconocimiento impuesta por el prestigio de las revistas no solo reduce la visibilidad del trabajo influyente, sino que excluye sistemáticamente a un gran número de científicos altamente impactantes del reconocimiento que merecen”, dicen los autores. “Nuestro estudio pone de relieve la necesidad de una adopción más amplia de métricas a nivel de artículo para fomentar un sistema de reconocimiento científico más equitativo y preciso”.
Según el estudio, el 65,19% de los investigadores recibiría más reconocimiento usando métricas basadas en el artículo, mientras solo un 4,56% se beneficia de las métricas basadas en la revista de publicación. Y muchas convocatorias o evaluaciones priorizan el dónde sobre el qué.
El estudio presenta alguna limitación en su diseño y no acaba de suponer una revolución en el conocimiento, admiten los expertos, pero incide en un fenómeno conocido y pone negro sobre blanco “cuestiones relevantes en el diseño de políticas de evaluación de la actividad científica, con efectos claros en procesos de contratación y promoción en los centros de investigación”, según explicó al Science Media Centre (SMC) Enrique Orduña Malea, profesor titular en la Universitat Politècnica de València y miembro de la Comisión de evaluación y seguimiento del sistema de acreditación estatal de ANECA (Agencia Nacional de Evaluación de la Calidad y Acreditación).
Hacia otra evaluación de la ciencia
También recuerdan los profesionales del sector que, poco a poco, España y otros países se están saliendo de esta lógica que venía rigiendo el sistema de evaluar en función de las revistas de publicación. Muchas universidades, centros de investigación e incluso la ANECA (la agencia que mide y evalúa la calidad del sistema) siguen ahora los postulados de CoARA, la Coalición para el Avance en la Evaluación de la Investigación. Esta iniciativa internacional, promovida por Science Europe y la European University Association, propone avanzar hacia una evaluación basada en la calidad y el contenido de la investigación, no en el prestigio de la revista donde se publica, reducir el uso inapropiado de métricas cuantitativas (como el mencionado factor de impacto y la división de revistas en cuartiles) como indicadores directos para la contratación, promoción o financiación de proyectos y reconocer una mayor diversidad de contribuciones científicas.
Orduña Malea recuerda que “en España, por ejemplo, en el sector universitario ya no se evalúa de acuerdo al factor de impacto de las revistas. Tanto el proceso de acreditación como de tramos de investigación fueron reformados por ANECA y ya contemplan una amplia cantidad de indicadores e indicios de calidad más allá del valor de la revista. Por tanto, el proceso de cambio ya está operativo en el territorio nacional desde hace dos años de forma oficial”.
La agencia de evaluación marca la ciencia que se hace y cómo se presenta al público a través de sus convocatorias de sexenios de investigación, el reconocimiento de seis años demostrables de investigación para los científicos. Los sexenios pueden marcar la carrera de un investigador: son necesarios para conseguir la acreditación para ciertas figuras docentes universitarias, suelen implicar un complemento económico permanente y suman puntos para convocatorias de investigación y otras cuestiones. Para conseguirlos, los científicos hacen lo que ANECA les pide. Y ANECA –y todo el ecosistema científico mundial– históricamente pedía básicamente publicar en revistas de prestigio. Y eso hacían los investigadores, aportar algo a la ciencia, en global, o no (y hay estudios que explican que la ciencia es cada vez menos disruptiva porque importa más publicar que generar conocimiento). De ese juego –como el sistema exige publicar y publicar, se publica y se publica– nació el aforismo “publica o perece” (publish or perish, en inglés) y un suculento negocio para las editoriales científicas.
En los últimos años, universidades, organismos de investigación y agencias de evaluación de todo el mundo intentan salirse de esa lógica siguiendo los postulados de CoARA y bajo la creencia de que, efectivamente, el sistema de revistas, factor de impacto y cuartiles desvirtúa la evaluación. “La exigencia de publicar continuamente provoca que lo que se está publicando no sea relevante (...). Tenemos que empezar a trabajar con nuevos indicadores y con una nueva filosofía que respete lo que dice la ley, que el conocimiento es un bien común”, explicaba la actual presidenta de ANECA, Pilar Paneque, en una entrevista con este periódico. Dicho y hecho, ANECA ha dado la vuelta a las convocatorias de acreditación y de sexenios en los últimos ejercicios, abriendo la puerta a un sistema menos basado en la cantidad y más en la calidad. Aunque la ciencia es un gran transatlántico y los cambios tardar en asentarse, los investigadores observan los cambios con esperanza.