La estructura de las instituciones científicas y el avance del conocimiento

La investigación científica se desarrolla fundamentalmente en el seno de instituciones, como universidades y centros de investigación, uno de cuyos objetivos principales es el avance del conocimiento científico. Sus estructuras y pautas de funcionamiento están diseñadas para incentivar la investigación. Generalmente, fomentan la formación de nuevos investigadores, la diseminación y discusión de resultados, las interacciones entre grupos y otros muchos aspectos que, a la postre, repercuten positivamente sobre la adquisición de nuevos conocimientos. Sin embargo, creemos que algunos aspectos estructurales lastran el avance del conocimiento en lugar de promoverlo.

Una de las pocas cosas que en general distingue a un científico de otros profesionales afines como inventores, descubridores o tecnólogos es que aplica el “método científico” en su trabajo cotidiano. Pero no resulta siempre claro a qué nos referimos con método científico. Los muchos cambios que “el” método científico ha experimentado desde que René Descartes publicara el Discurso del método (1637) deberían bastar para convencer a cualquiera de que no existe un único método científico, una única forma rígida y predeterminada de hacer avanzar el conocimiento científico. Esta pluralidad de métodos dificulta el diseño de las instituciones encargadas de promover y hacer avanzar la ciencia. Sin embargo, la comunidad científica parece estar de acuerdo en que el procedimiento empleado debe caracterizarse por la reproducibilidad, y las teorías científicas por la refutabilidad. Esto no significa que los científicos debamos pasarnos la vida replicando experimentos anteriores e intentando refutar las teorías existentes. Pero, dado que se ha sugerido que la mayoría de los resultados científicos publicados son falsos, cabría esperar un amplio número de estudios y artículos comprobando resultados científicos previos.

Dejamos para otra ocasión la explicación y matización de esta última afirmación, que son sin duda necesarias, y la discusión de los “falsos positivos” – el motivo por el que, en ausencia de fraudes y malas prácticas, probablemente sean falsos tantos resultados publicados – y nos centramos en las siguientes preguntas: ¿somos suficientemente críticos con las teorías propuestas? ¿Nos esforzamos lo suficiente por verificar los resultados publicados? La respuesta a estas preguntas variará entre disciplinas, pero, al menos en algunas, la respuesta es claramente no. Las razones para este no son muy diversas. Por un lado, la curiosidad, el motor principal de la investigación, nos impulsa constantemente a hacer cosas distintas. Por otro, en muchas disciplinas implementar experimentos que permitan evaluar o refutar teorías es extremadamente difícil o caro, como en la física de partículas actual. Y es directamente imposible realizar experimentos replicados de fenómenos que actúan a escala planetaria, como el cambio climático o las extinciones en masa. Por eso usamos modelos del mundo real simulados in silico, que si se utilizan con cuidado nos permiten refutar hipótesis al contrastarlos con la realidad. Pero la falta de crítica sobre las teorías propuestas también se debe a que el sistema científico contemporáneo penaliza las réplicas y las verificaciones. Si la reproducibilidad y la refutabilidad son los pilares principales de la ciencia, ¿cómo puede el sistema penalizar réplicas y verificaciones?

Los científicos estamos sometidos a un proceso de evaluación continua. La renovación y obtención de nuevos contratos y la financiación de nuestros proyectos de investigación dependen de nuestro historial y de nuestro trabajo reciente. Y ese historial, aunque incluye diversos apartados, en la práctica se resume en dos: nuestra habilidad para conseguir fondos y la repercusión de nuestro trabajo. No es difícil idear un sistema para ordenar a un grupo de científicos en función de su capacidad recaudatoria. Es, sin embargo, mucho más difícil determinar si el trabajo de un investigador es mejor o peor, más o menos relevante, ha tenido más o menos repercusión, que el de otro. Especialmente en periodos cortos de tiempo. Así que se suele recurrir al expeditivo método de evaluar las revistas científicas, asignando a cada una un “índice de impacto” que supuestamente se corresponde con la “importancia” promedio de los artículos que la revista publica, y clasificar a los investigadores en función de las revistas en que publican. La presión por publicar en revistas “punteras” es tremenda – y cada vez mayor.

¿Cómo afecta este sistema de evaluación a nuestras rutinas de trabajo? Muy sencillo. Como queda dicho, el sistema nos obliga a publicar en las revistas con mayor índice de impacto. ¿Qué criterios determinan los trabajos que se publican en estas revistas? En contra de lo que se pudiera pensar, la calidad científica es sólo uno de los criterios en base a los cuales los editores deciden si publicar o rechazar un trabajo. Las revistas con alto factor de impacto – por motivos esencialmente económicos – se ven obligadas a cuidar mucho su factor de impacto. Y para mantener un alto factor de impacto es más importante publicar trabajos “interesantes” que de calidad. Por supuesto, la calidad también se cuida en estas revistas, pero no es lo que prima. Así, estas revistas rechazan trabajos de calidad indiscutible y, ocasionalmente, publican trabajos que no serían aceptables en revistas especializadas. A modo de ejemplo. Hace unos veinte años, un colega sueco mandó un trabajo a una revista especializada con factor de impacto promedio. Los editores rechazaron el trabajo: consideraron el tema novedoso e interesante, pero les pareció que el trabajo no estaba suficientemente bien hecho, que faltaban controles y comparaciones que permitieran realmente a los autores llegar a las conclusiones que sacaban de su trabajo. En un momento de inspiración, a los autores se les ocurrió enviar el trabajo a una de las revistas más prestigiosas y con mayor índice de impacto del área. El trabajo fue aceptado, ya que los editores lo consideraban de gran “interés”.

Y he aquí el problema, la trampa-22 en la que uno entra en un bucle surrealista. A muchas revistas con alto factor de impacto (de hecho, a muchas revistas con factor de impacto de nivel medio en adelante), no les interesan las verificaciones y repeticiones de experimentos. No porque no sean importantes, sino porque lastran su factor de impacto y muy pocos editores estarían dispuestos a tomar decisiones a sabiendas de que bajarán el factor de impacto de su revista. Son de hecho estas revistas (por su gran impacto y repercusión en la sociedad) las que deberían sistemáticamente pedir verificación independiente (una repetición del trabajo por un grupo independiente que se publicaría en el mismo número) de los trabajos siempre que fuese posible. Así el impacto mediático estaría mucho mejor apoyado con lo que ofrece la realidad.

La evaluación continua de nuestro trabajo científico es esencial. Pero creemos que los criterios de evaluación actuales no siempre fomentan lo que consideramos “buena ciencia”, por lo que es hora de revisarlos. De sentarse a pensar en y buscar sistemas de evaluación que incentiven, en lugar de penalizar, las buenas prácticas. Es quizá momento de recordar donde queda y en qué consiste “el método científico”.