Lo que PISA no puede contar

Cada tres años se repite la liturgia. Se publican los resultados de PISA. Tiemblan los cimientos del sistema educativo. Los titulares decretan el hundimiento o la remontada. Cada actor encuentra en las cifras la confirmación de lo que ya pensaba, y, a las tres semanas, el debate se apaga hasta la siguiente entrega. Pasada ya la tormenta de la última edición, con sus malos datos para España en general y para algunas comunidades en particular, quizá sea buen momento para preguntarnos ¿qué estamos midiendo exactamente cuando medimos, y qué dejamos de discutir cuando aceptamos que la medida o la cifra alcanzada acaba siendo el debate?

La politóloga Deborah Stone lleva décadas insistiendo en algo que parece obvio y no lo es. Los números que cada uno utiliza no son inocentes. Antes de contar hay que clasificar, y clasificar es decidir qué cosas cuentan como descripción de lo que queremos analizar. Toda cifra acaba siendo el resultado final de una cadena de decisiones previas. ¿Qué se pregunta?, ¿a quién?, ¿cómo se agregan los resultados?, ¿qué se deja fuera de la cuantificación?, e incluso ¿qué desaparece de la vista en cuanto el número se publica?. Los números, dice Stone, no hablan por sí solos como muchas veces decimos. Lo que nos dicen, finalmente, es en que pensaban quienes los diseñaron. Y, sin embargo, a pesar de todo esto, funcionan en el debate público como si fueran la realidad misma. Son simultáneamente evidencia y argumento, son dato y acaban siendo sentencia.

El caso PISA es un ejemplo de manual. Fijémonos en dos episodios recientes. El primero el que aparentemente llevó a algunos responsables de la cosa en Cataluña de retocar la muestra de alumnos examinados para dejar fuera a quienes previsiblemente harían bajar los resultados. Más allá del juicio que merezca la ocurrencia, lo revelador es lo que parece que justificaría el desaguisado, es decir que el objetivo ya no sería conocer el sistema sino mejorar el marcador. Cuando el indicador se convierte en la meta, deja de medir lo que decía medir. Y de paso queda a la vista lo que sería la operación de fondo, o sea decidir quién entra en la muestra es decidir qué alumnado “cuenta” como sistema educativo. Pero, precisamente, aquellos con más desventajas, por mucho que quieras hacerlos invisibles, son aquellos que precisamente deberían ser los más relevantes pedagógicamente hablando. 

El otro tema también es relevante. La conversación pública sobre los últimos resultados acabó girando casi monográficamente en torno a las pantallas culpándolas de todas las desgracias. Aunque, curiosamente, el propio informe no les dedicaba un gran espacio y desde luego no establecía las relaciones causales que luego se les atribuyó. ¿Cómo se explica? Lo que muestra es que el número, la cifra, una vez se ha publicado, acaba siendo un recipiente vacío que cada cual llena con lo que es su diagnóstico favorito. La cifra da la alarma y el relato lo ponen otros desde sus posiciones de partida. En ese sentido el relato de las pantallas reúne todas las ventajas. Es más o menos intuitivo, acaba señalando un culpable que es exterior a la escuela, permite proponer medidas visibles e inmediatas y, sobre todo, no obliga a hablar de todo lo que queda oculto tras las pantallas. Ni de obsolescencia del modelo educativo, ni de financiación, ni de segregación escolar, ni de condiciones del profesorado, ni de la relación entre pobreza infantil y aprendizaje. Variable esta última que es precisamente la que más pesa en los propios datos de PISA y la que menos titulares ha generado.

Este es el mecanismo que Stone describe. En el baile de cifras no discutimos más, discutimos menos. La aparente objetividad del número facilita que clausuremos precisamente las preguntas que deberíamos mantener abiertas. ¿Qué escuela queremos? ¿Cuál es su papel en una sociedad atravesada por la incertidumbre, la diversidad y la desigualdad? ¿Qué debe saber y saber hacer alguien que tendrá que vivir en ese nuevo mundo en el que estamos entrando aceleradamente? PISA mide, con solvencia técnica, una porción acotada de competencias en tres ámbitos, en un momento dado, con pruebas estandarizadas. Es información valiosa. Pero no mide el vínculo, ni la convivencia, ni la capacidad de la escuela para compensar orígenes, ni la formación de ciudadanía, ni casi nada de lo que cualquier familia consideraría esencial al elegir dónde educar a sus hijos. Confundir el termómetro con el diagnóstico, y el diagnóstico con el proyecto, es el error que tendemos a repetir cada tres años.

Con todo ello no queremos decir que debemos renunciar a medir. Se trata de recordar que toda medida es una representación entre muchas posibles, y de preguntar quién estaba en la habitación cuando se decidió qué contar. ¿Estaban los docentes? ¿Las familias de los barrios donde se concentra el fracaso? ¿O solo quienes necesitan rankings comparables entre países? Un sistema educativo que trate de gobernarse a golpe de PISA acabará pareciéndose a lo que PISA puede medir. Qué, no nos engañemos, es bastante menos que lo que la educación debe ser.

La calidad de un sistema educativo no cabe en una cifra por resultona que sea. Discutir sobre calidad es establecer una conversación plural sobre equidad, sobre el sentido de educar, sobre qué sociedad queremos que la escuela haga posible. Esa conversación exige datos, muchos y buenos, usados como representaciones discutibles y no como veredictos. Contar, decía Stone, no sustituye el hablar. Cada tres años lo olvidamos. Quizá va siendo hora de invertir la liturgia y conseguir que las cifras abran el debate en lugar de cerrarlo.