Seis preguntas para entender el informe PISA

Cada tres años, la OCDE organiza un gran revuelo en España cuando hace públicos los resultados del informe PISA, el estudio de educación más importante del mundo, que evalúa y compara los sistemas educativos de planeta. El día ha llegado. Este 5 de diciembre sabremos si España se mantiene rondando la mitad de la tabla, a la altura de países como Letonia o Lituania, como venía sucediendo en las últimas ediciones, o hay un cambio significativo en alguna dirección.

Este PISA tiene particularidades: previsto para 2021, se realizó finalmente en 2022 por culpa de la pandemia y es el primer informe desde el COVID.

Aquí ofrecemos una guía para entender mejor la prueba y sus características.

1. ¿Qué es PISA?

PISA es una prueba trianual que realiza la Organización para la Cooperación y el Desarrollo Económicos (OCDE) para evaluar los sistemas educativos de los países que se presenten. El examen es voluntario para cada nación y se realiza a estudiantes de 15 años (edad en la que suele concluir el periodo obligatorio de escolarización) independientemente del curso en el que estén.

En la edición de 2022 que se presenta ahora han participado estudiantes de 83 países, que son examinados de Ciencias, Matemáticas y Lectura. Cada edición pone especial énfasis en uno de estos tres aspectos, que en la edición actual es Matemáticas. Además, evalúan una competencia innovadora en cada informe, que en este es pensamiento creativo y cuyos resultados saldrán en junio de 2024.

2. ¿Cuál es su objetivo?

Esta pregunta se responde primero en negativo. PISA no evalúa los conocimientos per se sino las competencias de los alumnos, esto es, cómo se aplica este conocimiento en problemas que puedan surgir en la vida real. El objetivo no es evaluar a los estudiantes sino el sistema educativo, y buscar qué funciona bien, dónde y a través de qué políticas educativas.

El examen también permite, según explica Pablo Zoido, analista de la OCDE, “indagar más sobre el desempeño de grupos específicos de alumnos, como inmigrantes o que hablan otros idiomas que los de la prueba”.

3. ¿Cómo se hace?

Las preguntas se eligen por unanimidad de todos los países participantes y un comité internacional de asesores. Se prueban en un test previo y, si resultan demasiado fáciles o difíciles, se eliminan. Cada examen PISA contiene material para siete horas de test, del que se extrae una combinación diferente para cada alumno que dura dos horas.

Un ejemplo de pregunta es el siguiente: “Mei-Ling, ciudadana de Singapur, estaba realizando los preparativos para ir a Sudáfrica como estudiante de intercambio durante 3 meses. Necesitaba cambiar algunos dólares de Singapur (SGD) en rands sudafricanos (ZAR)”. A partir de este enunciado, se realizan varias preguntas (se citan dos ejemplos):

-Mei-Ling se enteró de que el tipo de cambio entre el dólar de Singapur y el rand sudafricanos era de: 1 SGD = 4,2 ZAR. Mei-Ling cambió 3.000 dólares de Singapur en rands sudafricanos con este tipo de cambio. ¿Cuánto dinero recibió Mei-Ling en rands sudafricanos?

-Al cabo de estos 3 meses el tipo de cambio había cambiado de 4,2 a 4,0 ZAR por 1 SGD. ¿Favoreció a Mei-Ling que el tipo de cambio fuese de 4,0 ZAR en lugar de 4,2 ZAR cuando cambió los rands sudafricanos que le quedaban por dólares de Singapur? Da una explicación que justifique tu respuesta.

Otros modelos de preguntas utilizadas en anteriores ediciones pueden encontrarse en la página del Instituto Español de Evaluación Educativa. PISA no se prepara porque no es un test de conocimientos, pero estos ítems liberados pueden ayudar a los maestros en clase.

4. ¿Cómo se leen los datos?

Cada país tiene su grupo de correctores propio, que se basa en un manual de la OCDE para evaluar. Los resultados se comprueban y se envían a la organización. “En la OCDE preparamos un informe internacional donde interpretamos esos datos. Este informe se elabora internamente pero cuenta con la revisión de los países participantes y de expertos en los temas que abordamos”, explica Guillermo Montt, miembro del equipo de PISA.

La particularidad de esta prueba es que los resultados están a la disposición de quien quiera, y la OCDE invita a los investigadores a utilizarlos y hacerle llegar sus conclusiones.

5. ¿Sirven para algo las conclusiones?

En España, según la mayoría de los expertos, no. PISA sirve (o debería servir) como guía para que los países sepan qué políticas funcionan bien. Aunque, como destaca José García Montalvo, catedrático de la Pompeu Fabra “no establece muy bien las causas y diferencias” entre unos y otros.

Tampoco es sencillo. La muestra de países analizados es muy variada, con sistemas basados en diferentes aspectos y que no se pueden exportar tal cual. Pero PISA sí establece algunas recomendaciones generales que, al menos en España, tienden a caer en saco roto.

6.¿Se tiene en cuenta el entorno de los alumnos?

Los estudiantes no sólo se evalúan de sus conocimientos como si hubieran salido de una burbuja. Antes de realizar el examen completan un cuestionario en el que detallan aspectos de su vida, familia y actitud hacia el estudio para evaluar su contexto personal. También los directores de los centros que pasen los test envían información sobre el colegio. Todas estas cuestiones relativas al entorno socioeconómico del estudiante y cómo influye en su rendimiento se tienen en cuenta a la hora de analizar los resultados.

“Estas respuestas las usamos para identificar los factores que están más fuertemente asociados con el buen rendimiento. También los usamos para evaluar el impacto del nivel socioeconómico de los alumnos en sus resultados académicos. Los resultados de PISA los analizamos de distintas maneras porque nuestro objetivo es buscar e identificar aquellos contextos que promueven y facilitan el aprendizaje”, explica Guillermo Montt, miembro del equipo de PISA.