Ocho preguntas para entender el informe PISA

Cada tres años, la OCDE organiza un gran revuelo en España cuando hace públicos los resultados del informe PISA, el estudio de educación más importante del mundo, que evalúa y compara los sistemas educativos de planeta. El día ha llegado. Este 3 de diciembre sabremos si España se mantiene rondando la mitad de la tabla, a la altura de países como Letonia o Lituania, como venía sucediendo en las últimas ediciones, o hay un cambio significativo en alguna dirección.

PISA llega en un momento caliente en la educación española, sólo una semana después de que se aprobara la LOMCE, la séptima ley educativa de la democracia y la que más contestación social ha tenido. Pase lo que pase habrá polémica. Si los resultados son buenos, por cambiar la ley. Si no, por tener malos resultados.

A la espera de que se publiquen y se puedan analizar los datos, ofrecemos una guía para entender mejor la prueba y sus características.

1. ¿Qué es PISA?

PISA es una prueba trianual que realiza la Organización para la Cooperación y el Desarrollo Económicos (OCDE) para evaluar los sistemas educativos de los países que se presenten. El examen es voluntario para cada nación y se realiza a estudiantes de 15 años (edad en la que suele concluir el periodo obligatorio de escolarización) independientemente del curso en el que estén.

En la edición de 2012 que se presenta ahora han participado más de 510.000 menores de 65 países, que son examinados de Ciencias, Matemáticas y Lectura. España participó con unos 900 colegios y 25.000 alumnos. Cada edición pone especial énfasis en uno de estos tres aspectos. En 2009 fue la Lectura, este año es el turno de las Matemáticas.

2. ¿Cuál es su objetivo?

Esta pregunta se responde primero en negativo. PISA no evalúa los conocimientos per se sino las competencias de los alumnos, esto es, cómo se aplica este conocimiento en problemas que puedan surgir en la vida real. El objetivo no es evaluar a los estudiantes sino el sistema educativo, y buscar qué funciona bien, dónde y a través de qué políticas educativas.

El examen también permite, según explica Pablo Zoido, analista de la OCDE, “indagar más sobre el desempeño de grupos específicos de alumnos, como inmigrantes o que hablan otros idiomas que los de la prueba”.

3. ¿Cómo se hace?

Las preguntas se eligen por unanimidad de todos los países participantes y un comité internacional de asesores. Se prueban en un test previo y, si resultan demasiado fáciles o difíciles, se eliminan. Cada examen PISA contiene material para siete horas de test, del que se extrae una combinación diferente para cada alumno que dura dos horas.

Un ejemplo de pregunta es el siguiente: “Mei-Ling, ciudadana de Singapur, estaba realizando los preparativos para ir a Sudáfrica como estudiante de intercambio durante 3 meses. Necesitaba cambiar algunos dólares de Singapur (SGD) en rands sudafricanos (ZAR)”. A partir de este enunciado, se realizan varias preguntas (se citan dos ejemplos):

-Mei-Ling se enteró de que el tipo de cambio entre el dólar de Singapur y el rand sudafricanos era de: 1 SGD = 4,2 ZAR. Mei-Ling cambió 3.000 dólares de Singapur en rands sudafricanos con este tipo de cambio. ¿Cuánto dinero recibió Mei-Ling en rands sudafricanos?

-Al cabo de estos 3 meses el tipo de cambio había cambiado de 4,2 a 4,0 ZAR por 1 SGD. ¿Favoreció a Mei-Ling que el tipo de cambio fuese de 4,0 ZAR en lugar de 4,2 ZAR cuando cambió los rands sudafricanos que le quedaban por dólares de Singapur? Da una explicación que justifique tu respuesta.

Otros modelos de preguntas utilizadas en anteriores ediciones pueden encontrarse en la página del Instituto Español de Evaluación Educativa. PISA no se prepara porque no es un test de conocimientos, pero estos ítems liberados pueden ayudar a los maestros en clase.

4. ¿Cómo se leen los datos?

Cada país tiene su grupo de correctores propio, que se basa en un manual de la OCDE para evaluar. Los resultados se comprueban y se envían a la organización. “En la OCDE preparamos un informe internacional donde interpretamos esos datos. Este informe se elabora internamente pero cuenta con la revisión de los países participantes y de expertos en los temas que abordamos”, explica Guillermo Montt, miembro del equipo de PISA.

La particularidad de esta prueba es que los resultados están a la disposición de quien quiera, y la OCDE invita a los investigadores a utilizarlos y hacerle llegar sus conclusiones.

5. ¿Sirven para algo las conclusiones?

En España, según la mayoría de los expertos, no. PISA sirve (o debería servir) como guía para que los países sepan qué políticas funcionan bien. Aunque, como destaca José García Montalvo, catedrático de la Pompeu Fabra “no establece muy bien las causas y diferencias” entre unos y otros.

Tampoco es sencillo. La muestra de países analizados es muy variada, con sistemas basados en diferentes aspectos y que no se pueden exportar tal cual. Pero PISA sí establece algunas recomendaciones generales que, al menos en España, tienden a caer en saco roto.

6.¿Se tiene en cuenta el entorno de los alumnos?

Los estudiantes no sólo se evalúan de sus conocimientos como si hubieran salido de una burbuja. Antes de realizar el examen completan un cuestionario en el que detallan aspectos de su vida, familia y actitud hacia el estudio para evaluar su contexto personal. También los directores de los centros que pasen los test envían información sobre el colegio. Todas estas cuestiones relativas al entorno socioeconómico del estudiante y cómo influye en su rendimiento se tienen en cuenta a la hora de analizar los resultados.

“Estas respuestas las usamos para identificar los factores que están más fuertemente asociados con el buen rendimiento. También los usamos para evaluar el impacto del nivel socioeconómico de los alumnos en sus resultados académicos. Los resultados de PISA los analizamos de distintas maneras porque nuestro objetivo es buscar e identificar aquellos contextos que promueven y facilitan el aprendizaje”, explica Guillermo Montt, miembro del equipo de PISA.

7. ¿Cómo está España?

Los resultados de España en PISA provocan encendidos debates entre edición y edición. En 2009 el país quedó en el puesto 30 en Comprensión Lectora, 31 en Matemáticas y 33 en Ciencias. A mitad de tabla, por detrás de Portugal y Francia en las tres categorías, mirando los dos países más cercanos.

En la clasificación general suelen mandar dos países tan diferentes entre sí como Finlandia, Singapur y Corea del Sur, cada uno con sus peculiaridades y sistemas educativos muy diferentes. Por esta razón la OCDE siempre alerta de que PISA no pretende decir a nadie cómo tiene que hacer las cosas, sino se limita a establecer las políticas que funcionan.

8. ¿Y las Comunidades Autónomas?

Pero España no se presenta sólo como un todo. Varias Comunidades Autónomas acuden a PISA con entidad propia para evaluarse. Este hecho permite un análisis un poco más concienzudo de la situación nacional. Y permite ver que hay grandes diferencias entre regiones.

En 2009 comunidades como Navarra o el País Vasco obtuvieron resultados por encima de la media, no sólo española sino de la OCDE también. En términos generales el norte puntúa mejor que el sur ampliamente. Es uno de los aspectos destacados en el caso de España, a la espera de los resultados de esta edición.