Pedro Ravela

Los resultados de Uruguay en PISA no mejoraron

El martes me levanté temprano para descargar y leer los resultados de las pruebas PISA 2015, que estarían disponibles en el sitio web de la OCDE a partir de las 07:00 de Uruguay. No esperaba grandes sorpresas, mi expectativa era que los resultados serían más o menos similares a los de ciclos anteriores. En una primera mirada rápida me llamó la atención, positivamente, que había una mejora entre 2012 y 2015, si bien en el largo plazo (desde 2003 en adelante) los resultados aparecían como bastante estables.

Actualizado: 08 de Diciembre de 2016 | Por: Pedro Ravela

A lo largo del día me dediqué a bajar y revisar los informes, tanto los de la OCDE como los de países como México y Chile. Al mismo tiempo miraba las noticias. Me generó cierta sonrisa la metida de pata del diario El País, que se adelantó a decir que los resultados eran los peores de la historia. No es nuevo en ese diario. Luego empecé a escuchar las declaraciones excesivamente optimistas de algunas autoridades, hablando de “cambios sustantivos”.

En mi opinión, ni hubo una “debacle educativa” en 2012, ni hubo “cambios sustantivos” en 2015. En general mi posición es no dramatizar con estos datos. En 2012 expresé públicamente que si bien los resultados habían caído algo, eso era razonable en un contexto de aumento de cobertura (ingreso de más alumnos en la educación media básica) sin cambios en lo que se hace dentro de las aulas. Bajo esas condiciones, no cabía esperar cambios en los resultados. No compartí el tono catastrófico de los partidos de oposición.

Hoy (miércoles) me dediqué a mirar con más detalle los informes. Al igual que se hace con la “ficha técnica” de las encuestas de opinión pública, me puse a leer los anexos metodológicos del Volumen I del Informe de la OCDE.

Al llegar al Anexo A5, “Cambios en la administración y escalamiento de PISA 2015 e implicaciones para los análisis de tendencias”, me encontré con una sorpresa. En ese Anexo la OCDE explica una serie de cambios metodológicos en la forma en que se calcularon los promedios por país. Se trata de un procedimiento muy complejo: para realizar comparaciones con mediciones anteriores es necesario asegurarse de que los cambios de los resultados estimados no sean consecuencia de cambios en las pruebas o en las muestras, sino de cambios reales en los desempeños de los estudiantes.

Es un poco largo de explicar, intentaremos hacerlo el próximo martes en la columna de Educación de No Toquen Nada.

La cuestión es que en este Anexo se explica que los cambios introducidos en el modo de estimar los puntajes permitirán mejorar las futuras comparaciones en el tiempo, pero pueden afectar las comparaciones hacia atrás, con las mediciones anteriores.

El Informe indica que esto último efectivamente ocurrió para varios países, lo que obligó a hacer una estimación específica. Y pone a texto expreso las siguientes afirmaciones:

a) en Ciencias, las estimaciones fueron afectadas en Colombia, Chile, Brasil, Indonesia y Uruguay. En estos países los cambios en los puntajes obedecen a los cambios metodológicos y no a mejoras en los desempeños. Traduzco textualmente: “Estos países hubiesen tenido tendencias menos positivas si los puntajes promedio de las mediciones anteriores hubiesen sido reportados sobre la base de escalamiento de PISA 2015… una causa posible para estas diferencias es la nueva forma de considerar las preguntas no alcanzadas por los estudiantes. En todos estos países, muchos estudiantes no llegaron a responder las preguntas ubicadas al final de las pruebas”.

b) en Lectura, las estimaciones resultaron afectadas en los siguientes países: Corea, Tailandia, Dinamarca, Estonia, Holanda, Colombia, Trinidad y Tobago, Perú, Moldavia y Uruguay.

c) en Matemática los países en que es necesario recalcular las tendencias son: Taipei, Vietnam, Turquía, Albania, Uruguay y Singapur.

En el resto de los países las estimaciones de tendencias no fueron afectadas. Todo esto se encuentra consignado en la página 308 del Volumen I del Informe de la OCDE sobre PISA 2015.

Al final del Anexo se incluye un link a una serie de tablas en las que constan los datos resultantes de la revisión de las tendencias, es decir, qué puntaje hubiese tenido cada país en los ciclos anteriores, utilizando la metodología de estimación de puntajes de 2015. Para Uruguay los datos incluidos en esas tablas son los siguientes:

En Ciencias:

2006 = 445

2009 = 440

2012 = 429

2015 = 436

Entre 2012 y 2015 la mejora fue de 7 puntos. Entre 2006 y 2015 hubo una caída de 9 puntos. Ninguno de estos cambios es estadísticamente significativo.

En Lectura:

2006 = 427

2009 = 435

2012 = 424

2015 = 437

En Matemática:

2006 = 437

2009 = 435

2012 = 417

2015 = 418

El lector interesado puede descargar estas tablas en: http://dx.doi.org/10.1787/888933433162

En síntesis, la medición de tendencias es estadísticamente compleja. No hubo grandes cambios a lo largo de los 12 años de evaluaciones PISA en Uruguay, salvo una pequeña caída en Matemática.

 

Las opiniones vertidas en las columnas son responsabilidad de los autores y no reflejan necesariamente posiciones del Portal 180.