A las puertas de la publicación de los resultados de PISA 2018 es importante revisar la forma en que tradicionalmente se realizan las comparaciones de los resultados de estas pruebas.
Se han presentado fuertes críticas sobre los resultados del país en las pruebas PISA de Matemáticas en el año 2015, ellas obedecen a un descenso de 7 puntos con respecto al puntaje obtenido en el 2012 y de 9 puntos con respecto al 2009. No obstante; estas críticas normalmente no consideran las diferencias entre las pruebas, que son notorias si se observa la información del cuadro 1.
Las diferencias entre las medidas estadísticas en las prueban son evidencia cuantitativa para identificar la necesidad de estandarizar los datos antes de llevar a cabo comparaciones, de lo contrario se puede caer en afirmaciones superficiales y erróneas. Una forma sencilla de realizar esto consiste en efectuar una estandarización o tipificación de las calificaciones, tomando como referencia el cociente de la diferencia de cada puntuación con el promedio de todas ellas entre la desviación estándar correspondiente. En el cuadro 2 se resume el valor absoluto y estandarizado de los puntajes obtenidos por Costa Rica en las tres pruebas.
Los valores negativos significan que el rendimiento de Costa Rica, en todas las pruebas, estuvo por debajo del promedio de los países o regiones participantes (el promedio estandarizado es cero). En términos relativos, al tomar en cuenta a todos los países o regiones participantes en cada prueba, el rendimiento de Costa Rica fue ligeramente mejor en el 2015 que en el 2012; pero mucho más bajo que el obtenido en el 2009.
Por otro lado, en relación con los países de América Latina que participaron en las tres pruebas, el cuadro 3 presenta los resultados de Costa Rica, empleando el proceso de estandarización o tipificación:
El signo positivo significa que el rendimiento de Costa Rica fue superior al promedio de los países de América Latina que participaron en las pruebas. Sin embargo, tomando como referencia a estos países, en términos relativos el rendimiento de Costa Rica ha venido descendiendo.
Conclusión
Para las pruebas PISA de Matemáticas, Costa Rica en promedio apenas supera una calificación de 400, por lo que en términos generales se ubica muy lejos de los países que sobresalen en dichas evaluaciones. En esta distribución de puntajes, en tres pruebas se ubica en la “parte superior” del cuartil más bajo, quiere decir que nos encontramos entre el 25% de las regiones o países con peores rendimientos. No obstante, aunque en términos absolutos, el puntaje obtenido por Costa Rica ha venido disminuyendo desde el año 2009, al realizar una comparación relativa de estos puntajes respecto a todos los actores que han participado en cada caso, los resultados del año 2015 son ligeramente superiores a los del 2012, aunque inferiores a los obtenidos en el 2009. Por otro lado, a nivel de Latinoamérica, Costa Rica ha obtenido resultados por encima del promedio, pero en términos relativos el rendimiento ha venido experimentando un descenso, respecto a los países de la región participantes.
Hay muchos otros elementos que pueden afectar las comparaciones entre pruebas; por ejemplo, en este caso la cobertura de la muestra de estudiantes que participa en cada prueba o el uso de la computadora para la administración de la prueba, son aspectos que según expertos afectaron negativamente los resultados del 2015, para más detalles consultar: http://repositorio.conare.ac.cr/handle/20.500.12337/665.
