Pruebas PISA: interpretaciones, controversias y la importancia de formar expertos en estadística educativa

La presentación de la primera diplomatura superior en Estadísticas e Indicadores Educativos, que comenzará dictarse en 2020, organizada entre la Universidad Nacional de Tres de Febrero (UNTREF) y la Universidad Pedagógica Nacional (UNIPE), fue la oportunidad para que un grupo de especialistas en el área hicieran un análisis crítico de las pruebas PISA, cuyos resultados se conocieron la semana pasada.

El posgrado, único en su tipo en el país, apunta a formar profesionales que puedan, desde una perspectiva cuantitativa, desarrollar diagnósticos más ajustados del sistema y las políticas educativas, y está dirigido a técnicos y funcionarios a cargo de la producción y análisis de información estadística en ministerios y otras unidades de supervisión educativa; a administradores y directores de instituciones educativas; y a investigadores del campo de la educación.

“PISA 2018: resultados, interpretaciones y controversias”, se tituló el debate organizado a propósito de la presentación de la diplomatura. Con la moderación de Leticia Mirás (UNTREF) y Leandro Bottinelli (UNIPE), co-directores del posgrado, la primera intervención fue la de Lilia Toranzos, experta en evaluación educativa en la Organización de Estados Iberoamericanos (OEI).

Toranzos señaló el papel monopólico que en casi 20 años de crecimiento adquirió la evaluación PISA en el análisis internacional de la educación, calificó como valiosa la vocación de generar información internacional comparable en la medición de los aprendizajes, y alertó que, “cuando debatimos sobre evaluación, siempre es importante recordar que la evaluación en sí misma no mejora la educación; lo que la mejora son las intervenciones sobre la enseñanza, lo pedagógico, las condiciones educativas y los recursos”. Marcó, sin embargo, la importancia de PISA al poner en evidencia las importantes desigualdades educativas que tiene la Argentina.

Para Martín Scasso, consultor senior en estadística educativa y director de Fundación Quantitas, “hay inconsistencias metodológicas en la prueba PISA que es importante tener en cuenta al interpretar los resultados. Un aspecto clave que hemos detectado en lo metodológico es la forma de tratar la ‘no respuesta’ de los alumnos al procesar los datos. Hasta 2012, PISA consideraba que las preguntas no respondidas equivalían a respuestas erróneas. Desde 2015, directamente se excluyeron del análisis. Este cambio metodológico, no informado adecuadamente, generó mejoras ilusorias en algunos países latinoamericanos, siendo Colombia el caso más extremo, y una gran confusión a la hora de debatir resultados y sacar conclusiones”. En la Argentina, explicó Scasso, “si se recalculan los resultados manteniendo la misma metodología, no se advierte ni siquiera una leve mejora a lo largo de toda su participación en esta prueba”.

Luisa Iñigo, docente e investigadora de la Facultad de Ciencias Sociales (UBA), señala que, al no utilizar la variable nivel socio-económico en su nivel de medida continuo, es decir, teniendo en cuenta el valor exacto de cada alumno en esa variable, “se pierde información estratégica y no se logra valorar adecuadamente el real impacto del nivel socio-económico en los resultados”. Comparados adecuadamente, explicó, “las diferencias en los puntajes de alumnos de escuelas públicas y privadas se diluyen”.

Marina Inés Perl es la directora de Calidad Educativa del Ministerio de Educación de Tucumán. Su provincia participó en 2018 de la prueba internacional PISA de la Organización para la Cooperación y el Desarrollo Económicos (OCDE) como “región adjudicada”, con una muestra de 85 escuelas y resultados específicos de 2300 estudiantes, pero también realiza una prueba propia, llamada EMECE. “Es clave que la información que nos provee PISA pueda ser complementada con otra, proveniente de distintas fuentes, para interpretar mejor qué está sucediendo en nuestro sistema educativo”, explicó, y agregó que “el tratamiento que se hace de los resultados en algunos medios de prensa no siempre colabora para que esto sea posible”.

Para Cora Steinberg, la especialista en educación de UNICEF Argentina que cerró el panel, “PISA vuelve a recordarnos algo que ya sabemos pero que siempre es bueno actualizar y medir con mayor precisión: que las condiciones sociales de los alumnos son un factor clave de los aprendizajes y que es necesario también intervenir sobre esas condiciones como parte de la mejora de la educación”.

La inscripción para el posgrado de Estadísticas e Indicadores Educativos ya está abierta, ingresando a www.unipe.edu.ar. Para más información, contactarse con el e-mail ingreso@unipe.edu.ar o a los teléfonos (011) 4307-7500 al 7505 (interno 1615).