¿Es posible evaluar los resultados educativos de adolescentes de 15 años escolarizados en unos ochenta países? Sí, según la OCDE. Para ello, elabora pruebas sobre competencias que pasan dos controles. Uno, cuantitativo, en el que se comprueba en una fase piloto si los resultados entre países son homogéneos. Y otro, cualitativo, con expertos de cada país. El resultado es un conjunto de preguntas poco conectadas con el currículo y, por tanto, alejadas de contenidos específicos impartidos en las aulas. Consisten en saber interpretar información y resolver cuestiones para las que solo es necesario competencia lectora sólida y un manejo de matemáticas sencillas.
Dicen que los datos catalanes no serán comparables, pero ningún dato lo es si no se integra en el entramado complejo de relaciones sociales que lo hace comprensible
¿Es posible evaluar los resultados educativos de adolescentes de 15 años escolarizados en unos ochenta países? Sí, según la OCDE. Para ello, elabora pruebas sobre competencias que pasan dos controles. Uno, cuantitativo, en el que se comprueba en una fase piloto si los resultados entre países son homogéneos. Y otro, cualitativo, con expertos de cada país. El resultado es un conjunto de preguntas poco conectadas con el currículo y, por tanto, alejadas de contenidos específicos impartidos en las aulas. Consisten en saber interpretar información y resolver cuestiones para las que solo es necesario competencia lectora sólida y un manejo de matemáticas sencillas.
Además, es necesario asegurar la calidad del trabajo de campo, para lograr la homogeneidad en la recogida de datos. Las pruebas se realizan a finales de primavera, a partir de una muestra aleatoria de cerca de 2.000 estudiantes por país, que puede ser mayor si se busca representatividad regional (unos 1.700 estudiantes más por territorio). Primero se seleccionan al azar los centros educativos, y en cada centro, también al azar, a 30 estudiantes de 15 años de edad. Este sistema de lotería garantiza que los datos sean representativos. Imagine que está haciendo un guiso de lentejas para dos personas, y quiere saber si le está saliendo bien. No hace falta que se coma todo el guiso, es suficiente con probar una cucharada. Si el guiso es para cuatro, ocho, doce… personas, ¿cuántas cucharadas necesitará para saber cómo está saliendo? Una. El tamaño de la muestra aleatoria, bajo ciertas condiciones, no depende del tamaño de la población, sino de que la cucharada recoja bien lo que está pasando en el caldero. Por ello, removemos antes de probar, pues si no, solo tomamos de la superficie, y la cucharada no nos “informará” bien.
Parece que en Cataluña la “cucharada” no ha tomado bien. Dadas las dificultades del trabajo de campo, se admite dejar fuera de la prueba al 5% del alumnado, pues por cuestiones imponderables, no se le ha podido administrar la prueba. Si es más, se pone en riesgo el azar necesario, aunque pueda suavizarse con artificios estadísticos. Si se confirman errores en la administración de la prueba, sería un argumento más a favor de profesionalizar la evaluación educativa. Actualmente, España participa en más pruebas: PIRLS, TIMSS, ICILS ICCS o Diagnóstico, así como las evaluaciones censales realizadas por la Consejería de Educación. No es raro que en un mismo centro confluyan varias de estas pruebas, interfiriendo en la vida del centro. En Canarias nos dimos cuenta de que se estaba generando un caos y, por ello, se forma en cada centro a profesorado competente como coordinador de evaluación, y se reconoce su labor. A todo ello ayuda la existencia de la Agencia Canaria de Calidad Universitaria y Evaluación Educativa, que mantiene competencias en evaluación educativa desde 1990, facilitando la profesionalización de personal en la Consejería. Además, se impulsa la investigación educativa y comunidad investigadora puede acceder a los microdatos de las pruebas autonómicas.
¿La metodología de PISA permite hacer ranking de sistemas educativos? Chinos y coreanos lo hacen muy bien en sus países, pero también allá donde emigran; los turcos lo hacen igual en Turquía que en Alemania… Con los mismos cambios legislativos, currículos parecidos y profesorado funcionario, los resultados del alumnado de Castilla y León están entre los mejores de Europa, pero el canario entre los más rezagados. Las tasas de analfabetismo en España en 1870 han estado muy correlacionadas con las primeras oleadas autonómicas de PISA. La característica más relacionada con las buenas puntuaciones es el nivel educativo de la madre, pero en la última década han empeorado sus circunstancias laborales, mermando los resultados educativos de sus hijos. En 25 años, las aulas y las sociedades han cambiado muchísimo: Internet, móviles, pandemia… Pensar que podemos resumir la complejidad educativa en un número es pensamiento mágico. Además de ignorar la propia advertencia de la OCDE en contra de los rankings, ignora que el sistema educativo está integrado en realidades sociales complejas. No podemos entender un número aislado de su contexto. Dicen que los datos catalanes no serán comparables, pero ningún dato lo es si no se integra en el entramado complejo de relaciones sociales que lo hace comprensible.
Sociedad en EL PAÍS
