jueves, 11 de diciembre de 2008

Cómo parecerse a Finlandia

Misukka anima a los países a fomentar el respeto por la enseñanza y preparar a los profesores para que sepan detectar a tiempo los problemas de sus alumnos. Sólo así dispondrán de la base para pasar por la evaluación PISA con buena nota.

¿Por qué? Eso mismo se preguntan el resto de sistemas educativos, cuando comprueban edición tras edición que Finlandia lidera una vez más los exámenes de PISA. Y quién mejor para contestar, que la secretaria de Estado del Ministerio de Educación finlandés, Heljä Misukka, que, orgullosa del éxito de su país, enumeró los ingredientes secretos que componen la fórmula del “éxito” educativo. Supongo que es una pregunta que ha tenido que contestar infinidad de veces.

Pero, ¿cuál es el secreto que hace posible el triunfo de Finlandia en PISA?
En primer lugar me gustaría aclarar que para entender el secreto de Finlandia en PISA no podemos hablar de un secreto sino de la sinergia de múltiples factores. Uno de ellos es disponer de profesores altamente cualificados y muy comprometidos con su trabajo. También que la profesión de maestro en nuestro país es muy popular y eso provoca que una gran parte de los jóvenes quieran ser profesores y, a su vez, que las universidades pueden seleccionar candidatos de muy alta calidad.

¿Cómo influye el salario de los maestros, que en otros países suele ser mediocre, en esa amplia demanda?
No afecta especialmente. El salario del maestro en Finlandia se sitúa en la media de los países de la OCDE, pero no es extraordinariamente bueno. Creo que la elección de los jóvenes tiene más que ver con el valor que la sociedad finlandesa le concede a la Educación y la actitud que tiene ante la profesión de maestro, que es muy buena. Y no sólo eso, sino que disponemos de estándares muy descentralizados que permiten a los profesores ser muy independientes en su trabajo. Por ejemplo, pueden elegir los métodos de enseñanza o el tipo de material que prefieren utilizar con sus alumnos y pienso que esto también les motiva. Además, en Finlandia no hay inspectores detrás de la esquina para ver cómo trabajan los maestros. Y esa libertad y confianza les ayuda también en su trabajo.

Aparte del rol que juegan los profesores, ¿qué otros factores contribuyen a que en Finlandia una mayoría de la población posea el título de Bachillerato?
Creo que la gratuidad de la Educación obligatoria es también un factor muy importante. En Finlandia no hay que pagar nada ni por la enseñanza durante los nueves años que componen la obligatoria, pero tampoco por los libros, el material, las comidas escolares, el transporte, el sistema sanitario y el dental. Y también lo es la equidad de nuestro sistema. Para nosotros tan importante como liderar las pruebas de PISA fue comprobar la escasa diferencia que había entre los resultados de los niños y las niñas.

¿Cree que su sistema educativo es posible exportarlo? Mucha gente se pregunta por el éxito de Finlandia en PISA y por el tipo de enseñanza que utilizamos, pero no creo que sea algo tan fácil de imitar. Se pueden copiar algunas cosas, pero habría que cambiar también la actitud de la sociedad ante la Educación, por eso no es tan fácil. En algunos países europeos, como ocurre en España, uno de los principales problemas educativos es que muchos niños fracasan cuando llegan a Secundaria.

¿Cómo cree que se puede luchar contra este fenómeno?
Nosotros también tenemos fracaso escolar en Finlandia. Y para combatirlo en la actualidad estamos intentando crear proyectos de aprendizaje más flexibles. Estamos buscando tipos de aprendizaje específicos para los chicos. Digo chicos porque es curioso, pero a diferencia de los países en desarrollo, donde son las niñas las que abandonan el colegio antes, en los industrializados son especialmente los chicos los que fracasan. Creo que es fundamental flexibilizar la enseñanza.

En el caso en que los estudiantes suspendan ¿apuesta por la repetición del curso?
No, no creo que la repetición sea la solución. Cada niño debería estar en el curso acorde con su edad. Creo que la clave está en prevenir la situación antes de que llegue a producirse. Los profesores deberían ser capaces de detectar qué estudiantes tienen algún tipo de problema y desarrollar diferentes métodos de enseñanza en función de las necesidades de cada niño.

¿Qué consejo nos daría para afrontar PISA 2009 con buen pie?(Risas).
La clave está en disponer de profesores bien cualificados y conseguir que estén motivados con su trabajo. Partiendo de esa base, se puede conseguir mucho.

Consejos para parecerse a Finlandia
Cúmulo de factores
La secretaria de Estado defiende que el secreto de Finlandia no se congrega en un único factor sino en la combinación de varios.

Pesa más el respeto
Los resultados de Finlandia demuestran que para los docentes es mayor incentivo el respeto que les otorga la sociedad que un sueldo excesivo. “En Finlandia el sueldo docente no es extraordinariamente bueno”, reconoce Misukka.

Un sistema igualitario
Las diferencias que en otros países existen en las notas entre niños y niñas o entre regiones en Finlandia son mucho menores. La equidad del sistema finés es otra de sus claves del éxito.

¿Se puede exportar?
La secretaria de Estado reconoce la dificultad de imitar su sistema educativo por basarse en una combinación de factores. Y defiende que tan importante como adoptar sus características es cambiar la concepción que la sociedad tiene de la enseñanza.

Fracaso Escolar
El mal del fracaso escolar también afecta a la elogiada Finlandia. Misukka apuesta por flexibilizar la enseñanza para mejorar los resultados.Prevenir mejor que curar
Finlandia recomienda detectar los problemas antes de tener que subsanarlos; y no aconseja la repetición como estrategia recuperatoria.

Nota aparecida en Magisnet edición digital del magisterio del 11 de diciembre de 2008
http://www.magisnet.com/articulos.asp?idarticulo=3824

miércoles, 10 de diciembre de 2008

PRIMEROS RESULTADOS DE PISA 2006: UNA MIRADA EQUIVOCADA

El pasado martes 4 de diciembre la OCDE dio a conocer el Primer Informe Internacional de Estudio PISA 2006 titulado “Competencias Científicas para el Mundo de Mañana”. La divulgación estuvo precedida por una filtración en un medio de España durante el fin de semana previo.

Una vez más toda la atención de los medios y, en consecuencia, de la opinión pública, estuvo dirigida hacia los rankings de posiciones relativas entre los países. Algunos ejemplos tomados de lo que se publicó durante los primeros días ilustran el problema: “El estudio aporta también los resultados de diez comunidades autónomas que han participado con muestra propia. De esta forma, Castilla y León y La Rioja son las comunidades españolas con mejores resultados en PISA 2006, en lo que se refiere a la escala de Ciencias y Matemáticas, ambas con 520 puntos. Más adelante se encuentra Aragón (513 puntos), Navarra (511), Cantabria (509), Asturias (508) y Galicia (505). En cuanto a comprensión lectora, los resultados también fueron óptimos para La Rioja y el País Vasco”. (www.aprendemas.com / 04-12-07).

“Chile lidera en Latinoamérica resultados de prueba internacional PISA. La Ministra de Educación, Yasna Provoste detalló hoy que en Ciencia y Lectura, los estudiantes chilenos lograron el puntaje más alto de todos los países latinoamericanos participantes en PISA 2006, mientras que en Matemáticas sólo Uruguay superó la marca en la región”. (Portal del Ministerio de Educación de Chile, 04-12-07)
“Colombia ocupó el puesto 53, entre 57 países, en prueba internacional de educación En los resultados, nuestro país solo superó a Túnez, Azerbayán, Qatar y Kyrguistán”. (El Tiempo, Bogotá, 04-12-07).

La mayoría de los enfoques ponen el énfasis en las posiciones relativas y no en qué conocimientos y capacidades han adquirido los jóvenes. El “puesto” que ocupa cada país es un dato menor porque no se trata de “ganarle” a otros, sino de lograr que los estudiantes desarrollen las competencias deseadas. Por otra parte, los análisis de posiciones ignoran que las diferencias en puntos en muchos casos son ridículas (4 o 5 puntos, como en el caso de las Comunidades Autónomas de España). Del mismo modo, la conclusión de que los estudiantes uruguayos “se manejan bien con los números pero no tanto con las letras” porque en Matemática quedaron “primeros” en la región, raya con el absurdo.

El primer paso para hablar con propiedad de los resultados es conocer de qué se está hablando, es decir, qué evaluaron las pruebas. Para ello es preciso comenzar por leer la descripción del excelente marco conceptual que PISA tiene en relación a la cultura científica y ver el tipo de tareas que se propuso a los estudiantes. Sobre esto hay material tanto en el Informe Internacional como en el Marco Conceptual previo de PISA (ver la sección LIBROS en este Boletín).

El segundo paso para una buena comprensión y divulgación de los resultados es observar los denominados “niveles de desempeño”. En cada área evaluada (Cultura Científica, Cultura Matemática y Competencia Lectora) PISA establece varios niveles, que permiten distinguir entre estudiantes con excelente capacidad en el área en cuestión y estudiantes con desempeños muy elementales, y toda la gama intermedia.

En el caso de Ciencias hubo seis niveles. Los estudiantes de los niveles 4, 5 y 6, por ejemplo, pueden identificar los componentes científicos de muchas situaciones complejas de la vida real, pueden tener una mirada crítica sobre las situaciones, pueden seleccionar e integrar explicaciones de diferentes disciplinas de la ciencia y la tecnología, pueden construir explicaciones basadas en evidencia y argumentos, pueden construir y comunicar decisiones usando conocimiento científico.

"Los estudiantes en el nivel 1 o por debajo del mismo tienen un conocimiento científico tan limitado que solo pueden aplicarlo a unas pocas situaciones muy familiares. Pueden también ofrecer explicaciones científicas muy obvias, que se derivan directamente de la información que se les proporciona".
A la hora de hablar de cifras, antes de mirar ningún promedio ni posiciones relativas, es importante observar cómo se distribuyen los estudiantes en los niveles de desempeño, es decir, qué proporción de los estudiantes de cada país alcanzó niveles de excelencia en la prueba y qué proporción estuvo en niveles elementales.
A modo de ejemplo: (ver tabla)

Según es posible apreciar, las proporciones en los países latinoamericanos varían poco, con resultados un poco mejores en Chile y Uruguay pero, en el mejor de los casos (Chile) tenemos apenas uno de cada 10 estudiantes en niveles avanzados (Finlandia tiene uno de cada dos) y casi uno de cada dos en un nivel muy elemental, cuando Finlandia sólo tiene uno de cada 20 en esta situación.

Dicho en otras palabras, la comparación relativa al interior de la región es un dato interesante, pero menor, en comparación con lo que realmente importa: nuestros jóvenes están logrando unos conocimientos y unas capacidades que están muy lejos de lo que se necesita para participar activamente en la sociedad contemporánea y de lo que otros jóvenes -en mejores condiciones sociales y educativas, sin duda- son capaces de alcanzar.

Extraído de PRESENTACIÓN. OBSERVATORIO. REGIONAL DE POLÍTICAS. DE EVALUACIÓN EDUCATIVA. Boletín Nº1, Diciembre 2007
www.grade.org.pe/gtee-preal/boletines/Boletin_1_GTEE_PREAL.pdf

domingo, 7 de diciembre de 2008

RENDIMIENTO DE LOS ALUMNOS EN LECTURA PISA 2006

Los niveles de competencia utilizados para lectura en la evaluación de PISA 2006 son los mismos que los establecidos cuando fue el área principal de evaluación en PISA 2000. En lectura hay cinco niveles de competencia.

Competencia en el Nivel 5 (puntuaciones superiores a 625,6 puntos)
Los alumnos competentes en el Nivel 5 de la escala de competencia lectora son capaces de completar tareas de lectura sofisticadas, tales como localizar y utilizar información difícil de encontrar en textos desconocidos; mostrar una comprensión detallada de estos textos e inferir que información del texto es relevante para la tárea; y son capaces de evaluar de forma critica y construir hipótesis, exponer conocimientos especializados y adaptar conceptos que pueden ser contrarios a las expectativas.
La proporción de alumnos de los países participantes que ocupan los máximos niveles de rendimiento es cuestión de interés, pues la proporción actual de estos alumnos puede repercutir en la contribución que cada país haga al conocimiento global en el futuro.
En el área de la OCDE, una media del 8,6 % de los estudiantes esta en el Nivel 5. En Corea, el 21,7 % de los estudiantes esta en este nivel, al igual que mas del 15 % de los estudiantes de Finlandia y Nueva Zelanda.
En Canadá el 14,5 % de los estudiantes esta en este nivel y mas del 11 % lo esta en Irlanda, Polonia y Bélgica, y en la economía asociada Hong Kong-China. En contraste con estos datos, menos del 1 % de los estudiantes en México alcanzan el Nivel 5, y en las economías o países asociados Indonesia, Kirguizistán, Azerbaiyán, Túnez, Jordania, Tailandia, Serbia, Rumania y Montenegro el porcentaje es de menos del 0,5 %
Por supuesto, es posible que países con porcentajes similares de estudiantes en el Nivel 5 tengan puntuaciones medias muy diferentes. Esto es debido a que estos países tienen diferentes porcentajes de alumnos en los niveles más bajos de competencia. Un ejemplo de ello lo proporcionan Finlandia y Nueva Zelanda. Ambos países tienen porcentajes similares de alumnos en el Nivel 5 con 16,5 % y 15,9 % respectivamente, y sin embargo, puntuaciones medias que son significativamente diferentes. Esto se puede explicar en parte por el hecho de que Finlandia solo tiene un 4,8 % de alumnos en el Nivel 1 o por debajo de el, mientras que Nueva Zelanda tiene un 14,5 % de alumnos en estos niveles. Finlandia tiene una puntuación media de 547 y Nueva Zelanda la tiene de 521.
En Argentina sólo alcanzan este nivel el 0,3% o sea 3 de cada mil.

Competencia en el Nivel 4 (puntuaciones superiores a 552,9, pero inferiores o iguales a 625,6 puntos)
Los alumnos competentes en el Nivel 4 en la escala de competencia lectora son capaces de realizar tareas de lectura difíciles, tales como localizar información oculta, abordar ambigüedades y valorar un texto de forma critica. En el área de la OCDE, una media del 29,3 % de los alumnos es competente en el Nivel 4 o superior (esto es, Niveles 4 y 5) (Figura 6.1 y Tabla 6.1a). Mas de la mitad de los alumnos en Corea y al menos un 40 % de estos en Finlandia, Canadá, Nueva Zelanda y la economía asociada Hong Kong-China alcanzan al menos el Nivel 4. Con la excepción de México, Turquía, España y Grecia, al menos el 20 % de los alumnos de cada país de la OCDE alcanza, como mínimo, el Nivel 4.
El porcentaje de alumnos que alcanza este nivel, o superior, en Argentina es del 5,4%.

Competencia en el Nivel 3 (puntuaciones superiores a 480,2, pero inferiores o iguales a 552,9 puntos)
Los alumnos en el Nivel 3 de la escala de competencia lectora son capaces de realizar tareas de lectura de una complejidad moderada, tales como localizar varios fragmentos de información, establecer nexos entre diferentes partes de un texto y relacionar este con sus conocimientos cotidianos. En el área de la OCDE, una media del 57,1 % de los estudiantes es competente, como mínimo, en el Nivel 3 (esto es, en los Niveles 3, 4 y 5) de la escala de competencia lectora. En seis de los países de la OCDE (Corea, Finlandia, Canadá, Irlanda, Nueva Zelanda y Australia) y en dos economías o países asociados (Hong Kong-China y Liechtenstein), mas del 65 % de los alumnos de 15 años son competentes, como mínimo, en el Nivel 3. Este nivel es el nivel de competencia individual en el que se sitúa la mayoría de los alumnos, un promedio del 27,8 % de estudiantes en el área de la OCDE.
En Argentina alcanzan un nivel de 3 o superior, un 18,7%.

Competencia en el Nivel 2 (puntuaciones superiores a 407,5, pero inferiores o iguales a 480,2 puntos)
Los estudiantes competentes en el nivel 2 son capaces de realizar tareas básicas de lectura, tales como localizar información explícita, realizar diversas inferencias de bajo nivel, deducir que significa una parte bien definida de un texto y utilizar algunos conocimientos externos para comprenderlo. En toda el área de la OCDE, una media del 79,9 % de los alumnos es competente en el nivel 2 o por encima, en la escala de competencia lectora. En todos los países de la OCDE excepto México, Turquía, Republica Eslovaca y Grecia, al menos el 73 % de los alumnos esta en el nivel 2 o superior. En Finlandia el 95,2 % de los alumnos esta en el nivel 2 o superior. Otros países con más del 85 % de los alumnos en el nivel 2 o superior son (en orden ascendente): Nueva Zelanda, Australia, Irlanda, Canadá, Corea y las economías o países asociadas Liechtenstein, Estonia, Macao-China y Hong Kong-China.
Menos del 40% de los alumnos en Argentina alcanzan un nivel de 2 o superior.

Competencia en el Nivel 1 (puntuaciones superiores a 334,8, pero inferiores o iguales a 407,5 puntos) o por debajo de él
La competencia lectora, tal como se define en PISA, se centra en los conocimientos y aptitudes necesarias para aplicar la lectura al estudio, mas que en las capacidades técnicas que se adquieren al aprender a leer.
Ya que en los países de la OCDE son relativamente pocos los jóvenes adultos que no han adquirido esas capacidades técnicas de lectura. PISA no pretende medir aspectos tales como en que medida leen con fluidez los alumnos de 15 anos, o si saben deletrear correctamente o reconocer palabras. En línea con la mayoría de los puntos de vista actuales sobre competencia lectora, PISA se centra en medir hasta que punto los individuos son capaces de construir, extenderse y reflexionar sobre el significado de lo que han leído en una amplia gama de textos, tanto en el centro escolar, como fuera de el. Las tareas de lectura mas sencillas que se pueden asociar con esta noción de competencia lectora son las que se encuentran en el Nivel 1.
Los alumnos competentes en este nivel solamente son capaces de completar las tareas mas sencillas de las desarrolladas para PISA, como localizar un único fragmento de información, identificar el tema principal de un texto o establecer una conexión sencilla con el conocimiento cotidiano.
Los alumnos con un rendimiento inferior a 334,8 puntos de calificación, esto es, por debajo del Nivel 1, normalmente no alcanzan el nivel básico de lectura que intenta medir PISA. Esto no significa que no tengan capacidades lectoras. Pero si que su forma de responder en la evaluación hace suponer que resolverían menos de la mitad de las tareas en una prueba con preguntas exclusivamente de Nivel 1. Estos alumnos tienen serias dificultades para utilizar la competencia lectora como herramienta efectiva para avanzar y ampliar sus conocimientos y habilidades en otras áreas. Por lo tanto, los alumnos por debajo del Nivel 1 de competencia lectora, no solo corren el riesgo de sufrir dificultades en su paso inicial de los estudios al mundo laboral, sino también de no poder beneficiarse de nuevas oportunidades educativas y de formación a lo largo de sus vidas.
En toda el área de la OCDE, una media del 12,7 % de los alumnos tiene un rendimiento de Nivel 1, y el 7,4 % por debajo del Nivel 1, pero hay grandes diferencias entre países. En Finlandia y Corea, menos del 6 % de los alumnos tiene un rendimiento igual o inferior al Nivel 1. En el resto de países de la OCDE, el porcentaje de alumnos con un rendimiento igual o inferior al Nivel 1 varia entre el 11 % (Canadá) y el 47,0 % (México).
Los países de la OCDE al menos con un 25 % de alumnos en el Nivel 1 o inferior son (en orden descendente): México, Turquía, Republica Eslovaca, Grecia, Italia y España. Entre los países asociados, aquellos con mas del 50 % de alumnos en el Nivel 1 o inferior son: Kirguizistán, Qatar, Azerbaiyán, Túnez, Indonesia, Argentina, Montenegro, Brasil, Rumania, Serbia y Bulgaria.
Los sistemas educativos con grandes proporciones de alumnos con un rendimiento inferior al Nivel 1, o incluso de este nivel, deberían tomar conciencia de que un numero significativo de sus estudiantes es probable que no este adquiriendo los conocimientos y aptitudes necesarios para beneficiarse suficientemente de sus oportunidades educativas. Esta situación es aun más conflictiva si se tienen en cuenta las múltiples pruebas que sugieren la dificultad de compensar las lagunas del aprendizaje inicial en las fases posteriores de la vida. Los datos de la OCDE parecen sugerir que tanto la educación continua asociada al ámbito profesional, como la formación en este, a menudo refuerzan las diferencias de aptitudes con las que los individuos abandonan la educación inicial (OCDE 2007). Las aptitudes lectoras de los adultos están fuertemente relacionadas con su participación en programas de educación y formación continua, incluso si se controlan otras características que afectan a la participación en cursos de formación. Las aptitudes lectoras, la educación y la formación continua se refuerzan mutuamente, con el resultado de que los adultos que menos realizan algún tipo de formación son precisamente aquellos que mas la necesitan.
En Argentina un 22,1% alcanzó el nivel 1, y un 35,8% fue inferior a ese nivel. Si tomamos exclusivamente a los alumnos varones, un 66,9% alcanzo el nivel 1 o inferior, o sea ¡dos de cada tres!

Cómo ha cambiado el rendimiento de los alumnos en lectura

El informe de la evaluación PISA 2006 ofrece una prueba más de la “tragedia educativa” argentina. Dice que con un nivel de certeza del 99%, el rendimiento registrado por los alumnos (de 15 años), ha sido inferior al del 2003. ¿Seguirán las autoridades políticas ignorando los resultados? ¿Continuará el silencio? Transcribo a continuación el informe:

Tras vislumbrarse ciertos cambios entre PISA 2000 y PISA 2003, PISA 2006 ofrece información sobre las tendencias del rendimiento en lectura desde PISA 2000, cuando se realizo la primera evaluación completa de la lectura. De este modo, permite a quienes llevan a cabo las políticas educativas, controlar las mejoras en los resultados de lectura, tanto en términos absolutos como relativos a las mejoras en otros países.

En los países de la OCDE, el rendimiento en lectura de PISA permanece, por lo general, similar entre PISA 2000 y PISA 2006. Este hecho, en si mismo, es digno de mención, ya que la mayoría de los países han incrementado notablemente su inversión en educación en los últimos anos. El gasto por alumno de educación primaria y secundaria en los países de la OCDE aumento una media del 39 % en términos reales. En el breve periodo entre el ano 2000, fecha de la realización de la primera evaluación PISA, y 2004, el aumento medio del gasto por alumno ascendía al 22 %, y en 6 países de la OCDE, a porcentajes entre el 30 y el 61 %.

Los datos muestran, asimismo, que algunos países han alcanzado importantes mejoras en los resultados de lectura, y algunos de ellos con un moderado incremento del gasto.
Dos países de la OCDE (Corea y Polonia) y cinco economías o países asociados (Chile, Liechtenstein, Indonesia, Letonia y Hong Kong-China) han experimentado mejoras en el rendimiento en lectura desde PISA 2000.
• Corea mejoro su rendimiento en lectura entre PISA 2000 y PISA 2006 desde un nivel que ya era alto, de 31 puntos, hasta alcanzar el rendimiento mas alto de todos los países participantes, sobrepasando incluso a Finlandia, cuyo rendimiento se mantuvo estable en un nivel alto. Corea alcanzo esta mejora, básicamente, aumentando los niveles de rendimiento entre los alumnos con los mejores resultados, mientras que el rendimiento en los extremos más bajos de la escala prácticamente no cambio.

Efectivamente, en el percentil 95, por encima del cual solo puntúa el 5 % constituido por los mejores alumnos, el rendimiento en lectura aumento en 59 puntos, llegando a los 688 puntos; en el percentil 90 el aumento fue de 55 puntos y en el percentil 75, de 44 puntos. Por el contrario, no hubo en Corea ningún cambo significativo en los percentiles 5 y 10. Las autoridades coreanas atribuyen esta mejora en el rendimiento en lectura a un nuevo currículo, en el que las pruebas de tipo ensayístico han ganado importancia. Además, las universidades han introducido y extendido también la evaluación de ensayos en sus pruebas de admisión, dando a los alumnos la posibilidad de expresar sus propios pensamientos y opiniones. Esto ha proporcionado a los alumnos de secundaria con mejores notas un incentivo adicional para mejorar sus competencias en lectura y razonamiento, con el fin de acceder a la universidad que ellos elijan.
• Hong Kong-China es otro de los países que ha experimentado una mejora notable, con un incremento de 11 puntos desde PISA 2000, desde un nivel de rendimiento en lectura que ya era alto, alcanzando 536 puntos en PISA 2006. Aquí el cambio vino dado principalmente por mejoras en los alumnos con resultados mas bajos, con un incremento de 21 puntos en el percentil 5 y en menor medida en otros percentiles.
• Polonia aumento su rendimiento en lectura en 17 puntos entre PISA 2000 y PISA 2003 y otros 11 puntos entre PISA 2003 y PISA 2006, y ahora tiene un rendimiento de 508 puntos, por primera vez claramente por encima de la media de la OCDE. Entre estas dos evaluaciones, Polonia mejoro su rendimiento global básicamente a través de un mejor rendimiento en el sector inferior de la escala (es decir, los percentiles 5, 10 y 25). Como resultado, en PISA 2003 menos del 5 % de los alumnos tuvo un nivel de rendimiento inferior al del 10 % peor de los alumnos polacos en PISA 2000. Análisis mas profundos a nivel nacional han asociado esta mejora a la reforma del sistema educativo de 1999, que ahora proporciona estructuras educativas mas integradas. Desde PISA 2003, el rendimiento en Polonia ha mejorado mas uniformemente en todo el espectro de la evaluación.
• De los demás países que han experimentado mejoras significativas en la lectura entre PISA 2000 y PISA 2006 –Chile (33 puntos mas entre PISA 2000 y PISA 2006), Liechtenstein (28 puntos), Indonesia (22 puntos) y Letonia (21 puntos)– todos, excepto Liechtenstein, tienen una puntuación notablemente inferior a la media de la OCDE.
Una serie de países vio descender su rendimiento en lectura entre PISA 2000 y PISA 2006: nueve países de la OCDE (en orden descendente), España, Japón, Islandia, Noruega, Francia, Australia, Grecia y México, y cinco países asociados, Argentina, Rumania, Bulgaria, Federación Rusa y Tailandia. En Francia, Japón y México, así como en el país asociado Tailandia, por ejemplo, el rendimiento disminuyo ligeramente en el sector superior de la escala, pero de forma marcada en el sector inferior. Es de notar que, entre los países con rendimientos superiores a la media, solo Australia ha experimentado un empeoramiento estadísticamente significativo, de 15 puntos, en el rendimiento de sus alumnos en lectura, atribuible a una disminución en el sector superior de la escala. Los demás países con un empeoramiento significativo en el rendimiento en lectura entre PISA 2000 y PISA 2006 tienen medias similares o inferiores a la media de la OCDE. De estos últimos, Japón e Islandia tuvieron en el pasado un rendimiento superior a la media de la OCDE. En la Republica Checa, los alumnos con los rendimientos más altos han mejorado, mientras que el rendimiento empeoro en el sector inferior de la escala. En Suiza, los niveles de rendimiento subieron en el sector inferior de la escala.

CÓMO SE DEFINEN LAS MATEMÁTICAS EN PISA

LAS MATEMÁTICAS
El proyecto PISA basa la evaluación de las Matemáticas en el concepto de “literacy” o “alfabetización matemática”. Este concepto se refiere a la capacidad de los estudiantes para analizar, razonar y comunicarse lo más eficazmente posible cuando tienen que plantear, interpretar o resolver problemas matemáticos que pueden darse en diversas situaciones de la vida ordinaria.

La alfabetización matemática se define como:
La capacidad individual para identificar y comprender la función que desempeñan las Matemáticas en el mundo actual, emitir juicios fundamentados y ser capaz de utilizarlas en las necesidades de la vida personal, laboral y social, actual y futura, como ciudadano constructivo, comprometido y capaz de razonar.

Esta definición expresa los usos más generales y amplios que pueden hacerse de las Matemáticas en la vida de las personas y no se limita al manejo simple de operaciones mecánicas.

El término “formación” o “alfabetización” se emplea, principalmente, para indicar la capacidad de hacer un uso funcional de los conocimientos y destrezas matemáticas, y no sólo para aprenderlas como un dominio aplicable en el contexto escolar de un plan de estudios. Con este término se subraya que el conocimiento matemático y las destrezas matemáticas, no son el foco principal de atención tal como están definidas en los currículos tradicionales, sino que se enfatiza su uso aplicado a contextos diferentes, utilizando diversas estrategias basadas en la reflexión y en la intuición personal.

La formación matemática implica, no sólo tener la capacidad de plantear y resolver los problemas matemáticos que surgen en diversas situaciones, sino tener inclinación a hacerlo, lo cual depende de cualidades personales tales como la confianza en sí mismo, la curiosidad y la motivación. Para hacer este uso funcional del conocimiento matemático es necesario disponer de una gama de conocimientos y habilidades básicas que normalmente se enseñan y aprenden en el contexto escolar.

CÓMO SE MIDE LA FORMACIÓN MATEMÁTICA EN PISA
El principal reto de PISA es encontrar un equilibrio que combine la información proveniente del conocimiento matemático con las competencias que se describen en el marco de la evaluación, con el fin de construir niveles o escalas que describan el progresivo conocimiento de las Matemáticas.

Para describir con claridad este marco se definen tres dimensiones de la formación matemática, en torno a las cuáles se organizan los conocimientos y destrezas que deben alcanzar los estudiantes de 15 años.
• Los contenidos matemáticos de los que hay que valerse para resolver los problemas y cuestiones planteadas.
• Los procesos o capacidades que deben activarse para relacionar los fenómenos observados en el mundo real con el conocimiento matemático y así poder resolver los respectivos problemas.
• Las situaciones o contextos en los que se sitúan los problemas.

1. Competencias de Nivel 1: Reproducción
Este grupo de competencias, las más sencillas de resolución, incluyen tipos de conocimiento que el alumnado suele practicar en las pruebas escolares. Las competencias de reproducción se describen mediante los siguientes descriptores clave: la reproducción de conocimientos ya practicados en el ámbito escolar y la realización de operaciones matemáticas rutinarias.
2. Competencias de Nivel 2: Conexión
Este grupo de competencias se basan en las capacidades del grupo de reproducción anterior, pero abordan situaciones que no son rutinarias y que requieren establecer conexiones entre diferentes campos de las matemáticas para llegar a ampliar la información y a integrar la misma en problemas sencillos.
3. Competencias de Nivel 3: Reflexión
En este nivel, los chicos y chicas de 15 años deben ser capaces de plantear estrategias de solución de problemas y aplicarlas a marcos que les resultan menos familiares que los de niveles anteriores. Este grupo de competencias se define mediante los siguientes descriptores: razonamiento de nivel avanzado, argumentación, abstracción, generalización y construcción de modelos.

.

Para acceder al informe completo ir a http://www.oecd.org/document/51/0,3343,en_32252351_32235731_39732595_1_1_1_1,00.html

LOS NIVELES DE COMPETENCIA EN MATEMÁTICAS EN PISA 2006 Y REALIDAD ARGENTINA

La evaluación PISA 2006 se llevó a cabo en alumnos de 15 años en numerosos países, fundamentalmente los llamados “desarrollados” (OCDE) y otros asociados, ente ellos Argentina.

Para esta nota, se tomaron los resultados en matemáticas, pero se lo hizo a modo de ejemplo, ya que los resultados en Ciencias y Lectura son similares

El objetivo es mostrar en forma cuantitativa la “dramática realidad educativa” argentina, o sea el bajísimo nivel de rendimiento escolar (NO podemos esperar alguna explicación oficial, ya que ante otras situaciones, solo hubo silencio). Las causas del mismo no corresponden a esta nota, pero tal vez los factores más importantes estén fuera del sistema educativo.

PISA toma como referencia la muestra de todos los países que toman parte en la evaluación y sitúa la media global en 498 con una desviación típica de 91,5.

Para medir la competencia en matemáticas PISA 2006 propone 6 niveles de rendimiento, mediante los cuales se describe el grado de competencia alcanzado por los y las estudiantes. A éstos se añade un nivel inferior que encuadra al alumnado que no alcanza la puntuación correspondiente al primer nivel.

La definición de estos niveles permite, por un lado, asignar a cada alumno o alumna una puntuación específica en función de los ítems que ha respondido correctamente; por otro lado, sirve para describir qué tipo de tareas es capaz de realizar en cada nivel. Para la construcción de estos niveles se asigna a los ítems una puntuación que está en la misma escala que la puntuación obtenida por el alumnado. Posteriormente se establecen 6 niveles en orden ascendente de dificultad a los que se le asigna la puntuación correspondiente, teniendo en cuenta que entre cada nivel se mantiene una distancia de 62 puntos.

Las habilidades correspondientes a cada uno de estos niveles se pueden entender como la descripción de competencias matemáticas que son necesarias para que un alumno o alumna alcance la puntuación correspondiente a ese nivel.

Son las siguientes:
Descripción de competencias en cada nivel de alfabetización matemática
RENDIMIENTO DE LOS ALUMNOS EN MATEMÁTICAS
Los niveles de competencia que se manejan para las matemáticas en PISA 2006 son los mismos que los establecidos para las matemáticas cuando esta materia fue el área principal de evaluación en PISA 2003.
El proceso seguido para establecer niveles de competencia en matemáticas es similar al descrito detalladamente en el capitulo 2. En matemáticas hay seis niveles de competencia.

Competencia en el Nivel 6 (más de 669,3 puntos)
Los alumnos competentes en el Nivel 6 de la escala de matemáticas son capaces de llevar a cabo pensamientos y razonamientos matemáticos avanzados. Estos alumnos pueden aplicar su entendimiento y conocimiento, así como su dominio de las operaciones y relaciones matemáticas simbólicas y formales, con el fin de desarrollar nuevos enfoques y estrategias para afrontar situaciones novedosas. Los alumnos de este nivel pueden formular y comunicar con precisión sus actos y reflexiones, relativos a sus averiguaciones, interpretaciones, argumentaciones, y su adecuación a las situaciones originales.
En el área de la OCDE, una media del 3,3 % de los estudiantes alcanza el Nivel 6. En Corea, el 9,1 % de los alumnos esta en este nivel, y el 6 % o mas en la Republica Checa, Finlandia, Bélgica y Suiza. Las economías asociadas Taipei chino y Hong Kong-China tienen un 11,8 y 9,0 % en este nivel, respectivamente.
Como contraste, el 0,1 % de los alumnos de México alcanza el Nivel 6, y en los países asociados Colombia, Túnez, Indonesia, Kirguizistán y Jordania el porcentaje es aun menor.
Porcentaje de España 1,2%
Porcentaje de Argentina 0,1%
O sea que en España hay doce veces más en porcentaje de alumnos que alcanza este nivel

Competencia en el Nivel 5 (puntuaciones superiores a 607,0 puntos, pero inferiores o iguales a 669,3 puntos)
Los alumnos competentes en el Nivel 5 en la escala de matemáticas pueden desarrollar modelos y trabajar con ellos en situaciones complejas, identificando los condicionantes y especificando los supuestos. Son capaces de seleccionar, comparar y evaluar estrategias adecuadas de solución de problemas para enfrentarse a problemas complejos relacionados con estos modelos. Los alumnos de este nivel pueden trabajar estratégicamente utilizando habilidades de pensamiento y de razonamiento bien desarrolladas, así como representaciones adecuadamente relacionadas, caracterizaciones simbólicas y formales, e intuiciones relativas a estas situaciones.
En el área de la OCDE, una media del 13,4 % de los alumnos es competente en los Niveles 5 o 6. Con un 27,1 %, Corea es el país de la OCDE con el mayor porcentaje de alumnos en estos dos niveles. Finlandia, Suiza, Bélgica y Países Bajos tienen más de un 20 % de alumnos en estos niveles, y las economías asociadas Taipei chino y Hong Kong-China tienen un 31,9 y un 27,7 %, respectivamente.
Salvo en México y Turquía, al menos el 5 % de los alumnos de cada país de la OCDE alcanza el Nivel 5.
Porcentaje de España en el Nivel 5: 6,1%
Porcentaje de Argentina en el Nivel 5: 0,9
En la Argentina el porcentaje de alumnos que alcanzan los dos niveles superiores, apenas es de 1%

Competencia en el Nivel 4 (puntuaciones superiores a 544,7, pero inferiores o iguales a 607,0 puntos)
Los alumnos competentes en el Nivel 4 de la escala de matemáticas pueden trabajar eficazmente con modelos explícitos para situaciones complejas concretas que pueden conllevar condicionantes o exigir la formulación de supuestos. Son capaces de seleccionar e integrar distintas representaciones, incluyendo las simbólicas, asociándolas directamente a situaciones de la vida real. Los alumnos en este nivel pueden utilizar habilidades bien desarrolladas y razonar de forma flexible, con cierta perspicacia, en estas situaciones.
En el área de la OCDE, una media del 32,5 % de los alumnos es competente en el Nivel 4 o superior (esto es, en los Niveles 4, 5 y 6). En Corea, Finlandia y las economías asociadas Taipei chino y Hong Kong-China, la mayoría de los alumnos se encuentra en este nivel. En Suiza, Países Bajos, Bélgica, Canadá, Japón y Nueva Zelanda, así como en el país asociado Liechtenstein y en la economía asociada Macao-China, mas del 40 % de alumnos lo esta. No obstante, en México, Turquía, Grecia, Italia, Portugal, Estados Unidos y España, así como en la mayoría de las economías o piases asociados, menos de una cuarta parte de los alumnos alcanza el Nivel 4. Porcentaje de España para los tres niveles superiores: 24,1%
Porcentaje de Argentina para los tres niveles superiores: 4,8%, o sea que menos de uno de cada veinte llegó a los tres niveles superiores.

Competencia en el Nivel 3 (puntuaciones superiores a 482,4 pero inferiores o iguales a 544.7 puntos)
Los alumnos en el Nivel 3 de la escala de matemáticas pueden llevar a cabo procedimientos descritos de forma clara, incluyendo aquellos que requieren decisiones secuenciadas. Son capaces de seleccionar y aplicar estrategias de solución de problemas simples. Los alumnos en este nivel saben interpretar y utilizar representaciones basadas en diferentes fuentes de información. Pueden también elaborar breves escritos exponiendo sus interpretaciones, resultados y razonamientos. En el área conjunta de la OCDE, una media del 56,8 % de los alumnos son competentes, al menos, en el Nivel 3 (es decir, Niveles 3, 4, 5 y 6) en la escala de matemáticas (Figura 6.19 y Tabla 6.2a). En 6 de los 30 países de la OCDE (Finlandia, Corea, Canadá, Países Bajos, Suiza y Japón), y en las economías o países asociados Hong Kong-China, Taipei chino, Macao-China y Liechtenstein, mas del 67 % de alumnos de 15 anos son competentes al menos en el Nivel 3.
Porcentaje de España para los cuatro niveles superiores: 50,3%
Porcentaje de Argentina para los cuatro niveles superiores: 15,4% , o sea que un 84,6% está en las últimas categorías.

Competencia en el Nivel 2 (puntuaciones superiores a 420,1, pero inferiores o iguales a 482,4 puntos)
Los alumnos competentes en el Nivel 2 de la escala de matemáticas saben interpretar y reconocer situaciones en contextos que solo requieren una inferencia directa. Pueden extraer información pertinente de una sola fuente y hacer uso de un único modelo de representación. Los alumnos en este nivel pueden emplear algoritmos, formulas, procedimientos o convenciones elementales. Son capaces de realizar razonamientos directos e interpretaciones literales de sus resultados. Este nivel representa el nivel de referencia de la competencia matemática en la escala de PISA en el cual los alumnos comienzan a demostrar las habilidades de conocimiento necesarias para utilizar las matemáticas de forma activa, habilidades consideradas fundamentales para su futuro desarrollo y empleo de las matemáticas. En el área de la OCDE, una media del 78,7 % de los alumnos es competente en el Nivel 2 o superior. En Finlandia y Corea, y en la economía asociada Hong Kong-China, mas del 90 % de los alumnos se encuentra en este umbral o por encima de el.
En todos los países de la OCDE, salvo Portugal, Grecia, Italia, Turquía y México, al menos el 70 % de los alumnos esta en el Nivel 2 o superior.
En España el 75,7% alcanzó al menos este nivel, en Argentina el 35,9%

Competencia en el Nivel 1 (puntuaciones superiores a 357,8, pero inferiores o iguales a 420,1 puntos) o inferior
Los estudiantes competentes en el Nivel 1 saben responder a preguntas relacionadas con contextos que les son conocidos, en los que esta presente toda la información pertinente, y las preguntas están claramente definidas. Son capaces de identificar información y de llevar a cabo procedimientos rutinarios, con instrucciones directas en situaciones explicitas. Saben realizar acciones obvias que se deducen inmediatamente de los estímulos presentados.
Los alumnos con resultados inferiores a 357,8 puntos –esto es, con un nivel inferior al Nivel 1– normalmente no son capaces de resolver con éxito el tipo de matemáticas más básicas que PISA pretende medir. Su patrón de respuestas en la evaluación es tal, que según el podrían responder tan solo a menos de la mitad de las tareas de una prueba compuesta por ejercicios del Nivel 1 exclusivamente. Estos alumnos tendrán serias dificultades para utilizar las matemáticas como herramienta efectiva para beneficiarse de nuevas oportunidades educativas y de aprendizaje a lo largo de sus vidas.
En el área de la OCDE, una media del 13,6 % de los alumnos tiene una competencia del Nivel 1, y el 7,7 % aun inferior a este nivel, pero hay grandes diferencias entre países. En Finlandia y Corea, así como en la economía asociada Hong Kong-China, menos del 10 % de los alumnos se encuentra en el Nivel 1 o inferior.
En el resto de países de la OCDE, el porcentaje de alumnos que están en un nivel inferior al Nivel 1 varía desde el 10,8 % en Canadá hasta el 56,5 % en México.
En España alcanza un máximo del nivel 1 el 24,7%, en Argentina el 64,1%, o sea ¡¡Dos de cada tres alumnos!!



Para acceder al informe completo ir a
http://www.oecd.org/document/51/0,3343,en_32252351_32235731_39732595_1_1_1_1,00.html

PISA y la evaluación de las matemáticas

Resumen:
Se presentan tres cuestiones matemáticas como pretexto para analizar el papel del
«realismo» (en énfasis en la aplicabilidad de las matemáticas a las situaciones de la vida cotidiana) en el contexto de las pruebas PISA.

UN PROBLEMA ELEMENTAL
Consideremos el siguiente problema elemental, que hemos creado para esta ocasión:
Vamos a comprar azulejos de dos tipos, A y B, en unas cantidades determinadas por la obra que estamos haciendo (una reforma de la cocina de la casa, por ejemplo, que requiere azulejos en el suelo y en las paredes).
Los del tipo A cuestan (impuestos incluidos) 15 euros/m2, esto es, la tercera parte que los del tipo B, que cuestan 45 euros/m2. Necesitamos comprar 10 m2 del tipo A y 15 m2 del tipo B. En un comercio hay una oferta y nos hacen una rebaja del 15% en los del tipo A y del 10% en los del tipo B. En otro comercio, con los mismos precios para los distintos tipos de azulejo, la rebaja que aplican es, simplemente, del 12% del gasto global que hagamos.
¿Dónde resultará más económico realizar la compra?
El planteamiento de problemas de este tipo tiene un aire inequívocamente decimonónico, aunque aquí hablemos de euros y no de céntimos ni pesetas. Se trata de problemas que hoy, como antaño, pretenden referirse a situaciones de la vida «real», en las que el ciudadano tiene que (o tendría que) usar las matemáticas aprendidas en la enseñanza obligatoria. Esto es, son problemas que buscan plantear situaciones prácticas en las que la formación matemática recibida por una persona se revele necesaria (y suficiente), no sólo para encadenar una serie de operaciones aritméticas elementales, sino también –y sobre todo– para tener un estado de ánimo dispuesto a enfrentarse con la información numérica, para considerarse con la capacidad necesaria para ordenarla y estructurarla y para tener la seguridad de que los resultados obtenidos van a permitir a esa persona elegir la opción más ventajosa para su bolsillo.

El problema que aparece arriba, trivial y de corte tradicional para nuestro país, no es una de las cuestiones, mucho más sofisticadas en ocasiones, propuestas en las pruebas PISA. Pero puede analizarse desde ese prisma. Así, cuando PISA 2003 habla de competencias matemáticas, se refiere a identificar y comprender el papel que las matemáticas desempeñan en el mundo, realizar razonamientos bien fundados y usar e implicarse en las matemáticas en aquellos momentos en los que se presenten necesidades en la vida de cada individuo como ciudadano constructivo, comprometido y reflexivo.

Ahora bien, comprender el papel de las matemáticas conlleva, en particular, saber que el resultado de una serie de cálculos y disquisiciones –como las que hacen falta para resolver el problema de la rebaja en el precio de los azulejos– no será, simplemente, una satisfacción para la mente, sino que va a tener unas consecuencias para nuestra economía. También podemos decir que utilizar e involucrarse en las matemáticas significa que, ante una serie de datos numéricos (los metros cuadrados y el precio de cada tipo de azulejo, el porcentaje de descuento, etc.), la competencia matemática adquirida nos va a proporcionar el ánimo suficiente para tratar de abordar el problema por nuestros propios medios. Finalmente, realizar razonamientos bien fundados puede referirse, en este contexto, a la capacidad para plantear y efectuar adecuadamente la secuencia de operaciones que deben conducir a la solución del dilema sobre ¿dónde resultará más económico realizar la compra? Así pues, podemos concluir que se trata de un problema que podría medir, en cierto modo, algunos aspectos del tipo de competencia matemática de la que se habla en PISA.

Ignoro cuál sería el porcentaje de estudiantes españoles, al término de su educación obligatoria, que resolverían correctamente este problema. Ignoro, asimismo, el porcentaje de compatriotas adultos que se atrevieran a intentar solucionarlo y que, finalmente, lo lograran.

Desde luego, una forma de abordar el problema consiste en calcular el precio bruto de los azulejos del tipo A en la primera tienda (15 euros/m2 x 10 m2 = 150 euros) y del tipo B (45 euros/m2 x 15 m2= 675 euros). Luego restamos el descuento correspondiente (15% de 150 euros + 10% de 675) resultando 735 euros. En el caso de la segunda tienda tendremos que el coste global es de 150 + 675 = 825 euros, a los que tendremos que restar el 12%, arrojando un total de 726 euros, por lo que es éste el comercio que ofrece más ventajas.

UN PROBLEMA DE PISA 2000
Un segundo problema que quisiera proponer a la consideración del lector es el siguiente (INECSE, 2004, pp. 55-56). Se muestra un gráfico velocidad/espacio con la velocidad de un coche de carreras en una pista llana, de 3 Km. de longitud, durante la segunda vuelta.
FIGURA I
Las preguntas que el alumno debe contestar en este caso son del tipo ¿cuál es la distancia aproximada desde la línea de salida hasta el comienzo del tramo recto más largo que hay en la pista? O del tipo siguiente: Aquí están dibujadas cinco pistas: ¿En cuál de estas pistas se condujo el coche para producir el gráfico de velocidad mostrado anteriormente?
FIGURA II
S: Línea de salida
Parece evidente que esta situación ya no tiene el aroma decimonónico del problema de la primera sección. No sólo porque no era posible, en aquella época, hablar de coches de carreras, sino porque el análisis cualitativo (nótese que el problema no incluye el dato preciso de la función v=f(e), cuyo grafo se supone que está representado en la figura I) de gráficas no se consideraba parte de las competencias matemáticas básicas. Hoy día, ciertamente, la mayoría de los ciudadanos estamos en contacto, a través de los medios de comunicación, con imágenes y argumentos de este tipo.

La solución de las dos cuestiones que hemos planteado en este punto podría ser la siguiente. En primer lugar, parece razonable suponer que un coche de carreras mantiene la velocidad más alta durante los tramos rectos, mientras que baja en cada curva. Así pues, según la figura I, el circuito ha de tener tres curvas, siendo la más acusada la segunda que aparece tras el paso por la línea de salida. Además el tramo recto que incluye a la línea de salida parece el más corto (como se aprecia en la figura I, si unimos el final y el principio de la gráfica). Por tanto el circuito B de la figura II podría ser el modelo adecuado para esta situación. Por otra parte parece que, en la figura I, el coche comienza a acelerar a los 1,5 km. del punto de salida para alcanzar el tramo más largo de velocidad alta; luego esta puede ser la distancia desde la salida al tramo recto más largo de la pista.

En este caso sí es posible conocer cómo han resuelto los alumnos españoles de 15 años estas dos cuestiones. La respuesta correcta a la pregunta ¿En cuál de estas pistas se condujo el coche para producir el gráfico de velocidad mostrado anteriormente? fue obtenida sólo por un 23% de alumnos españoles, frente a un 28,3% de media en la OCDE. Análogamente, hubo sólo un 65% de respuestas correctas de los alumnos españoles, frente a un 66,9% de media en la OCDE, para la pregunta ¿Cuál es la distancia aproximada desde la línea de salida hasta el comienzo del tramo recto más largo que hay en la pista?

UNA PREGUNTA DE PISA 2003
Una tercera y última cuestión, esta vez de las pruebas PISA 2003 (INECSE 2005, p. 36) que quisiera comentar someramente y resumiendo algo su enunciado, pregunta cuáles de la siguientes figuras tienen perímetro menor o igual que 32 metros.
FIGURA III
La respuesta correcta es «las figuras A, C, D», y fue obtenida por un 12,9% de alumnos españoles, frente a un 20% de media de la OCDE. Para aceptar las figuras A, C y D como solución, se ha de observar que la suma de las longitudes horizontales de los tramos de una escalera coincide con la longitud horizontal total, medida desde el inicio hasta el fin de la misma; lo mismo sucede con la suma de las alturas de los escalones, que ha de coincidir con la altura total de la escalera. Además, se puede apreciar que, para descartar el caso B, la longitud de una línea oblicua (tal como una escalera de mano apoyada en el suelo y contra una pared) es mayor que la de una línea recta que tenga la misma base y alcance la misma altura.

LA CRECIENTE IMPORTANCIA DE LAS COMPETENCIAS PARA LA VIDA
¿Qué podemos decir sobre PISA y la evaluación de las matemáticas, en vista de estas cuestiones y de los resultados obtenidos por nuestros alumnos?

En primer lugar, podemos señalar que todas estas cuestiones pretenden medir las capacidades de analizar, razonar y comunicar eficazmente, puestas en juego por los estudiantes en situaciones usuales de la vida cotidiana que involucran matemáticas; y no sólo, ni principalmente, en conocer cuáles contenidos del currículo han aprendido.

Es importante subrayar la doble negación («no sólo, ni principalmente…») de la última frase, porque está en línea con la interpretación rupturista que algunos colectivos están haciendo, en nuestro país, de la evaluación de las matemáticas en PISA. Esta interpretación viene a decir que, tradicionalmente, en el sistema escolar nos hemos limitado a medir lo que el alumno «sabe»; ahora PISA está midiendo lo que realmente «sabe hacer»… y por eso obtenemos resultados tan pobres.

No es un hecho aislado. De un tiempo a esta parte parece plantearse, implícitamente, una minusvaloración del contenido curricular (esto es, de la organización del aprendizaje a través de unos ítems concretos en un programa) y una sobrevaloración de los objetivos finales y generales del currículo, tales como la adquisición de competencias para enfrentarse a problemas de la vida cotidiana, de modo que esta noción va ganando, aceleradamente, terreno entre determinados sectores de la comunidad educativa. Resulta curioso observar, a título de ejemplo, que el currículo de la ESO y el de Bachillerato de mi propia comunidad autónoma (posiblemente no muy dispar del de otras muchas), publicado en 2002, sólo menciona dos o tres veces la palabra «competencias», y, estas pocas menciones están limitadas al ámbito de la enseñanza de la lengua o de los idiomas.

Mientras, el borrador de la LOE (MEC, 2005) incluye la palabra «competencia» al menos medio centenar de veces. En el mismo sentido podemos observar cómo la Ley de Calidad de la Educación (BOE, 2002) incluye sólo cuatro veces la expresión «competencias básicas», frente a las más de 30 apariciones de esa expresión en la LOE.

Dejando al margen la influencia en este asunto del cambio de partido político en el Gobierno (menor en la práctica de lo que se piensa), a lo largo de los últimos años, hay un doble argumento para explicar esta tendencia. La necesidad de armonizar los sistemas educativos europeos plantea, ante la imposibilidad de hacer concordar los currículos, el ineludible establecimiento de unos niveles de referencia respecto de lo que los alumnos deben acabar «sabiendo hacer», con independencia de cómo y en qué orden y de qué manera lo hayan aprendido en cada país. Por otro lado, el logro de la competencia matemática para enfrentarse a situaciones reales se presenta como algo objetivo y objetivamente deseable, muy por encima de la organización de los contenidos curriculares que se adopte en un país y momento dado, frecuentemente sesgada o lastrada por el peso de las tradiciones, personalidades y escuelas dominantes en cada circunstancia.

Creemos que se trata de una noble ilusión. No sólo porque el currículo tradicional de matemáticas vigente incluye, desde hace años, como proyecto fundamental, la adquisición de esas competencias en situaciones problemáticas cercanas al alumno (con otra terminología distinta, pero concomitante, tal como «destrezas» en vez de «competencias»), sino porque también incluye ya, como criterio de evaluación, diversas referencias explícitas a la consecución de las competencias matemáticas básicas (ya sea con esta terminología o con otra distinta). El problema es que el sistema educativo no sabe (o no ha sabido, o no ha podido, o no ha querido hasta ahora) hacerlo mejor. Y la situación no va a cambiar, simplemente, porque enfaticemos, tras los resultados de PISA 2003, que nuestros alumnos deberían adquirir, en la medida que nosotros desearíamos, esas competencias. ¿Cómo lograrlo? Más horas de matemáticas, una metodología más activa, una recuperación del enfoque preconizado por la LOGSE y que nunca pudo realmente llevarse al aula –por falta de recursos, por vaivenes políticos–, etc. son algunas de las soluciones reiteradamente propuestas. Sin embargo, no son, en absoluto, propuestas nuevas y no es evidente que las circunstancias actuales permitan su implementación generalizada.

REALISMO COMO MANIERISMO
Pero no es sólo una ilusión esta reivindicación de una enseñanza de las matemáticas «basada en competencias» como método novedoso para mejorar, en el futuro, los resultados de PISA. Lo es también, en mi opinión, la percepción de que la competencia matemática es algo objetivo y objetivamente evaluable mediante pruebas como las que se incluyen en PISA.

Es cierto que nuestros alumnos aprenden, en general, unas matemáticas tamizadas por el contexto escolar y que responderían mucho mejor si las pruebas se refiriesen a los tipos de problemas y cuestiones que acompañan habitualmente a la enseñanza de los distintos contenidos del programa. Los alumnos, en el caso más favorable, saben de lo que han aprendido, pero –salvo excepciones notables– sólo en el mismo contexto en el que lo han aprendido.

También es cierto que la enseñanza escolar (y universitaria) de las matemáticas está alejada de «las situaciones usuales de la vida cotidiana que involucran matemáticas» a las que hacíamos referencia antes.

No es obvio el que, para aprender a resolver «las situaciones usuales de la vida cotidiana que involucran matemáticas», deba enseñarse de un modo radicalmente diferente (mientras se mantengan las condiciones actuales en el sistema educativo).

Es posible que un esfuerzo poco meditado de aproximación, desde el sistema educativo, hacia «las situaciones usuales de la vida cotidiana que involucran matemáticas», acabe contextualizando las mismas como ejercicios escolares alejados de la vida real.

De este modo, es posible que, contradictoriamente, se acaben adquiriendo menos competencias –que con la enseñanza actual– para enfrentarse, fuera del marco escolar, a los problemas reales.

En efecto, el pretendido «realismo» matemático de muchas de las pruebas PISA es una suerte de manierismo, una peculiar –aunque atractiva– interpretación escolar de la realidad, pero, a veces, tan alejada de ella como los problemas de grifos y obreros que eran tradicionales para el aprendizaje de las reglas de tres (directa e inversa) hace 50 años.

Por ejemplo, en la primera cuestión con la que abríamos este artículo, es evidente que un ciudadano, en la vida cotidiana, resolvería la pregunta allí planteada simplemente solicitando en cada tienda el presupuesto correspondiente y comparando las dos cifras obtenidas. También es evidente que, en la segunda cuestión, cualquier artículo periodístico sobre una carrera de coches va a ofrecer, como dato más relevante, el trazado del circuito (mucho antes que el gráfico velocidad/espacio), con el que un aficionado al motor va a poder responder directamente a las preguntas planteadas. Y, en lo que se refiere a la tercera pregunta, el propio informe PISA reconoce que se trata de un ítem en un contexto educativo.

Las matemáticas, como es bien conocido, están cada vez más presentes, pero también más ocultas, en la vida cotidiana de los países avanzados. Se trata de algo parecido a lo que ocurre con la mecánica automovilística popular: ahora hay más coches y se usan más que nunca, pero las oportunidades para que un ciudadano ejerza, en la práctica, su competencia sobre mecánica del automóvil, ha disminuido (afortunadamente): los coches tienen menos averías y las que se producen no pueden resolverse con unos conocimientos básicos.

Creo que sería muy interesante conocer el resultado de las pruebas PISA sobre una población de ciudadanos adultos, inequívocamente «constructivos, comprometidos y reflexivos», para valorar en su justa medida los resultados alcanzados por nuestros adolescentes. Estoy seguro de que, si se hiciera ese experimento, la valoración de la sociedad hacia su sistema educativo sería bien distinta. Hace tiempo realicé una pequeña encuesta a un colectivo de catedráticos de universidad (ciudadanos constructivos, etc.) de variadas disciplinas (no científicas) sobre su capacidad para hallar el valor de la suma de las fracciones 1/3+1/6, una competencia que asumimos con toda naturalidad como integrante de la enseñanza obligatoria. Sin embargo, la mayor parte de estos ciudadanos, sin duda reflexivos, no era capaz de abordar el problema ni, mucho menos, de resolverlo.

Es algo natural: no hay que escandalizarse, sino reflexionar sobre el papel real de las matemáticas en la enseñanza obligatoria. Tal vez, en el fondo, la valoración de PISA se ve sesgada en función de la proximidad de la tradición de la enseñanza de las matemáticas de un país a la tradición de la enseñanza de las matemáticas «realistas», una transposición escolar de la realidad tan interesante como otra cualquiera, pero nada más.

UNA REVISIÓN DE LAS CUESTIONES PLANTEADAS
Sin embargo, es necesario mejorar la competencia matemática de nuestros alumnos, aunque no lleve el marchamo utilitario (alfabetizador) que PISA presenta como banderín de enganche. Desde luego, se puede lograr proporcionándoles las herramientas matemáticas necesarias para los pequeños problemas matemáticos que se pueden encontrar en el mundo actual, pero, tal vez, en unas disciplinas de educación para la ciudadanía o para la vida social, donde la conexión con la realidad sea mas natural y mas directa. Y, en matemáticas, pero justamente en un sentido contrario al que planteábamos inicialmente.

Reconsideremos la primera cuestión, libres ya de la pretendida utilidad práctica de la misma. Lo interesante, matemáticamente hablando, de esa cuestión es pensar en cómo podemos resolverla de una manera más eficiente que la que se ha detallado en la primera sección de este artículo. Por ejemplo, ¿podemos contestar a la pregunta formulada sin saber exactamente la cantidad de azulejos de cada tipo que tenemos que comprar? ¿Y si sólo recordamos que los del tipo A cuestan un tercio que los del tipo B, pero no sabemos el precio exacto de cada tipo de azulejo? Se trata de encontrar un procedimiento de pre-cálculo, una fórmula en función de ciertos datos que varían fácilmente, con lo que podríamos resolver este mismo problema en unos pocos pasos y en multitud de instancias.

Pero el enfoque algorítmico y el análisis de la complejidad de los mismos, a pesar de las recomendaciones de la Comisión Internacional para la Instrucción Matemática (ICMI) y a pesar de la importancia de los ordenadores en la vida actual, no parece despertar el interés de la comunidad educativa.

En relación con la segunda cuestión, tal vez podamos plantearnos cómo es posible que, entre los puntos kilométricos del circuito 0,4 km. y 0,6 km. el gráfico velocidad/espacio siga un tramo recto, casi como la bisectriz del primer cuadrante.

¿Puede un coche efectuar un recorrido siguiendo cualquier gráfico que dibujemos arbitrariamente? ¿Es realmente posible que un coche actual siga, durante un tramo, una trayectoria próxima a la recta v=e? ¿Es, en definitiva, «realista » el gráfico ofrecido? Si uno tuviera los gráficos de varios coches, ¿cómo podría deducir cuál ha ganado la carrera? Esto es más fácil con un gráfico espacio / tiempo. ¿Cómo obtener éste a partir del gráfico velocidad/espacio? Son estas cuestiones bastante complicadas: tal vez la competencia matemática consista, entre otras cosas, en intuir su complejidad y en no formular, por tanto, un problema, supuestamente elemental, en estos términos.

Por último, sobre la tercera cuestión, podemos imaginar –tratando de resolverla, en un ejercicio mental– que la escalera que forma uno de los lados de la figura A tiene cada vez más peldaños, que empieza en la mitad del lado de arriba, justo donde llega la flecha que aparece en la figura III y acaba en el vértice de abajo a la derecha de la misma, como se muestra en la figura IV.
FIGURA IV
Ya sabemos que la longitud de ese lado, por muchas vueltas que demos, va a ser igual a cinco (dado que empieza en la mitad de un lado de longitud 10), más seis (dado que tiene que descender una altura de seis metros), es decir, 11 metros. Ahora bien, conocemos el teorema de Pitágoras y sabemos que la línea oblicua que va del punto medio del lado de arriba al vértice inferior derecho mide la raíz cuadrada de 52+62, es decir, algo más que 7,8. Y, sin embargo, una escalera de escalones muy pequeños se aproxima, midiendo siempre 11, tanto como queramos a esa diagonal que mide 7,8. ¿Cómo es esto posible?

Tal vez sea en esa trascendencia a los datos concretos y en la capacidad para imaginar situaciones imposibles donde se encuentre, precisamente, la competencia matemática real. Saber qué matemáticas precisa un ciudadano constructivo, comprometido y reflexivo, es mucho más difícil de lo que parece.


Tomás Recio
Universidad de Cantabria
Texto completo en:
http://www.revistaeducacion.mec.es/re2006/re2006_15.pdf

sábado, 15 de noviembre de 2008

Evaluaciones Internacionales de Calidad Educativa. TIMSS

TIMSS PROYECTO INTERNACIONAL DE EVALUACIÓN DEL APRENDIZAJE ESCOLAR EN CIENCIAS
José Antonio Acevedo Díaz
Consejería de Educación de la Junta de Andalucía. Inspección de Educación. Delegación Provincial de Huelva.

EL PROYECTO TIMSS
TIMSS es el acrónimo de Third International Mathematics and Science Study, un proyecto de evaluación internacional del aprendizaje escolar en matemáticas y ciencias realizado por la International Association for the Evaluation of Educational Achievement (IEA), que se aplicó en 1995 (Beaton et al., 1996; Martin et al., 1997; Mullis et al., 1998). Puesto que en 1990 la Asamblea General de la IEA decidió hacer sus evaluaciones de manera regular cada cuatro años, volvió a aplicarse en 1999 con el nombre de TIMSS Repeat (Martin et al., 2000). En el año 2003 cambió su nombre a Trends in International Mathematics and Science Study, pero manteniendo el acrónimo que lo identifica (figura 1), por lo que éste se conoce como TIMSS Trends (Mullis et al., 2002). España participó en 1995 (7º y 8º EGB), pero no lo ha hecho en las dos ocasiones siguientes, excepto la Comunidad Autónoma del País Vasco que sí ha participado en el año 2003.

Las personas que contribuyen al desarrollo de las diversas partes del TIMSS proceden
de todas las áreas de evaluación educativa, incluyendo expertos en el análisis de políticas educativas, educación matemática, educación científica, diseño del currículo, supervisión de la investigación, construcción de pruebas, psicometría, encuestas, muestreo y análisis de datos.
El proyecto TIMSS evalúa el rendimiento de los estudiantes en matemáticas y ciencias
para aprender más de la naturaleza y el alcance del aprendizaje de los estudiantes en estas dos materias, así como del contexto en que ello ocurre. Pretende encontrar factores directamente relacionados con el aprendizaje de los estudiantes en ambas materias que puedan modificarse por la política educativa, tales como el currículo, la asignación de recursos o las prácticas de enseñanza.

Durante el año 2003, TIMSS Trends ha evaluado el rendimiento del alumnado en matemáticas y ciencias en dos cursos: 4º grado (4º de Primaria en España) y 8º grado (2º de ESO en España). Como estos cursos son los mismos que se evaluaron en 1995 y 1999, TIMSS Trends proporciona información de la tendencia a lo largo de un período de ocho años (Martin et al., 2004). Aunque de naturaleza muy distinta, estos datos también pueden servir de complemento a los que proporciona el proyecto internacional PISA de la OCDE, que se aplica a poblaciones de estudiantes de 15 años de edad.

Los resultados de las pruebas del TIMSS Trends se pueden emplear para diversos fines. Los responsables de las políticas educativas y los investigadores académicos obtienen datos generales sobre el rendimiento del alumnado en matemáticas y ciencias que:

· Amplían las evaluaciones realizadas en matemáticas y ciencias iniciadas con el TIMSS 1995 y continuadas con el TIMSS 1999.

· Permiten hacer comparaciones contrastadas del rendimiento en matemáticas y ciencias entre los países participantes y, junto a otros datos que proporciona el TIMSS 2003, sugieren posibles razones para explicar las diferencias encontradas.

· Pueden mejorar la evaluación de la eficacia de la enseñanza y el aprendizaje de las matemáticas y las ciencias en cada país participante.

· Resaltan aspectos del crecimiento de los conocimientos y destrezas matemáticos y científicos desde cuarto a octavo curso.

· Proporcionan información para otros análisis relacionados con la mejora de los niveles de rendimiento en los sistemas educativos, los centros de enseñanza y las prácticas didácticas mediante políticas educativas más y mejor informadas.

El modelo de evaluación curricular del TIMSS
TIMSS parte de la idea de que puede conseguirse una comprensión adecuada de los elementos que influyen en el aprendizaje de las matemáticas y las ciencias mediante un análisis cuidadoso del rendimiento de los estudiantes, las características de éstos, el currículo que siguen, las metodologías didácticas de sus profesores y los recursos disponibles en sus escuelas y aulas. Las características del aula y de la escuela son un reflejo de la comunidad y del sistema educativo, que, a la vez, también son aspectos particulares de la sociedad del país en el que viven los estudiantes.

Para conseguir lo anterior, los diseñadores del TIMSS han establecido un modelo conceptual curricular como amplio factor explicativo que subyace al rendimiento de los estudiantes (Robitaille y Garden, 1996). Desde esta perspectiva, se consideran tres niveles del currículo:

(i) El currículo pretendido, es decir, el que se planifica para la enseñanza.

(ii) El currículo aplicado, esto es, el que se enseña en el aula.

(iii) El currículo logrado, que es el que los estudiantes consiguen aprender.

El currículo pretendido es la respuesta planificada a las finalidades educativas de la sociedad, en general, y de una comunidad educativa, en particular, para la enseñanza
y el aprendizaje escolar; unas metas que reflejan los ideales y las tradiciones sociales
y comunitarias, pero que se ven limitadas por los recursos del sistema educativo. De otro modo, representa lo que la sociedad pretende que aprendan los estudiantes y cómo debería organizarse y planificarse el sistema educativo para facilitar este aprendizaje.

El currículo aplicado se corresponde con lo que realmente se enseña en el aula, con quién lo imparte y cómo lo hace. Aunque se supone que se inspira en la planificación del currículo pretendido, hay que tener en cuenta que lo que sucede en el aula suele responder en gran parte a la actuación del profesor, cuyo comportamiento puede estar muy influido por su formación y experiencia, la naturaleza y estructura orgánica de la escuela, su interacción con los compañeros y las características del alumnado, entre otros factores.

El currículo logrado hace referencia a lo que los estudiantes consiguen aprender y a lo que piensan sobre las materias aprendidas. El rendimiento de los estudiantes depende en parte del currículo aplicado y de su contexto social y educativo, así como de las características de cada estudiante, incluyendo entre ellas su capacidad, actitud, intereses, motivación y esfuerzo.

Con este modelo, TIMSS utiliza pruebas de rendimiento en matemáticas y ciencias para describir el aprendizaje de los estudiantes de los países participantes, además de cuestionarios de contexto que proporcionan una gran cantidad de información. Estos últimos preguntan sobre la estructura y el contenido del currículo pretendido en matemáticas y ciencias, la preparación, experiencia y actitudes de los profesores, los contenidos de matemáticas y ciencias que realmente se imparten, los enfoques didácticos empleados, la organización y los recursos de los centros y las aulas y, por último, las experiencias y actitudes de los estudiantes en los centros docentes.

El conocimiento del currículo pretendido en cada país participante se obtiene en una fase inicial de aplicación del TIMSS a partir de un análisis minucioso de las orientaciones de los documentos curriculares, los libros de texto y otros materiales de apoyo, así como de los cuestionarios respondidos por expertos en educación y especialistas del currículo. Su finalidad es mostrar con detalle las intenciones curriculares de los países participantes.

Los datos para el estudio del currículo aplicado se toman en la fase de aplicación de la evaluación del rendimiento de los estudiantes. Los cuestionarios contestados por el profesorado de matemáticas y ciencias, los estudiantes y los directores de sus escuelas contienen información sobre características del profesorado –formación, experiencia, actitudes y opiniones–, los temas de ciencias y matemáticas que se enseñan y aquellos en los que se pone más énfasis, los enfoques metodológicos empleados en el aula, las estructuras organizativas y los recursos que sirven de apoyo a la enseñanza y los aspectos que facilitan o dificultan ésta y el aprendizaje.

La evaluación del rendimiento de los estudiantes suministra numerosos datos para el estudio del currículo logrado. Por un lado, la información de las características de los estudiantes, sus actitudes, creencias y experiencias se obtiene por medio de los cuestionarios que responde cada alumno participante en el estudio; esta información sirve para identificar los principales rasgos de los estudiantes relativos al aprendizaje y permite establecer un contexto para el posterior análisis de lo que han aprendido. Por otro lado, los resultados de las pruebas aplicadas de matemáticas y ciencias proporcionan información sobre el conocimiento del currículo logrado en cada país, lo que posibilita la elaboración de una amplia base de datos para hacer comparaciones transnacionales del rendimiento de los estudiantes.

Las pruebas del TIMSS
El principio fundamental para elaborar las pruebas de aplicación del TIMSS es la producción de instrumentos de evaluación que generen datos de rendimiento fiables válidos para los fines que se pretenden. A partir de los marcos teóricos expuestos, las pruebas se elaboran mediante un proceso de consenso internacional, con aportaciones de expertos en educación, matemáticas, ciencias y evaluación. Estas pruebas tienen preguntas cerradas de opción múltiple, algunas de respuesta abierta y otras de resolución de problemas. La mayoría de los ítems de las pruebas del TIMSS Trends se centran en un contenido concreto, pero también se necesitan conocimientos o destrezas procedentes de otras áreas de contenidos. Además, determinados temas se han enunciado de forma más general que en ocasiones anteriores y algunos de los ítems de nueva creación exigen a los estudiantes que sinteticen conocimientos y tengan que poner en práctica más de una destreza. En la aplicación del año 2003, se ha hecho más hincapié que otras veces en preguntas y tareas que impliquen destrezas y capacidades analíticas, de resolución de problemas y de investigación.

La evaluación de ciencias del TIMSS Trends aplicada en el año 2003 se basa en dominios de contenido y dominios cognitivos. Los primeros incluyen diversas áreas específicas de las materias de ciencias evaluadas, mientras que los segundos corresponden a las destrezas necesarias para abordar los contenidos de ciencias. En la tabla 1 se indican los porcentajes del tiempo dedicado en la evaluación a ambos dominios. Además de los dominios de contenido señalados, la aplicación del año 2003 también ha incluido la evaluación de la investigación científica como área separada, dedicándose a la misma aproximadamente el 15% del tiempo total de las pruebas.

Los ítems de conocimiento factual son: (i) preguntas de recuerdo y reconocimiento,
(ii) definiciones, (iii) descripciones y (iv) cuestiones de conocimiento sobre el uso de instrumentos y procedimientos de medidas científicas.

Las preguntas de comprensión conceptual requieren: (i) ilustrar con ejemplos, (ii) comparar, contrastar y clasificar, (iii) representar y modelizar, (iv) relacionar, (v) obtener y aplicar información, (vi) encontrar soluciones y (vii) explicar.

Las preguntas de razonamiento y análisis implican: (i) analizar, interpretar y resolver problemas, (ii) asociar, integrar y sintetizar, (iii) formular hipótesis y predecir, (iv) diseñar y planificar, (v) recopilar, analizar e interpretar datos, (vi) sacar conclusiones,
(vii) generalizar, (viii) evaluar y (ix) justificar.

Por último, los dominios de contenido evaluados por el TIMSS Trends, incluyendo la investigación científica, y sus principales áreas temáticas se muestran en la tabla 2.

Evaluaciones Internacionales de Calidad Educativa. PISA

TIMSS Y PISA. DOS PROYECTOS INTERNACIONALES DE EVALUACIÓN DEL APRENDIZAJE ESCOLAR EN CIENCIAS
José Antonio Acevedo Díaz
Consejería de Educación de la Junta de Andalucía. Inspección de Educación. Delegación Provincial de Huelva.
EL PROYECTO PISA

PISA es el acrónimo de Programme for International Student Assessment, un proyecto promovido por la Organization for Economic Cooperation and Development (OECD en inglés; OCDE en castellano) para evaluar el resultado de los sistemas educativos relativo a la formación de los alumnos necesaria para la vida adulta (figura 3). La evaluación se centra en la alfabetización lectora (año 2000), matemática (año 2003) y científica (año 2006). La iniciativa de esta evaluación comparativa transnacional corresponde a los gobiernos de los países miembros de la OCDE y está diseñada para orientar sus políticas educativas.

En las diversas ocasiones en que se ha aplicado PISA hay cuestiones de los tres tipos de alfabetización señalados, pero cada nueve años se pone el acento en un área de conocimiento, a la que se dedica dos tercios del tiempo total de las pruebas de evaluación (OECD, 1999, 2000). Esta actualización de resultados permite a los países participantes hacer un seguimiento cíclico de los progresos conseguidos en cada área.

La evaluación del alumnado que está terminando su escolarización obligatoria es un indicador útil del rendimiento de los sistemas educativos. Aunque la mayor parte de los jóvenes de los países de la OCDE continúa su educación después de los 15 años, esta edad está próxima al final del período de escolarización obligatoria en el cual los estudiantes siguen, por lo general, un currículo básico común. En ese momento de su formación es conveniente determinar los conocimientos y destrezas que han adquirido para desenvolverse en la vida y para la elección de estudios posteriores. En cada país se evalúan entre 4500 y 10000 alumnos de 15 años de edad. PISA ha evaluado durante el año 2003 a 276165 estudiantes, provenientes de 10104 centros, de un total de 42 países: los 30 miembros de la OCDE y otros 12 (OECD, 2003). España ha participado en las dos evaluaciones realizadas hasta ahora (años 2000 y 2003), obteniendo en ambas resultados mediocres (MEC, 2004; OECD, 2001, 2004a,b). Los resultados obtenidos en el año 2003 por España y las tres Comunidades Autónomas que participaron con una muestra ampliada se exhiben en la figura 4, donde también se indican los países con mejor y peor puntuación en cada área evaluada y la media correspondiente a los países de la OCDE.

Los resultados de las evaluaciones PISA, que se publican cada tres años junto a otros indicadores de los sistemas educativos, permiten a los administradores y gestores de la política educativa comparar el funcionamiento de sus sistemas educativos con los de los otros países y tomar decisiones en su ámbito nacional. También pueden ayudar a impulsar y orientar las reformas de la enseñanza y la mejora de los centros educativos, sobre todo en aquellos casos en que se obtienen peores resultados disponiendo de recursos similares. Además, estos resultados también son importantes para mejorar la evaluación y el seguimiento de la eficacia de los sistemas educativos.

PISA no es el único estudio transnacional para comparar el rendimiento del alumnado.
Como se ha mencionado en la sección anterior, durante los últimos 40 años se han realizado diversos estudios, la mayoría de ellos dirigidos por la IEA –como el TIMSS– y por la International Assessment of Educational Progress (IAEP) del Educational Testing Service (ETS). No obstante, estas otras evaluaciones se han centrado en resultados directamente relacionados con el currículo y, por tanto, sólo en aquellas partes de éste que son comunes a todos los países participantes. Por el contrario, el objetivo general del proyecto PISA es conocer la preparación de los estudiantes de 15 años de edad para afrontar los retos cotidianos de la vida adulta. Como PISA no es un proyecto rigurosamente vinculado al currículo, se facilita la comparación de resultados entre países, con independencia de la organización de las enseñanzas que éstos tengan.

El modelo de evaluación del PISA
Los marcos conceptuales del proyecto PISA definen cada una de las áreas que se evalúan –lectura, matemáticas y ciencias–, explican qué y cómo se evalúa y describen el contexto de las evaluaciones, incluyendo las posibles limitaciones que éste impone.

En PISA subyace la idea de un modelo dinámico de aprendizaje a lo largo de toda la vida para adaptarse con más éxito a las circunstancias personales en cada momento. Como es obvio, los estudiantes no pueden aprender en las escuelas todo lo que necesitarán para desenvolverse en la vida como adultos, pero sí deberían adquirir las capacidades necesarias –cognitivas y emotivas– para seguir aprendiendo en el futuro. Por este motivo, se considera deseable que los alumnos sean capaces de organizar y regular su propio aprendizaje, tanto individualmente como en grupo. Para ello, es preciso que lleguen a ser conscientes de sus propios procesos cognitivos, estrategias y métodos de aprendizaje. Así pues, la evaluación de la capacidad de autorregulación en el aprendizaje tiene mucha importancia en el proyecto PISA (OECD, 2003).

La evaluación PISA se ocupa de los procedimientos o destrezas, la comprensión de conceptos y la capacidad para responder a diversas situaciones reales en cada área evaluada. Sin embargo, los conocimientos y las destrezas no se definen, como ocurre en el TIMSS, a partir de los contenidos comunes de los diversos currículos nacionales, sino en función de lo que se considera necesario para la vida cotidiana. A pesar de que las tres áreas que evalúa se corresponden con asignaturas concretas, PISA va mucho más allá de los contenidos curriculares específicos, prestando atención sobre todo a los conocimientos y destrezas relevantes para la vida adulta (Acevedo, 2004).

Por otro lado, PISA también incluye la evaluación de ciertas capacidades transversales que no son específicas de una materia determinada, pero sí son esenciales para los alumnos; por ejemplo, comunicación, adaptación, flexibilidad, resolución de problemas, uso de las tecnologías de la información, etc.

Los indicadores que proporcionan las evaluaciones del PISA están diseñados para lograr una mejor comprensión de hasta qué punto los sistemas educativos de los países participantes prepararan a sus alumnos para continuar aprendiendo a lo largo de sus vidas y puedan tener un papel activo en la sociedad como ciudadanos. Con otras palabras, PISA pretende más la evaluación del rendimiento de los sistemas educativos respecto a sus objetivos subyacentes –tal como los define la sociedad– que con referencia en la enseñanza y el aprendizaje de un cuerpo disciplinar de conocimientos. Esta forma de entender la evaluación es necesaria para estimular a los sistemas educativos y a los centros a enfrentarse a los retos educativos actuales, por lo que es, sin duda, la característica más importante y novedosa del proyecto PISA.

Las preguntas de ciencias del PISA
El tipo de preguntas del proyecto PISA es, en general, distinto al de otros proyectos de evaluación internacional como el TIMSS, los cuales usan sobre todo cuestiones cortas de elección múltiple basadas en conocimientos curriculares. Por el contrario, muchas preguntas del PISA requieren la combinación de diferentes tipos de conocimientos y destrezas y, a veces, la valoración de diversas decisiones para las que no hay una única respuesta correcta.

Algunas cuestiones del proyecto PISA son cerradas, en las que los alumnos sólo tienen que elegir entre varias opciones o dar respuestas relativamente simples que pueden compararse directamente con una respuesta correcta. Otras son preguntas abiertas, en las cuales los alumnos tienen que dar respuestas mucho más elaboradas; de esta forma, se pueden evaluar aspectos más amplios que los que suelen recogerse en otros estudios más convencionales. Una importante innovación de PISA es la evaluación de destrezas de orden superior, lo que suele hacerse mediante preguntas abiertas.

De acuerdo con la definición de la alfabetización científica propuesta en PISA, se establecen tres grandes dimensiones para la evaluación (véase la tabla 3):

1. Destrezas. Los procedimientos científicos necesarios para la resolución de una pregunta o un problema.

2. Conceptos. El conocimiento científico y la comprensión conceptual que se requieren para usar los procedimientos anteriores.

3. Áreas de aplicación del conocimiento. El marco teórico de referencia de los casos o situaciones del mundo real en los que se aplican las destrezas y los conceptos.


En la mayor parte de los casos, las cuestiones de la evaluación se organizan en grupos de preguntas basados en un texto relativo a un mismo asunto, problema o tema, el cual refleja una situación de la vida real. Este formato permite emplear cuestiones que profundizan más en el tema que si cada pregunta introdujera un nuevo contexto. Así, el alumno tiene tiempo suficiente para asimilar el material que se emplea para evaluar distintos aspectos del rendimiento.

En la tabla 4 se muestra una cuestión abierta de ciencias utilizada en la prueba piloto del proyecto PISA realizada antes de su aplicación del año 2000, así como algunas respuestas que dan los estudiantes y la puntuación otorgada a cada una de ellas en la evaluación realizada.

La cuestión presenta una posición que defienden algunas personas: “los trolebuses no contribuyen a la contaminación del aire”. Los alumnos tienen que evaluar la validez de esta afirmación utilizando la información que se suministra en el propio texto y sus conocimientos sobre los productos desprendidos en la combustión del carbón en las centrales eléctricas (OECD, 2000, p. 81; p. 122 de la traducción castellana, 2001). La destreza necesaria para ello es la capacidad para obtener conclusiones válidas, el concepto científico se refiere a transformaciones de la energía y el área de aplicación del conocimiento es la contaminación, correspondiente a “Ciencias de la Tierra y del medio ambiente” (véanse en la tabla 3). La situación del mundo real descrita en la pregunta es la contaminación atmosférica provocada por los autobuses, un asunto controvertido sobre el que los estudiantes deben tomar decisiones razonadas.

Los cuestionarios de contexto del proyecto PISA
Con el fin de encontrar algunas de las principales características asociadas al éxito escolar, el proyecto PISA tiene en cuenta el rendimiento de los alumnos junto con las características de sus centros de enseñanza y sus entornos familiares. Para ello, los alumnos y los directores de los centros educativos responden a cuestionarios sobre su entorno. Estos cuestionarios no son un simple anexo del proyecto PISA, sino que permiten recopilar información del contexto, la cual es muy útil para el análisis de los resultados en función de las características de los alumnos y del centro educativo. También se incluye un cuestionario para obtener información de la capacidad de autorregulación del aprendizaje por parte de los alumnos.

La información contextual recogida en los cuestionarios del alumno y del director del centro educativo abarca sólo una parte de toda la información de este tipo disponible en el proyecto PISA. Los indicadores relativos a la estructura general de los sistemas educativos –sus contextos demográficos y económicos, tales como costes, matrículas, características de los centros educativos y del profesorado…– y al funcionamiento del mercado laboral los desarrolla la OCDE regularmente por otra vía.

En conjunto, los cuestionarios de contexto de PISA proporcionan una completa y detallada base de datos para el análisis, orientado a la política educativa, de los resultados de la evaluación realizada. Junto con la información obtenida mediante otros programas e instrumentos de la OCDE, permiten:

· Comparar diferencias entre los resultados de los alumnos de distintos sistemas educativos y con diversos entornos académicos.

· Comparar diferencias entre los resultados de los alumnos que estudian distintos contenidos curriculares y siguen diversos procedimientos pedagógicos.

· Considerar posibles relaciones entre el rendimiento de los alumnos y los factores organizativos, tales como el tamaño de los centros educativos y los recursos disponibles, así como las diferencias entre países en estos aspectos.

· Examinar diferencias entre países respecto al grado en que los centros educativos reducen o incrementan los efectos de los factores contextuales que influyen en el nivel de rendimiento del alumnado.

· Considerar diferencias entre los sistemas educativos y el contexto nacional respecto a las diferencias en el rendimiento de los estudiantes dentro de cada país.

sábado, 8 de noviembre de 2008

Evaluaciones Internacionales de Calidad Educativa desde sus comienzos.

Este artículo, en forma completa, puede bajarse de ACA, le pertenece a Alejandro Tiana Ferrer

Comienzos de las Evaluaciones
La última década del siglo XX fue testigo de una preocupación creciente por la mejora de la calidad de la educación, tanto en los países desarrollados, como en aquellos que aún estaban en vías de serlo. La presión económica internacional, la expansión del proceso de globalización, la introducción masiva de las nuevas tecnologías de la información y la comunicación, junto con otros fenómenos económicos y sociales de gran impacto, volvieron a atraer la atención hacia la educación, considerada nuevamente como un factor decisivo para asegurar el desarrollo de los pueblos (OECD, 1992). En ese contexto de renovada preocupación educativa, aumentó el interés por evaluar y comparar la situación y los resultados de los sistemas educativos, apareciendo nuevas iniciativas en ese sentido, como la construcción de un sistema internacional de indicadores de la educación, tarea impulsada por la OCDE desde finales de los años ochenta (CERI, 1994).

Siguiendo ese impulso, durante los diez últimos años se han iniciado y puesto en marcha diversos proyectos internacionales de evaluación de la educación, que están dando lugar a informes que cada vez reciben más atención. El caso de la reciente publicación de los resultados del proyecto PISA de la OCDE, que ha producido debates públicos en muy diversos países, es un ejemplo palpable de esa nueva situación (OECD, 2001b). Podría decirse que la evaluación internacional de los resultados de la educación es una tendencia que se ha consolidado en los últimos diez años.

El mundo como un laboratorio educativo: la actuación de la IEA
Y decimos que se trata de una tendencia que se ha consolidado, porque no se puede considerar que sea estrictamente nueva. En efecto, los antecedentes de esta expansión actual se remontan a una época tan lejana en el tiempo como el final de los años cincuenta, cuando un grupo de reconocidos investigadores en educación decidieron crear una asociación internacional para evaluar los resultados de los sistemas educativos. Así es como se constituyó la International Association for the Evaluation of Educational Achievement (IEA), tras una primera reunión celebrada en 1958 en el Instituto de Educación de la UNESCO en Hamburgo (Tiana, 2001).

La propuesta de aquellos investigadores consistía en realizar estudios internacionales del rendimiento educativo, adoptando para ello una perspectiva comparada. Desde su punto de vista, los estudios comparativos de los sistemas educativos debían tomar necesariamente en consideración los resultados que conseguían los estudiantes, cosa que no siempre ocurría. Aunque no menospreciaban las iniciativas centradas en el análisis comparado de aspectos tales como los recursos disponibles o las condiciones en que se desarrolla la enseñanza, consideraban que la evaluación de un sistema educativo debía basarse en la emisión de juicios rigurosos sobre los resultados alcanzados por los alumnos.

No obstante, aquel grupo de investigadores que constituyó la IEA no quería limitarse a medir y comparar los resultados educativos conseguidos por los estudiantes, sino que pretendía explicarlos de manera convincente. Además de calcular y valorar los resultados, querían identificar los principales factores capaces de explicar las diferencias de rendimiento encontradas y analizar de qué modo interactuaban entre sí. Esa explicación constituía, en última instancia, la base para diseñar cualquier acción de mejora de la educación, que era lo que realmente les preocupaba.

Fue ese el contexto en que surgió la idea de considerar el mundo como un laboratorio educativo (Purves, 1993). La idea es ciertamente simple, pero hay que reconocer que fue una idea feliz. Se basa en la explotación de la variación natural que existe entre los sistemas educativos, cuando se pretende explicar sus resultados. Frente al caso de otros campos científicos, donde se pueden aplicar procedimientos experimentales para estudiar el efecto de determinadas condiciones o intervenciones, en el ámbito educativo es muy complicado, e incluso para muchos éticamente discutible, seguir procesos estrictamente experimentales. Los investigadores suelen recurrir a otro tipo de métodos, en muchos casos empíricos, pero pocas veces experimentales en sentido estricto. A pesar de esa dificultad, hay que tener en cuenta que los sistemas educativos difieren notablemente entre sí, con una variación que podemos considerar natural (aunque, en realidad, puede argumentarse que deriva en buena medida de su historia y de las condiciones de su entorno), circunstancia que puede permitir extraer conclusiones interesantes aplicando una metodología comparativa.

De acuerdo con esa concepción, los sistemas educativos deben ser considerados como sistemas complejos, formados por escuelas, clases, profesores, estudiantes y comunidades. Cada sistema tiene algunos rasgos distintivos propios, mientras que otras de sus características son comunes. Por lo tanto, sería teóricamente posible comparar los resultados conseguidos por los estudiantes, controlando en la medida de lo posible las variables diferenciales que intervienen en el rendimiento. Ese tipo de comparación permitiría analizar y valorar la influencia de dichos factores, contribuyendo a explicar sus efectos respectivos. Así, podrían valorarse las consecuencias de los diversos modos de diseño y desarrollo curricular, la integración o segregación de los alumnos en vías académicas alternativas, los modelos de formación del profesorado o la interacción didáctica en el interior del aula, por no citar sino algunos factores frecuentemente estudiados. Sin necesidad de introducir cambios en un sistema educativo determinado, lo que no siempre resulta posible, sencillo ni conveniente, la existencia de esa variación natural permitiría analizar y valorar el efecto de los principales factores asociados con el rendimiento. Esa es, en síntesis, la concepción del mundo como laboratorio educativo, que la IEA difundió entre los investigadores de la educación.

Esa idea directriz sirvió de esquema básico para diseñar y poner en marcha los primeros estudios emprendidos por la IEA, entre los que destacan el primer Estudio de Viabilidad (Feasibility Study), de carácter piloto y desarrollado entre 1959 y 1962 en doce sistemas educativos el Primer Estudio Internacional de Matemáticas (First International Matematics Study – FIMS), que se llevó a cabo entre 1959 y 1967; el Estudio de Seis Materias (Six-subject Survey), iniciado en 1966 y finalizado a comienzos de los setenta; y el Segundo Estudio Internacional de Matemáticas (Second International Matematics Study -SIMS), realizado entre 1964 y 1967. Posteriormente, durante los años setenta y ochenta, la IEA desarrolló el Estudio del Entorno Escolar (Classroom Environment Study, 1978-1981), el Estudio Internacional de Composición Escrita (International Study of Achievement in Written Composition, 1980-1986), y el Segundo Estudio Internacional en Ciencias (Second International Science Study – SISS, 1980-1987). Ya en los noventa llevaría a cabo el ciclo conocido como Tercer Estudio Internacional de Matemáticas y Ciencias (Third International Matematics and Science Study – TIMSS), el ciclo sobre Comprensión Lectora (Reading Literacy Study y Progress in Reading Literacy Study – PIRLS), el ciclo de estudios sobre Tecnologías de la Información en Educación (Computers in Education y Second Information Technologies in Education Study – SITES), el estudio sobre Educación Preescolar (Pre- Primary Education) y el estudio sobre Educación Cívica (Civic Education).

Este conjunto de trabajos, que ha dado lugar a una amplia serie de informes y publicaciones (Degenhart, 1990), ha proporcionado una valiosa información sobre el nivel comparativo de rendimiento de los sistemas educativos, por una parte, y sobre las variables asociadas a los resultados, por otra. Para permitir tales logros, la IEA ha aplicado una metodología básicamente cuantitativa, que presenta tres rasgos característicos:

a) En primer lugar, la IEA ha aplicado procedimientos estandarizados de evaluación, consistentes fundamentalmente en pruebas de rendimiento de los alumnos y cuestionarios dirigidos a profesores, directores escolares y a los propios alumnos. En ocasiones ha aplicado otros procedimientos, tales como realización de tareas prácticas (performance tasks) o técnicas cualitativas (estudios de caso, por ejemplo), pero insistiendo siempre en su carácter estandarizado. La recogida de datos por medio de dichos instrumentos permite aplicar técnicas de análisis rigurosas, respetuosas de las condiciones de una comparación fiable y válida. Con el paso de los años, los procedimientos concretos de recogida y análisis de datos han ido variando, esforzándose siempre por mantener su carácter innovador.

b) En segundo lugar, los estudios de la IEA se han basado en marcos conceptuales centrados en el currículo escolar. Ese modo de actuar ha estado motivado por la voluntad de realizar estudios que pudiesen ofrecer orientaciones para la mejora de los sistemas educativos de los países participantes. En consecuencia, los resultados que se pretende valorar deben guardar relación con los objetivos establecidos para las diversas etapas educativas. Esa decisión condujo a la elaboración de una distinción que ya se ha convertido en clásica entre currículo prescrito, impartido y alcanzado (Pelgrum, 1989), así como al desarrollo del concepto de oportunidad de aprender, que ha inspirado muchos trabajos e investigaciones (Anderson, 1991).

c) En tercer lugar, la IEA se ha esforzado por conseguir que los instrumentos de evaluación aplicados estuviesen libres de sesgos culturales, idiomáticos o de otro tipo. Para alcanzar ese objetivo ha basado sus estudios en análisis curriculares previos, capaces de permitir la elaboración de instrumentos adecuados a la diversidad internacional de situaciones escolares, ha desarrollado procedimientos cooperativos de construcción de pruebas, en la que colaboran todos los países participantes, y ha establecido criterios rigurosos para la traducción de los instrumentos elaborados a las diversas lenguas.

Los estudios internacionales de evaluación de la educación en la actualidad
A lo largo de las últimas décadas del siglo XX, los estudios de la IEA han servido de referencia y de modelo para la puesta en marcha de nuevas iniciativas de evaluación internacional de los resultados educativos. En la actualidad, son diversos los organismos y las instituciones que llevan a cabo estudios de esta naturaleza, bien a escala mundial, bien circunscribiéndose a algunas áreas geográficas o geopolíticas concretas. La situación es tal que puede afirmarse que estamos asistiendo a un auge considerable de los estudios internacionales que tienen por objeto la evaluación del rendimiento educativo.

Entre las organizaciones que más han impulsado este tipo de estudios internacionales, hay que destacar a la Organización para la Cooperación y el Desarrollo Económico (OCDE). Aunque su interés por los asuntos educativos viene de antiguo (Papadopoulos, 1994), en la década de los noventa puso en marcha un ambicioso proyecto de construcción de indicadores internacionales de la educación, que ha dado importantes frutos. Se trata del denominado Proyecto INES, que ha producido la serie de informes que viene publicándose desde 1992 con el título de Education at a Glance / Regards sur l’éducation.

Los indicadores elaborados por la OCDE se refieren tanto al contexto de la educación como a los recursos humanos y económicos utilizados, los procesos escolares y los resultados logrados. No obstante, esta última dimensión ha estado poco atendida, dado que los únicos datos hasta ahora existentes eran los procedentes de los estudios de la IEA, que no siempre se ajustaban a las demandas formuladas, ni por el número de países participantes, ni por las áreas evaluadas, ni por su periodicidad. Para salvar esa carencia de indicadores de resultados educativos, la OCDE diseñó y puso en marcha a finales de los noventa el proyecto denominado PISA (Programme for International Student Assessment), que pretende valorar
el grado de formación de los jóvenes de quince años, en tres áreas básicas: matemáticas, lectura y ciencias. La primera recogida de datos se realizó en el año 2000 (OECD, 2001b), estando previsto que se repita cada tres años, aunque haciendo énfasis sucesivamente en cada una de las áreas mencionadas.

Además del Proyecto PISA, la OCDE ha realizado otros estudios orientados a la evaluación de las capacidades de la población adulta (International Adult Literacy Survey, International Life Skills Survey), que han empezado a producir algunos resultados de interés (OECD & Statistics Canada, 1995). Su objetivo consiste en aproximarse a una estimación del capital humano de los países, a través de la estimación del grado de formación de su población en edad laboral (de 16 a 65 años).

La Unión Europea ha desarrollado algunas tareas orientadas en la misma dirección durante los últimos años. En primer lugar, merece la pena citar la publicación de la serie denominada Cifras claves de la educación en la Unión Europea, aunque el informe no incluye datos procedentes de estudios de evaluación de los resultados de los estudiantes. En segundo lugar, hay que mencionar el reciente empeño tendente a construir unos indicadores europeos de calidad de la educación, cuyos primeros resultados aún no se han publicado.

También la UNESCO ha emprendido algún proyecto de la misma naturaleza, entre los que destaca especialmente el denominado Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación, cuyos trabajos se han desarrollado también en la última década (Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación, 1998). Otras iniciativas de distinta naturaleza han sido emprendidas por la Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI), la Cumbre de las Américas o el Programa de Promoción de la Reforma Educativa en América Latina (PREAL), por hacer simplemente referencia al continente americano (Tiana, 2000).

Ahora bien, toda esta serie de estudios, aun siendo semejantes, tienen sin embargo características parcialmente distintas, que conviene destacar. Ante todo, hay que distinguir los proyectos directamente orientados a evaluar los resultados conseguidos por los estudiantes (como son el TIMSS, PIRLS o PISA) de aquellos otros que tienen unos objetivos más amplios, como es el caso de la construcción de sistemas de indicadores (Proyecto INES e indicadores de la Unión Europea o de la Cumbre de las Américas). Si bien es cierto que estos últimos sistemas suelen incluir algunos indicadores de resultados, no siempre constituyen su núcleo central, ni consiguen en todos los casos aportar datos originales. Puede decirse que los sistemas de indicadores elaborados hasta el momento son tributarios del desarrollo experimentado por la estadística educativa, más que de los avances registrados en el campo de la evaluación del rendimiento. Al estar este trabajo centrado en el primer tipo de estudios de los mencionados, las consideraciones que siguen deben entenderse desde esa perspectiva.

La cuestión clave que puede ayudarnos a establecer distinciones pertinentes en el conjunto de los estudios internacionales de evaluación del rendimiento consiste en saber qué miden exactamente. Aunque todos ellos tienen características en parte semejantes, difieren en algunos aspectos fundamentales, lo que obliga a interpretarlos de modo distinto. A efectos de este análisis, hemos distinguido cuatro aspectos diferenciales básicos, que son presentados en forma dicotómica, aun cuando hay que reconocer que entre los dos extremos mencionados en cada caso suelen existir posiciones intermedias.

a) Una primera distinción puede establecerse entre los estudios encaminados a la evaluación del rendimiento escolar y los orientados a la estimación del nivel formativo de una población. Los estudios del primer tipo pretenden evaluar los resultados que logran los alumnos que alcanzan un determinado grado o curso escolar. Es el caso de estudios como el TIMSS, centrado en los aprendizajes adquiridos en matemáticas y ciencias por los alumnos de los cursos cuarto y octavo (equivalentes a los diez y catorce años de edad modal) o el PIRLS, centrado en el aprendizaje lector logrado al alcanzar el cuarto curso.
En ambos estudios, los alumnos evaluados son los que alcanzan dicho curso, con independencia de su edad concreta, aunque se controle esa variable y se tenga en cuenta en los análisis. Los estudios del segundo tipo pretenden estimar el nivel formativo alcanzado por todas las personas que tienen una determinada edad, independientemente de su situación y grado de avance escolar. Es el caso de PISA, que evalúa las capacidades adquiridas por los jóvenes de quince años de edad en las áreas de matemáticas, lectura y ciencias, o del IALS, cuya población de estudio es la comprendida entre 16 y 65 años. En ambos estudios, los sujetos evaluados son elegidos al azar entre los que tienen dicha edad o edades, con independencia del nivel escolar que hayan alcanzado. Mientras que los estudios del primer tipo están más directamente relacionados con la eficacia interna del sistema educativo, los del segundo valoran sus resultados finales.

b) Una segunda distinción es la existente entre los estudios centrados en las áreas curriculares básicas y los dedicados a la evaluación de capacidades transversales. Los estudios del primer tipo pretenden medir el grado de dominio de diversas habilidades ligadas a áreas tales como las matemáticas, la lengua materna o extranjera o las ciencias, esto es, a áreas instrumentales básicas del currículo escolar. Es el caso de TIMSS, PIRLS o PISA, antes mencionados. Los estudios del segundo tipo pretenden medir el grado de desarrollo de diversas capacidades no vinculadas a áreas curriculares concretas, sino relacionadas con otras dimensiones formativas, como pueden ser la educación cívica o la utilización de las nuevas tecnologías de la información. Es el caso del estudio CIVICS de la IEA, que evalúa los conocimientos y las actitudes cívicas de los jóvenes y adolescentes, y también del SITES o la componente adicional del PISA, que valoran la familiaridad con la tecnología informática y el uso que los escolares hacen de la misma. Mientras que los estudios del primer tipo están muy relacionados con los objetivos explícitos del currículo escolar, los segundos tienen que ver con un tipo de formación más amplia y vinculada con distintos tipos de aprendizajes y de comportamientos.

c) Una tercera distinción es la que contrapone los estudios centrados en la evaluación de las capacidades o conocimientos adquiridos por los estudiantes con los que tienen como objetivo estimar el nivel formativo general de una población. Los estudios del primer tipo se basan en la aplicación de pruebas idénticas para todos los alumnos evaluados, lo que proporciona la posibilidad de establecer comparaciones o de realizar análisis basados en unidades individuales. Su contrapartida consiste en que obligan a limitar la cobertura curricular de las pruebas, para evitar su extensión excesiva, lo que implica reducir la profundidad de los análisis subsiguientes. Los estudios del segundo tipo se basan en la aplicación de pruebas rotadas, respondiendo los alumnos a combinaciones diferentes de cuadernillos parciales, con lo que no existe un modelo único de prueba. A cambio, puede ampliarse notablemente la cobertura curricular y se pueden hacer análisis más profundos, aunque sin poder establecer conclusiones de nivel individual, sino únicamente grupal. Cada tipo de estudios permite llegar a conclusiones de distinta naturaleza sobre la situación del sistema educativo.

d) Una cuarta distinción puede establecerse entre los estudios que evalúan los resultados educativos en un momento concreto y los que pretenden medir el progreso educativo a lo largo del tiempo. Los estudios del primer tipo proporcionan una información valiosa acerca del estado de una parcela determinada del sistema educativo en un momento dado, en una circunstancia temporal concreta. Los del segundo tipo se proponen valorar el progreso producido en un lapso de tiempo determinado. Los estudios más sofisticados de los que se desarrollan en la actualidad combinan ambos propósitos. Así, por ejemplo, el TIMSS y el PIRLS están concebidos como ciclos cuatrienales, mientras que el PISA tiene una periodicidad trienal. Ello permite, por una parte, conocer cuál es la situación educativa en un año concreto, y por otra, valorar el progreso producido cada varios años. De ese modo, los países participantes no sólo pueden compararse con otros en un momento dado, sino que pueden analizar cuál es su tendencia de evolución.

Como puede apreciarse, los estudios internacionales tienen características diferentes, que permiten establecer distinciones entre ellos, tanto por el enfoque que adoptan como por la población elegida y el tipo de comparación predominante. Por lo tanto, se puede concluir que para poder interpretar o valorar correctamente un estudio determinado hay que analizar y tener en cuenta sus características específicas.
Related Posts Plugin for WordPress, Blogger...

Busca en mis sitios