lunes, 10 de septiembre de 2007

Evaluaciones Internacionales de calidad educativa

A fines de la década de los 90, nuestro país (Argentina) se incluyó en la agenda internacional en materia de evaluaciones de calidad educativa, lo que trajo aparejado un conjunto de acciones, pero la más importante está aun pendiente, que es un serio y profundo debate sobre los asuntos centrales.

Estas iniciativas fueron estimuladas por los organismos internacionales de crédito, en especial el Banco Mundial, con el argumento de buscar indicios para mejorar la eficiencia del sistema y consecuentemente la competitividad global, y también el mejoramiento de las capacidades locales para evaluar[1].

La utilidad efectiva de las comparaciones internacionales de logro académico para informar políticas educativas no es, sin embargo, algo sobre lo cual exista total acuerdo, lo cierto es que no se debe caer en el peligro de no consolidad un sistema nacional de evaluación, y que resulta preocupante el tratamiento dado a los resultados, dado que muchas veces se los contamina con intereses político partidistas, y en otros casos lo central es la posición en el ranking.

Además podemos buscar por medio de las reformas curriculares y de gestión la consolidación de valores democráticos, de participación ciudadana y de respeto por la diversidad sin impulsar mecanismos punitivos o de mercado (escuelas charter), sino hacer más transparente y participativa la gestión mediante la provisión de información a los ciudadanos. Así, el Estado no se desentiende de la gestión ni de su responsabilidad por promover mayor equidad y calidad de educación, sino que busca alentar a todos los interesados a utilizar las informaciones sobre los resultados educativos para demandar mayores niveles de calidad para sus escuelas.



El caso de Estados Unidos es notable en cuanto al impacto que las pruebas internacionales comparadas pueden tener sobre las políticas educativas. Los resultados alarmaron a los líderes políticos de los inicios de los 80, y calificaron a los Estados Unidos como “una nación en riesgo”


La declaración aludía al peligro que corrían los EEUU de perder liderazgo mundial si su sistema educativo público no mejoraba, y desencadenó una serie de medidas de reforma curricular y de gestión en todo el país, para ocupar el primer puesto en los rankings internacionales de logro académico hacia el año 2000
[2].

Actualmente existe una fuerte tendencia al diseño de pruebas de aplicación cíclica de manera tal que se pueda medir el rendimiento de un grupo de la misma edad o grado escolar de estudiantes cada cierta cantidad de años, y así poder establecer relaciones longitudinales con respecto al progreso académico.

Algunas agencias encargadas del diseño son intergubernamentales y en ellas están representadas las máximas unidades políticas o técnicas de los países miembros. Ejemplo de estas últimas son la OCDE (Organización para la Cooperación y el Desarrollo Económico), el Laboratorio Latinoamericano para la Evaluación de la Educación (LLECE), dependiente de UNESCO-OREALC.



Beneficios de las evaluaciones
La participación en evaluaciones internacionales promueve la revisión cuidadosa de los currículos, además de poner en conocimiento las experiencias de otros lugares.


Los resultados comparados internacionalmente atraen la atención de los medios de comunicación, movilizan fuerzas políticas y suscitan debates sobre las implicaciones prácticas de los resultados obtenidos; asimismo, se desarrolla la capacidad local para la medición de aprendizajes en la medida en que educadores e investigadores de la educación se ven llamados a interactuar con especialistas internacionales y también se obtiene información sobre los factores familiares y sociales que afectan el desempeño académico.


Limitaciones
Entre los problemas que se han identificado está el hecho de que los resultados de los estudios, en particular cuando se presentan como ranking entre países, suelen desatar comentarios y críticas por parte de los políticos, los medios de comunicación y el público, en los que solo importa la posición relativa de logro en el escenario internacional y no la abundante información sobre factores sociales, escolares y personales asociados al desempeño. La prensa, particularmente, tiende a desconocer los aspectos más profundos de los resultados y solo destaca las posiciones en el ranking, generando desinformación. De otra parte, los indicadores, interpretados aisladamente de su contexto cultural y estructural, pueden conducir a interpretaciones y acciones de política equivocadas
[3].


Organizaciones que evalúan
En ese contexto, aparecieron organizaciones como las siguientes, las siglas se corresponde con su nombre en inglés:
I.- International Association for the Evaluation of Educational Achievement (IEA)[4] http://www.iea.nl/Home/
La Asociación Internacional para la Evaluación de Logro Educativo (IEA) es una sociedad científica internacional sin fines de lucro autorizada en Bélgica que tiene como propósito la investigación pedagógica mundial. Tiene a su vez tres estudios internacionales a su cargo:


a) Progress in International Reading Literacy Study, más conocido por las siglas PIRLS (http://timss.bc.edu/PIRLS2001.html).
Busca analizar la capacidad de comprender y usar aquellas formas del lenguaje escrito requeridas por la sociedad y/o valoradas por la persona en más de 30 países en el mundo.


El estudio evalúa la competencia en lectura de niños entre los 9 y 10 años y las prácticas escolares asociadas al aprendizaje de la lectura y los hábitos de lectura en el hogar.

La primera evaluación PIRLS se realizó en el 2001, y se han programado futuras evaluaciones para los años 2005 y 2009. El estudio está diseñado para medir e interpretar diferencias entre los sistemas nacionales de educación, con el fin de ayudar a mejorar la enseñanza y aprendizaje de la lectura en todo el mundo.


b) Third International Mathematics and Science Study – Repeat, conocido por las siglas TIMSS-R (http://timss.bc.edu/timss1999.html),
Trends in International Mathematics and Science Study (TIMSS 2003) - (http://timss.bc.edu/timss2003.html )

La prueba TIMSS fue aplicada en 1995 en unos 45 países de todo el mundo. En algunos países sólo participaron algunas provincias y no todos los países evaluaron todas las poblaciones objetivo del estudio. Esas poblaciones fueron los grados 3ro ó 4to de primaria, 7mo u 8vo grados, y último año de la educación básica (previo a la educación superior). Las pruebas se centraron en las áreas de matemáticas y ciencias
[5] y la matriz curricular se definió mediante un relevamiento previo de los contenidos curriculares prescritos tanto por documentos oficiales como por libros de texto y materiales didácticos de uso masivo en un número significativo de países. La prueba incluyó ítemes de opción múltiple, de respuesta abierta y de demostraciones prácticas (e.g. de laboratorio). También realizó un estudio cualitativo, sobre procesos pedagógicos de aula en seis países de la muestra. Las principales variables relacionadas al logro académico que se estudiaron fueron el currículo prescrito e implementado, prácticas pedagógicas, políticas educativas, actitudes, y contexto familiar y escolar.

Pudo determinar las grandes diferencias en las oportunidades de aprendizaje que tienen los alumnos de diferentes países, dependiendo de la claridad y la profundidad con que se explicitan los contenidos curriculares en documentos oficiales y libros de texto. El estudio también reveló que en muchos países los docentes de ciencias y matemáticas desconfían seriamente de sus conocimientos conceptuales en estas dos áreas. Quedó confirmado que los países del sudeste asiático, como Japón, Singapur[6] y Corea del Sur, logran resultados muy superiores a la mayoría de los países industrializados del mundo. El único país latinoamericano que participó y permitió la publicación de los resultados, Colombia, obtuvo el anteúltimo lugar en el ranking internacional. En 1998 se aplicó TIMSS-R, es decir una repetición de la prueba en unos 38 países en todo el mundo, incluyendo tres países latinoamericanos.


c) Civic Education Project (CIVICS o CivEd). http://nces.ed.gov/surveys/cived/management.asp) Estudio Internacional de Educación Cívica.

Es el estudio más grande y más riguroso de Educación Cívica. Esta investigación probó e inspeccionó muestras representativas que consisten en 90.000 estudiantes de 14 años en 28 países, y 50,000 de estudiantes de 17 años en 16 países a lo largo de 1999 y 2000.

Busca examinar y analizar en forma comparativa, el modo en que los jóvenes se están preparando para asumir sus roles como ciudadanos en sociedades democráticas, tratando de establecer la influencia de los sistemas escolares, las familias, los medios de comunicación y otros agentes.

El estudio evalúa los conocimientos, habilidades, representaciones, actitudes y acciones de los estudiantes en los siguientes temas: Democracia; Identidad nacional; y Cohesión social y diversidad. Además, en el caso de la población mayor, se incluyeron temas de Economía.

II.- Organization for Economic Co-operation and Development (OECD) (http://www.oecd.org/home/)
Estudios Internacionales vinculados a la OECD
[7]:

 a) Programme for International Student Assessment (PISA) (http://www.pisa.oecd.org/ ):
Es un proyecto de evaluación estandarizada desarrollada de manera conjunta por la OECD y por los países participantes que se aplica a alumnos de 15 años, que asisten a la escuela y que culminan la escolaridad obligatoria en la mayoría de los países miembros.

La participación Argentina en el estudio PISA se inicia en el año 2000 junto con la solicitud para su incorporación como país observador de los dos máximos órganos de decisión en la estructura de las tareas de la OECD relacionadas con la educación.

Después de la primera aplicación en el año 2000, la OECD abrió a países no miembros la posibilidad de participar en el estudio. En 2001 se aplicó en Chile el estudio PISA+, que es equivalente al primer ciclo.

Este estudio pretende medir las capacidades básicas que se requieren para desempeñarse efectivamente en sociedad y, por tanto, no se trata de una prueba ceñida a algún currículo educacional. Su objetivo es medir la capacidad de los estudiantes para aplicar, proyectar y relacionar el conocimiento adquirido, a través de preguntas referidas a situaciones cotidianas. Examina además el papel de los centros docentes y su influencia sobre los resultados tanto en términos de calidad como de equidad de los resultados educativos.

Junto con evaluar los conocimientos adquiridos y las habilidades desarrolladas por los estudiantes, el estudio pretende identificar los factores asociados a estos logros, con el objetivo de orientar el desarrollo de las políticas educativas. Las comparaciones periódicas del desempeño de los estudiantes, posibilitan la evaluación de políticas educativas de tipos de sistemas.

b) Adult Literacy and Lifeskills Survey (ALL) - Estudio de Alfabetismo y Destrezas de Adultos (ALL) http://nces.ed.gov/surveys/all/ o www.ets.org/all/

Se trata de una encuesta comparativa a gran escala que evalúa una amplia gama de competencias y capacidades de la población adulta, con edades comprendidas entre los 16 y 65 años, en cada país participante.


III) Laboratorio Latinoamericano de la Calidad de la Educación (LLECE)
Coordinado por la UNESCO-OREALC.
http://llece.unesco.cl/
http://www.unesco.cl/ o http://llece.unesco.cl/
El Primer Estudio Internacional Comparativo sobre Lenguaje y Matemáticas y Factores Asociados del Laboratorio Latinoamericano para la Evaluación de la Calidad Educativa (UNESCO-OREALC) fue aplicado en 1997 en 13 países latinoamericanos, en los grados 3ro y 4to de educación primaria, en las áreas de lenguaje y matemáticas. La prueba incluyó ítems de opción múltiple y también de respuesta abierta, y recogió información sobre variables asociadas al logro académico, entre ellas de contexto socioeconómico, familiar, escolar y áulico.


Los resultados confirmaron muchos de los datos que algunos sistemas nacionales ya habían comenzado a producir, como por ejemplo las diferencias de logro a favor de las escuelas urbanas y privadas, escasas diferencias de rendimiento entre géneros, y una fuerte asociación positiva entre nivel socioeconómico y rendimiento académico. En cuanto a los resultados comparados internacionales, fue particularmente llamativa la diferencia entre Cuba y el resto de los países de la Región, con más de dos desviaciones estándar a favor de Cuba, los que se atribuyeron al alto valor social que se le otorga a la educación en ese país.


Las principales motivaciones para realizar el estudio comparado fueron la necesidad de establecer una comparación “de raíz latinoamericana” que contemplara las particularidades culturales y educativas de la región y obtener información para apoyar las decisiones de política educativa. Sus objetivos particulares consisten en la identificación de estándares de aprendizaje escolar para Latinoamérica y la apreciación del nivel de logro alcanzado en los países; el fomento del cambio educativo que permita alcanzar tales estándares; y la formación de recursos humanos que hagan posible dicho cambio.


En Lenguaje se evaluó por ejemplo, el reconocer la información específica de un texto y el identificar el vocabulario relacionado con el sentido de un texto; mientras que en Matemática se evaluó la lectura de gráficos, el reconocimiento de patrones, nociones de probabilidades y relaciones entre datos dados.



Resultados
Evaluación del LLECE (Latinoamérica, informe publicado en nov. 1998)
El gráfico de la izquierda, que corresponde a la evaluación de matemática del tercer año básico, nos brinda mucha información, pero tiene cierto grado de complejidad, Vemos que para cada país aparece un rectángulo, dividido a su vez en dos pares, y a ambos lados del rectángulo aparecen algo así como un brazo, con un segmento que marca su finalización. Todas esas señales nos dan información.




Percentiles
Supongamos que todos los resultados de las evaluaciones de los argentinos son colocados de menor a mayor, y luego divididos en cien partes, el resultado alcanzado por el alumno que supere con exactitud al 1% se considera como “primer percentil”, el resultado que supera al 10% se lo llama “décimo percentil” o “primer decil”, al que supera al 25% se lo llama “primer cuartil” o “percentil 25” , el que supera exactamente al 50% será el “quinto decil”, o “mediana”, si supera al 75% es el “tercer cuartil”, y es mayor que el 90% es el “noveno decil”.



La primer marca, el inicio del brazo que va hacia la izquierda indica el primer decil, o sea que, por ejemplo, un 10% de los argentinos no superaron una cantidad algo superior a los 200 puntos (digamos 205 puntos). El inicio del rectángulo indica el primer cuartel, lo que significa que un 25% de los argentinos no superaron los 225 puntos (aprox.). La señal de la mitad del rectángulo indica la mediana, que para nuestro país significa que el 50% no superó los 250 puntos, el otro extremo del rectángulo indica el tercer cuartel, que para nuestro país está en los 280 puntos. El extremo final del brazo que va a la derecha anuncia el noveno decil, o sea que siguiendo en nuestro país, el 90% no superó los 300 puntos.


Resulta notable que el 75% de los alumnos cubanos superó los 310 puntos (aprox.), mientras que en los restantes países, solamente un 10%, en el mejor de los casos, pudo superar los 300 puntos. Para Matemática de Tercero Básico, las medianas se sitúan en todos los casos bajo la Media Regional, excepto Argentina con 251 puntos y Cuba que supera levemente a las dos desviaciones estándar por encima de Media Regional (353).

Los países muestran, en general, situaciones similares en cuanto a la homogeneidad de sus distribuciones, con la excepción de Cuba que es heterogénea, y las de Argentina, Chile y Honduras que presentan una alta homogeneidad.


Pirls
Treinta y cinco países participaron en PIRLS 2001. Progress in International Reading Literacy Study. Dirigido al cuarto año de escolaridad, PIRLS evaluó las estrategias de comprensión para dos propósitos literario e informativo.

Se observa en la primera columna el nombre en inglés de los países, y en la segunda columna los puntos logrados en promedio.

Con un sombreado color marrón claro se marcan los países que superaron significativamente la media internacional, en blanco los que se sitúan en torno a la media internacional, y los que están significativamente debajo de ella tienen un sombreado color azul.


Nuestro país ocupó uno de los últimos puestos, y con un promedio significativamente inferior a la media internacional.






Timms Matemática 7mo año
Observamos en esta tabla, en su primera columna el nombre del país. La segunda, sombreada en verde muestra la media o promedio de los puntajes logrados por los alumnos, en la siguiente el año de escolaridad que cursaban, y luego la edad promedio de los alumnos evaluados.





Luego aparece un rectángulo cuyo comienzo indica el quinto percentil, la marca que da inicio a la parte verde es la del primer cuartel, luego viene una parte en color negro, cuyos extremos indican los límites del intervalo en que se ubicaría el valor promedio de la población total (afirmación hecha con un 95% de certeza, o sea que con ese porcentaje de probabilidad, se encuentra el promedio de la población total –no solamente la evaluada-). Las dos últimas marcas señalan el tercer cuartil, y el 95 percentil.


Esto significa que, para Singapur, un 5% obtuvo menos de 445 puntos, un 25% obtuvo menos de 540, un 75% menos de 670 (o lo que es equivalente un 25% más de 670), y un 5% más de 755 puntos. La media para el total de los alumnos de Singapur se estima entre 590 y 610, esto dicho con una certeza del 95%.


Si bien la Argentina no participó, podemos tomar como buena referencia los resultados obtenidos por Colombia.

IEA Civics Educations
Distribución del conocimiento cívico

Para comprender la naturaleza de la educación cívica a través del mundo, la IEA realizó un estudio comparado en 1999 con el fin de examinar diferentes programas de civismo y el impacto que estos tienen en la gente joven. Los investigadores patrocinados por la IEA demostraron que las sociedades democráticas comparten un núcleo de temas cívicos. Además demostraron que es posible construir un instrumento internacional válido, confiable y significativo para medir el conocimiento sobre principios y procesos fundamentales de la democracia, así como la elaboración de encuestas para medir conceptos de ciudadanía, actitudes y actividades cívicas.


No se dan resultados de nuestro país, pero podemos tomar como referencia los resultados logrados por otros países latinoamericanos.


PISA 2003 Matemática
Finalizando, les presento un gráfico con los resultados de la evaluación PISA 2003. Si bien no aparece nuestro país, considerar a Brasil puede ser una buena referencia.





Se trata de un gráfico que tiene las mismas características que los anteriores. Es aconsejable comenzar la lectura prestando especial atención a los elementos marginales y las referencias
.

[1] El Banco Mundial sustenta la teoría del capital humano, busca eficiencia en las “inversiones educativas”, para el logro de la gobernabilidad y el mantenimiento del sistema capitalista, no se trata entonces de un derecho de las personas, y como una amenaza para la gobernabilidad es la anomia, su preocupación se centra en la educación básica.
[2] Objetivo que ciertamente no se logró
[3] Esto sucede cuando las evaluaciones son utilizadas para legitimar políticas educativas que se corresponden con ideologías que no pueden sostenerse por si mismas.
[4] La IEA, una asociación cooperativa de instituciones de investigación educativa, sin carácter gubernamental, fue fundada en 1958 y cuenta en la actualidad con 58 países miembros (6 americanos, 14 asiáticos, 5 africanos, 31 europeos y 2 de Oceanía). Para conseguir más información sobre la asociación, se puede consultar su página web: http://www.iea.nl.
[5] La prueba evalúa contenidos curriculares de ciencias y matemáticas, especificando las siguientes sub-áreas de matemáticas: Números, Álgebra, Medición, Geometría y Estadísticas. Las sub-áreas especificadas para ciencias son: Biología, Química, Física, Geociencias y Ciencias del medio ambiente
[6] La causa de este éxito tal vez se pueda atribuir mayormente por la importancia social que tiene el conocimiento.
[7] La OECD está integrada por los países industrializados, el “primer mundo”.
Related Posts Plugin for WordPress, Blogger...

Busca en mis sitios