miércoles, 23 de octubre de 2013

Una mirada técnica sobre las Evaluaciones de Calidad Educativa


El sistema debe generar información que permita mejorar, en el camino del cumplimiento de sus objetivos ¿Se están generando en forma adecuada? ¿Se comunican por los carriles adecuados? ¿Están debidamente conectadas las evaluaciones, con el resto del sistema? ¿Qué debe orientar las revisiones técnicas de las evaluaciones?

 

La mayoría de los sistemas educativos latinoamericanos ha incorporado dispositivos y estrategias de evaluación al repertorio de políticas que constituyeron sus reformas en la década del ‘90. Los modos de organización, los niveles alcanzados, el tipo de instrumentos, la periodicidad, y otras variables, muestran diferencias entre ellos. Pero lo cierto es que la evaluación se instaló como una política y adquirió un fuerte reconocimiento social.

Más allá de las diferencias encontradas, pueden observarse elementos comunes entre los diferentes países, que dan cuenta de las opciones técnicas adoptadas, o de las que más allá de haber sido definidas explícitamente, resultaron de los modelos de implementación puestos en marcha.

En ninguno de los casos se han observado variaciones significativas de los resultados a lo largo del período de implementación. Los niveles de acierto se han mantenido estables tanto en relación a los indicadores cuantitativos cuanto a los cualitativos. Es posible afirmar que los alumnos siguen logrando niveles similares de aciertos en el mismo tipo de ítems. Estos resultados podrían permitir dos tipos de inferencias iniciales, en el sentido de que los cambios curriculares en particular y los programas de reforma en general, no han impactado los aprendizajes que los alumnos adquieren en las aulas, o que las preguntas que estamos formulando no son capaces de captar las diferencias que se están produciendo.

La mayoría de los sistemas han trabajado con mayor dedicación en la producción de información que en el análisis de la misma y en su comunicación a los actores. La región ha implementado millones de pruebas por año, pero es relativamente escasa la cantidad de información que se ha producido, al menos la que se ha utilizado para la reformulación de políticas o estrategias pedagógicas.

No se ha logrado que los docentes incorporen los resultados de los dispositivos como insumo de trabajo para la reformulación de su tarea. Esto tampoco ha ocurrido en los propios ministerios que las implementan. Los equipos de currículum o de capacitación no hacen de los resultados un insumo principal de su trabajo. Los operativos de evaluación aparecen como elementos con gran autonomía del resto de las políticas implementadas.

Los resultados se han comunicado, casi exclusivamente, a través de los medios de comunicación masiva. Se han difundido los promedios nacionales con mayor o menor desagregado, pero en muy pocos casos se han construido informes que puedan orientar el trabajo de la escuela o, al menos, que las escuelas los vivan así. Se han resaltado los casos extraordinarios, se han comparado con la línea histórica de los mismos. En los casos en que se ha trabajado en la distribución, la temporalidad de dicha devolución es tal, que se vuelve difícil transformarla en estrategias de mejoramiento institucional. Los informes llegan tarde o, al menos, desajustados con la posibilidad de transformarlos en herramientas de planeamiento.

Las escuelas han vivido los operativos como dispositivos externos a los que han dedicado mayor o menor tiempo de preparación, pero en muy pocos casos han percibido esas actividades como propias de la institución.

Los ítems de contenidos evaluados han sido construidos en el contexto de un proceso de transformación curricular de gran alcance, razón por la cual resulta difícil evaluar los resultados de dichos ejercicios.

La comunicación de los resultados ha transmitido la sensación del deterioro, la idea de que los sistemas educativos son muy poco eficientes en términos de calidad, y que se encuentran en un proceso de deterioro respecto de los resultados que obtenían en el pasado.

Es preciso relativizar muchas de las críticas que se efectúan sobre los equipos técnicos. Lo cierto es que la región no contaba con ningún tipo de experiencia previa acerca de la organización de operativos de este tipo y la experiencia europea se daba en contextos muy diferentes, al menos de menor heterogeneidad y en condiciones de organización del Estado mucho más sólidas.

Al mismo tiempo, los equipos técnicos no contaron con directivas políticas que les permitieran orientar el trabajo. El pedido de organizar dispositivos de evaluación no contó con el planteo de direccionalidades claras respecto de lo que se haría con dichos resultados, del impacto que se pretendía generar con los mismos, etcétera. Pero, en el caso de los equipos, éstos tampoco lo demandaron y en este sentido es interesante reflexionar acerca de los grados de autonomía de los equipos técnicos y los riesgos que esto genera.

El avance técnico parece haber sido construido con autonomía de las decisiones de sentido. De hecho, la variación de los instrumentos desde el comienzo de su implementación es baja. Las que se produjeron han tenido que ver con ajustes estadísticos o técnico-pedagógicos. EL elemento innovador apareció en el caso de algunos dispositivos internacionales que incorporaron nuevos modelos y contenidos a los instrumentos.

En síntesis, la reflexión acerca de nuevas decisiones técnicas, ajustes y revisiones que se realizan, debe estar precedida de las reflexiones y decisiones políticas que orienten el trabajo técnico posterior.

A diez años de la implementación de estos dispositivos de evaluación, parece interesante comenzar por una indagación profunda de los resultados, un intento de encontrar pistas que aporten a una revisión de las políticas implementadas y de las nuevas que se elaboren. Resulta importante formular un análisis profundo de los resultados, realizarlo con participación de los actores del sistema, y construir la cultura de la evaluación como insumo para el debate y la construcción de políticas educativas.

En cuanto a las estrategias de futuro, es necesaria una revisión que aproveche los avances alcanzados. Puede resultar riesgosa la tradición de fractura en el modelo de construcción de programas de política que ha tenido la región. No se trata de producir una nueva ruptura, se trata de un proceso de construcción, de re-orientar, de potenciar la herramienta en función de los objetivos que se definan. Latinoamérica requiere institucionalizar sus operativos de evaluación, incluyendo en dicha institucionalización los propios mecanismos de revisión y re-orientación de las decisiones técnicas. Y esos mecanismos deben ganar coherencia con los objetivos de política que se definan.



Extraído de:
Evaluar las evaluaciones
Gustavo Iaies
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

sábado, 12 de octubre de 2013

Una visión acerca de las relaciones entre las evaluaciones educativas y los actores


¿Se sienten los docentes involucrados en las Evaluaciones de Calidad Educativa?  ¿Sienten estas evaluaciones como propias? ¿Piensan que son justas? Los tomadores de decisiones ¿Las usan para confrontar con los docentes?


Las evaluaciones de calidad son uno de los componentes de las políticas encaradas en la década del `90 que más críticas reciben entre los docentes y los directores. Sin duda, el modelo de implementación y construcción no ha logrado que los mismos se sientan incluidos en dicho proceso.

Este dato resulta interesante de ser analizado por el hecho de que tal como lo explica el artículo de Emilio Tenti, la visión crítica no se extiende a la política de evaluación como tal, sino al modo en que la misma fue implementada. Los docentes parecen acordar con la idea de evaluar, aunque tienen sus diferencias con el modo en que dichas evaluaciones se han implementado.

Por otro lado, manifiestan que la tarea de evaluar es de las que más dificultades les generan dentro del repertorio de las que implica su propio trabajo. En este sentido, parece interesante observar el hecho de que ellos mismos parecen requerir una reflexión más profunda de para qué evaluar y cómo hacerlo, y esa reflexión no debería estar divorciada de la que se formula alrededor de los operativos de evaluación en un sentido más general, como política global del sistema.

Al mismo tiempo, la propia exposición a la que la escuela se ha visto sometida por la comunicación masiva de los resultados, las sospechas que ha generado en la sociedad acerca de la capacidad de los docentes de garantizar aprendizajes significativos de sus alumnos, la puesta en duda de la idoneidad de los mismos para su tarea, pueden explicar la mirada crítica acerca de los dispositivos de evaluación de la calidad.

Sin duda, las evaluaciones son vividas como un elemento externo que, de algún modo, se interpone entre las autoridades y las escuelas. Deja a los docentes solos y rompe cierta visión de unidad del sistema. Como expresó Javier Bonilla: “Se nota un grado de exterioridad muy grande entre el aparato de evaluación y el de gestión habitual del sistema. La pregunta es cómo hacemos para que el dispositivo sea vivido como un dispositivo interno. Cómo hacemos para que el aparato de evaluación sea amigable para la cultura del sistema educativo”. La sola idea de dos aparatos a los que se debe volver “amigables” y hacerlos dialogar entre sí, implica una ruptura en la lógica de un sistema que se ha caracterizado por importantes grados de endogamia, como es el sistema educativo. Las evaluaciones aparecen como un dispositivo externo al propio sistema, que han adquirido el poder de validar o no sus acciones y efectos. La escuela parecía un ámbito invulnerable y ha quedado sometida a un procedimiento que no sólo la evalúa, sino que expone los resultados de dichas evaluaciones al conjunto de la sociedad.

El hecho de que la discusión previa de las evaluaciones acerca del sentido haya resultado tan débil, hace que tampoco hayan podido participar los docentes de la misma. La revisión que se realiza de las mismas, la discusión de sentido en la que se avance, debe incluirlos, debe contar con ellos en el análisis del “para qué” y del “cómo”. En caso contrario, resulta complejo construir una “amigabilidad” a posteriori. Lo cierto es que la posibilidad de lograr que el sistema viva a los dispositivos como propio, debe incluir la participación de la discusión del para qué, que sienta como propios los objetivos que se proponen.

El Jefe de la división educación del BID, Juan Carlos Navarro, señaló en el Seminario: “Los docentes sienten que entran en un juego en el que los dados están cargados contra ellos (...) Creen que es justo que sean evaluados, no están en contra de esto, por principio”. Tal como afirmamos anteriormente, se trata de comprender que la revisión de sentido en materia de políticas de evaluación, va a incluir tanto las cuestiones sustantivas como las metodológicas, y que la participación de los actores en las distintas instancias de ese proceso es fundamental. Por otro lado, es preciso que los tomadores de decisiones sean transparentes, en el sentido de que no se está construyendo un dispositivo para confrontar con los docentes, sino uno capaz de producir los insumos que permitan mejorar la calidad y la equidad, en los aprendizajes de los alumnos.


Extraído de:
Evaluar las evaluaciones
Gustavo Iaies
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

martes, 1 de octubre de 2013

Factores que explican los resultados escolares


La Evaluación Educativa queda justificada, en la medida que pueda convertirse en información para ser usada en procesos de mejora. Conocer los factores que determinan los aprendizajes ayuda a comprender ¿Cuáles son? ¿Están en el ámbito escolar? ¿O en el familiar?


Durante los últimos 40 años los investigadores educacionales alrededor del mundo han producido grandes avances en la tarea de desentrañar los factores que explican los resultados escolares, medidos por el logro de aprendizaje de sus alumnos. A esta altura existe un amplio consenso entre los especialistas. Los factores explicativos son dos: el entorno sociofamiliar de los alumnos y la efectividad de la escuela.

¿Cuánto pesan, respectivamente, estos factores en la varianza de los resultados observados entre establecimientos? En el caso de los países desarrollados, los estudios atribuyen un peso de 80% y de 20%, respectivamente, a la familia y la escuela. En América Latina, los pesos asignados son 60% y 40%, respectivamente, subrayándose con ello el hecho de que allí donde hay más pobreza la escuela adquiere, asimismo, mayor importancia.

Suele pensarse que el factor socio-familiar estaría determinado exclusiva o principalmente por el nivel de ingresos del hogar. En verdad, este factor es mucho más complejo que eso. Tiene que ver con el “mundo de vida” en que nace y se desarrolla el niño. Ciertamente, el status socioeconómico de los padres es importante. Pero aún más decisivo parece ser, en el caso de niños provenientes de hogares de escasos recursos, la organización de la familia, su clima afectivo, la socialización lingüística o la adquisición temprana de actitudes y motivaciones.

Variables de entorno familiar que inciden en los logros de aprendizaje
Ocupación, ingreso y nivel educacional de los padres.
Infraestructura física del hogar y grado de hacinamiento.
Recursos del hogar (libros, diccionarios, escritorio, computadora).
Organización familiar y clima afectivo del hogar.
Capital social de la familia, vecindario, comunidad y pares.
Alimentación y salud durante los primeros años de vida del niño.
Prácticas de socialización temprana.
Desarrollo lingüístico y régimen de conversaciones en el hogar.
Rutinas diarias, desarrollo de actitudes y motivación.
Acceso a, y calidad de, la enseñanza preescolar.
Elección de escuela.
Armonía entre códigos culturales de la familia y la escuela.
Estrategias de aprendizaje y conocimiento previo adquiridos.
Comunicación familia-escuela.
Involucramiento familiar en las tareas escolares.
Uso del tiempo en el hogar y durante las vacaciones.

Y en el caso de las escuelas, ¿cuáles insumos afectan el rendimiento de los alumnos? ¿Hay algunos que importan más que otros? Una revisión efectuada por Fuller y Clarke, sobre la base de más de 300 estudios realizados sobre sistemas escolares de países en desarrollo, permite apreciar qué porcentaje de dichos estudios muestran una asociación positiva entre el respectivo insumo y los resultados obtenidos por los alumnos, una vez que se controla por su nivel socioeconómico.

Insumos asociados positivamente a resultados
Profesor conoce la materia
Biblioteca escolar Tiempo dedicado a la enseñanza Alimentación del niño
Tamaño del colegio
Frecuencia tareas hogar
Monitoreo frecuente del alumno
Calidad de infraestructura
Disponibilidad de textos
Tiempo preparación clase
Capacitación docente en servicio
Docente con educación superior
Experiencia del docente
Años de escolarización del profesor
Gasto por alumno
Laboratorio ciencia en escuela
Nivel salarial del profesor
Tamaño del curso

Sin embargo, si se adopta una perspectiva metodológica más restringida y exigente, la efectividad de la escuela aparece determinada, principalmente, por la efectividad del profesor en la sala de clase. En general, se estima que el efecto escuela depende, en alrededor de 2/3 partes, de la calidad de la docencia impartida. A su turno, ésta se halla determinada, en orden decreciente de importancia, por las siguientes variables: las prácticas de enseñanza del docente en la sala de clase; el desarrollo profesional docente (dominio de la materia que enseña y capacidad de enseñar a alumnos de diverso origen sociofamiliar) y los insumos (tamaño del curso, educación inicial y experiencia del profesor).

Particular importancia adquiere en el contexto de los procesos de reforma educacional el impacto que podría tener el gasto por alumno sobre los resultados o logros escolares. La evidencia internacional muestra lo siguiente: si se combina el puntaje promedio obtenido por los alumnos de varios países, participantes en PISA, con el gasto acumulado por alumno hasta los 15 años, expresado en dólares de valor equivalente, se observa en primer lugar que sí existe una asociación entre ambas variables, aunque con diferencias como permite ver la distribución de los países incluidos en torno a la línea de tendencia. En seguida, se constata que sólo unos pocos países –Corea e Irlanda aparecen allí- obtienen altos resultados (por encima de 500 puntos, que es el puntaje promedio de los países de la OECD participantes) con un gasto que en la escala se sitúa por debajo de la mitad del rango entre 0 y 80 mil dólares (PPC). Estos países, se hallan naturalmente bien arriba de la línea de tendencia. Hay un segundo grupo de países que se aproxima al cuadrante anterior de gasto austero y alto rendimiento: República Checa, Polonia, Hungría y Grecia. Por otro lado, ningún país de gasto superior a 40 mil dólares se ubica en el cuadrante suroeste, por ende, de alto gasto y resultado inferior al puntaje promedio de la OECD. Por el contrario, los países de alto gasto se concentran en el cuadrante noreste, aunque algunos están por encima y otros por debajo de la línea de tendencia. Finalmente, los países de América Latina se agrupan todos en la posición suroeste –de bajo gasto y bajos resultados- aunque con diferencias entre ellos. En efecto, a pesar de estar todos por debajo de la línea de tendencia, México está en términos relativos menos mal que Argentina, ésta que Chile y éste que Brasil.

¿Existe algún elemento adicional que pudiera ayudar a explicar el diferente desempeño de los países? Si nos atenemos solamente a los factores externos o de contexto, el mejor candidato parece ser el nivel de desigualdad de las distintas sociedades. En efecto, los países con mayor desigualdad –medida por el Coeficiente de Gini- tienen más dificultad para producir buenos resultados escolares, incluso si son ricos, como sucede en el caso de los EE.UU., justamente porque deben compensar un mayor déficit de origen sociofamiliar. Por el contrario, sólo obtienen buenos resultados países con un nivel bajo de desigualdad, con la excepción de Indonesia, que apenas acumula un gasto de 1.164 dólares (calculados con PPC) en sus alumnos de 15 años, 50 veces menos que Australia, por ejemplo, o 1/15 del gasto de Chile. Es interesante observar, asimismo, que de los países de la muestra, Chile ostenta el más alto nivel de desigualdad, ubicándose en general todos los países latinoamericanos participantes en PISA en el cuadrante sureste, el de alta desigualdad con bajo rendimiento.

Si se considera el conjunto de antecedentes aquí presentados, emerge con nitidez la enorme complejidad del proceso de producción de resultados educacionales. En este proceso influyen diversos factores y múltiples variables. Entre aquéllos, como se señaló, los más importantes son el entorno sociofamiliar de los alumnos y la escuela. Entre las variables son decisivas aquéllas que caracterizan el hogar como agencia de transmisión de capital cultural, por un lado, y las que inciden sobre la efectividad de los establecimientos escolares, por el otro. Por último, destaca el hecho de que allí donde los hogares son grandemente desiguales, la tarea educativa enfrenta también mayores problemas y desafíos. En estos casos la cultura nacional –y su elaboración “micro” a nivel de la familia, los pares y la comunidad- juegan un papel importante, como parece indicar el caso de los países del sudeste asiático. En efecto, la cultura nacional y sus elaboraciones “micro” pueden, ya bien contribuir a facilitar y reforzar la labor de la escuela o, al contrario, ser neutrales frente a ella u obstaculizarla.

En cuanto a las posibilidades de compensar educacionalmente las desigualdades de origen sociofamiliar de los alumnos, ellas sólo pueden materializarse allí donde la mayoría de las escuelas que atienden a niños y jóvenes provenientes de hogares en situación vulnerable son efectivas. Como muestra ampliamente la literatura especializada, sólo éstas logran mejores resultados para sus alumnos que aquellos que podrían anticiparse considerando su origen sociofamiliar.

Ninguna de estas complejidades y dificultades forma parte, sin embargo, de los habituales análisis periodísticos sobre resultados educacionales. Como vimos, éstos se limitan a resaltar unidimensionalmente el producto final de estos procesos –es decir, resultados como puntajes- y a ubicarlos en un esquemático ranking de países o tipos de establecimientos, suprimiendo toda referencia al contexto en que dichos resultados se obtienen. Con esto se banaliza la información que aportan los estudios nacionales e internacionales de medición del desempeño escolar y, lo que es más grave, se distorsiona la deliberación pública y se limitan sus efectos, debilitándose de esta forma uno de los mecanismos más poderosos que poseen las democracias para abordar y resolver problemas colectivos.


Extraído de:
Límites de la lectura periodística de resultados educacionales
José Joaquín Brunner
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

Related Posts Plugin for WordPress, Blogger...

Busca en mis sitios