sábado, 21 de septiembre de 2013

Reflexiones sobre las Evaluaciones de Calidad Educativa


¿Qué evalúan las evaluaciones estandarizadas? ¿Calidad Educativa? ¿Pobreza?  ¿Son puestas bajo la lupa las cuestiones relevantes? Las respuestas, si bien dadas pensando en el contexto mexicano, tienen valor para muchos otros


¿Qué estamos evaluando?
Resumo mi respuesta, en forma algo simplista y cruda, diciendo que evaluamos algunas de las dimensiones de la calidad educativa, pero dejando fuera varias de las más importantes, que lo hacemos de manera imprecisa, y que no llegamos a las causas.

Hasta hace muy pocos años, la situación de la mayor parte de los sistemas de evaluación educativa de los países de la región era justamente la que se ha mencionado antes: solamente se contaba con datos sobre alumnos, maestros, escuelas y presupuestos, con lo que se podían estimar indicadores de cobertura, eficiencia terminal y costo alumno en forma gruesa, ya que por lo general no se controlaba la calidad de los procesos de recolección de información, no se manejaban datos por edad, con lo que sólo podían construirse tasas brutas y no netas y se manejaban sólo cohortes aparentes.

Los esfuerzos que han hecho muchos de nuestros países en la última década han incluido, por una parte, mejoras en los sistemas de información y, por otra, el desarrollo de sistemas de pruebas nacionales para valorar los aprendizajes de los alumnos. Estos esfuerzos son importantes, sin duda, pero aún están por consolidarse y adolecen de fallas claras, explicables por la falta de una tradición en el campo y la consecuente escasez de recursos humanos especializados.

Pecando tal vez de simplismo, creo que en la región atendemos la cobertura y la eficiencia terminal en forma imperfecta y el nivel de aprendizaje de los alumnos en áreas curriculares y grados clave, pero por lo general limitándose a niveles cognitivos bajos. La contraparte obvia, lo que no estamos evaluando, incluye áreas curriculares adicionales, niveles cognitivos superiores, aspectos actitudinales y valorales, procesos tanto pedagógicos como de gestión y lo relativo a equidad.

En las escuelas se evalúan muchas de estas cosas, desde luego, pero no parece haber procedimientos para valorar tales dimensiones o aspectos de la calidad de manera permanente y sistemática en el nivel nacional. Debe añadirse que muchas veces las evaluaciones que hacemos no tienen, en un grado suficiente, las características técnicas mencionadas de validez y confiabilidad.

Por lo que se refiere a validez, la ausencia de controles de las variables relevantes del contexto pueden hacer que midamos en realidad pobreza, cuando creemos medir calidad de las escuelas. En este sentido en la región es muy raro todavía el uso de las poderosas técnicas actuales, como los modelos jerárquicos lineales, que permiten identificar la influencia de los factores del entorno distinguiéndolos, por ejemplo, de los de la escuela, el aula y el propio alumno.

En cuanto a confiabilidad, es también raro el uso de metodologías psicométricas avanzadas, como los modelos de la teoría de la respuesta al reactivo, que permiten contar con escalas más precisas, comparables en el tiempo, que cuidan la unidimensionalidad y evitan el sesgo de manera más adecuada que las técnicas de la teoría clásica de las pruebas. Debe añadirse que, hasta hace poco tiempo, no era raro que se manejaran pruebas que no empleaban en forma rigurosa siquiera los principios de la teoría clásica. Las técnicas de valor agregado son también muy poco conocidas.

¿Qué de lo evaluado resulta significativo?
En principio los mecanismos de evaluación existentes son todos significativos y, aun en ausencia de los que se sugiere añadir, contienen potencialmente elementos útiles para el mejoramiento de los sistemas educativos. Sin embargo, es frecuente que aún esos elementos se desaprovechen y sólo sirvan para acumular datos en anuarios estadísticos destinados a empolvarse en los estantes, sin que los responsables de tomar decisiones, y mucho menos los maestros, los conozcan y utilicen para retroalimentar su quehacer.

Esto quiere decir que, además de mejorar los actuales mecanismos de evaluación y de enriquecerlos con nuevos elementos, es necesario un importante esfuerzo de difusión de resultados y de capacitación de los usuarios para que estén en condiciones de entender y aprovechar los resultados de las evaluaciones.

¿Por qué las reformas realizadas en los 90 no se ven traducidas en los resultados?
Esta pregunta parte de un supuesto que no me parece incuestionable: que las reformas educativas implementadas en América Latina en los ‘90 no han dado resultados.
Los niveles educativos de nuestros países son el resultado de un enorme conjunto de factores, incluyendo unos tan complejos como el explosivo incremento demográfico que hizo del subcontinente la región de mayor crecimiento poblacional en toda la historia hasta mediados del siglo XX, la pobreza que aflige a gran parte de la población y la diversidad étnica y lingüística. Otros factores igualmente complejos incluyen el carácter autoritario de muchos regímenes políticos, las estructuras sindicales y burocráticas, y la desigualdad ancestral de nuestras sociedades.

Los cambios educativos, por otra parte, son complejos también y, en el mejor de los casos, llevan mucho tiempo; no pueden ser el resultado rápido de esfuerzos simples.
Por ello, aun si en verdad las reformas de los años 90 no han dado resultados, podrían encontrarse diversas explicaciones. Las políticas educativas de la región han adolecido, en muchos casos, de serias deficiencias en diversos aspectos: en el diagnóstico en que se sustentan, muchas veces incompleto e impreciso; en el diseño de los programas, muchas veces simplista, apostando demasiado a pocos elementos de los que se espera más de lo que pueden dar; y, tal vez, sobre todo, en la implementación.

No es fácil, en efecto, que las reformas lleguen hasta el nivel más importante, el de la escuela y el aula. Para ello se requiere de tiempo y, además, de estrategias muy finas que aseguren la participación de los maestros. Desgraciadamente, es más frecuente encontrar estrategias simplistas e implementaciones apresuradas que procesos cuidadosos y respetuosos de los actores de base y de la complejidad de la cuestión.

No debería sorprender, por consiguiente, que los resultados obtenidos disten mucho de los esperados. Pero el punto que quiero destacar es que no tenemos evidencia suficiente para afirmar de manera contundente que las reformas de los ‘90 no han tenido resultados. Hay, sin duda, indicios importantes en tal sentido, pero los sistemas de evaluación de que disponemos no sustentan afirmaciones tajantes.

En particular, creo que en México hay elementos para sostener que el nivel de aprendizaje ha mejorado ligeramente en los últimos años; que el impacto del gasto público en educación básica está siendo mayor para los tres deciles más pobres de la población, contra lo que ocurría antes; y que los programas compensatorios emprendidos a principios de los 90 han logrado reducir la deserción en medio rural y mejorar los niveles educativos en las zonas más desfavorecidas.

Por lo demás, la gran desigualdad que caracteriza a nuestras sociedades hace que necesitemos evaluaciones más precisas, que tengan en cuenta el peso de los factores del entorno, tanto en razón del principio de equidad, como para valorar en su justa medida los avances que puedan darse en contextos diferentes, en los que la mejora es más o menos difícil.

Conclusión
La última pregunta es, a mi juicio, la más importante que he tratado de responder, tanto por lo que expresamente plantea, como por lo que sugiere de manera implícita. Ampliando lo dicho hasta ahora trataré de aportar algunas ideas al respecto.

La experiencia de las reformas educativas implementadas en los países de mayor desarrollo económico ha dejado lecciones importantes, en la dirección ya apuntada: no deben esperarse cambios espectaculares; las mejoras educativas se consiguen en lapsos de tiempo largos, y mediante esfuerzos sistemáticos y complejos, no gracias a recetas mágicas simples o panaceas.

Hoy sabemos también que no debe exagerarse la importancia de los recursos materiales; estos son importantes, sin duda, sobre todo hasta ciertos umbrales mínimos, y tal vez más en cuanto a la regularidad o continuidad de su existencia que en cuanto a su monto absoluto. Pero parece claro que tanto y más importan los procesos a través de los que se utilizan los recursos: procesos pedagógicos especialmente en el interior del aula, procesos más amplios de gestión en el nivel nacional y regional y, sobre todo, en cada escuela, donde el trabajo del equipo docente, el liderazgo del director y la participación de los padres de familia han mostrado ser fundamentales.

Para poder responder con bases sólidas a la pregunta sobre el éxito o el fracaso de las reformas educativas necesitamos, pues, en mi opinión, contar con sistemas de evaluación bastante más sólidos, aunque no mucho más costosos que los existentes, que nos den la información clave, de que hoy carecemos, sobre las diferentes dimensiones de la calidad educativa de nuestros países en forma continuada y permanente.

Es posible que nos llevemos algunas sorpresas agradables, en el sentido de que los esfuerzos realizados hasta ahora han dado algunos resultados, no espectaculares, pero sí razonables, en una perspectiva histórica y comparativa en el plano internacional.




También es posible que se confirme la idea de que no ha habido resultados positivos. En este caso, si tenemos buenos sistemas de evaluación tendremos también elementos para saber por qué ha ocurrido tal cosa, y para diseñar programas de mejora más adecuados.



Extraído de:
Una mirada técnico-pedagógica acerca de las evaluaciones de calidad educativa
Felipe Martínez Rizo
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

martes, 10 de septiembre de 2013

Hacia una búsqueda de sentido de las Evaluaciones de Calidad Educativa


Las Evaluaciones de Calidad Educativa ocupan un lugar en los medios de comunicación, y en la agenda de discusiones políticas, pero ¿Estamos todos de acuerdo respecto de su sentido? ¿Para qué evaluar? ¿Qué hacer con los resultados?  ¿Es necesaria un discusión al respecto?


La propuesta de realizar una mirada política de las evaluaciones de calidad ha permitido revisar distintos aspectos de estas políticas y proponer miradas novedosas de las mismas. Sin duda, la intuición respecto de que no podía empezarse la revisión por una mirada exclusivamente técnica es la acertada. El debate con los tomadores de decisiones les permite salir del “enojo” con el instrumento y pasar a la apropiación de los mismos respecto de su direccionalidad y conceptualización. Resulta claro que en materia de evaluación hemos carecido de una toma de decisiones política, de sentido, y que en realidad hemos asistido a una “no política”. Es decir, las decisiones no tomadas fueron ocupadas por opciones técnicas.

Probablemente este fenómeno no sea exclusivo de las políticas de evaluación de calidad, pero en este caso adquiere especial relevancia por el peso político que han tenido las mismas en los medios de comunicación, en los espacios políticos y en la visión que las sociedades han construido sobre el estado de la educación. Aunque en cierta medida estas políticas pueden ser consideradas un caso común entre las que impulsaron las reformas de la década del ‘90, el hecho de la construcción de discursos técnicos con cierta autonomía de la reflexión política y, en algún caso, de la construcción de sentido compartida con los actores, parece ser una consecuencia más generalizada.

Lo cierto es que en el caso de las políticas de evaluación, resulta importante volver a evaluarlas desde la lógica de la revisión de sentido. Y en este punto, es una responsabilidad de los equipos políticos de los ministerios esta definición, que no puede encontrarse aislada del resto de las decisiones de política educativa. Esa revisión debe incluir, en el caso particular de la evaluación, respuestas a las preguntas de:

• ¿Para qué evaluamos?
• ¿Qué evaluamos?
• ¿Cómo lo hacemos?
• ¿Quiénes participan del proceso de construcción?
• ¿Qué información comunicamos a cada uno de los distintos actores del proceso?
• ¿Qué hacemos con los resultados?

Estas preguntas, que pueden parecer elementales, permitirán ordenar las revisiones técnicas que se realicen. Será distinto afirmar que se evalúa para establecer parámetros de comparación que obliguen a las escuelas a mejorar, que sostener que se lo hace para mejorar el conocimiento del sistema de modo de ajustar las estrategias de política.

Será distinto evaluar a los docentes como modo de mejorar sus estrategias de carrera y de formación, que hacerlo solamente para establecer premios y castigos.
Estas decisiones permitirán decidir por dispositivos muestrales o censales, por instrumentos individuales, grupales, por ítems cerrados o abiertos, etcétera. Lo cierto es que es fundamental recuperar los modos de construir políticas de sentido, definición de fundamentos que puedan sostener los acuerdos técnicos posteriores.

Algunas de estas reflexiones se propone abrir un debate sobre las evaluaciones que sume miradas y resulte un modo de enriquecer la política educativa en general y la de evaluación en particular.



Extraído de:
Evaluar las evaluaciones
Gustavo Iaies
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo
Related Posts Plugin for WordPress, Blogger...

Busca en mis sitios