Todos afirmamos buscar mejorar la “Calidad educativa”, y este concepto excede al de “Rendimiento escolar”, entonces ¿Qué y como evaluar? Si se trata de temas públicos ¿Basta entonces con los informes? En síntesis, ¿Qué y cómo evaluar? ¿Qué hacer con los resultados?
LO PÚBLICO Y LA EVALUACIÓN
Las reformas educativas actuales viven un cambio de ciclo. Después de la reorganización institucional de los sistemas y del cumplimiento de la fase de cobertura, el foco de los cambios está en los procesos educativos y en los factores que inciden en la calidad de los resultados.
Este cambio de ciclo también implica una transformación en las relaciones Estado-sociedad, y en la distribución del conocimiento sobre políticas educativas. Las reformas han dejado de ser pensadas y ejecutadas exclusivamente por el Estado, y el concepto mismo de racionalidad que subyace en las políticas vive una profunda transformación: de una racionalidad técnica, basada en el conocimiento experto y exclusivo del tomador de decisiones, estamos pasando a una racionalidad que descansa en el diálogo, la argumentación y la conversación. Hoy la agenda pública y las decisiones se tejen en espacios conversacionales, más que en un gabinete o en la cúspide del poder.
La experiencia vivida en Chile en 2006 y 2007 es un ejemplo de este tipo de procesos. Un fuerte movimiento estudiantil cuestionó los resultados y las bases de las reformas educativas implementadas. El gobierno creó una comisión asesora, que constituyó un amplio espacio de conversación social y realizó recomendaciones orientadas a rediseñar la institucionalidad, el financiamiento y los procesos que aseguran calidad de resultados. El gobierno consideró tales planteamientos, desarrollando un proyecto de ley que implica un cambio regulatorio y la creación de un sistema de aseguramiento de la calidad.
Este tipo de interacciones y de conversación social demuestran un nuevo sentido del carácter público de las políticas. Lo público no es sólo la acción de la autoridad pública o la presencia y acción gubernamental y del Estado en la sociedad. Por el contrario, lo público comienza a entenderse como el encuentro de la racionalidad estatal con la voluntad social. Es el gobierno en y desde un contexto de pluralidad amplia. Lo público es una intersección, es un espacio de todos (Cabrero).
Las experiencias de consultas nacionales, comisiones de consenso y políticas que par ten
‘desde abajo’ dan cuenta de la flexibilidad y permeabilidad que existe entre racionalidad estatal y voluntad social. El resultado es una producción conjunta -una co-producción- de las políticas y un ajuste mutuo donde las lógicas se articulan. Se trata de políticas construidas en dialogo con actores de la sociedad, y en las cuales el éxito de las mismas descansa en que el beneficiario no es solo ‘consumidor’ de la acción, sino que participa de la misma y de los procesos que conducen al resultado esperado.
La sociedad civil juega un rol importante en la definición, seguimiento y control de las políticas públicas. El enfoque de derechos promovidos por agencias como UNESCO y UNICEF pone el acento en la voz y control de éstas desde la sociedad. Este es posible por medio de acciones, instituciones, espacios de debate y cabildeo; puede poner en la agenda pública ciertos temas, o bien influir en la toma de decisiones y evitar que sean aplicadas medidas que afectan derechos de la población.
Para ello, los actores deben tener acceso a información pública y ser capaces de analizar datos y mejorar su voz con opiniones calificadas; deben establecer alianzas y diálogos con aquellos que inciden en las definiciones de políticas (ministros, legisladores, académicos, medios de comunicación, entre otros). Por esta razón es muy importante democratizar el acceso a la información y aumentar la transparencia en los procesos de rendición de cuentas.
Sistemas de evaluación
La mayoría de los sistemas de evaluación de nuestros países ha sostenido un importante progreso en su fase de desarrollo e institucionalización. Pese a ello, se sabe poco sobre los efectos y uso de la información generada en la toma de decisiones y en la práctica de trabajo de las escuelas.
Las pruebas nacionales e internacionales han demostrado ser muy útiles para dar una visión del país, o comparar un conjunto de naciones. Pero esta información no es suficiente para buscar soluciones y definir líneas de trabajo en escalas intermedias y locales de acción como lo requieren las provincias, los municipios y las escuelas. En estos niveles es necesario tener información sobre los factores asociados al logro de los aprendizajes y, a la vez, un modelo de análisis apropiado para la realidad local que ayude a definir prioridades y opciones para producir cambios en la gestión administrativa y pedagógica de las escuelas.
Por ello es importante promover procesos descentralizados de evaluación que aborden, con la diversidad requerida, los contextos y factores asociados a los logros. Este tipo de práctica puede complementar las evaluaciones nacionales y aportar información que permita a los actores educativos (directivos y maestros de cada escuela) tomar medidas que mejoren la educación en sus planteles.
Usos de la información
Un diagnóstico de lo ocurrido al respecto indica que ha habido una tendencia a confundir evaluación con medición; que su uso puede ser formativo (cambios en la escuela), político (definición de recursos públicos y de orientaciones) y de elección (selección de establecimientos); que es necesario analizar si de los sistemas evaluativos son esperables consecuencias bajas o fuertes.
Nuestra hipótesis es que el problema no se reduce sólo a la entrega de más y mejor información, porque las políticas son más complejas y difíciles. Si asumimos que son hechos comunicativos, dejan de ser un mero acto de entrega de información directiva que va de un emisor hacia un receptor. Por el contrario, son procesos de intercambio y de diálogo, donde sus beneficiarios tienen -a su vez- ideas propias e interpretaciones sobre los mensajes y contenidos que entregan los programas.
Por ello, los métodos de trabajo deben lograr que lo comunicado le haga sentido al otro, y que las interpretaciones y representaciones que los sujetos tienen en forma previa sean expresadas, para que constituyan objeto de la misma reflexión educativa.
Si las políticas y programas son muy abstractos, muy informativos, o muy desconectados de lo que es la experiencia cotidiana, es muy probable que no tengan sentido y efecto en las interpretaciones y prácticas de los sujetos a los cuales están destinados. Para que ello no ocurra es necesario aplicar métodos dialógicos que favorezcan la conversación y el intercambio, dando, al mismo tiempo, confianza para la expresión de las opiniones en espacios de respeto real a las diferencias.
Lo importante es que esta información tenga sentido para quienes la reciben y, por tanto, deje de ser un mero dato para transformarse en un conocimiento que permita comprender y actuar en la realidad. El proceso de transformación de la información en conocimiento es complejo e implica, entre otros aspectos, la contextualización de la información y su interpretación a partir del marco referencial propio, y en función de acciones en su contexto de trabajo y de decisión.
Es importante que en el desarrollo institucional de los centros educativos exista un buen uso de la evaluación, porque la experiencia internacional demuestra que es un factor clave en el mejoramiento de la educación (Tiana). La evaluación institucional de escuelas (al nivel del municipio) y el aporte de datos de las evaluaciones de sistema a nivel nacional pueden ser una articulación que permita avanzar en la introducción de procesos de mejora, permitiendo que la escuela reflexione sobre sus prácticas.
Instrumentos
Es necesario, también, mejorar la calidad y validez de los instrumentos. No basta la perspectiva psicométrica. Hay que evaluar aspectos especialmente difíciles de medir; pero claves para la evaluación del rendimiento, y que no son susceptibles de analizar sino con herramientas cualitativas. Los procesos de aula, en particular, pueden ser primero trabajados cualitativamente y después llevados a indicadores y sometidos a un modelo explicativo, que contenga los demás indicadores de resultados y factores asociados.
En lo cuantitativo, es preciso ser más innovador y diferenciar cuál es la responsabilidad del establecimiento y cuál la del contexto. Esta distinción permite aclarar qué puede ser exigido a la escuela y que no; para ello, los sistemas modernos de medición de la calidad de la educación están utilizando técnicas de multinivel jerárquico.
Igualmente, es recomendable contar con sistemas mixtos de evaluación donde, por una parte, el Estado trabaje centralizadamente con una muestra representativa de nivel nacional que dé cuenta del ritmo de los aprendizajes del país y, por otra, con mediciones descentralizadas a partir de iniciativas de los propios establecimientos, donde sea respetado el peso de la vinculación entre la diversidad y el resultado escolar. En este segundo caso, los propios establecimientos deben hacerse cargo del proceso, poniéndose de acuerdo sobre aquello que les interesa medir, en un proceso donde los actores educativos, posteriormente, se involucran en la reflexión sobre los resultados.
Es fundamental promover estudios de carácter longitudinal, de tipo panel. En ellos, una misma muestra de alumnos (que componen el panel) es observada durante varios años con el objetivo de estudiar los cambios en su desempeño y los factores que inciden en él. Este tipo de estudios permite contar con curvas específicas de desempeño para cada alumno, y la selectividad ‘natural’ del sistema es controlada por medio del análisis del abandono de alumnos pertenecientes al panel. La medición puede ser más amplia y variada, al considerar el tiempo. La obtención de datos debe ser sólo cuantitativa, por lo que es conveniente integrar técnicas cualitativas como entrevistas, observaciones y grupos focales, entre otras.
Para enfrentar el problema de las comparaciones de alumnos con realidades muy desiguales, es importante trabajar la técnica del valor agregado. De amplio desarrollo en Inglaterra y Francia, entre otros países, este procedimiento analiza los resultados de aprendizaje considerando el progreso de cada uno de los estudiantes e identificando los factores o variables asociadas a los estudiantes que observa. Esta información es de gran utilidad para reconocer, en cada uno de los establecimientos, la diversidad propia en los progresos de aprendizaje. Al mismo tiempo, sirve para conocer los principales factores en los cuales habría que intervenir para mejorar los resultados, los que pueden variar de un establecimiento a otro, o de acuerdo a perfiles y características de los propios estudiantes. El sistema de valor agregado permite cuestionar la comparación injusta realizada a establecimientos que trabajan con realidades sociales y culturales diferentes.
Finalmente, y en general, se requiere más análisis e interpretación de los sistemas de evaluación, con el fin de validar sus conclusiones e interpretaciones, así como de una formación permanente de sus usuarios.
Extraído de
Información, participación y enfoque de derechos
Autor Sergio Martinic
Reflexiones en torno a la evaluación de la calidad educativa en América Latina y el Caribe
Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación
Unesco
Publicaciones recomendadas
Ideología y poder
Teorías del aprendizaje