sábado, 31 de agosto de 2013

¿Qué deberíamos evaluar para que la evaluación sirva para mejorar la calidad?


¿Puede reducirse la Calidad Educativa a un limitado número de conocimientos y habilidades? ¿Es suficiente con una prueba de aprendizajes?  ¿Qué otras dimensiones podemos considerar? ¿Cuál es el sentido de “Evaluar un sistema”?



Ante un auditorio interesado en la educación no es necesario abundar en lo relativo a la importancia de su calidad y su evaluación. Pero teniendo en cuenta la diversidad de concepciones de estas dos nociones (calidad y evaluación) juzgo necesario explicitar mis propias ideas al respecto, de modo que las respuestas que ofreceré para las tres preguntas siguientes cobren sentido pleno.

Tratando, pues, de responder a esta primera pregunta, afirmo que, idealmente, una evaluación adecuada para que sirva realmente para mejorar la calidad educativa sería una muy amplia, que incluyera todas las dimensiones de la calidad; todas las áreas del currículo; los aspectos cognitivos pero también los actitudinales y valorales; no sólo niveles de dominio elementales, sino también los más elevados; insumos, pero también procesos y productos; los diversos actores y niveles organizacionales del sistema educativo; y que, además, incluyera el análisis de los factores que inciden en la calidad, de manera que dé bases para el diseño y la implementación de políticas.

Desarrollo el primero de los elementos anteriores: una buena evaluación deberá comprender todas las dimensiones de la calidad.

Sabemos que las políticas educativas han puesto el acento sucesivamente en la atención de la cobertura, luego en la eficiencia terminal y, más recientemente, en el nivel de aprendizaje alcanzado por los alumnos y en la equidad del servicio educativo. La coincidencia de la secuencia anterior de tales políticas en muchos países de la región latinoamericana y otras partes del mundo no es casual: responde, desde luego, a la similar evolución del contexto demográfico, económico, social y cultural.

Es frecuente que el término calidad se defina en forma restringida, limitándolo a lo que se refiere a los niveles de aprendizaje. En este sentido se dice que, tras centrar la atención en la cobertura y la eficiencia, ahora las políticas educativas ponen el énfasis en la calidad. Otra manera de usar la palabra, que juzgo preferible, le da un sentido más amplio, que se aplica también a las políticas de cobertura y eficiencia terminal.
Un concepto amplio de calidad, en efecto, no puede dejar fuera las dimensiones de cobertura y eficiencia, aunque no pueda limitarse a ellas y deba incluir además el nivel de aprendizaje, entre otras cosas.

Un concepto amplio de calidad debe incluir, en mi opinión, varias dimensiones que, en forma sintética, pueden expresarse diciendo que un sistema educativo de calidad es aquél que:
• Establece un currículo adecuado a las necesidades de la sociedad, incluyendo las de una mayor productividad económica, pero también otras necesidades básicas en una perspectiva de desarrollo integral, como las que tienen que ver con la democracia política, el respeto de los derechos humanos, el desarrollo de la ciencia, el cuidado del medio ambiente y la preservación y enriquecimiento de la diversidad cultural. Esta dimensión puede definirse con la expresión relevancia de los objetivos curriculares.

• Logra que la más alta proporción posible de destinatarios acceda a la escuela, que permanezca en ella hasta el final del trayecto previsto y que egrese alcanzando los objetivos de aprendizaje establecidos. Esta dimensión incluye, pues, la cobertura y la eficiencia terminal, así como el nivel de aprendizaje, y en términos sistémicos coincide con la eficacia interna del sistema.

• Consigue que los aprendizajes logrados por los alumnos sean asimilados por éstos en forma duradera y deriven en comportamientos sociales sustentados en los valores de libertad, equidad, solidaridad, tolerancia y respeto a las personas, que son fructíferos para la sociedad y para el propio individuo, quien podrá así alcanzar un desarrollo pleno en los diversos roles que habrá de desempeñar como trabajador, productor, consumidor, padre de familia, elector, servidor público, lector y telespectador, entre otros; en pocas palabras, como ciudadano cabal. En términos sistémicos esta dimensión es la de la eficacia ex terna o impacto del sistema.

• Cuenta, para lograr lo anterior, con recursos humanos y materiales suficientes, y los aprovecha de la mejor manera posible, evitando despilfarros y derroches. Es fácil apreciar que esta es la dimensión eficiencia del sistema.

• Tiene en cuenta la desigual situación de alumnos y familias, de las comunidades en que viven y las escuelas mismas, y ofrece apoyos especiales a quienes lo requieren, para que los objetivos educativos sean alcanzados por el mayor número posible. Esta última dimensión es la de equidad.

Conceptualizada así, multidimensionalmente, la educación será de calidad si es relevante, si tiene eficacia interna y externa, si tiene un impacto positivo en el largo plazo, si es eficiente en el uso de los recursos y si busca la equidad.

Considero que es mejor este concepto amplio de calidad que uno restringido, porque creo que nadie creerá que un sistema educativo es de calidad si atiende sólo a una fracción de la población en edad de acceder a cierto nivel, o si pierde en el camino a muchos de los alumnos que lo comienzan, aunque los que terminan lo hagan con altos niveles de aprendizaje.

Los otros componentes de una buena evaluación son claros: todas las áreas del currículo, comenzando por supuesto con Lectoescritura y Matemáticas, pero sin limitarse a ellas, sino contemplando, al menos en el mediano plazo, las ciencias naturales y las del hombre, la educación física y artística, etc.

Deberán incluirse los aspectos cognitivos pero también los actitudinales y valorales, ya que la educación no sólo pretende desarrollar los primeros, sino también, y con creciente énfasis, los segundos, cuya importancia para la vida en una sociedad democrática y culta se reconoce cada vez más. Obviamente, no sólo deberán valorarse niveles de aprendizaje elementales, como memorización, sino también los más elevados, de razonamiento propio, juicio crítico y creatividad.

Una buena evaluación no podrá limitarse a los insumos del sistema, si bien no puede olvidarlos, ya que sin ellos no es posible medir la eficiencia del sistema, pero habrá de considerar también los productos, para valorar la eficacia, y los procesos, como parte de una aproximación explicativa que indague en lo relativo a las causas de la situación descrita, con lo que se dará sustento sólido al diseño y la implementación de acciones de mejoramiento.

Con un enfoque integral como el que se propone, la evaluación tomará en cuenta no sólo a los alumnos, sino también a los maestros, los directores y supervisores y las autoridades educativas, así como los diferentes niveles de organización de un sistema complejo como el educativo, en cada uno de los cuales hay una problemática específica, y oportunidades particulares de intervención: el aula, la escuela singular, la zona o distrito escolar, el municipio, la región, provincia o entidad federativa, y el país.
Una buena evaluación, además, deberá caracterizarse por las cualidades técnicas de cualquier medición buena, que se resumen en la validez y la confiabilidad, en sus diversas facetas: que se mida realmente lo que se pretende medir, y que se haga de manera que los resultados sean comparables en el espacio y en el tiempo.

Subrayo que la evaluación no puede reducirse a la aplicación de pruebas de aprendizaje. Estas son, sin duda, necesarias para la medición de los resultados de la enseñanza, pero la valoración de otros aspectos implica la construcción de indicadores con otro tipo de datos, tomados de otras fuentes, como los sistemas de información estadística o estudios ad hoc.

Es claro que esta es una visión ideal, que en sentido estricto es imposible llevar a la práctica, pues exigiría una cantidad de trabajo y un volumen de recursos enorme para recolectar la información necesaria.

Pero si no se tiene este punto de referencia es fácil caer en el error opuesto, que en la realidad se ha dado en muchos lugares: el de reducir el sistema de evaluación a los elementos más fácilmente disponibles, con lo que sólo se dispone de datos gruesos y burdos sobre el número de alumnos inscritos en el sistema al inicio y al fin de un ciclo, el de maestros y escuelas, el presupuesto asignado a las escuelas y poco más.

Por ello creo que es importante manejar una visión ideal de lo que debería ser la evaluación como referente para el desarrollo de un sistema concreto; con tal punto de referencia, y con ayuda de las metodologías de investigación y evaluación educativa desarrolladas en las últimas décadas, es factible diseñar sistemas mucho más finos que los habituales, con requerimientos de recursos al alcance de los sistemas educativos reales.

No está de más precisar que diversos tipos de evaluación son competencia de diversas instancias. En particular conviene distinguir la evaluación de individuos de la de los sistemas como tales. La evaluación de los alumnos en lo individual, por ejemplo, es y sin duda seguirá correspondiendo a los maestros y las escuelas en que están los alumnos; la evaluación de los maestros en lo individual corresponde y corresponderá seguramente a los directores y supervisores.

La evaluación a la que me refiero en este escrito es, precisamente, la del sistema educativo en cuanto tal. Se trata, pues, de una evaluación de nivel macro, que no sustituye a las evaluaciones individuales, sino que las complementa, iluminando un ángulo diferente de la realidad educativa.




Extraído de:
Una mirada técnico-pedagógica acerca de las evaluaciones de calidad educativa
Felipe Martínez Rizo
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

martes, 20 de agosto de 2013

Reacciones de la prensa ante las evaluaciones de Calidad Educativa

La prensa no es un mero “medio” entre los hechos y las personas, tiene capacidad de “crear realidades” al sostiene intereses de algunos sectores. Muchas veces utiliza las Evaluaciones de Calidad Educativa para denostar el sistema educativo, con la finalidad de provocar su desfinanciamiento (En este caso defiende los intereses de los que no quieren hacer su aporte, las clases dominantes), pero siempre se maneja con una lógica ¿Cuáles son los principios de esta lógica?



A comienzos del mes de julio del año 2003 se dieron a conocer, también en Chile, los resultados de la Prueba PISA (Programa Internacional de Evaluación de Estudiantes) administrada a alumnos de 15 años de 43 países. En el caso de Chile, los titulares de prensa que informaban sobre dichos resultados fueron lapidarios:

• “Chile obtiene bajo resultado en educación”
• “Estudio internacional muestra graves fallas en comprensión de lectura de escolares chilenos”
• “Preocupa mala nota de Chile en educación”
• “El nuevo analfabetismo”
• “Remezón por mala nota de Chile en la prueba educacional PISA”
• “Descalabro en rendimiento escolar: soluciones al «hoyo negro» en educación chilena”.

Sin excepción, entonces, la noticia recibió el tratamiento de un hecho dramático, adverso, calamitoso, catastrófico. Lo interesante es que la catástrofe, así entendida, viene anunciándose, con previsible regularidad, cada año, ya bien a propósito de las mediciones nacionales de la calidad educacional o de los exámenes internacionales en que Chile ha participado. Se trata, por tanto, desde el punto de vista periodístico, de una rutina que, a esta altura, se encuentra bien establecida.

A su turno, la lectura catastrofista da paso a un escenario donde, habitualmente, la prensa destaca tres “hechos”. Primero, que a nivel mundial Chile se hallaría ubicado en el furgón de cola de la educación; segundo, que existiría una grave crisis en la educación chilena; tercero, que ésta afectaría particularmente a la educación pública.

Así titulado y definido el escenario educativo nacional, la prensa se encarga a continuación -en los días siguientes a la publicación de la noticia- de interpretar las causas del mal diagnosticado.

En primer lugar, la prensa aprovecha la propia publicación de la noticia para incluir elementos interpretativos, ya sea en el párrafo que sigue al título o en el cuerpo de aquélla. Un buen ejemplo de subtítulo interpretativo es éste: “Especialistas dicen que es la hora de revertir las políticas aplicadas hasta ahora, enfatizando el trabajo en la sala de clases”. Un ejemplo llamativo de desarrollo interpretativo de la noticia en su cuerpo es el siguiente: “Por lo menos las autoridades reconocen que la educación chilena, junto a otras de América Latina, está en pésimas condiciones de competencia académica, lo que se ratifica con la prueba PISA. Para Chile, la situación es más patética debido a la triplicación de los recursos a partir de 1990, lo que hoy implica más del 7% del PIB para este sector social, en el cual el Estado coloca dos billones de pesos. Pero hay nulo avance en calidad en 12 años de esfuerzo gubernamental y 8 de reforma educacional”.

En segundo lugar, la prensa editorializa sobre los resultados y ofrece, por esta vía, su propio análisis de la situación. Por ejemplo, bajo el encabezamiento “Educación de nivel latinoamericano”, un diario de la capital señala: “La situación de nuestra economía y la solidez de la democracia chilena nos han llevado muchas veces a mirar con distancia a América Latina. Y aunque hay razones para sentir orgullo, éste, a veces, raya en la soberbia. El estudio PISA, reciente mente divulgado, nos devuelve bruscamente a la realidad. Él evalúa las habilidades lectoras de los estudiantes de 15 años en 43 países, cinco de ellos latinoamericanos. Chile tiene un logro que equivale a 410 puntos, esto es, 90 por debajo del promedio general del informe. Su rendimiento general, estadísticamente, no difiere del que alcanzan México, Argentina y Brasil; estos cuatro países superan a Perú, el quinto latinoamericano, que, a su vez, obtiene el rendimiento más deficiente de todos los países participantes”.

En tercer lugar, la prensa entrevista a expertos cuyas opiniones deben interpretar los negativos resultados. Regularmente, el Ministro de Educación es entrevistado para que reaccione frente a la noticia. Inevitablemente, su respuesta adopta la forma de una “reacción defensiva”, como cuando frente a los resultados del PISA la autoridad chilena expresa: “Entre los países desarrollados nos sacamos un 3; entre los países latinoamericanos, un 6”. Por su lado, los expertos tienden, ya a confirmar la construcción negativa de la noticia ofrecida por la prensa o, por el contrario, la suavizan y explican. En el primer caso, por ejemplo, se halla la experta que tras señalar “que en Chile la calidad de la educación no ha obtenido los resultados esperados”, luego agrega “que es posible concluir que medidas como la jornada escolar completa obligatoria, cambios curriculares, mejoramiento de las condiciones de los profesores y otros programas centralizados que han llevado a un gasto de más de 2 billones de pesos no están teniendo los resultados que se esperaban”. En el otro caso se halla el experto cuya opinión es que “falta poco para revertir los resultados de la prueba PISA”, argumentando que “la experiencia en 66 escuelas críticas en 2001 demostró que, cuando se aplican métodos adecuados de enseñanza, los resultados cambian rápidamente”.

En suma, el tratamiento periodístico de los resultados de las pruebas de logro escolar apenas alcanza a revelar que nos encontramos frente a un ámbito saturado de interpretaciones contradictorias, donde se enfrentan dialécticamente distintas visiones de la educación, de las políticas educacionales y de sus resultados. Tampoco dicho tratamiento se preocupa de transparentar que, en las interpretaciones ofrecidas, se conjugan elementos de realidad, preferencias ideológicas y las agendas de los diversos actores que acceden, por medio de la prensa, a la esfera pública. En fin, un ingenuo pacto implícito de objetivismo hace aparecer como que en realidad las cosas son como se presentan en la noticia o en las interpretaciones congregadas en torno a ésta.
La situación no es distinta en otras latitudes del mundo, con excepción de aquellos pocos países cuyos resultados en las pruebas internacionales son excepcionalmente altos y, por ende, aparecen habitualmente en los primeros lugares del ranking mundial.

Quizá de modo inevitable, entonces, la prensa, impulsada por su propia visión de mundo como sucesión de acontecimientos o eventos noticiables y su lógica adversaria, se vea llevada a producir un tratamiento simplista y sesgado de hechos complejos como son los resultados de las pruebas que miden el desempeño de los sistemas educacionales.

¿Cuáles son las reglas que determinan dicho tratamiento? Sin pretender un grado de exhaustividad, pueden señalarse al menos las siguientes tres reglas que, en conjunto, parecen explicar una alta proporción de los efectos anteriormente descritos.

1. La regla de la reducción llamativa. Todo acontecimiento complejo debe ser reducido a su mínima expresión y convertido en un signo de exclamación que capte el interés del lector. En el caso que nos preocupa, como han señalado Ferrer y Arregui: “sólo importa la posición relativa de logro en el escenario internacional y no la abundante información sobre factores sociales, escolares y personales asociados al rendimiento […] La prensa, particularmente, tiende a desconocer los aspectos más complejos y auténticamente informativos de los resultados y sólo destaca las posiciones en el ranking, a menudo con títulos dramáticos y escandalosos”. No sólo los titulares de la noticia, sino su tratamiento completo, se subordinan a esta regla. Conforme a ella, el valor comunicacional de la noticia debe encontrarse en los síntomas del hecho reportado; no en sus causas, declaradas siempre “demasiado intrincadas” como para ser incluidas o como para despertar el interés del público.

2. La regla de la descontextualización facilitadora. Cualquier hecho social, para que se lo pueda tratar como noticia, debe ser arrancado de la enmarañada red dentro del cual se produce. Luego, no sólo se reducen los resultados a meras posiciones de ranking sino que, simultáneamente, se los aísla, cortándolos de los factores de contexto que los generan y que, por lo mismo, deben ser parte de su explicación. En efecto, para partir por lo más simple, no da lo mismo comparar países con distinto nivel de desarrollo; digamos, Finlandia, con un ingreso per capita de 24 mil dólares, y Chile, con uno de 4,6 mil dólares. Para la educación este es un antecedente fundamental. Así, por ejemplo, un 60% de la variación de los puntajes promedio obtenidos por los países participantes en PISA se puede predecir a partir de su ingreso por habitante. Asimismo, debe considerarse el grado de desigualdad existente en cada una de las sociedades. Las diferencias socio-familiares entre hogares son, efectivamente, el mayor obstáculo para una educación con resultados homogéneos de calidad. Como señala el propio informe PISA, un entorno socio-familiar desfavorable “parece ser uno de los factores más poderosos que influyen en el desempeño de las escalas de aptitudes para la lectura, matemática y ciencias”. Los niveles de desigualdad medidos por el Coeficiente de Gini explican un 26% de la variación en el desempeño promedio de los países. En seguida debe considerarse el gasto por alumno en que incurren los países, que es un reflejo de su nivel de desarrollo. Efectivamente, el gasto educacional acumulado hasta los 15 años explica un 54% de la variación entre países medida en su desempeño medio. En América Latina, el gasto así medido apenas alcanza a un tercio o menos del gasto promedio de los países de la OECD.

3. La regla de la homogeneidad cultural. Los resultados de una actividad social cualquiera serían independientes de la cultura en que se producen. En otras palabras: ¡la cultura no importa! En este caso específico, como bien señalan Ferrer y Arregui en el artículo antes citado, la prensa -al efectuar sus análisis e interpretaciones-, no considera “las grandes diferencias culturales entre los alumnos de diferentes países”; ni al interior de una misma sociedad, según estratos socioculturales (que un reciente estudio afirma explicarían alrededor de un 50% de la varianza en los resultados escolares que se manifiesta entre escuelas en Chile), ni entre sociedades con diferentes tradiciones y constelaciones culturales, como pueden ser las culturas de los países del sudeste asiático, de los países nórdico-europeos o de Europa Central y del Este. Contrariamente pues a todo lo que sostienen las ciencias sociales contemporáneas -esto es, de que la cultura sí importa-, paradojalmente en el ámbito de la educación y el aprendizaje, donde más se podría esperar que ella incida, su influencia es borrada de un plumazo, para dar paso a una suerte de universalidad global y abstracta de los efectos y los procesos escolares.

Bajo estas reglas, no debiera llamar la atención que la prensa produzca el tipo de noticias e interpretaciones sobre resultados escolares caracterizado al inicio de esta presentación, sobre todo en el caso de pruebas internacionales. Tales noticias e interpretaciones tenderán por necesidad a ser descontextualizadas, a reducir por tanto el peso de la sociedad y sus desigualdades; a apuntar sólo a los síntomas, reduciendo la complejidad del logro escolar a una tabla de ganadores y perdedores, en una aritmética social de escaso valor; y a presentar la carrera de rendimientos entre los alumnos del mundo (aunque nunca el universo real de comparación incluya a más de un 20% de los países y territorios del mundo) como si dicha competencia se llevara a cabo sobre una tabla rasa, donde todos compiten en igualdad de condiciones y sin que intervengan factores socioeconómicos y culturales de ninguna especie.



Extraído de:
Límites de la lectura periodística de resultados educacionales
José Joaquín Brunner
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO

sábado, 10 de agosto de 2013

La evaluación de Calidad Educativa como fetiche

Las Evaluaciones de Calidad Educativa han adquirido cierto nivel de publicación en los medios, que excede lo esperable en su ámbito natural. Muchas veces son utilizados por los medios, con fines que no son los de mejorar la Calidad ¿Se han convertido en un objeto de adoración? ¿Pueden llegar a convertirse en un fin en si mismas?


La evaluación educativa se convirtió en un método insuficiente, exagerado, fetichista y formalista. Pero a la vez es una herramienta utilísima para gobernantes y ciudadanos, y no hay por qué arrojarla al rincón de los trastos inservibles. Puede seguir. Debe seguir. ¿O acaso la política prescindirá, por ejemplo, de las encuestas de intención de voto, a pesar de que registren solamente fotos de lo que pasa y su instantaneidad no tenga la riqueza de una película?

La evaluación incomoda a los ministros de Educación porque se convirtió en una trampa de la cual ellos son las víctimas. Primero la sobredimensionaron y ahora no saben cómo escaparse. Y no importa si las cosas van mal o bien. La evaluación, para los ministros, representa la fatalidad de que las cosas aparecen públicamente mal aunque vayan bien. Más aún: como los ciudadanos carecen de instrumentos científicos de medición sobre la calidad de la educación -otros, claro, además de su relación concreta y familiar con el sistema educativo-, terminan esperando el momento de la difusión de resultados con una ansiedad que en realidad no experimentan realmente.

Un ejemplo son las famosas listas de los colegios mejor evaluados. Una vez por año se publican y entonces se pone en marcha el circuito informativo de los medios de comunicación.

• Los diarios informan sobre la lista.
• A la mañana siguiente, un programa de radio llama a la directora para preguntarle por qué en un pueblo perdido del interior argentino, sin recursos económicos ni asistencia pedagógica, ella y su comunidad educativa consiguieron el milagro.
• Por la tarde viaja el equipo de un canal de televisión. Esta vez la nota son los alumnos. ¿Qué tendrán ellos de raros, pobrecitos?
• Y a la noche todo terminó. El circuito devoró su alimento y sólo habrá que esperar a que el apetito vuelva a abrirse, seguramente con informaciones que no provienen de la educación.

A veces, la evaluación se refiere a la calidad de los docentes. O a cómo son los maestros cuando no se exponen en clase: qué leen, cómo viven, qué comen, cuánto ganan, qué valores sustentan, hasta qué punto superaron la discriminación, cómo están formados, qué sentido tienen la patria y la democracia para los encargados de formar a los chicos en la educación sistemática. En este caso, el circuito será distinto, porque además de la información juega con fuerza la relación entre los docentes como colectivo gremial y el Estado como patrón empleador. El circuito anterior quedará “contaminado” por una doble sensación. Los docentes dirán que la evaluación no es intelectualmente honesta porque el fin del Estado-patrón es el recorte de derechos adquiridos. El Estado argumentará que los docentes como colectivo de empleados están haciendo una utilización gremial de resultados que sólo tenían como fin saber el estado real de la educación en un determinado momento.

Si la evaluación queda limitada al primer circuito o a constituirse en un elemento más de la puja entre los maestros y el gobierno pero todos tienen conciencia de que ahí no se acaba el mundo, no habrá problema alguno. Sin dramas extraordinarios, el show continuará, porque siempre debe seguir.

El ruido se produce cuando la evaluación cumple su papel de profecía autocumplida y asciende en el ranking de la agenda pública hasta parangonarse con la mismísima política educativa.

Esa es la fetichización tan temida. La imagen termina reemplazando al objeto y ya nadie puede saber de qué se habla cuando las cosas no eran tan difíciles.

¿Por qué la evaluación es un producto de consumo tan digerible para los medios? Muy sencillo. Hay tres razones que tienen que ver con la mañana del periodismo y con la tensión natural entre periodismo y poder político.

Razón número uno: la evaluación permite ver cómo el gobierno se mide a sí mismo.
Número dos: si hay fracaso evidente, permite fastidiar al gobierno con un arma creada por la propia administración del Estado.
Número tres: si el fracaso no es evidente, es posible interpretarlo como tal.

Pero también hay razones que no tienen que ver con las mañas y la picardía. Razones que dan la pauta de posibles alternativas al sobredimensionamiento de la evaluación educativa.
Razón número uno: las listas de colegios corporizan la educación en instituciones de carne y hueso.
Número dos: acercan la educación a la verdad de cómo es percibida, es decir, como un elemento central de la vida cotidiana.
 Número tres: ofrecen una variante a la cobertura educativa tradicional del periodismo, a menudo atada a los problemas presupuestarios, el pago de los docentes y la permanencia o no del ministro de turno.
Número cuatro: brindan historias, individuales y colectivas, sugieren rarezas, plantean misterios e incógnitas.

El riesgo de la evaluación como fetiche es que, lo mismo que sucedió con la economía, termine vaciando la política. Que sea un sucedáneo educativo de los fundamentals económicos y quede cristalizada como una ideología vacía que funciona como espejo deformado de la realidad.

¿Quién podría negar la utilidad de evaluar los números macro de la economía? Incluso antes de Maastricht, pero sobre todo desde el tratado de Maastricht de 1991, por el que Europa se autoimpuso una serie de exigencias económicas, el análisis económico tiene en cuenta, entre otras variables, la relación entre deuda y producto bruto interno, tasa de inflación y déficit fiscal. Pero a partir de ese punto el problema es doble.

Por un lado, la descripción suele terminar en una forma de prescripción.
Por otro, esa descripción es forzosamente limitada. Un ejemplo es el déficit fiscal argentino. En diferentes momentos de los últimos años la Argentina hubiera podido ser miembro de la Unión Europea. Pero la Argentina no queda en Europa, y además los organismos multilaterales de crédito cuestionaron los grandes números a causa del déficit fiscal, que el economista Salvador Treber calcula a moneda constante, tomado a pesos del 2001, con una media anual de 66.657 millones de pesos para el período 1998-2000.

La cifra sola no dice nada. No tiene en cuenta, por ejemplo, el endeudamiento externo, fruto a su vez de la entrada de capitales en su mayoría especulativos, atraídos con altas tasas de interés y transformados muy pronto en una impagable deuda en dólares. Una visión más profunda, como la del ex vicepresidente del Banco Mundial Joseph Stiglitz, indica que los fundamentals entendidos con esa limitación no permiten comprender la realidad. En el caso argentino, según Stiglitz resulta imposible comprender el déficit fiscal sin tener en cuenta que el bache no se debe tanto al gasto público como a la privatización repentina y sin salvaguardias del sistema de jubilación de reparto o público. La discusión, naturalmente, excede el plano académico. Dado el origen distinto del déficit, una cosa es diagramar políticas pensando que el único problema es el gasto provincial, y otra diseñarlas teniendo en cuenta la inconveniente relación, que en la Argentina llega hasta la identidad absoluta, entre bancos y administradoras de fondos de pensión.

Al margen de este hecho, el rubro “Remuneraciones” se mantuvo en un 33 por ciento, mientras que el rubro “Intereses de la deuda” pasaba del 12 al 16 por ciento.
O sea: el número permite sólo sobrevolar la realidad y compararla en grueso. Es como un juego. Inútil, como todo juego, además, pero sin una pizca de lúdico. El análisis más profundo, en cambio, tiene la desgracia de los matices, que suelen ser engorrosos, pero la utilidad de la sintonía fina.

La educación es, por definición, un fenómeno de largo plazo. Es imposible mejorarla de un día para otro. Por fortuna, claro, también es imposible empeorarla de un día para otro. La evaluación de la calidad educativa, pero sobre todo su difusión, su conversión en instrumento público, se encuentran con ese dato inamovible de la realidad, pero a la vez están tironeadas por la urgencia fabricada en los últimos años en todo el mundo.

Ante este panorama negro, ¿la evaluación difundida igual que en los últimos años tiene alguna utilidad? Es evidente que sí. Resulta interesante tomar, en el caso argentino, no los resultados de la evaluación sino los títulos de las coberturas de prensa para ver qué datos se convirtieron en historia o en noticia y llegaron así a los ciudadanos.

• Los adolescentes tienen más dificultad para leer un texto periodístico que uno literario. Por ejemplo, no saben distinguir la argumentación de la noticia y carecen de los recursos para interrogar al texto.
• Los colegios más caros no son los primeros en el ranking de Lengua y Matemática.
• Entre los primeros hay más privados que estatales.
• El nivel socioeconómico de los alumnos es determinante tanto en Matemática como en Lengua. A nivel nacional, los hijos de padres con educación secundaria o terciaria obtuvieron en 2001 un 69 por ciento de respuestas correctas, mientras que los hijos de padres con escolarización primaria llegaron al 51 por ciento. A nivel de la Capital Federal, las cifras un dan 74,5 contra un 56,6 por ciento.
• Aun así, la escuela no reproduce exactamente ni en términos regionales ni en términos sociales la cristalización de la Argentina en una sociedad cada vez menos plebeya. La diferencia promedio en 2001 llegaba al 14 por ciento, en una sociedad más polarizada que lo que esa cifra puede indicar, como lo revela la existencia, en ese momento, de más de un 40 por ciento de pobres dentro del total de población. El secretario de Educación de la ciudad de Buenos Aires lo resumió así: “Entre un pobre que se recibió de abogado y un rico que también se recibió hay menos diferencia que entre un pobre que dejó de estudiar y un rico que estudió”. Conviene recordar que en 2001, a diferencia de años anteriores, el Ministerio de Educación no puso el énfasis en los rankings de escuelas sino en los factores sociales que inciden en la calidad educativa. En palabras del subsecretario de Educación de ese entonces, Gustavo Iaies, “lo importante es que las escuelas sepan cuáles son los factores que más inciden en la obtención de buenos resultados para que los pongan en marcha”.

• A veces, también, la evaluación educativa fue interpretada por algunos medios como si los editores fueran controladores de un organismo de crédito y surgieron títulos como “La escuela no cumple con los objetivos mínimos”.
• En la Capital Federal, nuevamente, el 88 por ciento de los chicos que llegan a tercer año terminan la secundaria.
• Los alumnos rinden mejor en Matemática que en Lengua.
• La Argentina no está peor que el resto de América latina, pero América latina está al final del pelotón mundial.
• Es ilustrativo ver cómo interpretan los directivos de los colegios los resultados de cada evaluación:
• Se quejan de los sueldos docentes.
• Explican que los sueldos bajos influyen sobre la concentración, que resulta insuficiente, porque genera lo que en la Argentina se conocía como “profesor-taxi”, aunque obviamente se trata de un nombre-paradoja.
• Los directivos de escuelas públicas envidian a sus colegas de las privadas porque suponen que el pago a los docentes es sensiblemente superior.

En otras ocasiones, el reflejo periodístico de las evaluaciones apunta a lo particular particularísimo. Al caso. A la historia. Al costado humano.

Con la evaluación de 1998 en la Argentina proliferaron los artículos de admiración por los resultados de las escuelas del interior del país. La mejor primaria pública fue la escuela número 49 de Dorila, en La Pampa, en la zona centro-sur del país. Los alumnos del pueblo de 244 habitantes habían alcanzado un promedio de 91,43 puntos en Lengua y Matemática. Una profesora explicó los resultados notables por el trabajo personalizado: no había más de 16 chicos por aula. La directora contó que todos los días un ómnibus recorre 205 kilómetros para traer y llevar a 25 chicos que viven en los campos de los alrededores. También dijo que no había deserción porque cuando un chico faltaba las maestras iban hasta la casa a preguntar qué estaba ocurriendo en la familia.

También en 1998, la mejor escuela secundaria fue una técnica de San Nicolás, en el cinturón industrial que une Buenos Aires con Rosario, al norte de la Capital Federal. Los diarios reflejaron que los alumnos, en su mayoría de barrios periféricos, triunfaron en las pruebas, según el director, por su trabajo y por el empeño de los docentes.

Es fácil imaginar el reparo ante estos casos. ¿No se está, acaso, en presencia de algo en principio tan poco científico como el ejemplo? ¿La rareza, insumo básico de cualquier trabajo periodístico, no oculta la regularidad, objetivo máximo de una medición imparcial y objetiva? ¿No existe el riesgo de que las peculiaridades tapen una visión más profunda sobre la educación?

Naturalmente, los peligros están al alcance de la mano. Pero conviene apuntar que son los mismos de cualquier evaluación, e incluso de cualquier descripción de la realidad. En buena medida por razones ideológicas, la caída del Muro de Berlín y el famoso final de los grandes relatos supuso, para muchos científicos sociales, la desconfianza estructural hacia todo tipo de análisis cualitativo y una absolutización del valor de lo cuantitativo, lo internacionalmente comparable a través de índices, otra vez los grandes números.

Para que quede claro: no es que lo cuantitativo sea “de derecha” y lo cualitativo “de izquierda”. Es que, por un momento, el sacudón del mundo fue interpretado por muchos intelectuales como un modo de finalización de la política. Si para el viejo comunismo el final de la política llegaría con la desaparición del Estado y la extinción de la sociedad clasista, para el enfoque inverso la desaparición de ese horizonte casi providencialista equivalía al vaciamiento de toda discusión de fondo, a la renuncia por anticipado a todo análisis que no se apoyara en un índice.

Para que quede claro también esto: sería tonto, inútil y fetichista al revés despreciar la cuantificación de metas y resultados. Sonaría a un antiintelectualismo que remata siempre en una política de primates, emparentada finalmente con el poder en estado puro y descarnado y una visión pragmática de las cosas en el peor sentido de la palabra, el del utilitarismo sin objetivos sociales ni planes desplegados desde el Estado.

Lejos de cualquier maniqueísmo, los ejemplos anteriores muestran que las evaluaciones educativas sirvieron para acercar elementos del debate educativo, de los especialistas, a los ciudadanos. Sin embargo, quien dice acercar no dice profundizar ni continuar. Ni el Estado, ni los planificadores educativos, ni los medios, ni los periodistas especializados aprovecharon esa formidable cantera de temas para seguir una discusión pública apasionante. Es posible, por ejemplo, que el éxito pampeano sea una rareza. Pero, ¿lo es también el debate sobre la proximidad entre docentes y alumnos? Y con el caso de San Nicolás, ¿no se discute también en público, con absoluta transparencia y sencillez, que no hay éxito posible sin una comunidad educativa fuerte, motivada y con mística? Es verdad, como se vio, que los diarios titularon muchas veces con un tono que disgustaba al gobierno por los buenos motivos (la superficialidad después de un trabajo tan serio como la evaluación) y también por los malos (a los funcionarios suele disgustarles la crítica). Pero, nuevamente, en cada artículo del ramo de los interesantes había material para el seguimiento y el debate. En el caso argentino, quizás la discusión pública sobre la educación sea pobre y poco específica, pero tal vez haya aportado su cuota de información y polémica al debate general sobre la pobreza, la exclusión y la desigualdad que forman parte de la agenda pública central del país.

¿Y los docentes? El reflejo de los maestros en los medios acostumbra ser simpático y cariñoso. Son, por ejemplo, el único gremio capaz de resolver huelgas con gran frecuencia y ser “perdonados” por la sociedad. Pero la evaluación es una pelea permanente que los medios reflejan marcando la desconfianza mutua entre el Estado y los docentes. Reflejan otra cosa también: que no hay acuerdo, acercamiento y discusión pública intelectualmente honesta entre los dos sectores. Los docentes desconfían de las evaluaciones oficiales y aun de las públicas no estatales. Y el Estado recela de lo que califica como falta de colaboración de los maestros.

En la Argentina tuvo mucho impacto una encuesta encargada por el gremio docente. Demostraba, entre otras cosas, estas cosas:
• El 40 por ciento de las maestras es jefe de hogar y tiene a su cargo entre dos y cinco personas.
• El 88 por ciento de los docentes trabaja en escuelas sin gimnasio.
• El 41 por ciento se desempeña en establecimientos sin biblioteca.
• El 18 por ciento de los maestros trabaja en escuelas con más de mil alumnos.
• El 90 por ciento de las escuelas no tienen servidor de Internet ni e mail.
• La mitad de los docentes está por debajo de la línea de pobreza.

Pero, a la vez, la encuesta fue reacia a descubrir y describir el mundo de los valores de los maestros, en rigor no muy distintos del mundo de valores del resto de la sociedad y por lo tanto no siempre noble, altruista y modélico para los alumnos.

Si la evaluación se convierte en una trampa, si al final parece que no midiera nada útil, si sólo genera problemas con los docentes y a primera vista no es útil para intensificar la discusión educativa dentro de la agenda pública, ¿no convendrá suprimirla?
Una tentación a mano de los funcionarios del Estado es que la evaluación sea secreta.

No estoy de acuerdo por razones de principio y por motivos prácticos. Razones de principio: en una democracia moderna, y armas atómicas al margen, no hay secreto válido que obture la transparencia. Motivos prácticos: si es difícil conservar un secreto cuando el protagonista es una sola persona, es imposible mantenerlo si ya son como mínimo dos. Los seres humanos no suelen comportarse como conspiradores, y aun si lo lograsen no sería conveniente encarar la evaluación educativa como una tarea de topos dignos de John Le Carré.

La otra tentación es que la evaluación no sea secreta pero que, a la vez, no dependa de la difusión activa por parte de las autoridades oficiales. Mi opinión es que también éste es un atajo sin sentido. La evaluación ya es una herramienta aceptada por la sociedad, que la espera. Tal vez la espere con una ansiedad desproporcionada, pero así es la vida. Quitarla ahora de la difusión habitual equivaldría a instalar una sospecha: por algo se oculta hoy lo que antes era público.

No quiero entrar en cómo el Estado evalúa la educación. No es mi especialidad. Pero desde un punto de vista más general -social, político, incluso de comunicación entre gobernantes y ciudadanos- parece claro que si la intención es contar con un Estado fuerte que opere activamente para reducir la desigualdad, la comunicación no puede limitarse a la administración de índices. Más allá de la evaluación, y sin sugerir de ningún modo la manipulación de los datos o su tergiversación, es evidente que el Estado puede orientar el debate educativo. Igual que en periodismo, al Estado debe exigírsele la mayor objetividad posible respecto de los datos y la descripción de la realidad. Pero, más aún que en periodismo, no hay gobierno sin encarnar en objetivos políticos y de liderazgo social las políticas públicas de la educación. Los datos son los datos: sagrados.

Sería deseable, en mi opinión, que las conclusiones reflejaran cada vez más la intención de recoger el consenso social sobre educación y de alimentar ese consenso con nuevos temas, nuevas provocaciones, nuevos debates, nuevos objetivos.

Se dirá que no hay garantías de que el periodismo acompañe. Que incluso las mejores intenciones oficiales chocan con la ignorancia, los intereses creados y la indiferencia de los medios. Pero, otra vez, así es la vida. Ninguna iniciativa política tiene asegurada su repercusión, aunque al mismo tiempo conviene recordar que el impacto siempre es mayor cuando el Estado informa de una manera honesta, interesante, motivadora y poco burocrática. Y, del mismo modo que ocurre con la libertad de expresión, no se trata sobre todo de la libertad para informar sino de la respuesta al derecho de los ciudadanos a saber. Ese derecho determina que informar sea, entonces, no una facultad sino un deber social, equivalente a un servicio público.

Tengo algunas conclusiones provisorias:
Una, que la evaluación no es la panacea, como no lo es ninguna herramienta puramente cuantitativa.
La segunda, que si no es la fórmula de la felicidad universal no debe ser presentada como tal.
La tercera, que el Estado no debe suprimirla.
La cuarta, que nada reemplaza al ejercicio de la política. La quinta, que la política sigue incluyendo la instalación de temas, de conclusiones, de valoraciones, válidos en tanto no surjan de la manipulación de los datos sino de su interpretación transparente y honrada.
La sexta, que así como no hay periodismo sin convertir la información en tema no hay evaluación bien comunicada y socialmente útil sin transformar el dato en eje de debate público.
La séptima, que el futuro de la evaluación como herramienta política está ligado a la participación de los docentes. Participación difícil y en apariencia imposible, pero insustituible.
La octava, que la sociedad, con una visión en este tema más cualitativa y sabia, no espera la evaluación de cada año para tomar posición frente a la realidad educativa.
La novena, que reproducir a escala internacional la lógica de los grandes números es vaciar la política como herramienta de ciudadanía y transformación de los habitantes en sujetos.
La décima, que siempre habrá tensión entre el Estado y los docentes, y entre el Estado y los medios. Por eso, diseñar políticas o actuar como si esa tensión pudiera suprimirse sólo llevará a la creación de nuevos dogmas y nuevos ámbitos de rigidez. Una parte de la política es la imprevisibilidad, la contingencia, el azar, la pelea, el conflicto, el acuerdo, el consenso y el juego de las veleidades. Pensar que en sociedades culturalmente ricas y complejas como las nuestras toda realidad, toda evaluación y todo proceso comunicativo es controlable del principio al fin suena a una ilusión de chicos.


Extraído de:
La evaluación como fetiche
Martín Granovsky
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

Related Posts Plugin for WordPress, Blogger...

Busca en mis sitios