martes, 17 de diciembre de 2013

Rankingmanía: PISA


El siguiente artículo constituye una reflexión profunda sobre el sentido de las evaluaciones PISA, y de los usos que se les da ¿Bajo qué supuestos se elabora la prueba? ¿Qué relación tiene con el colonialismo cultural?


No deja de ser una paradoja que la investigación educativa y la pedagogía hayan avanzado tanto, al mismo tiempo en que el debate público sobre la educación se haya empobrecido de una manera tan elocuente. En efecto, durante los últimos 50 años, las ciencias sociales han puesto de relevancia la complejidad de los procesos educativos, la multiplicidad de variables, dinámicas y tensiones que operan en el campo escolar, así como las dificultades de generalizar políticas, programas y reformas que desconsideren las especificidades que poseen los sistemas de educación en cada país o en cada región. Aunque el haber ido a la escuela parece dotar a todos los individuos de la capacidad necesaria para proponer una solución viable a la profunda crisis educativa que estamos viviendo, el desarrollo de la investigación sobre las instituciones escolares y la educación, han puesto de relevancia que opinar sobre el asunto suele ser más complejo de lo que habitualmente suponemos. También han puesto en evidencia que las generalizaciones y las recetas milagrosas suelen ocultar más que mostrar las dimensiones involucradas en los procesos de cambio educativo que atraviesan nuestros países. Entre tanto, cada tres años, el mundo parece detenerse en la víspera de la publicación de los resultados de una prueba que, milagrosamente, parece resumir los grandes secretos del presente y del futuro de la educación.

El Programa para la Evaluación Internacional de los Estudiantes, PISA, fue creado por la Organización para la Cooperación y el Desarrollo Económico, OCDE, a mediados de los años 90 y, cada tres años, presenta un balance del estado de los aprendizajes de los jóvenes entre 15 y 16 años en cerca de 70 países. PISA incluye una prueba en tres campos de conocimiento (matemática, ciencias y lectura), además de una encuesta aplicada a alumnos y personal escolar. Sus resultados son presentados como una especie de oráculo capaz de diagnosticar el estado de los sistemas educativos a nivel global y los cambios que ellos deberán enfrentar para estar a la altura de los desafíos que los nuevos tiempos imponen.

PISA parece haber logrado una verdadera hazaña ideológica: imponer como evidente y necesaria la suposición de que los sistemas escolares de todos los países pueden ser evaluados mediante la aplicación de una misma prueba aplicada a un conjunto de estudiantes elegidos al azar. El razonamiento parece simple y encuentra sus raíces en una concepción particular, y de forma alguna “universal”, acerca del aprendizaje, la función de la escuela y el desarrollo educativo. Se trata de replicar a nivel mundial lo que las escuelas hacen todos los días con sus alumnos. La “prueba” suele ser el método habitual mediante el cual los docentes observan el grado de aprendizajes alcanzados por sus alumnos. Las pruebas casi siempre son corregidas en una escala numérica donde los que obtienen las notas más altas son los “buenos” alumnos y, los que obtienen las más bajas, los “peores”. Así las cosas, sin demasiada imaginación, aunque con una sorprendente eficacia política, la OCDE, ha implementado un sistema internacional de evaluación que, indagando el grado de conocimientos adquiridos en matemática, ciencia y lectura, en una muestra representativa de alumnos de algo más de 60 países, puede determinar el grado de eficacia de cada sistema educativo nacional, así como la jerarquía general o por campo de conocimiento de las naciones involucradas. Los países con mejores notas tendrán un sistema educativo mejor, los que obtienen peores calificaciones, un sistema escolar peor.

Un ranking, un simple ranking, puede mostrar el grado de desarrollo de cada sistema educativo involucrado en la prueba, sus potencialidades y limitaciones.

La enorme proliferación de ranking en el campo educativo puede hacer pensar que el modo de organizar instituciones y países en un orden de jerarquía, productividad o eficacia ha sido el procedimiento que siempre hemos utilizado y recomendado en educación, por sus probados beneficios para mejorar o superar los problemas que enfrentan los sistemas de escolares. Vale destacar que, aunque durante los últimos 250 años siempre se ha afirmado que la educación está en crisis, sólo muy recientemente se ha considerado que era posible evaluar, comparar y organizar jerárquicamente los sistemas educativos a nivel mundial, organizándolos en una lista de ganadores y perdedores similar a la que muchos docentes construyen día a día en su sala de clase.

Se trata de un cambio de perspectiva de la mayor importancia y, aunque sus bases sean simplistas, reduccionistas y aberrantes en términos analíticos, no podemos soslayar sus alcances: ¿cómo ha sido posible convencer al mundo que la aplicación de una prueba a medio millón de jóvenes de diversos países nos puede ofrecer un mapa, una radiografía, una imagen del estado de la educación en cada una de nuestras naciones en términos particulares y del planeta de modo general?

PISA parte de tres supuestos que deben ser analizados y cuestionados:
    Supone, haciendo gala de un colonialismo pedagógico sin precedentes, que es posible que un conjunto de especialistas puedan definir las competencias fundamentales que son necesarias para enfrentar los retos y desafíos de la supuesta “vida real”; esto es, la competitividad económica, las demandas y necesidades de consumo, participación y bienestar. El presupuesto de PISA es que existe un único mundo (no hace falta adivinar de qué color), un única cultura, un único modelo de bienestar y una única forma de insertarse productivamente en este mundo. Ese ideal de mano única puede y debe ser sintetizado en un conjunto de competencias necesarias para transitar sin tropiezos hacia esa meta a la que todos aspiran a llegar: el éxito económico. Cuando en el mundo casi todas las religiones se acostumbraron a aceptar que la diversidad religiosa era inevitable, PISA nos impone la monogamia cognitiva más brutal y autoritaria. En la escuela hay que aprender un conjunto de cosas que son fundamentales para cualquier persona en cualquier lugar del planeta, tan fundamentales que es posible idear una prueba de alta complejidad que pueda determinar el grado de dominio de esas competencias a escala mundial, organizando un ranking de países en función del éxito o del fracaso que experimentan sus alumnos en apropiarse de esos saberes. Los mejores triunfarán, los peores fracasarán. Nuevas retóricas para viejas realidades.

    Supone que el grado de eficacia de una institución educativa y, por efecto aditivo, de un sistema escolar, puede determinarse mediante una instantánea, una fotografía tomada en un determinado momento de su trayectoria, la cual sintetiza en sus trazos, todos los atributos e informaciones necesarias para juzgar la productividad, eficacia e impacto de las acciones que en él se desarrollan. Un instante capaz de reflejar el todo, mediante indicadores numéricos de rendimiento. La prueba, en este sentido, posee una verdadera aspiración mística: es la evidencia del milagro que la ciencia de la evaluación nos ofrece. En algunas pocas horas, algo más de 500 mil jóvenes de todo el mundo responderán una encuesta y realizarán una prueba. Esos papeles garabateados resumirán el grado de desarrollo de los sistemas educativos a nivel mundial y generarán debates pasionales acerca del presente y el futuro de nuestros países, derrumbarán ministros, harán entrar en la gloria del Olimpo pedagógico a naciones inimaginadas, nos dirán quiénes podrán salvarse y quiénes estarán condenados a la vergüenza del purgatorio.

    Supone que la evaluación de un sistema es requisito necesario y suficiente para ofrecer la solución a los problemas que el sistema enfrenta. En suma, que los resultados de las pruebas y los datos aportados por la encuesta nos brindan los elementos necesarios para definir las acciones correctivas que debemos aplicar para mejorar el desempeño de nuestras instituciones escolares. Por otro lado, aunque suele alertar sobre los riesgos del mal uso del ranking, la OCDE utiliza la jerarquía en los resultados de rendimiento como un efecto pedagógico de demostración que estimula la competencia, el deseo de mantener las posiciones alcanzadas y superar los problemas puestos en evidencia. El ranking educa, forma, construye un ethos, orienta, conduce.

Estos supuestos constituyen los tres pilares de la razón jerárquica: el colonialismo cultural y el idealismo pedagógico; la aberración metodológica de la subordinación del todo a una parte: y, la naturaleza normativa y prescriptiva de los resultados de una prueba artificialmente estandarizada. PISA es un emblema de los extravíos y delirios a los que nos somete la razón jerárquica en el campo educativo.

La patética profusión de festejos y llantos, lecciones y quejas, promesas y humillaciones que rodean la muy bien montada operación mediática de presentación de los resultados de PISA es mucho más que un inventario anecdótico de sandeces. En rigor, si Comenio, Rousseau y Dewey resucitaran, volverían a morirse por el nivel de locura al que ha llegado nuestra pedagogía política y la política de nuestra pedagogía. El mundo se inunda de especulaciones, relatos, alegatos, narraciones ficcionales, sospechas infundadas, diagnósticos sobre diagnósticos acerca del por qué, los asiáticos aprenden más y mejor que los occidentales. Una verdadera estupidez que sólo debería quitarle el sueño a los burócratas de la OCDE, pero se lo quitan a bastante más gente, entre quienes me incluyo.

En la edición 2012 de PISA, recientemente publicada, los chinos se llevaron todos los méritos, aunque participaron con algunas ventajas. Por ejemplo, si bien casi todos los encuestados fueron “países”, China lo hizo con Shangai, una de sus principales ciudades. También con la ciudad de Taipei y los territorios de Hong Kong y Macao, ocupando así cuatro de los seis primeros lugares.

España no tuvo la suerte de China y participó como país. No cabe duda que los resultados hubieran sido mejores si sólo hubiera competido con los barrios de Salamanca en Madrid y Pedralbes en Barcelona. Como quiera que sea, el mal desempeño de la Península sirvió para demostrar que la Ley Wert iba a mejorar o empeorar las cosas, según quién contara la historia. No me une al verborrágico ministro Wert ninguna relación de simpatía. Sin embargo, creo que de lo único que no puede culpársele es del desempeño de los jóvenes españoles en las pruebas llevadas a cabo por los tecnócratas de la OCDE. Tampoco, por cierto, puede atribuírsele ningún mérito en las aparentes oportunidades de superación que promete brindar su ley privatizadora y de ambiciones excluyentes. En lo único en que coinciden buena parte de los análisis, es que el mal desempeño promedio de los jóvenes españoles se debe a los inmigrantes. Esa gente que parece no haberse dado cuenta que España está en crisis y se obstina en permanecer en el país, teniendo hijos y nivelando hacia abajo el resultado de las pruebas. La epistemología pedagógica franquista parece persistir al tiempo, llevando a algunos a suponer que si los españoles fueran puros, tendrían el desempeño cognitivo de los habitantes de Shangai en las pruebas de matemática. PISA parece evaluar, pero, lo que en realidad hace, es recomendar caminos para resolver problemas.

Por otro lado, aunque nos pasamos los últimos diez años estudiando el "milagro educativo finlandés", acabamos descubriendo que era mejor ser vietnamita que nórdico. El derrumbe de Finlandia ha puesto la nación en jaque. Como si no faltaran motivos para deprimirse en invierno, los finlandeses deberán abocarse ahora a saber por qué perdieron la pole position ante unos orientales más inspirados en Milton Friedman que en Mao Tsé-Tung. Por nuestra parte, deberemos abocarnos a estudiar el milagro chino o vietnamita, pasando de la gélida eficacia nórdica al sombrío deslumbramiento pos-socialista.

Hasta hace pocos días, todos los que aspiraban a tener un buen sistema educativo querían ser como los finlandeses. Veremos si ahora todos quieren ser chinos o vietnamitas.

Los resultados de PISA deparan sorpresas agradables como, por ejemplo, descubrir la existencia de Latvia, un país que nunca ha jugado la Copa Mundial de Futbol, pero cuyos jóvenes saben más matemática, ciencias y lectura que los noruegos, italianos, españoles, rusos, norteamericanos, suecos e israelíes. Deberemos investigar dónde queda Latvia y qué “milagro educativo” realizan en sus escuelas esos ignotos seres humanos. Si llegáramos a descubrir que los latvios son de baja estatura, quizás podríamos desarrollar una tesis sobre la relación inversamente proporcional entre la altura corporal y el buen desarrollo cognitivo de las etnias más avanzadas del universo frente a los desafíos del siglo XXI.

Pronto seremos inundados por artículos que prometerán contarnos qué ocurre en las escuelas de Macao, Taipei. Hanoi o Riga, capital de Latvia, y cómo debemos imitarlas para hacer de los nuestros, centros educativos eficaces.

Latinoamérica se ha afirmado, ya en la quinta edición de PISA, en los últimos lugares del ranking. Como si los 50 países que lo preceden no existieran, Chile festeja ser el mejor de la región, aunque no puede ocultar el alto grado de desigualdad de su sistema escolar. Los uruguayos lamentan lo que suponen ser el deterioro irreversible de su sistema educativo, curiosamente, el más igualitario de la región. Los brasileños festejan haber vencido a los argentinos y, vaya sorpresa, los peruanos, aunque volvieron a salir últimos en el ranking, conmemoran haber sido los que “más mejoraron en las pruebas del 2012”. Entre tanto, el Banco Mundial anuncia que América Latina es la región del mundo donde más ha disminuido la pobreza. Creo, definitivamente, que hemos enloquecido.

Los delirios de la razón jerárquica producen daños cerebrales profundos. Obligados a justificar por qué están donde están, los ministerios de educación de todos los países, naturalmente, menos el de China, y quizás el de Latvia, tratan de explicar por qué les ha ido tan mal y prometen mejorar en la próxima prueba. Habrá que esperar tres años.

Como quiera que sea, lo que nunca se cuestiona es la propia prueba PISA. Un invento ideológico de enorme valor disciplinario y normativo. Un dispositivo del nuevo orden mundial de la educación. Una victoria de los poderosos. Una derrota de los que soñamos con un mundo más libre, una educación más justa, una sociedad más humana.

Deshacernos de PISA permitirá avanzar en la lucha contra los delirios de la razón jerárquica, contra los ranking que nos modelan, contra los tecnócratas que, al describirnos, nos inventan.

Autor
Pablo Gentili. Nació en Buenos Aires en 1963 y ha pasado los últimos 20 años de su vida ejerciendo la docencia y la investigación social en Río de Janeiro. Ha escrito diversos libros sobre reformas educativas en América Latina y ha sido uno de los fundadores del Foro Mundial de Educación, iniciativa del Foro Social Mundial. Su trabajo académico y su militancia por el derecho a la educación le ha permitido conocer todos los países latinoamericanos, por los que viaja incesantemente, escribiendo las crónicas y ensayos que publica en este blog. Actualmente, es Secretario Ejecutivo Adjunto del Consejo Latinoamericano de Ciencias Sociales (CLACSO) y Director de la Facultad Latinoamericana de Ciencias Sociales (FLACSO, Sede Brasil).

miércoles, 27 de noviembre de 2013

Potencialidades de la evaluación de la calidad educativa


Las evaluaciones de Calidad Educativa son de reciente aparición, han recibido fuertes y fundamentadas críticas, pero aún así continúan vigentes ¿Qué es lo que hace que no sean un fenómeno coyuntural? ¿Por qué son consideradas útiles?


A pesar de las críticas, la tendencia a llevar a cabo procesos de evaluación de la calidad educativa es un hecho en nuestros días y no parece que se trate de algo coyuntural o pasajero, sino que guarda relación con un nuevo modo de conducción de sistemas complejos, como el sanitario o el educativo. Si hasta hace algún tiempo los conceptos utilizados en la administración pública procedían fundamentalmente de campos disciplinares como el derecho o la ciencia política, en los últimos años se han ido adoptando nuevas orientaciones a partir de las aportaciones realizadas por las diversas ciencias de la administración. En este nuevo contexto, la evaluación ocupa un lugar específico, proporcionando conceptos, enfoques y técnicas para la gestión. El uso del término conducción sugiere una imagen del funcionamiento de la administración educativa muy diferente al que ha predominado hasta ahora. Frente a la regulación mediante normas y el control jerárquico del cumplimiento de las mismas, se pone el acento en la recepción y el tratamiento de una información actualizada, capaz de permitir intervenciones más ágiles y mejor adaptadas a la diversidad de situaciones específicas. Evidentemente, este nuevo modelo de actuación requiere tanto la existencia de sistemas de información suficientemente sofisticados como la preparación en el uso y la interpretación de la información por parte de quienes deben utilizarla para tomar decisiones, aspectos en los que aún queda mucho trabajo por hacer (A. Tiana).
Por otra parte, y sin minimizar la importancia de las críticas que pueden plantearse a una perspectiva economicista de la educación, resulta también evidente que existe una necesidad de racionalizar los gastos destinados a la educación y de rendir cuentas de sus resultados. La financiación de la educación supone un sacrificio social, por lo que el gasto debe hacerse de la forma más racional posible, aún teniendo presente la importancia de garantizar la equidad. Las instituciones educativas son recursos sociales y es necesario distribuir correctamente estos recursos. Además, en el contexto actual, en el que se concede un margen creciente de autonomía a las escuelas, resulta aún más necesario establecer sistemas de rendición de cuentas.

Lo importante en este sentido es no perder de vista las diferencias que existen entre los conceptos de calidad, eficacia y eficiencia, aspecto en el que existe un cierto desacuerdo incluso entre los especialistas. Así, mientras la calidad sería un proceso de mejora continua, la eficacia puede definirse como la capacidad para conseguir los objetivos o metas propuestas. La eficiencia, por su parte, hace referencia a la capacidad de producir lo máximo con el mínimo tiempo y energía, por lo que se trata de un concepto referido a la relación entre inputs y resultados (A. Tiana). En este sentido, aunque a los servicios públicos no se les exija rentabilidad, al menos puede exigírseles eficiencia (R. Pérez Juste), es decir, el logro de determinados objetivos optimizando los medios y los recursos.

Finalmente, conviene tener en cuenta que el uso de procedimientos de evaluación de la calidad puede tener también consecuencias o efectos positivos para los propios sistemas educativos, como se ha puesto de manifiesto en reiteradas ocasiones. En concreto, y sin ningún afán de exhaustividad, pueden mencionarse algunas de estas posibles consecuencias positivas de la evaluación:

Aporta un mayor conocimiento e información sobre los sistemas. Se puede afirmar que toda evaluación es un proceso que genera información y, por lo tanto, implica un esfuerzo sistemático de aproximación sucesiva al objeto de evaluación. Desde esta perspectiva, la evaluación permite poner de manifiesto aspectos o procesos que de otra manera permanecen ocultos, hace posible una aproximación más precisa a la naturaleza de ciertos procesos, las formas de organización, los elementos intervinientes, etc.
Permite el diagnóstico de la situación a partir del uso de indicadores. Sirve de ayuda en la conducción de procesos de cambio.

Contribuye a la mejora de la organización y funcionamiento de los centros educativos.
Renueva el interés por los resultados de la educación y contribuye, aunque sea indirectamente, a su mejora.



Extraído de:
Reflexiones en torno a la evaluación de la calidad educativa
Tendencias Pedagógicas 10, 2005
Inmaculada Egido Gálvez
Universidad Autónoma de Madrid

viernes, 15 de noviembre de 2013

Algunas tentativas de explicación sobre la lectura de resultados de las Evaluaciones de Calidad Educativa


Existen claras dificultades en la interpretación de resultados de las Evaluaciones de Calidad Educativa. Esto lo podemos adjudicar a diferentes causas ¿Intereses corporativos dificultan la comprensión? ¿La imagen de una supuesta “escuela tradicional”?  ¿Las evaluaciones que se efectuaban en la escuela? 
 


Estamos más o menos de acuerdo sobre la existencia de este peculiar fenómeno que podríamos llamar de “desinteligencia” para con los resultados de las evaluaciones educativas; si estamos genéricamente de acuerdo que parece haber un problema a nivel de las lecturas que la opinión pública hace de los resultados de las evaluaciones de la calidad de la educación, corresponde que ensayemos al menos alguna explicación sobre la cuestión.

En primer lugar creo que es necesario recordar algo que, por obvio que pueda ser, no deja de resultar a la vez significativo y pertinente para el problema que nos ocupa. Las evaluaciones de los resultados educativos -en particular las de aquellos países donde el sistema de educación pública es francamente mayoritario y simultáneamente portador de una cierta tradición de prestigio- tienen una estrecha relación con fuertes intereses corporativos de distinto tipo. Mencionemos al menos dos de los más relevantes.

Por un lado, muchas veces la educación privada requiere -al menos en países cuyos sistemas educativos tienen las características mencionadas- de la permanente afirmación de que sus resultados resultan ser superiores a los de la educación pública. En muchos casos su estrategia de desarrollo se basa en una reafirmación discursiva -más o menos consistente con la realidad- de su capacidad de obtener resultados educativos superiores a los de la educación pública. De lo contrario, de no reafirmar esta supuesta superioridad en la calidad educativa de la educación privada, la razón de ser de ésta queda reducida casi exclusivamente a la oferta de determinadas opciones confesionales o a la de algunas peculiaridades lingüísticas y culturales. En ese sentido, el discurso de la educación privada tiende a contribuir, de manera más o menos explícita, a fortalecer toda tendencia que favorezca una lectura crítica de los resultados de la educación pública.

Por el otro, las evaluaciones educativas también coliden parcialmente con los intereses de una muy poderosa corporación docente que, al menos en algunos de nuestros países, no está habituada a que los resultados de su actividad profesional sean evaluados y públicamente expuestos. Ante todo, las evaluaciones chocan con las tradiciones y con los intereses de la corporación docente porque una gran parte o todo el proceso de evaluación educativa, de la manera que se ha ido instrumentando en los nuevos procesos de reforma, escapa política y administrativamente al control de los centros de poder de la corporación.

Pero, además, las evaluaciones que terminan haciendo públicos los resultados educativos, de alguna manera ponen “en cuestión” -y, lo que es peor, lo hacen de manera sistemática, puesto que los sistemas de evaluación están concebidos para funcionar de manera regular y permanente- su desempeño como docentes profesionales por más que la publicación de los resultados se lleve a cabo de la manera más general, promediada y anónima imaginable y no permita la identificación de docentes, centros educativos o unidad específica alguna dentro del sistema educativo.

Y creo que, en este sentido, cabe volver aquí a la comparación con la situación y las reacciones que se producen en la educación frente a las que se suscitan en otros ámbitos de la actividad pública, como la salud pública, cuando de medir resultados se trata.

En primer lugar, tanto o más poderosa que la corporación docente resulta ser la corporación médica de cualquiera de nuestros países. No he sabido, sin embargo, de que dispongamos -al menos en el Uruguay estoy seguro de que no es así- de algún mecanismo de evaluación de la eficacia y eficiencia de los hospitales públicos (o privados), y eso marca, desde el vamos, una diferencia importante.

En segundo lugar, y como síntoma mucho más importante de esas diferencias, a pesar de que en muchos países de América Latina, en los últimos años han hecho su aparición enfermedades previamente inexistentes o erradicadas como el cólera, el dengue hemorrágico -o la misma aftosa a nivel animal-, no tengo información de que el aparato de salud pública -o el de sanidad animal puesto que, para al caso, la circunstancia es similar-, haya sido radicalmente cuestionado en sus políticas y responsabilizado directamente por los medios y la opinión pública de estas calamidades.

Todo parece entonces acontecer como si la opinión pública concibiese que hay procesos que, por más que exhiban indicadores que muestran falencias o resultados de poca calidad, su actividad pertenece a un ámbito considerado de carácter “natural” -frente a los que poco pueden hacer al respecto los tomadores de decisiones y los responsables políticos- y, por lo tanto, el público tiende a eximir a los servicios estatales involucrados de toda responsabilidad de dichos acontecimientos o resultados.

Sin embargo, la misma opinión pública no parece admitir que pueda resultar también “natural” que exista una suerte de complejo pero explicable “trade-off” entre la expansión abrupta de la matrícula de determinado nivel del sistema educativo y la aparición de problemas de calidad en ese mismo nivel de educación, y se muestra particularmente sensible ante la constatación estadística de este tipo de problemas.

Una segunda explicación plausible para esta gruesa dificultad que se genera con la transmisión de los resultados de las evaluaciones educativas puede tener que ver con la imagen tradicional que la opinión pública tiene de la educación pública y, fundamentalmente, de la escuela pública.

Yo no estoy seguro de que esta argumentación sea aplicable a todos los países y no sea ésta una visión fuertemente “uruguaya” de un problema que, en realidad, es más general. Pero, en el caso del Uruguay, es evidente que la instauración de estos nuevos procesos de evaluación de la educación se dan de bruces con la creencia fuertemente arraigada en la opinión de que la escuela pública uruguaya es una institución sistemáticamente exitosa y que se encuentra, en última instancia, por encima de cualquier evaluación.

En ese sentido, en el Uruguay, pero estoy seguro que hay casos parecidos en América Latina, la absoluta certeza del público de que la escuela pública -y generalmente esta certeza se refiere a la “imagen” de una escuela tradicional que hasta hace una década no hacía este tipo de evaluaciones- era y es un dechado de virtudes, conspira directamente contra la buena recepción de las políticas de evaluación sistemática en materia de resultados de la educación.

En algún sentido la opinión pública se ofusca ante la emergencia en la última década de estos “reformadores evaluadores”, que parecen llegar sólo para anunciar malas noticias. El público recibe un mensaje del tipo: “…la enseñanza que creíamos tan buena ahora resulta que no lo es…”. Como se comprende fácilmente, se trata de un discurso de difícil asimilación y la explicable tendencia a responsabilizar al mensajero por las malas noticias de las cuales él es portador, seguramente opere en muchos casos.

Una tercera hipótesis que, entendemos nosotros, debe tenerse en cuenta a la hora de explorar los desencuentros entre las evaluaciones educativas y la opinión pública de nuestros países tiene que ver con lo que podríamos llamar “un problema de legitimidad”. O, si ustedes lo prefieren, un problema entre el tipo de legitimidad sobre el que se asientan las instituciones educativas tradicionales y la emergencia de este nuevo tipo de evaluación que se ha ido generalizando.

En efecto, conviene recordar que educación y evaluación son dos actividades que están inextrincablemente vinculadas entre sí desde hace ya mucho tiempo, si no es que desde el fondo mismo de la historia de la actividad educativa. Bajo las más diversas formas, maestros y profesores, dentro del tipo de institución educativa que fuere -escuelas carolingias o catedralicias, escuelas de “métiers” dependientes de las corporaciones medioevales, universidades de las más diversas órdenes eclesiásiasticas, tecnológicos republicanos, etc.-, han aplicado desde siempre a sus alumnos muy variadas modalidades de evaluación para confirmar la adquisición de saberes por parte de aquellos. Estas modalidades de intentar registrar los aprendizajes pueden haber sido más o menos racionales, más o menos adecuadas o, incluso, más o menos arbitrarias, pero no hay ninguna novedad en cuanto a que la educación evalúe los desempeños de los profesores o los saberes y los niveles de aprendizajes obtenidos por sus alumnos9.

Pero conviene subrayar que este tipo de evaluación, cuya legitimidad está asentada probablemente desde hace siglos, se lleva adelante esencialmente en el espacio del aula o de su equivalente y como una actividad estrictamente interna al proceso educativo mismo. O si se quiere, más precisamente, un mecanismo de evaluación que se despliega exclusivamente en el espacio de las relaciones entre maestro o profesor y alumnos y entre supervisor o director y maestros o profesores.

En este tipo de evaluación, la noción de “resultado” es algo que emerge del seno mismo de la relación maestro-alumno y, por lo tanto, los parámetros que definen un resultado como “exitoso” o “deficiente” son parámetros que surgen como parámetros internos a la actividad del aula, al centro educativo, y, eventualmente, al régimen de supervisión del sistema educativo. En suma, son evaluaciones cuyos resultados se construyen sin que intervengan criterios ni agentes exteriores al sistema educativo tradicional. Dicho en otros términos: las evaluaciones tradicionales en la educación poseen una amplia legitimidad, porque forman parte integrante del proceso de enseñanza-aprendizaje desde hace siglos, pero, sobre todo, porque en esas evaluaciones son los propios agentes del sistema educativo que se evalúan a sí mismos.

Pero, en realidad, no es éste el tipo de evaluación que nos congrega aquí y no son estos mecanismos de evaluación los que nos preocupan por sus efectos en la opinión pública y, por ende, en la política. La evaluación y los resultados que hacen problema son aquellos que, precisamente, no se procesan “in vitro”, ni en el ámbito preregulado del aula, ni en los espacios jerárquicos del centro educativo o de la estructura corporativa de los sistemas de enseñanza.

Los resultados que producen “desinteligencias” con los medios y con la opinión pública son aquellos provenientes de censos, encuestas, muestreos, “panels”, etc., obtenidos y dirigidos por personal -docente o no, eso es secundario-, pero que tienen como objetivo medir el desempeño del sistema educativo desde fuera de las rutinas, las jerarquías y, en última instancia, los intereses de la corporación educativa.

Es entonces por ello que las evaluaciones de la actividad educativa así construidas, desde un punto de vista explícitamente externo a la lógica tradicional del sistema educativo mismo, plantean un problema de “legitimidad” y, en consecuencia, plantean en muchos casos problemas políticos significativos.

En particular en el seno del cuerpo docente y sus jerarquías, las preguntas obvias que se disparan ante la instauración de esta nueva mirada sobre el desempeño de la educación, son los siguientes: ¿Quién mejor que yo, profesor o maestro, puede evaluar los conocimientos que transmito? ¿Quién mejor que yo, docente, puede juzgar a mis alumnos? ¿Quién mejor que yo, director, puede juzgar el funcionamiento del centro educativo? ¿Quién mejor que yo, inspector o supervisor, puede medir efectivamente el desempeño de los profesores?

Por último, existe una cuarta hipótesis que conviene considerar en la búsqueda de las razones por las cuales las evaluaciones de la calidad educativa presentan tantas dificultades a nivel de la opinión pública. Se trata de una hipótesis que es necesario explorar en un nivel más conceptual o, si se quiere, más abstracto.

Cabe preguntarse hasta qué punto esta política de evaluación sistemática de los resultados educativos no introduce una incongruencia importante con algunos de los conceptos fundamentales de la educación pública tradicional de nuestros países. Si nosotros seguimos manteniendo acertadamente, como uno de los principios rectores de nuestra educación pública, el principio de educar para la equidad, no resulta sorprendente que la opinión pública imagine al sistema educativo como un servicio que imparte enseñanza de calidad homogénea y que los aprendizajes que en ella se obtienen deberían ser razonablemente homogéneos.

La publicación sistemática de resultados que exhiben la existencia de diferencias entre los aprendizajes de los alumnos, entre los aprendizajes conseguidos en los centros, entre los resultados educativos en las diferentes regiones de un país, etc., introduce una perspectiva que contradice la lectura ingenua del principio de educar para la equidad.
Que nuestros sistemas educativos eduquen para la equidad y se esfuercen sistemáticamente en trabajar en ese sentido, no significa -ni nunca significó- que obtengan ni puedan obtener resultados homogéneos, porque ningún sistema educativo -y, menos aún, sistemas educativos de masas como lo son los sistemas educativos contemporáneos-, puede compensar totalmente diferencias económicas, sociales y culturales que trascienden la capacidad democratizadora de los sistemas de enseñanza.

Otra cosa sería si nuestros sistemas educativos estuviesen concebidos -como efectivamente en ciertos países pueden estarlo- y fundados en otros principios. Si decidiésemos fundar y hacer descansar la razón última de la educación pública sobre la búsqueda de la eficiencia o sobre el principio de educar para la competitividad, seguramente que, en ese escenario, la incongruencia a la que nos referimos más arriba sería menor o menos perceptible. De hecho dejaría de ser una incongruencia, ya que las políticas de evaluación deberían de ser reclamadas como una parte necesaria y funda mental de la orientación básica de una educación que tiene como objetivos centrales la eficiencia y/o la competitividad.

Entonces yo agregaría, como último elemento que intenta explicar las desinteligencias y las incomprensiones que constatamos entre el sistema educativo y la opinión pública en materia de evaluaciones de la calidad de la educación, este aspecto que tiene dos componentes. Un componente meramente informativo -la creencia del público de que educar para la equidad consiste en generar resultados homogéneos que hagan desaparecer las diferencias de origen social y cultural de los alumnos-, y un problema, de trasfondo filosófico, que hace a la concepción última que rige al sistema educativo de nuestros países.

Evidentemente, aunque nos aferremos como nos aferramos al principio cardinal de que es necesario educar para la equidad, no podemos por ello renunciar a las evaluaciones educativas aunque sus resultados puedan aparecer como demostrativos de que una equidad estricta no reina en la educación. En primer lugar, porque el principio de educar para la equidad se basa en la idea de brindar igualdad de oportunidades mediante la educación y no en la de la igualdad de resultados de los aprendizajes y, en segundo lugar, como veremos inmediatamente, porque la herramienta de las evaluaciones educativas constituye un componente fundamental para el desarrollo de cualquier sistema educativo moderno. Particularmente para aquellos sistemas educativos que, orientados filosóficamente hacia la equidad, han de estar permanentemente monitoreando los resultados obtenidos en la materia.


Extraído de:
Encuentros y desencuentros con los procesos de evaluación de la calidad educativa en América Latina
Javier Bonilla Saus
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

lunes, 4 de noviembre de 2013

La evaluación de la calidad educativa: posibles riesgos


Ante la complejidad del concepto de “Calidad Educativa” ¿Es posible evaluarla objetivamente? ¿Cuáles son los obstáculos que se oponen? ¿Es válida la homogenización de una evaluación estandarizada? ¿Es útil considerar la evaluación sólo de productos finales? En cuanto a las finalidades de las evaluaciones ¿Se preocupan solamente por obtener mejoras?


Como cabría esperar, el énfasis que en estos momentos se otorga a la evaluación de sistemas, instituciones y procesos educativos no está exento de críticas importantes, formuladas desde ángulos muy diversos. Simplificando, podrían señalarse dos tipos principales de argumentos que alertan sobre las limitaciones de los procesos de evaluación de la calidad educativa y sobre sus posibles riesgos. Entre los primeros se encuentran las críticas centradas en las debilidades de los sistemas de evaluación empleados en la actualidad y que, consecuentemente, ponen en duda la capacidad de muchas de las evaluaciones realizadas para mejorar los procesos educativos. La segunda línea argumental va más allá de la constatación de las dificultades técnicas de los sistemas, cuestionando incluso su sentido y finalidad, al considerar que las evaluaciones pueden estar cumpliendo una serie de funciones ocultas en nuestras sociedades.

Comenzando por los riesgos, desde la primera perspectiva mencionada, es decir, la crítica a los sistemas y procesos de evaluación, se señala en primer lugar la imposibilidad o, al menos, la extrema dificultad de alcanzar evaluaciones objetivas de procesos difícilmente tangibles, como son los educativos. No se trata tan sólo de la objetividad del evaluador, que puede ser cuestionable en muchas ocasiones, sino del propio supuesto de que la calidad se puede objetivar y apreciar externamente, sin conocer los procesos internos. Además, las evaluaciones de instituciones educativas se basan en que la realidad es fragmentable y puede separarse en elementos o variables aisladas, lo que hace perder de vista la coherencia entre las mismas, que supone por sí misma un factor de calidad.

Además de lo anterior, es necesario considerar que la evaluación de indicadores individualmente considerados no tiene en cuenta la estabilidad en la unión o ilación de los mismos. Por otra parte, en las evaluaciones se plantea la posibilidad de la generalización, cuando lo cierto es que cada institución es diferente. Los sistemas o pruebas de evaluación homogeneizadas olvidan esta variabilidad y no atienden a la diversidad.

Adicionalmente, la gran mayoría de los sistemas de evaluación parten de una estructura preestablecida, en la que no hay espacio para los cambios y que suele centrarse en los resultados cuantificables del proceso de enseñanza. En esta línea, E. Cano nos recuerda que es muy complejo medir la calidad del producto o resultado educativo, sobre todo cuando se habla de eficiencia externa, es decir, del éxito con el que se logran los objetivos amplios o generales que la sociedad deposita en la educación. Sin embargo, aún resulta mucho más difícil medir un proceso. Hay distintos públicos que exigen o necesitan cosas distintas del servicio educativo. Además, los resultados en educación pueden relacionarse con realidades distintas, que no sólo son el rendimiento, como la satisfacción, la adquisición y extensión del conocimiento, las actitudes hacia el aprendizaje, la producción de hábitos mentales, etc.

También A. Tiana considera que debemos ir más allá de los resultados académicos, cuya inmediatez puede convertirlos en una trampa simplificadora:

"La evaluación, entendida como una simple revisión de los productos finales, hace perder de vista la consideración del centro como un ecosistema que permite explicar y dar sentido al funcionamiento general y a los procesos que desarrollan la actividad. De la misma manera, la consideración de una de las partes pierde sentido aislada de la referencia al todo y de su vinculación con el contexto".

El segundo grupo de argumentos, centrado en las finalidades de los procesos de evaluación, coinciden en señalar que aunque explícitamente el objetivo de los mismos es la mejora, en realidad en las evaluaciones existen finalidades latentes, como el control sobre los actores del proceso educativo, la justificación de decisiones tomadas sobre la base de otros criterios o la distribución de recursos. Desde este planteamiento, cuando se argumenta la necesidad de que los centros educativos rindan cuentas a la sociedad, no se tiene en cuenta la dificultad de delimitar qué es lo que deben conocer los ciudadanos y para qué. Si sólo se conocen los resultados o productos, sin conocer las variables de entrada, la información no será válida e incluso estará distorsionada.

Además, aunque aparentemente los sistemas de evaluación den cabida a las personas implicadas en los procesos educativos, lo cierto es que se evalúa desde arriba, prescindiendo de ellos, por lo que la evaluación se convierte en un poderoso mecanismo de control social.

En palabras de A. Bolívar:
"Se ha logrado crear expectativas infundadas de que la evaluación de centros y del sistema escolar pueda ser el medio para incrementar la calidad, pero ... la evaluación no es más que un instrumento retórico que sirve para legitimar el funcionamiento actual de los centros, para justificar las reformas o para utilizarse como mecanismo de producción de verdad, en el sentido en que crea realidades".

También en esta línea se considera que la utilización de sistemas de evaluación en el marco del incremento de la autonomía para las instituciones educativas puede suponer una manera indirecta de mantener el control político sobre el sistema educativo, ya que "siempre existe la posibilidad de que el poder que la descentralización cede por una parte, la evaluación pueda quitarlo por otra" (H. N. Weiler).



Extraído de:
Reflexiones en torno a la evaluación de la calidad educativa
Tendencias Pedagógicas 10, 2005
Inmaculada Egido Gálvez
Universidad Autónoma de Madrid

miércoles, 23 de octubre de 2013

Una mirada técnica sobre las Evaluaciones de Calidad Educativa


El sistema debe generar información que permita mejorar, en el camino del cumplimiento de sus objetivos ¿Se están generando en forma adecuada? ¿Se comunican por los carriles adecuados? ¿Están debidamente conectadas las evaluaciones, con el resto del sistema? ¿Qué debe orientar las revisiones técnicas de las evaluaciones?

 

La mayoría de los sistemas educativos latinoamericanos ha incorporado dispositivos y estrategias de evaluación al repertorio de políticas que constituyeron sus reformas en la década del ‘90. Los modos de organización, los niveles alcanzados, el tipo de instrumentos, la periodicidad, y otras variables, muestran diferencias entre ellos. Pero lo cierto es que la evaluación se instaló como una política y adquirió un fuerte reconocimiento social.

Más allá de las diferencias encontradas, pueden observarse elementos comunes entre los diferentes países, que dan cuenta de las opciones técnicas adoptadas, o de las que más allá de haber sido definidas explícitamente, resultaron de los modelos de implementación puestos en marcha.

En ninguno de los casos se han observado variaciones significativas de los resultados a lo largo del período de implementación. Los niveles de acierto se han mantenido estables tanto en relación a los indicadores cuantitativos cuanto a los cualitativos. Es posible afirmar que los alumnos siguen logrando niveles similares de aciertos en el mismo tipo de ítems. Estos resultados podrían permitir dos tipos de inferencias iniciales, en el sentido de que los cambios curriculares en particular y los programas de reforma en general, no han impactado los aprendizajes que los alumnos adquieren en las aulas, o que las preguntas que estamos formulando no son capaces de captar las diferencias que se están produciendo.

La mayoría de los sistemas han trabajado con mayor dedicación en la producción de información que en el análisis de la misma y en su comunicación a los actores. La región ha implementado millones de pruebas por año, pero es relativamente escasa la cantidad de información que se ha producido, al menos la que se ha utilizado para la reformulación de políticas o estrategias pedagógicas.

No se ha logrado que los docentes incorporen los resultados de los dispositivos como insumo de trabajo para la reformulación de su tarea. Esto tampoco ha ocurrido en los propios ministerios que las implementan. Los equipos de currículum o de capacitación no hacen de los resultados un insumo principal de su trabajo. Los operativos de evaluación aparecen como elementos con gran autonomía del resto de las políticas implementadas.

Los resultados se han comunicado, casi exclusivamente, a través de los medios de comunicación masiva. Se han difundido los promedios nacionales con mayor o menor desagregado, pero en muy pocos casos se han construido informes que puedan orientar el trabajo de la escuela o, al menos, que las escuelas los vivan así. Se han resaltado los casos extraordinarios, se han comparado con la línea histórica de los mismos. En los casos en que se ha trabajado en la distribución, la temporalidad de dicha devolución es tal, que se vuelve difícil transformarla en estrategias de mejoramiento institucional. Los informes llegan tarde o, al menos, desajustados con la posibilidad de transformarlos en herramientas de planeamiento.

Las escuelas han vivido los operativos como dispositivos externos a los que han dedicado mayor o menor tiempo de preparación, pero en muy pocos casos han percibido esas actividades como propias de la institución.

Los ítems de contenidos evaluados han sido construidos en el contexto de un proceso de transformación curricular de gran alcance, razón por la cual resulta difícil evaluar los resultados de dichos ejercicios.

La comunicación de los resultados ha transmitido la sensación del deterioro, la idea de que los sistemas educativos son muy poco eficientes en términos de calidad, y que se encuentran en un proceso de deterioro respecto de los resultados que obtenían en el pasado.

Es preciso relativizar muchas de las críticas que se efectúan sobre los equipos técnicos. Lo cierto es que la región no contaba con ningún tipo de experiencia previa acerca de la organización de operativos de este tipo y la experiencia europea se daba en contextos muy diferentes, al menos de menor heterogeneidad y en condiciones de organización del Estado mucho más sólidas.

Al mismo tiempo, los equipos técnicos no contaron con directivas políticas que les permitieran orientar el trabajo. El pedido de organizar dispositivos de evaluación no contó con el planteo de direccionalidades claras respecto de lo que se haría con dichos resultados, del impacto que se pretendía generar con los mismos, etcétera. Pero, en el caso de los equipos, éstos tampoco lo demandaron y en este sentido es interesante reflexionar acerca de los grados de autonomía de los equipos técnicos y los riesgos que esto genera.

El avance técnico parece haber sido construido con autonomía de las decisiones de sentido. De hecho, la variación de los instrumentos desde el comienzo de su implementación es baja. Las que se produjeron han tenido que ver con ajustes estadísticos o técnico-pedagógicos. EL elemento innovador apareció en el caso de algunos dispositivos internacionales que incorporaron nuevos modelos y contenidos a los instrumentos.

En síntesis, la reflexión acerca de nuevas decisiones técnicas, ajustes y revisiones que se realizan, debe estar precedida de las reflexiones y decisiones políticas que orienten el trabajo técnico posterior.

A diez años de la implementación de estos dispositivos de evaluación, parece interesante comenzar por una indagación profunda de los resultados, un intento de encontrar pistas que aporten a una revisión de las políticas implementadas y de las nuevas que se elaboren. Resulta importante formular un análisis profundo de los resultados, realizarlo con participación de los actores del sistema, y construir la cultura de la evaluación como insumo para el debate y la construcción de políticas educativas.

En cuanto a las estrategias de futuro, es necesaria una revisión que aproveche los avances alcanzados. Puede resultar riesgosa la tradición de fractura en el modelo de construcción de programas de política que ha tenido la región. No se trata de producir una nueva ruptura, se trata de un proceso de construcción, de re-orientar, de potenciar la herramienta en función de los objetivos que se definan. Latinoamérica requiere institucionalizar sus operativos de evaluación, incluyendo en dicha institucionalización los propios mecanismos de revisión y re-orientación de las decisiones técnicas. Y esos mecanismos deben ganar coherencia con los objetivos de política que se definan.



Extraído de:
Evaluar las evaluaciones
Gustavo Iaies
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

sábado, 12 de octubre de 2013

Una visión acerca de las relaciones entre las evaluaciones educativas y los actores


¿Se sienten los docentes involucrados en las Evaluaciones de Calidad Educativa?  ¿Sienten estas evaluaciones como propias? ¿Piensan que son justas? Los tomadores de decisiones ¿Las usan para confrontar con los docentes?


Las evaluaciones de calidad son uno de los componentes de las políticas encaradas en la década del `90 que más críticas reciben entre los docentes y los directores. Sin duda, el modelo de implementación y construcción no ha logrado que los mismos se sientan incluidos en dicho proceso.

Este dato resulta interesante de ser analizado por el hecho de que tal como lo explica el artículo de Emilio Tenti, la visión crítica no se extiende a la política de evaluación como tal, sino al modo en que la misma fue implementada. Los docentes parecen acordar con la idea de evaluar, aunque tienen sus diferencias con el modo en que dichas evaluaciones se han implementado.

Por otro lado, manifiestan que la tarea de evaluar es de las que más dificultades les generan dentro del repertorio de las que implica su propio trabajo. En este sentido, parece interesante observar el hecho de que ellos mismos parecen requerir una reflexión más profunda de para qué evaluar y cómo hacerlo, y esa reflexión no debería estar divorciada de la que se formula alrededor de los operativos de evaluación en un sentido más general, como política global del sistema.

Al mismo tiempo, la propia exposición a la que la escuela se ha visto sometida por la comunicación masiva de los resultados, las sospechas que ha generado en la sociedad acerca de la capacidad de los docentes de garantizar aprendizajes significativos de sus alumnos, la puesta en duda de la idoneidad de los mismos para su tarea, pueden explicar la mirada crítica acerca de los dispositivos de evaluación de la calidad.

Sin duda, las evaluaciones son vividas como un elemento externo que, de algún modo, se interpone entre las autoridades y las escuelas. Deja a los docentes solos y rompe cierta visión de unidad del sistema. Como expresó Javier Bonilla: “Se nota un grado de exterioridad muy grande entre el aparato de evaluación y el de gestión habitual del sistema. La pregunta es cómo hacemos para que el dispositivo sea vivido como un dispositivo interno. Cómo hacemos para que el aparato de evaluación sea amigable para la cultura del sistema educativo”. La sola idea de dos aparatos a los que se debe volver “amigables” y hacerlos dialogar entre sí, implica una ruptura en la lógica de un sistema que se ha caracterizado por importantes grados de endogamia, como es el sistema educativo. Las evaluaciones aparecen como un dispositivo externo al propio sistema, que han adquirido el poder de validar o no sus acciones y efectos. La escuela parecía un ámbito invulnerable y ha quedado sometida a un procedimiento que no sólo la evalúa, sino que expone los resultados de dichas evaluaciones al conjunto de la sociedad.

El hecho de que la discusión previa de las evaluaciones acerca del sentido haya resultado tan débil, hace que tampoco hayan podido participar los docentes de la misma. La revisión que se realiza de las mismas, la discusión de sentido en la que se avance, debe incluirlos, debe contar con ellos en el análisis del “para qué” y del “cómo”. En caso contrario, resulta complejo construir una “amigabilidad” a posteriori. Lo cierto es que la posibilidad de lograr que el sistema viva a los dispositivos como propio, debe incluir la participación de la discusión del para qué, que sienta como propios los objetivos que se proponen.

El Jefe de la división educación del BID, Juan Carlos Navarro, señaló en el Seminario: “Los docentes sienten que entran en un juego en el que los dados están cargados contra ellos (...) Creen que es justo que sean evaluados, no están en contra de esto, por principio”. Tal como afirmamos anteriormente, se trata de comprender que la revisión de sentido en materia de políticas de evaluación, va a incluir tanto las cuestiones sustantivas como las metodológicas, y que la participación de los actores en las distintas instancias de ese proceso es fundamental. Por otro lado, es preciso que los tomadores de decisiones sean transparentes, en el sentido de que no se está construyendo un dispositivo para confrontar con los docentes, sino uno capaz de producir los insumos que permitan mejorar la calidad y la equidad, en los aprendizajes de los alumnos.


Extraído de:
Evaluar las evaluaciones
Gustavo Iaies
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

martes, 1 de octubre de 2013

Factores que explican los resultados escolares


La Evaluación Educativa queda justificada, en la medida que pueda convertirse en información para ser usada en procesos de mejora. Conocer los factores que determinan los aprendizajes ayuda a comprender ¿Cuáles son? ¿Están en el ámbito escolar? ¿O en el familiar?


Durante los últimos 40 años los investigadores educacionales alrededor del mundo han producido grandes avances en la tarea de desentrañar los factores que explican los resultados escolares, medidos por el logro de aprendizaje de sus alumnos. A esta altura existe un amplio consenso entre los especialistas. Los factores explicativos son dos: el entorno sociofamiliar de los alumnos y la efectividad de la escuela.

¿Cuánto pesan, respectivamente, estos factores en la varianza de los resultados observados entre establecimientos? En el caso de los países desarrollados, los estudios atribuyen un peso de 80% y de 20%, respectivamente, a la familia y la escuela. En América Latina, los pesos asignados son 60% y 40%, respectivamente, subrayándose con ello el hecho de que allí donde hay más pobreza la escuela adquiere, asimismo, mayor importancia.

Suele pensarse que el factor socio-familiar estaría determinado exclusiva o principalmente por el nivel de ingresos del hogar. En verdad, este factor es mucho más complejo que eso. Tiene que ver con el “mundo de vida” en que nace y se desarrolla el niño. Ciertamente, el status socioeconómico de los padres es importante. Pero aún más decisivo parece ser, en el caso de niños provenientes de hogares de escasos recursos, la organización de la familia, su clima afectivo, la socialización lingüística o la adquisición temprana de actitudes y motivaciones.

Variables de entorno familiar que inciden en los logros de aprendizaje
Ocupación, ingreso y nivel educacional de los padres.
Infraestructura física del hogar y grado de hacinamiento.
Recursos del hogar (libros, diccionarios, escritorio, computadora).
Organización familiar y clima afectivo del hogar.
Capital social de la familia, vecindario, comunidad y pares.
Alimentación y salud durante los primeros años de vida del niño.
Prácticas de socialización temprana.
Desarrollo lingüístico y régimen de conversaciones en el hogar.
Rutinas diarias, desarrollo de actitudes y motivación.
Acceso a, y calidad de, la enseñanza preescolar.
Elección de escuela.
Armonía entre códigos culturales de la familia y la escuela.
Estrategias de aprendizaje y conocimiento previo adquiridos.
Comunicación familia-escuela.
Involucramiento familiar en las tareas escolares.
Uso del tiempo en el hogar y durante las vacaciones.

Y en el caso de las escuelas, ¿cuáles insumos afectan el rendimiento de los alumnos? ¿Hay algunos que importan más que otros? Una revisión efectuada por Fuller y Clarke, sobre la base de más de 300 estudios realizados sobre sistemas escolares de países en desarrollo, permite apreciar qué porcentaje de dichos estudios muestran una asociación positiva entre el respectivo insumo y los resultados obtenidos por los alumnos, una vez que se controla por su nivel socioeconómico.

Insumos asociados positivamente a resultados
Profesor conoce la materia
Biblioteca escolar Tiempo dedicado a la enseñanza Alimentación del niño
Tamaño del colegio
Frecuencia tareas hogar
Monitoreo frecuente del alumno
Calidad de infraestructura
Disponibilidad de textos
Tiempo preparación clase
Capacitación docente en servicio
Docente con educación superior
Experiencia del docente
Años de escolarización del profesor
Gasto por alumno
Laboratorio ciencia en escuela
Nivel salarial del profesor
Tamaño del curso

Sin embargo, si se adopta una perspectiva metodológica más restringida y exigente, la efectividad de la escuela aparece determinada, principalmente, por la efectividad del profesor en la sala de clase. En general, se estima que el efecto escuela depende, en alrededor de 2/3 partes, de la calidad de la docencia impartida. A su turno, ésta se halla determinada, en orden decreciente de importancia, por las siguientes variables: las prácticas de enseñanza del docente en la sala de clase; el desarrollo profesional docente (dominio de la materia que enseña y capacidad de enseñar a alumnos de diverso origen sociofamiliar) y los insumos (tamaño del curso, educación inicial y experiencia del profesor).

Particular importancia adquiere en el contexto de los procesos de reforma educacional el impacto que podría tener el gasto por alumno sobre los resultados o logros escolares. La evidencia internacional muestra lo siguiente: si se combina el puntaje promedio obtenido por los alumnos de varios países, participantes en PISA, con el gasto acumulado por alumno hasta los 15 años, expresado en dólares de valor equivalente, se observa en primer lugar que sí existe una asociación entre ambas variables, aunque con diferencias como permite ver la distribución de los países incluidos en torno a la línea de tendencia. En seguida, se constata que sólo unos pocos países –Corea e Irlanda aparecen allí- obtienen altos resultados (por encima de 500 puntos, que es el puntaje promedio de los países de la OECD participantes) con un gasto que en la escala se sitúa por debajo de la mitad del rango entre 0 y 80 mil dólares (PPC). Estos países, se hallan naturalmente bien arriba de la línea de tendencia. Hay un segundo grupo de países que se aproxima al cuadrante anterior de gasto austero y alto rendimiento: República Checa, Polonia, Hungría y Grecia. Por otro lado, ningún país de gasto superior a 40 mil dólares se ubica en el cuadrante suroeste, por ende, de alto gasto y resultado inferior al puntaje promedio de la OECD. Por el contrario, los países de alto gasto se concentran en el cuadrante noreste, aunque algunos están por encima y otros por debajo de la línea de tendencia. Finalmente, los países de América Latina se agrupan todos en la posición suroeste –de bajo gasto y bajos resultados- aunque con diferencias entre ellos. En efecto, a pesar de estar todos por debajo de la línea de tendencia, México está en términos relativos menos mal que Argentina, ésta que Chile y éste que Brasil.

¿Existe algún elemento adicional que pudiera ayudar a explicar el diferente desempeño de los países? Si nos atenemos solamente a los factores externos o de contexto, el mejor candidato parece ser el nivel de desigualdad de las distintas sociedades. En efecto, los países con mayor desigualdad –medida por el Coeficiente de Gini- tienen más dificultad para producir buenos resultados escolares, incluso si son ricos, como sucede en el caso de los EE.UU., justamente porque deben compensar un mayor déficit de origen sociofamiliar. Por el contrario, sólo obtienen buenos resultados países con un nivel bajo de desigualdad, con la excepción de Indonesia, que apenas acumula un gasto de 1.164 dólares (calculados con PPC) en sus alumnos de 15 años, 50 veces menos que Australia, por ejemplo, o 1/15 del gasto de Chile. Es interesante observar, asimismo, que de los países de la muestra, Chile ostenta el más alto nivel de desigualdad, ubicándose en general todos los países latinoamericanos participantes en PISA en el cuadrante sureste, el de alta desigualdad con bajo rendimiento.

Si se considera el conjunto de antecedentes aquí presentados, emerge con nitidez la enorme complejidad del proceso de producción de resultados educacionales. En este proceso influyen diversos factores y múltiples variables. Entre aquéllos, como se señaló, los más importantes son el entorno sociofamiliar de los alumnos y la escuela. Entre las variables son decisivas aquéllas que caracterizan el hogar como agencia de transmisión de capital cultural, por un lado, y las que inciden sobre la efectividad de los establecimientos escolares, por el otro. Por último, destaca el hecho de que allí donde los hogares son grandemente desiguales, la tarea educativa enfrenta también mayores problemas y desafíos. En estos casos la cultura nacional –y su elaboración “micro” a nivel de la familia, los pares y la comunidad- juegan un papel importante, como parece indicar el caso de los países del sudeste asiático. En efecto, la cultura nacional y sus elaboraciones “micro” pueden, ya bien contribuir a facilitar y reforzar la labor de la escuela o, al contrario, ser neutrales frente a ella u obstaculizarla.

En cuanto a las posibilidades de compensar educacionalmente las desigualdades de origen sociofamiliar de los alumnos, ellas sólo pueden materializarse allí donde la mayoría de las escuelas que atienden a niños y jóvenes provenientes de hogares en situación vulnerable son efectivas. Como muestra ampliamente la literatura especializada, sólo éstas logran mejores resultados para sus alumnos que aquellos que podrían anticiparse considerando su origen sociofamiliar.

Ninguna de estas complejidades y dificultades forma parte, sin embargo, de los habituales análisis periodísticos sobre resultados educacionales. Como vimos, éstos se limitan a resaltar unidimensionalmente el producto final de estos procesos –es decir, resultados como puntajes- y a ubicarlos en un esquemático ranking de países o tipos de establecimientos, suprimiendo toda referencia al contexto en que dichos resultados se obtienen. Con esto se banaliza la información que aportan los estudios nacionales e internacionales de medición del desempeño escolar y, lo que es más grave, se distorsiona la deliberación pública y se limitan sus efectos, debilitándose de esta forma uno de los mecanismos más poderosos que poseen las democracias para abordar y resolver problemas colectivos.


Extraído de:
Límites de la lectura periodística de resultados educacionales
José Joaquín Brunner
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

sábado, 21 de septiembre de 2013

Reflexiones sobre las Evaluaciones de Calidad Educativa


¿Qué evalúan las evaluaciones estandarizadas? ¿Calidad Educativa? ¿Pobreza?  ¿Son puestas bajo la lupa las cuestiones relevantes? Las respuestas, si bien dadas pensando en el contexto mexicano, tienen valor para muchos otros


¿Qué estamos evaluando?
Resumo mi respuesta, en forma algo simplista y cruda, diciendo que evaluamos algunas de las dimensiones de la calidad educativa, pero dejando fuera varias de las más importantes, que lo hacemos de manera imprecisa, y que no llegamos a las causas.

Hasta hace muy pocos años, la situación de la mayor parte de los sistemas de evaluación educativa de los países de la región era justamente la que se ha mencionado antes: solamente se contaba con datos sobre alumnos, maestros, escuelas y presupuestos, con lo que se podían estimar indicadores de cobertura, eficiencia terminal y costo alumno en forma gruesa, ya que por lo general no se controlaba la calidad de los procesos de recolección de información, no se manejaban datos por edad, con lo que sólo podían construirse tasas brutas y no netas y se manejaban sólo cohortes aparentes.

Los esfuerzos que han hecho muchos de nuestros países en la última década han incluido, por una parte, mejoras en los sistemas de información y, por otra, el desarrollo de sistemas de pruebas nacionales para valorar los aprendizajes de los alumnos. Estos esfuerzos son importantes, sin duda, pero aún están por consolidarse y adolecen de fallas claras, explicables por la falta de una tradición en el campo y la consecuente escasez de recursos humanos especializados.

Pecando tal vez de simplismo, creo que en la región atendemos la cobertura y la eficiencia terminal en forma imperfecta y el nivel de aprendizaje de los alumnos en áreas curriculares y grados clave, pero por lo general limitándose a niveles cognitivos bajos. La contraparte obvia, lo que no estamos evaluando, incluye áreas curriculares adicionales, niveles cognitivos superiores, aspectos actitudinales y valorales, procesos tanto pedagógicos como de gestión y lo relativo a equidad.

En las escuelas se evalúan muchas de estas cosas, desde luego, pero no parece haber procedimientos para valorar tales dimensiones o aspectos de la calidad de manera permanente y sistemática en el nivel nacional. Debe añadirse que muchas veces las evaluaciones que hacemos no tienen, en un grado suficiente, las características técnicas mencionadas de validez y confiabilidad.

Por lo que se refiere a validez, la ausencia de controles de las variables relevantes del contexto pueden hacer que midamos en realidad pobreza, cuando creemos medir calidad de las escuelas. En este sentido en la región es muy raro todavía el uso de las poderosas técnicas actuales, como los modelos jerárquicos lineales, que permiten identificar la influencia de los factores del entorno distinguiéndolos, por ejemplo, de los de la escuela, el aula y el propio alumno.

En cuanto a confiabilidad, es también raro el uso de metodologías psicométricas avanzadas, como los modelos de la teoría de la respuesta al reactivo, que permiten contar con escalas más precisas, comparables en el tiempo, que cuidan la unidimensionalidad y evitan el sesgo de manera más adecuada que las técnicas de la teoría clásica de las pruebas. Debe añadirse que, hasta hace poco tiempo, no era raro que se manejaran pruebas que no empleaban en forma rigurosa siquiera los principios de la teoría clásica. Las técnicas de valor agregado son también muy poco conocidas.

¿Qué de lo evaluado resulta significativo?
En principio los mecanismos de evaluación existentes son todos significativos y, aun en ausencia de los que se sugiere añadir, contienen potencialmente elementos útiles para el mejoramiento de los sistemas educativos. Sin embargo, es frecuente que aún esos elementos se desaprovechen y sólo sirvan para acumular datos en anuarios estadísticos destinados a empolvarse en los estantes, sin que los responsables de tomar decisiones, y mucho menos los maestros, los conozcan y utilicen para retroalimentar su quehacer.

Esto quiere decir que, además de mejorar los actuales mecanismos de evaluación y de enriquecerlos con nuevos elementos, es necesario un importante esfuerzo de difusión de resultados y de capacitación de los usuarios para que estén en condiciones de entender y aprovechar los resultados de las evaluaciones.

¿Por qué las reformas realizadas en los 90 no se ven traducidas en los resultados?
Esta pregunta parte de un supuesto que no me parece incuestionable: que las reformas educativas implementadas en América Latina en los ‘90 no han dado resultados.
Los niveles educativos de nuestros países son el resultado de un enorme conjunto de factores, incluyendo unos tan complejos como el explosivo incremento demográfico que hizo del subcontinente la región de mayor crecimiento poblacional en toda la historia hasta mediados del siglo XX, la pobreza que aflige a gran parte de la población y la diversidad étnica y lingüística. Otros factores igualmente complejos incluyen el carácter autoritario de muchos regímenes políticos, las estructuras sindicales y burocráticas, y la desigualdad ancestral de nuestras sociedades.

Los cambios educativos, por otra parte, son complejos también y, en el mejor de los casos, llevan mucho tiempo; no pueden ser el resultado rápido de esfuerzos simples.
Por ello, aun si en verdad las reformas de los años 90 no han dado resultados, podrían encontrarse diversas explicaciones. Las políticas educativas de la región han adolecido, en muchos casos, de serias deficiencias en diversos aspectos: en el diagnóstico en que se sustentan, muchas veces incompleto e impreciso; en el diseño de los programas, muchas veces simplista, apostando demasiado a pocos elementos de los que se espera más de lo que pueden dar; y, tal vez, sobre todo, en la implementación.

No es fácil, en efecto, que las reformas lleguen hasta el nivel más importante, el de la escuela y el aula. Para ello se requiere de tiempo y, además, de estrategias muy finas que aseguren la participación de los maestros. Desgraciadamente, es más frecuente encontrar estrategias simplistas e implementaciones apresuradas que procesos cuidadosos y respetuosos de los actores de base y de la complejidad de la cuestión.

No debería sorprender, por consiguiente, que los resultados obtenidos disten mucho de los esperados. Pero el punto que quiero destacar es que no tenemos evidencia suficiente para afirmar de manera contundente que las reformas de los ‘90 no han tenido resultados. Hay, sin duda, indicios importantes en tal sentido, pero los sistemas de evaluación de que disponemos no sustentan afirmaciones tajantes.

En particular, creo que en México hay elementos para sostener que el nivel de aprendizaje ha mejorado ligeramente en los últimos años; que el impacto del gasto público en educación básica está siendo mayor para los tres deciles más pobres de la población, contra lo que ocurría antes; y que los programas compensatorios emprendidos a principios de los 90 han logrado reducir la deserción en medio rural y mejorar los niveles educativos en las zonas más desfavorecidas.

Por lo demás, la gran desigualdad que caracteriza a nuestras sociedades hace que necesitemos evaluaciones más precisas, que tengan en cuenta el peso de los factores del entorno, tanto en razón del principio de equidad, como para valorar en su justa medida los avances que puedan darse en contextos diferentes, en los que la mejora es más o menos difícil.

Conclusión
La última pregunta es, a mi juicio, la más importante que he tratado de responder, tanto por lo que expresamente plantea, como por lo que sugiere de manera implícita. Ampliando lo dicho hasta ahora trataré de aportar algunas ideas al respecto.

La experiencia de las reformas educativas implementadas en los países de mayor desarrollo económico ha dejado lecciones importantes, en la dirección ya apuntada: no deben esperarse cambios espectaculares; las mejoras educativas se consiguen en lapsos de tiempo largos, y mediante esfuerzos sistemáticos y complejos, no gracias a recetas mágicas simples o panaceas.

Hoy sabemos también que no debe exagerarse la importancia de los recursos materiales; estos son importantes, sin duda, sobre todo hasta ciertos umbrales mínimos, y tal vez más en cuanto a la regularidad o continuidad de su existencia que en cuanto a su monto absoluto. Pero parece claro que tanto y más importan los procesos a través de los que se utilizan los recursos: procesos pedagógicos especialmente en el interior del aula, procesos más amplios de gestión en el nivel nacional y regional y, sobre todo, en cada escuela, donde el trabajo del equipo docente, el liderazgo del director y la participación de los padres de familia han mostrado ser fundamentales.

Para poder responder con bases sólidas a la pregunta sobre el éxito o el fracaso de las reformas educativas necesitamos, pues, en mi opinión, contar con sistemas de evaluación bastante más sólidos, aunque no mucho más costosos que los existentes, que nos den la información clave, de que hoy carecemos, sobre las diferentes dimensiones de la calidad educativa de nuestros países en forma continuada y permanente.

Es posible que nos llevemos algunas sorpresas agradables, en el sentido de que los esfuerzos realizados hasta ahora han dado algunos resultados, no espectaculares, pero sí razonables, en una perspectiva histórica y comparativa en el plano internacional.




También es posible que se confirme la idea de que no ha habido resultados positivos. En este caso, si tenemos buenos sistemas de evaluación tendremos también elementos para saber por qué ha ocurrido tal cosa, y para diseñar programas de mejora más adecuados.



Extraído de:
Una mirada técnico-pedagógica acerca de las evaluaciones de calidad educativa
Felipe Martínez Rizo
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

Related Posts Plugin for WordPress, Blogger...

Busca en mis sitios