miércoles, 27 de noviembre de 2013

Potencialidades de la evaluación de la calidad educativa


Las evaluaciones de Calidad Educativa son de reciente aparición, han recibido fuertes y fundamentadas críticas, pero aún así continúan vigentes ¿Qué es lo que hace que no sean un fenómeno coyuntural? ¿Por qué son consideradas útiles?


A pesar de las críticas, la tendencia a llevar a cabo procesos de evaluación de la calidad educativa es un hecho en nuestros días y no parece que se trate de algo coyuntural o pasajero, sino que guarda relación con un nuevo modo de conducción de sistemas complejos, como el sanitario o el educativo. Si hasta hace algún tiempo los conceptos utilizados en la administración pública procedían fundamentalmente de campos disciplinares como el derecho o la ciencia política, en los últimos años se han ido adoptando nuevas orientaciones a partir de las aportaciones realizadas por las diversas ciencias de la administración. En este nuevo contexto, la evaluación ocupa un lugar específico, proporcionando conceptos, enfoques y técnicas para la gestión. El uso del término conducción sugiere una imagen del funcionamiento de la administración educativa muy diferente al que ha predominado hasta ahora. Frente a la regulación mediante normas y el control jerárquico del cumplimiento de las mismas, se pone el acento en la recepción y el tratamiento de una información actualizada, capaz de permitir intervenciones más ágiles y mejor adaptadas a la diversidad de situaciones específicas. Evidentemente, este nuevo modelo de actuación requiere tanto la existencia de sistemas de información suficientemente sofisticados como la preparación en el uso y la interpretación de la información por parte de quienes deben utilizarla para tomar decisiones, aspectos en los que aún queda mucho trabajo por hacer (A. Tiana).
Por otra parte, y sin minimizar la importancia de las críticas que pueden plantearse a una perspectiva economicista de la educación, resulta también evidente que existe una necesidad de racionalizar los gastos destinados a la educación y de rendir cuentas de sus resultados. La financiación de la educación supone un sacrificio social, por lo que el gasto debe hacerse de la forma más racional posible, aún teniendo presente la importancia de garantizar la equidad. Las instituciones educativas son recursos sociales y es necesario distribuir correctamente estos recursos. Además, en el contexto actual, en el que se concede un margen creciente de autonomía a las escuelas, resulta aún más necesario establecer sistemas de rendición de cuentas.

Lo importante en este sentido es no perder de vista las diferencias que existen entre los conceptos de calidad, eficacia y eficiencia, aspecto en el que existe un cierto desacuerdo incluso entre los especialistas. Así, mientras la calidad sería un proceso de mejora continua, la eficacia puede definirse como la capacidad para conseguir los objetivos o metas propuestas. La eficiencia, por su parte, hace referencia a la capacidad de producir lo máximo con el mínimo tiempo y energía, por lo que se trata de un concepto referido a la relación entre inputs y resultados (A. Tiana). En este sentido, aunque a los servicios públicos no se les exija rentabilidad, al menos puede exigírseles eficiencia (R. Pérez Juste), es decir, el logro de determinados objetivos optimizando los medios y los recursos.

Finalmente, conviene tener en cuenta que el uso de procedimientos de evaluación de la calidad puede tener también consecuencias o efectos positivos para los propios sistemas educativos, como se ha puesto de manifiesto en reiteradas ocasiones. En concreto, y sin ningún afán de exhaustividad, pueden mencionarse algunas de estas posibles consecuencias positivas de la evaluación:

Aporta un mayor conocimiento e información sobre los sistemas. Se puede afirmar que toda evaluación es un proceso que genera información y, por lo tanto, implica un esfuerzo sistemático de aproximación sucesiva al objeto de evaluación. Desde esta perspectiva, la evaluación permite poner de manifiesto aspectos o procesos que de otra manera permanecen ocultos, hace posible una aproximación más precisa a la naturaleza de ciertos procesos, las formas de organización, los elementos intervinientes, etc.
Permite el diagnóstico de la situación a partir del uso de indicadores. Sirve de ayuda en la conducción de procesos de cambio.

Contribuye a la mejora de la organización y funcionamiento de los centros educativos.
Renueva el interés por los resultados de la educación y contribuye, aunque sea indirectamente, a su mejora.



Extraído de:
Reflexiones en torno a la evaluación de la calidad educativa
Tendencias Pedagógicas 10, 2005
Inmaculada Egido Gálvez
Universidad Autónoma de Madrid

viernes, 15 de noviembre de 2013

Algunas tentativas de explicación sobre la lectura de resultados de las Evaluaciones de Calidad Educativa


Existen claras dificultades en la interpretación de resultados de las Evaluaciones de Calidad Educativa. Esto lo podemos adjudicar a diferentes causas ¿Intereses corporativos dificultan la comprensión? ¿La imagen de una supuesta “escuela tradicional”?  ¿Las evaluaciones que se efectuaban en la escuela? 
 


Estamos más o menos de acuerdo sobre la existencia de este peculiar fenómeno que podríamos llamar de “desinteligencia” para con los resultados de las evaluaciones educativas; si estamos genéricamente de acuerdo que parece haber un problema a nivel de las lecturas que la opinión pública hace de los resultados de las evaluaciones de la calidad de la educación, corresponde que ensayemos al menos alguna explicación sobre la cuestión.

En primer lugar creo que es necesario recordar algo que, por obvio que pueda ser, no deja de resultar a la vez significativo y pertinente para el problema que nos ocupa. Las evaluaciones de los resultados educativos -en particular las de aquellos países donde el sistema de educación pública es francamente mayoritario y simultáneamente portador de una cierta tradición de prestigio- tienen una estrecha relación con fuertes intereses corporativos de distinto tipo. Mencionemos al menos dos de los más relevantes.

Por un lado, muchas veces la educación privada requiere -al menos en países cuyos sistemas educativos tienen las características mencionadas- de la permanente afirmación de que sus resultados resultan ser superiores a los de la educación pública. En muchos casos su estrategia de desarrollo se basa en una reafirmación discursiva -más o menos consistente con la realidad- de su capacidad de obtener resultados educativos superiores a los de la educación pública. De lo contrario, de no reafirmar esta supuesta superioridad en la calidad educativa de la educación privada, la razón de ser de ésta queda reducida casi exclusivamente a la oferta de determinadas opciones confesionales o a la de algunas peculiaridades lingüísticas y culturales. En ese sentido, el discurso de la educación privada tiende a contribuir, de manera más o menos explícita, a fortalecer toda tendencia que favorezca una lectura crítica de los resultados de la educación pública.

Por el otro, las evaluaciones educativas también coliden parcialmente con los intereses de una muy poderosa corporación docente que, al menos en algunos de nuestros países, no está habituada a que los resultados de su actividad profesional sean evaluados y públicamente expuestos. Ante todo, las evaluaciones chocan con las tradiciones y con los intereses de la corporación docente porque una gran parte o todo el proceso de evaluación educativa, de la manera que se ha ido instrumentando en los nuevos procesos de reforma, escapa política y administrativamente al control de los centros de poder de la corporación.

Pero, además, las evaluaciones que terminan haciendo públicos los resultados educativos, de alguna manera ponen “en cuestión” -y, lo que es peor, lo hacen de manera sistemática, puesto que los sistemas de evaluación están concebidos para funcionar de manera regular y permanente- su desempeño como docentes profesionales por más que la publicación de los resultados se lleve a cabo de la manera más general, promediada y anónima imaginable y no permita la identificación de docentes, centros educativos o unidad específica alguna dentro del sistema educativo.

Y creo que, en este sentido, cabe volver aquí a la comparación con la situación y las reacciones que se producen en la educación frente a las que se suscitan en otros ámbitos de la actividad pública, como la salud pública, cuando de medir resultados se trata.

En primer lugar, tanto o más poderosa que la corporación docente resulta ser la corporación médica de cualquiera de nuestros países. No he sabido, sin embargo, de que dispongamos -al menos en el Uruguay estoy seguro de que no es así- de algún mecanismo de evaluación de la eficacia y eficiencia de los hospitales públicos (o privados), y eso marca, desde el vamos, una diferencia importante.

En segundo lugar, y como síntoma mucho más importante de esas diferencias, a pesar de que en muchos países de América Latina, en los últimos años han hecho su aparición enfermedades previamente inexistentes o erradicadas como el cólera, el dengue hemorrágico -o la misma aftosa a nivel animal-, no tengo información de que el aparato de salud pública -o el de sanidad animal puesto que, para al caso, la circunstancia es similar-, haya sido radicalmente cuestionado en sus políticas y responsabilizado directamente por los medios y la opinión pública de estas calamidades.

Todo parece entonces acontecer como si la opinión pública concibiese que hay procesos que, por más que exhiban indicadores que muestran falencias o resultados de poca calidad, su actividad pertenece a un ámbito considerado de carácter “natural” -frente a los que poco pueden hacer al respecto los tomadores de decisiones y los responsables políticos- y, por lo tanto, el público tiende a eximir a los servicios estatales involucrados de toda responsabilidad de dichos acontecimientos o resultados.

Sin embargo, la misma opinión pública no parece admitir que pueda resultar también “natural” que exista una suerte de complejo pero explicable “trade-off” entre la expansión abrupta de la matrícula de determinado nivel del sistema educativo y la aparición de problemas de calidad en ese mismo nivel de educación, y se muestra particularmente sensible ante la constatación estadística de este tipo de problemas.

Una segunda explicación plausible para esta gruesa dificultad que se genera con la transmisión de los resultados de las evaluaciones educativas puede tener que ver con la imagen tradicional que la opinión pública tiene de la educación pública y, fundamentalmente, de la escuela pública.

Yo no estoy seguro de que esta argumentación sea aplicable a todos los países y no sea ésta una visión fuertemente “uruguaya” de un problema que, en realidad, es más general. Pero, en el caso del Uruguay, es evidente que la instauración de estos nuevos procesos de evaluación de la educación se dan de bruces con la creencia fuertemente arraigada en la opinión de que la escuela pública uruguaya es una institución sistemáticamente exitosa y que se encuentra, en última instancia, por encima de cualquier evaluación.

En ese sentido, en el Uruguay, pero estoy seguro que hay casos parecidos en América Latina, la absoluta certeza del público de que la escuela pública -y generalmente esta certeza se refiere a la “imagen” de una escuela tradicional que hasta hace una década no hacía este tipo de evaluaciones- era y es un dechado de virtudes, conspira directamente contra la buena recepción de las políticas de evaluación sistemática en materia de resultados de la educación.

En algún sentido la opinión pública se ofusca ante la emergencia en la última década de estos “reformadores evaluadores”, que parecen llegar sólo para anunciar malas noticias. El público recibe un mensaje del tipo: “…la enseñanza que creíamos tan buena ahora resulta que no lo es…”. Como se comprende fácilmente, se trata de un discurso de difícil asimilación y la explicable tendencia a responsabilizar al mensajero por las malas noticias de las cuales él es portador, seguramente opere en muchos casos.

Una tercera hipótesis que, entendemos nosotros, debe tenerse en cuenta a la hora de explorar los desencuentros entre las evaluaciones educativas y la opinión pública de nuestros países tiene que ver con lo que podríamos llamar “un problema de legitimidad”. O, si ustedes lo prefieren, un problema entre el tipo de legitimidad sobre el que se asientan las instituciones educativas tradicionales y la emergencia de este nuevo tipo de evaluación que se ha ido generalizando.

En efecto, conviene recordar que educación y evaluación son dos actividades que están inextrincablemente vinculadas entre sí desde hace ya mucho tiempo, si no es que desde el fondo mismo de la historia de la actividad educativa. Bajo las más diversas formas, maestros y profesores, dentro del tipo de institución educativa que fuere -escuelas carolingias o catedralicias, escuelas de “métiers” dependientes de las corporaciones medioevales, universidades de las más diversas órdenes eclesiásiasticas, tecnológicos republicanos, etc.-, han aplicado desde siempre a sus alumnos muy variadas modalidades de evaluación para confirmar la adquisición de saberes por parte de aquellos. Estas modalidades de intentar registrar los aprendizajes pueden haber sido más o menos racionales, más o menos adecuadas o, incluso, más o menos arbitrarias, pero no hay ninguna novedad en cuanto a que la educación evalúe los desempeños de los profesores o los saberes y los niveles de aprendizajes obtenidos por sus alumnos9.

Pero conviene subrayar que este tipo de evaluación, cuya legitimidad está asentada probablemente desde hace siglos, se lleva adelante esencialmente en el espacio del aula o de su equivalente y como una actividad estrictamente interna al proceso educativo mismo. O si se quiere, más precisamente, un mecanismo de evaluación que se despliega exclusivamente en el espacio de las relaciones entre maestro o profesor y alumnos y entre supervisor o director y maestros o profesores.

En este tipo de evaluación, la noción de “resultado” es algo que emerge del seno mismo de la relación maestro-alumno y, por lo tanto, los parámetros que definen un resultado como “exitoso” o “deficiente” son parámetros que surgen como parámetros internos a la actividad del aula, al centro educativo, y, eventualmente, al régimen de supervisión del sistema educativo. En suma, son evaluaciones cuyos resultados se construyen sin que intervengan criterios ni agentes exteriores al sistema educativo tradicional. Dicho en otros términos: las evaluaciones tradicionales en la educación poseen una amplia legitimidad, porque forman parte integrante del proceso de enseñanza-aprendizaje desde hace siglos, pero, sobre todo, porque en esas evaluaciones son los propios agentes del sistema educativo que se evalúan a sí mismos.

Pero, en realidad, no es éste el tipo de evaluación que nos congrega aquí y no son estos mecanismos de evaluación los que nos preocupan por sus efectos en la opinión pública y, por ende, en la política. La evaluación y los resultados que hacen problema son aquellos que, precisamente, no se procesan “in vitro”, ni en el ámbito preregulado del aula, ni en los espacios jerárquicos del centro educativo o de la estructura corporativa de los sistemas de enseñanza.

Los resultados que producen “desinteligencias” con los medios y con la opinión pública son aquellos provenientes de censos, encuestas, muestreos, “panels”, etc., obtenidos y dirigidos por personal -docente o no, eso es secundario-, pero que tienen como objetivo medir el desempeño del sistema educativo desde fuera de las rutinas, las jerarquías y, en última instancia, los intereses de la corporación educativa.

Es entonces por ello que las evaluaciones de la actividad educativa así construidas, desde un punto de vista explícitamente externo a la lógica tradicional del sistema educativo mismo, plantean un problema de “legitimidad” y, en consecuencia, plantean en muchos casos problemas políticos significativos.

En particular en el seno del cuerpo docente y sus jerarquías, las preguntas obvias que se disparan ante la instauración de esta nueva mirada sobre el desempeño de la educación, son los siguientes: ¿Quién mejor que yo, profesor o maestro, puede evaluar los conocimientos que transmito? ¿Quién mejor que yo, docente, puede juzgar a mis alumnos? ¿Quién mejor que yo, director, puede juzgar el funcionamiento del centro educativo? ¿Quién mejor que yo, inspector o supervisor, puede medir efectivamente el desempeño de los profesores?

Por último, existe una cuarta hipótesis que conviene considerar en la búsqueda de las razones por las cuales las evaluaciones de la calidad educativa presentan tantas dificultades a nivel de la opinión pública. Se trata de una hipótesis que es necesario explorar en un nivel más conceptual o, si se quiere, más abstracto.

Cabe preguntarse hasta qué punto esta política de evaluación sistemática de los resultados educativos no introduce una incongruencia importante con algunos de los conceptos fundamentales de la educación pública tradicional de nuestros países. Si nosotros seguimos manteniendo acertadamente, como uno de los principios rectores de nuestra educación pública, el principio de educar para la equidad, no resulta sorprendente que la opinión pública imagine al sistema educativo como un servicio que imparte enseñanza de calidad homogénea y que los aprendizajes que en ella se obtienen deberían ser razonablemente homogéneos.

La publicación sistemática de resultados que exhiben la existencia de diferencias entre los aprendizajes de los alumnos, entre los aprendizajes conseguidos en los centros, entre los resultados educativos en las diferentes regiones de un país, etc., introduce una perspectiva que contradice la lectura ingenua del principio de educar para la equidad.
Que nuestros sistemas educativos eduquen para la equidad y se esfuercen sistemáticamente en trabajar en ese sentido, no significa -ni nunca significó- que obtengan ni puedan obtener resultados homogéneos, porque ningún sistema educativo -y, menos aún, sistemas educativos de masas como lo son los sistemas educativos contemporáneos-, puede compensar totalmente diferencias económicas, sociales y culturales que trascienden la capacidad democratizadora de los sistemas de enseñanza.

Otra cosa sería si nuestros sistemas educativos estuviesen concebidos -como efectivamente en ciertos países pueden estarlo- y fundados en otros principios. Si decidiésemos fundar y hacer descansar la razón última de la educación pública sobre la búsqueda de la eficiencia o sobre el principio de educar para la competitividad, seguramente que, en ese escenario, la incongruencia a la que nos referimos más arriba sería menor o menos perceptible. De hecho dejaría de ser una incongruencia, ya que las políticas de evaluación deberían de ser reclamadas como una parte necesaria y funda mental de la orientación básica de una educación que tiene como objetivos centrales la eficiencia y/o la competitividad.

Entonces yo agregaría, como último elemento que intenta explicar las desinteligencias y las incomprensiones que constatamos entre el sistema educativo y la opinión pública en materia de evaluaciones de la calidad de la educación, este aspecto que tiene dos componentes. Un componente meramente informativo -la creencia del público de que educar para la equidad consiste en generar resultados homogéneos que hagan desaparecer las diferencias de origen social y cultural de los alumnos-, y un problema, de trasfondo filosófico, que hace a la concepción última que rige al sistema educativo de nuestros países.

Evidentemente, aunque nos aferremos como nos aferramos al principio cardinal de que es necesario educar para la equidad, no podemos por ello renunciar a las evaluaciones educativas aunque sus resultados puedan aparecer como demostrativos de que una equidad estricta no reina en la educación. En primer lugar, porque el principio de educar para la equidad se basa en la idea de brindar igualdad de oportunidades mediante la educación y no en la de la igualdad de resultados de los aprendizajes y, en segundo lugar, como veremos inmediatamente, porque la herramienta de las evaluaciones educativas constituye un componente fundamental para el desarrollo de cualquier sistema educativo moderno. Particularmente para aquellos sistemas educativos que, orientados filosóficamente hacia la equidad, han de estar permanentemente monitoreando los resultados obtenidos en la materia.


Extraído de:
Encuentros y desencuentros con los procesos de evaluación de la calidad educativa en América Latina
Javier Bonilla Saus
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

lunes, 4 de noviembre de 2013

La evaluación de la calidad educativa: posibles riesgos


Ante la complejidad del concepto de “Calidad Educativa” ¿Es posible evaluarla objetivamente? ¿Cuáles son los obstáculos que se oponen? ¿Es válida la homogenización de una evaluación estandarizada? ¿Es útil considerar la evaluación sólo de productos finales? En cuanto a las finalidades de las evaluaciones ¿Se preocupan solamente por obtener mejoras?


Como cabría esperar, el énfasis que en estos momentos se otorga a la evaluación de sistemas, instituciones y procesos educativos no está exento de críticas importantes, formuladas desde ángulos muy diversos. Simplificando, podrían señalarse dos tipos principales de argumentos que alertan sobre las limitaciones de los procesos de evaluación de la calidad educativa y sobre sus posibles riesgos. Entre los primeros se encuentran las críticas centradas en las debilidades de los sistemas de evaluación empleados en la actualidad y que, consecuentemente, ponen en duda la capacidad de muchas de las evaluaciones realizadas para mejorar los procesos educativos. La segunda línea argumental va más allá de la constatación de las dificultades técnicas de los sistemas, cuestionando incluso su sentido y finalidad, al considerar que las evaluaciones pueden estar cumpliendo una serie de funciones ocultas en nuestras sociedades.

Comenzando por los riesgos, desde la primera perspectiva mencionada, es decir, la crítica a los sistemas y procesos de evaluación, se señala en primer lugar la imposibilidad o, al menos, la extrema dificultad de alcanzar evaluaciones objetivas de procesos difícilmente tangibles, como son los educativos. No se trata tan sólo de la objetividad del evaluador, que puede ser cuestionable en muchas ocasiones, sino del propio supuesto de que la calidad se puede objetivar y apreciar externamente, sin conocer los procesos internos. Además, las evaluaciones de instituciones educativas se basan en que la realidad es fragmentable y puede separarse en elementos o variables aisladas, lo que hace perder de vista la coherencia entre las mismas, que supone por sí misma un factor de calidad.

Además de lo anterior, es necesario considerar que la evaluación de indicadores individualmente considerados no tiene en cuenta la estabilidad en la unión o ilación de los mismos. Por otra parte, en las evaluaciones se plantea la posibilidad de la generalización, cuando lo cierto es que cada institución es diferente. Los sistemas o pruebas de evaluación homogeneizadas olvidan esta variabilidad y no atienden a la diversidad.

Adicionalmente, la gran mayoría de los sistemas de evaluación parten de una estructura preestablecida, en la que no hay espacio para los cambios y que suele centrarse en los resultados cuantificables del proceso de enseñanza. En esta línea, E. Cano nos recuerda que es muy complejo medir la calidad del producto o resultado educativo, sobre todo cuando se habla de eficiencia externa, es decir, del éxito con el que se logran los objetivos amplios o generales que la sociedad deposita en la educación. Sin embargo, aún resulta mucho más difícil medir un proceso. Hay distintos públicos que exigen o necesitan cosas distintas del servicio educativo. Además, los resultados en educación pueden relacionarse con realidades distintas, que no sólo son el rendimiento, como la satisfacción, la adquisición y extensión del conocimiento, las actitudes hacia el aprendizaje, la producción de hábitos mentales, etc.

También A. Tiana considera que debemos ir más allá de los resultados académicos, cuya inmediatez puede convertirlos en una trampa simplificadora:

"La evaluación, entendida como una simple revisión de los productos finales, hace perder de vista la consideración del centro como un ecosistema que permite explicar y dar sentido al funcionamiento general y a los procesos que desarrollan la actividad. De la misma manera, la consideración de una de las partes pierde sentido aislada de la referencia al todo y de su vinculación con el contexto".

El segundo grupo de argumentos, centrado en las finalidades de los procesos de evaluación, coinciden en señalar que aunque explícitamente el objetivo de los mismos es la mejora, en realidad en las evaluaciones existen finalidades latentes, como el control sobre los actores del proceso educativo, la justificación de decisiones tomadas sobre la base de otros criterios o la distribución de recursos. Desde este planteamiento, cuando se argumenta la necesidad de que los centros educativos rindan cuentas a la sociedad, no se tiene en cuenta la dificultad de delimitar qué es lo que deben conocer los ciudadanos y para qué. Si sólo se conocen los resultados o productos, sin conocer las variables de entrada, la información no será válida e incluso estará distorsionada.

Además, aunque aparentemente los sistemas de evaluación den cabida a las personas implicadas en los procesos educativos, lo cierto es que se evalúa desde arriba, prescindiendo de ellos, por lo que la evaluación se convierte en un poderoso mecanismo de control social.

En palabras de A. Bolívar:
"Se ha logrado crear expectativas infundadas de que la evaluación de centros y del sistema escolar pueda ser el medio para incrementar la calidad, pero ... la evaluación no es más que un instrumento retórico que sirve para legitimar el funcionamiento actual de los centros, para justificar las reformas o para utilizarse como mecanismo de producción de verdad, en el sentido en que crea realidades".

También en esta línea se considera que la utilización de sistemas de evaluación en el marco del incremento de la autonomía para las instituciones educativas puede suponer una manera indirecta de mantener el control político sobre el sistema educativo, ya que "siempre existe la posibilidad de que el poder que la descentralización cede por una parte, la evaluación pueda quitarlo por otra" (H. N. Weiler).



Extraído de:
Reflexiones en torno a la evaluación de la calidad educativa
Tendencias Pedagógicas 10, 2005
Inmaculada Egido Gálvez
Universidad Autónoma de Madrid
Related Posts Plugin for WordPress, Blogger...

Busca en mis sitios