domingo, 28 de julio de 2013

El desarrollo de políticas nacionales de evaluación


En estas épocas de cambios ¿Qué aspectos de la realidad educativa sufrieron modificaciones? Particularmente ¿Qué sucedió en el ámbito de la Evaluación Educativa? ¿Cuál es la experiencia en Latinoamérica?


Los años ‘90 se caracterizaron por la puesta en marcha y el desarrollo de un buen número de reformas educativas en los países latinoamericanos. Una vez superada la desconfianza hacia la educación que caracterizó a los años ‘70 y ‘80, los gobiernos de la región se lanzaron a una intensa actividad reformadora, que se dejó sentir en muchos países y que abarcó diversas esferas de la realidad educativa.

Las reformas emprendidas en esos años persiguieron varios objetivos, entre los que cabe destacar la extensión de la escolarización (especialmente en la enseñanza secundaria), la mejora de la calidad de la educación impartida y el aumento de la equidad en la distribución de los servicios educativos. Aunque no sea éste el lugar para hacer un balance de la década, no cabe duda de que los objetivos previstos se alcanzaron de manera muy desigual, consiguiéndose algunos logros destacables en el primer sentido de los mencionados, pero logrando resultados mucho más modestos en los otros dos. La situación es tal que un reciente informe internacional sobre el estado de la educación en los países de América Latina adoptaba como título el lema Quedándonos atrás, expresando de ese modo las carencias que aún aquejan a los sistemas educativos de la región (Comisión Internacional sobre Educación, Equidad y Competitividad Económica en América Latina y el Caribe, 2001).

El desarrollo de políticas nacionales de evaluación
Las reformas de los años ‘90 afectaron a diversos aspectos de la realidad educativa, que conviene detallar. Entre las orientaciones adoptadas por dichos procesos de reforma, y aun sin ánimo de exhaustividad, pueden distinguirse varias líneas de actuación que, si bien no se dieron siempre de manera simultánea, estuvieron presentes de uno u otro modo en las diversas iniciativas nacionales:

• Un primer aspecto en que se avanzó considerablemente, aunque no sin problemas, fue en la redistribución de las competencias y responsabilidades en materia de educación, lo que supuso la puesta en marcha de políticas de descentralización y de autonomía escolar, acompañadas en ocasiones de procesos de privatización, cuyos efectos fueron ambivalentes.

• Una segunda orientación de las reformas, especialmente influyente en muchos países de la región, consistió en la introducción de cambios en la organización curricular, que llevaron generalmente aparejada una revisión de los planteamientos fundamentales en que se inspira la definición y la construcción del currículo.

• Un tercer dominio de acción de las reformas tuvo que ver con los procesos de formación inicial y capacitación del profesorado, considerado habitualmente pieza clave de las reformas, pero no siempre tan atendido como debiera en su papel de agente transformador.

• Un cuarto ámbito de reforma estuvo concretamente relacionado con la educación secundaria o media, que se ha convertido en la pieza clave y más conflictiva de los sistemas educativos y cuya expansión se ha ido también produciendo en América Latina en las últimas décadas.

• Por fin, una última orientación tuvo que ver con el desarrollo de mecanismos y modelos de evaluación; dicho de otro modo, con la consideración de la evaluación, como un poderoso instrumento al servicio de la gestión de la educación y de la mejora de su calidad.

Esta última orientación de las reformas de los ‘90 cobra especial relevancia desde la perspectiva que se adopta en este trabajo, pues es precisamente el impacto de esos mecanismos de evaluación lo que está sometido a crítica y discusión. Por este motivo, merece la pena realizar un par de comentarios adicionales sobre sus rasgos más significativos.

Una primera observación que cabe destacar desde este punto de vista es que la mayoría de los países de la región pusieron en marcha sus propios sistemas nacionales de evaluación a lo largo de los años ‘90, generalmente en el marco de procesos más amplios de reforma educativa. Con configuraciones institucionales muy diferentes entre sí y con ámbitos de actuación diversos, fueron varios los gobiernos que se sumaron a la experiencia pionera que otros países como Chile venían desarrollando ya con anterioridad. Argentina, México, Colombia, Bolivia o Brasil, por no citar sino algunos casos destacados, dieron pasos decididos en esa dirección, de manera que al final de la década eran mayoría los países latinoamericanos que contaban con algún tipo de sistema nacional de evaluación.

Sin embargo, el indudable interés por la evaluación de la educación que se despertó en muchos países no marchó asociado sino mucho más tardíamente con un interés paralelo por participar en estudios comparativos internacionales de evaluación del rendimiento educativo. Aparte de la valiosa experiencia regional del Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación, en el que participaron un total de trece países de América Latina y el Caribe, los estudios promovidos por organizaciones tan reconocidas como la IEA o la OCDE no han alcanzado todavía en la actualidad cotas altas de participación. Durante los años ‘90, fueron más bien los programas de cooperación orientados hacia el reforzamiento de los sistemas nacionales de evaluación, como el impulsado en esa dirección por la OEI, los que lograron una participación más amplia.

Así pues, y hablando siempre en términos generales, la situación de la evaluación educativa en la región latinoamericana se caracteriza hasta el momento por la existencia de un contraste llamativo entre el desarrollo de ambiciosos programas nacionales de evaluación y una limitada participación en estudios comparativos internacionales. El desarrollo de esos programas nacionales está basado en la puesta en marcha de un buen número de instituciones y agencias de evaluación, cuya experiencia comienza ya a ser importante.



Extraído de
¿Qué pretendemos evaluar, qué evaluamos y qué conclusiones podemos extraer de la evaluación?
Alejandro Tiana Ferrer
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

jueves, 18 de julio de 2013

Una visión política sobre las Evaluaciones de Calidad Educativa

¿Qué función cumple la Evaluación en la escuela? Es un instrumento, mediante el cual se ejecuta la selección. Mediante ella, queda legitimado el proceso de estratificación social. Esto mismo puede pensarse para las Evaluaciones de Calidad Educativa, y es necesario entonces “evaluar las evaluaciones”, y como tiene consecuencias políticas, hay que hacerlo desde este punto de vista, centrándonos en una pregunta ¿Evaluamos para mejorar la calidad y equidad del sistema? 
 


“En una escuela que tensiona por la equidad, la evaluación, como dispositivo diferenciador, hace ruido en algún lugar”. Estas palabras de Javier Bonilla, Director Ejecutivo del CODICEN – Uruguay, se suman y permiten observar el tono de un debate. La idea de buscar esos “ruidos” o esos “costos” y compararlos con los beneficios se empieza a transformar en un eje de la discusión acerca de las evaluaciones. Parecen estar más claros los costos que los beneficios, y eso lleva a una revisión crítica; la idea es que las evaluaciones de la calidad empiezan a verse sometidas, ellas mismas, a un proceso de evaluación.

Estas políticas aparecieron como una de las innovaciones principales de las reformas implementadas en la década de los años ‘90. Y, paradójicamente, los propios tomadores de decisiones sienten que son estos dispositivos los que han puesto en “jaque” a las reformas. Han expuesto a la política educativa, la han sometido a la opinión pública y, en ese campo, las decisiones y el debate abandonaron la exclusividad del mundo educativo. Desde ese punto de vista, la capacidad de dar respuestas, de analizar datos y de producir cambios, se encuentra muy condicionada.

La centralidad que las evaluaciones de la calidad han asumido en la mirada que la sociedad tiene sobre la educación las vuelve un aspecto que merece ser analizado con mayor cuidado. Han dejado de ser un objeto técnico-pedagógico para transformarse en uno de carácter político.

Más allá del consenso existente sobre su importancia y sobre las ventajas de su instalación, resulta fundamental volver a pensarlas, principalmente, desde sus dimensiones política, comunicacional, pedagógica y en el modo en que estos dispositivos interactúan con el conjunto de los actores educativos.

Se trata de proponerse una evaluación de las evaluaciones, a diez años de su instalación en los sistemas educativos de la región, y de revisar críticamente la experiencia.

Una visión política
Las evaluaciones se han vuelto un hecho político. Los gobiernos y sus políticas son analizados a partir de los resultados de la aplicación de estos dispositivos. El mundo de la educación ha creado un instrumento sobre el que parece haber perdido el monopolio del debate. En el momento en que las evaluaciones han llegado a los medios de comunicación masiva, han quedado de algún modo fuera del campo exclusivo de los gestores educativos o de los pedagogos. La comunidad educativa ha “bendecido” un indicador capaz de dar cuenta de la situación de la educación en materia de aprendizaje de los alumnos y en esos términos lo ha recibido la sociedad. Desde ese momento, se han vuelto un procedimiento de las políticas públicas en su conjunto, y eso implica la participación de otros actores. Las desigualdades sociales, la competitividad de los países, la eficiencia del gasto, entre otras variables, empiezan a incluir la información de los operativos de evaluación de la calidad para ser analizadas.

En ese contexto, el mundo educativo ha perdido el manejo exclusivo de la herramienta. Ya no se trata de un dispositivo que produce información para el debate educativo exclusivamente, ha dejado de ser un objeto de discusión técnica, el mundo político se ha apropiado de sus resultados y los ha incorporado a sus debates. En muchos casos, con análisis apresurados, poco apropiados e, incluso, revelando muchos de los errores cometidos o la necesidad de producir cambios.

¿Cómo recuperamos la posibilidad de pensar la herramienta? ¿Cómo volvemos a transformarla en un dispositivo capaz de brindarnos información para el mejoramiento de la calidad y la equidad? Tales parecen ser las preguntas de los tomadores de decisiones. Retomando las palabras de Martín Granovsky, en el Seminario: “Si no llenamos la evaluación con información y análisis, los resultados están sustituyendo a la política”.

Parece necesario recuperar el sentido. ¿Evaluamos para mejorar la equidad y calidad de nuestros sistemas educativos?, ¿lo hacemos para juzgar al sistema y acusarlo? Porque de acuerdo a las intenciones que tengamos, los instrumentos serán las propias políticas, no serán un instrumento sino un contenido. Los sistemas educativos dejarán de trabajar para mejorar la calidad y la equidad educativa y pasarán a trabajar para el mejoramiento de los resultados de las evaluaciones.

Los dispositivos y sus productos han tenido mayor impacto en la construcción del imaginario educativo de la sociedad, que en la transformación de las estrategias educativas. En el plano de lo simbólico vivimos, como expresó Juan Froemmel en el Seminario: “el síndrome del análisis melancólico, todos creen que nunca tuvo fiebre porque nunca se la midieron”; la sociedad no cuenta con registros históricos, con lo cual “se pelea” con los actuales. En este sentido, Ottone dijo en el Seminario: “Existe la idea de un pasado «glorioso», una escuela que convivía cotidianamente con la excelencia. Con ese pasado es imposible compararse porque ese era un mundo más feliz. No creo que la felicidad sea un efecto de las políticas públicas, la felicidad es compleja. Es muy complejo hacer políticas públicas contra ese síndrome de la nostalgia”. No existen registros históricos en la región que permitan comparaciones serias con el pasado, pero, de todos modos, el imaginario social los ha construido. Y resulta complejo relativizar esas ideas incorporando el dato de las tasas de escolarización o de la complejidad de los planteos curriculares o de la menor desigualdad, en algunos casos. Parece haber un dictamen que establece que la escuela actual es peor que la del pasado. Y ese dictamen parece asociarse a la calidad de nuestros gobernantes.

Las evaluaciones parecen haber sido funcionales a este síndrome, quizás, hasta lo hayan alimentado. Acaso hayan confirmado a la sociedad que ya no tendrá una escuela de excelencia como la que tuvo.

La sensación es que esos resultados han venido a confirmar el peso de ciertos condicionantes estructurales. Así lo indicó J. J. Brunner, en el Seminario: “Ningún indicador logra imponerse a los de los condicionantes sociales. En el mejor de los casos se podría llegar a equiparar el efecto del origen social. La escuela no puede compensar a la sociedad, el sentido común le ha ganado a las comprobaciones científicas”. Estas afirmaciones tienen un enorme peso en términos de la ejecución de políticas, es casi una justificación para disminuir las inversiones en educación y centrarlas en las políticas sociales. Podrían permitir razonamientos que justifiquen el hecho de que si los resultados educativos están condicionados por los sociales, no conviene invertir en políticas educativas, sino en aquellos programas sociales que garanticen las condiciones de educabilidad, dado que hasta que impactemos la situación social de los beneficiarios, no podremos mejorar sus resultados educativos.

El pesimismo pedagógico de final de década, la evidencia de que enormes inversiones y una importante apuesta política no han producido resultados significativos en materia de calidad, hace que este tipo de argumentos ganen espacio. La idea de que el sistema tiene muy baja permeabilidad a los cambios, que es muy difícil producir transformaciones cualitativas y que requieren gran cantidad de recursos, parece ser un obstáculo para volver a construir un clima favorable a la inversión educativa.

Al mismo tiempo, el análisis de los resultados de las evaluaciones internacionales muestra que los promedios de la región se componen de sectores acomodados de la sociedad que brindan a sus hijos una educación que puede ser ubicada dentro de los estándares internacionales, y otros cuya calidad se aleja cada día más de dichos estándares.

Esta evidencia anima a algunos sectores a preguntarse si es posible garantizar una educación de calidad para todos o si deberemos conformarnos con garantizársela a los grupos más dinámicos de la sociedad, aquellos que parecerían en condiciones de darle competitividad a las economías de sus países. Estos peligrosos razonamientos son algunos de los elementos que nos obligan a asumir un análisis más cuidadoso de los resultados de las pruebas. En ese sentido es que los mismos han trascendido el análisis del mundo pedagógico: no sólo tienen impacto sobre las políticas curriculares o de gestión institucionales, también pueden tenerlos sobre las políticas de empleo, de inversión industrial, etcétera.

¿De qué hablan los tomadores de decisiones cuando afirman que hay que apropiarse de las evaluaciones? El Presidente de la IEA, Alejandro Tiana, dijo: “Hay una cuestión de la complejidad de la evaluación que tiene una vertiente de conocimiento y otra de valoración. La vertiente política es la de la valoración y la ponderación”. Por su parte, Martha Lafuende expresó: “Creo que llega el momento de empezar a llamar a las cosas por su nombre, nos hemos propuesto evaluar calidad y estamos midiendo, no evaluando. Evaluar exige tener un patrón con qué compararse y ese patrón no está del todo claro”.
Aparece la idea de que se ha concebido una política como un hecho técnico y, después de una década, parece claro que es necesario revisar esa decisión, entender que esas decisiones técnicas deben dar cuenta de definiciones filosófico-políticas. Se construyeron indicadores que se definieron técnicamente, y que consideran casi con exclusividad las habilidades académicas. Nuestros índices no consideran el aumento de las tasas de escolarización, la capacidad del sistema para homogeneizar actores de una sociedad cada día más segmentada, dar cuenta de los nuevos públicos que la escuela ha sido capaz de albergar, de la capacidad de contener otras realidades sociales, etc. Y esas definiciones implican una toma de postura ideológica, utilizar unas variables y abandonar otras; lo cierto es que la experiencia de los ‘90 hace pensar más en una “no toma” de posición política, en el sentido de que los tomadores de decisiones no se posicionaron en ese punto.

Se ha construido un indicador de calidad que es puramente académico, se han considerado fundamentalmente los aciertos en Lengua y Matemáticas como indicadores de una buena educación. Pero no es que, en consecuencia, esa sea la demanda que se le formula a la escuela, no ha sido ese el único objetivo de las reformas. Y en el caso de que ese hubiera sido, tampoco se le garantizaron las condiciones de educabilidad mínimas para producir esos aprendizajes.

Se le ha pedido a la escuela que enseñe contenidos definidos, y se formularon evaluaciones acerca del grado de adquisición de los mismos por parte de los alumnos. Pero también se le demandó que les dé de comer a los niños y jóvenes, que controle su vacunación, que les haga los documentos de identidad, que presione a los padres para que eduquen a sus hijos como corresponde, etcétera. Y ni siquiera los sistemas educativos fueron capaces de liberarla del peso administrativo de las burocracias, no se han dictado normativas y regulaciones que faciliten la tarea, no se han generado programas de capacitación eficientes para sus docentes, de modo que pudieran enseñar dichos contenidos.

Y en ese sentido, la escuela ha quedado sola adelante de la sociedad; se la midió con un indicador de nivel académico similar al de otras regiones del planeta en las que la escuela cuenta con una cantidad de variables garantizadas. No se han construido indicadores capaces de dar cuenta del conjunto de las misiones y funciones que se le encomendaron al sistema educativo. Ni siquiera, que consideren el contexto en el que se le han pedido dichos resultados.

Las evaluaciones de la calidad han lanzado al sistema educativo a la discusión política y, por lo tanto, las consecuencias de dichas discusiones generan un fuerte impacto sobre la imagen de los gobiernos, sobre el campo de la política educativa y sobre el de la política en general.

No es posible enfrentar una discusión política con enfoques técnicos solamente. Quizás haya llegado la hora de asumir la discusión de sentido, la definición de objetivos de política y de someter las herramientas a esos principios. Quizás el problema resida en que, tal como dijimos previamente, se ha medido pero no evaluado, y medido determinadas variables y no otras. Y más allá de que los equipos políticos no hayan construido esas decisiones, las mismas han adquirido ese carácter.
Quizás la primera conclusión de este análisis sea que, más allá de la politización “de hecho” que sufrió el mundo de las evaluaciones, ha llegado el momento de que los tomadores de decisiones en materia de políticas educativas, los especialistas del campo y los equipos de los organismos multilaterales asuman que este es un debate de sentido, y que entrar al mismo por el “costado” técnico en lugar de hacerlo por el político es un error y nos conducirá a conclusiones falsas.



Extraído de:
Evaluar las evaluaciones
Gustavo Iaies
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

lunes, 8 de julio de 2013

Una mirada a las pruebas de logros en Educación

Se ha verificado un notable desarrollo en los sistemas nacionales de evaluación educativa, y en ellos, una gran preocupación por las evaluaciones de logro de los alumnos ¿Cuáles son las insuficiencias de estas evaluaciones nacionales?  ¿Cuáles son los desafíos que se le presentan?


Los sistemas nacionales de evaluación que se han desarrollado en los países latinoamericanos desde los años ‘90 vienen prestando una atención especial a la medición de los logros conseguidos por los alumnos. Los instrumentos que se aplican con esa finalidad son las genéricamente denominadas pruebas nacionales, que merecen una mirada especial por la importancia que han llegado a adquirir.

Las pruebas nacionales presentan bastantes diferencias de unos países a otros, aunque también ofrecen algunas similitudes. Entre sus elementos comunes, quizás el más destacado sea la preocupación prácticamente universal que demuestran por evaluar el rendimiento alcanzado en Lenguaje y Matemáticas. No obstante, aunque se trata de dos áreas especialmente atendidas por los sistemas de evaluación, no hay que pensar que sean los únicos dominios evaluados. En efecto, la medición de los logros en ambas áreas suele ir acompañada por la evaluación de otras áreas curriculares complementarias (entre las que sobresalen las Ciencias, la Historia o las Lenguas extranjeras) o de otras capacidades de tipo transversal, no ligadas necesariamente a áreas específicas (como el autoconcepto, algunas estrategias de aprendizaje o ciertas actitudes).

Las pruebas nacionales suelen aplicarse preferentemente en los grados terminales de las principales etapas educativas (sobre todo, al final de la enseñanza primaria y de la secundaria). No obstante, también se aplican a veces en otros grados que tienen un especial interés desde el punto de vista diagnóstico (por ejemplo, el final de ciertos ciclos), aunque la identificación de tales puntos focales varíe de unos sistemas educativos a otros. El reciente desarrollo de algunos estudios internacionales ligados a la edad de los evaluados y no al grado que cursan, como es el caso del proyecto PISA de la OCDE, aún no ha encontrado traducción directa en los sistemas nacionales de evaluación latinoamericanos, ni es previsible que lo haga a corto plazo. El interés que despierta la valoración de los logros conseguidos al final de determinadas etapas supera hoy en la región al que suscita la valoración del nivel de formación a ciertas edades. La participación en aquellos proyectos internacionales parece satisfacer suficientemente las preguntas que puedan plantearse en este último sentido.

Dependiendo del propósito que guía a la evaluación, las pruebas se aplican en ocasiones a poblaciones o cohortes estudiantiles completas, mientras que en otros casos se limitan a muestras representativas de estudiantes. La primera decisión permite hacer un uso más singularizado de los datos obtenidos, tal como comparar el rendimiento de diversas escuelas o estudiantes, mientras que la segunda es más adecuada para usos diagnósticos. Por otra parte, hay países en que las pruebas se aplican cada año, aunque es más frecuente que se adopten ciclos plurianuales, de distinta duración.
Las pruebas nacionales parecen satisfacer ampliamente a las autoridades educativas, a la vista del uso tan extenso que se hace de ellas. No obstante, en un análisis más profundo también presentan insuficiencias y problemas, que requieren una consideración más atenta.

Tres son las principales insuficiencias de las pruebas nacionales de logros que han subrayado los especialistas. La primera consiste en la existencia de algunas debilidades técnicas en los procesos de desarrollo y validación de los instrumentos de medición. La segunda se refiere a la insuficiente calidad y capacidad que las pruebas ofrecen para evaluar aprendizajes complejos. La tercera tiene que ver con el insuficiente aprovechamiento que suele hacerse de la información obtenida.

Los problemas a los que se ha hecho alusión son de distinto tipo. Para comenzar, habría que señalar algunos relativos al diseño y confección de los instrumentos de evaluación:

• Un primer problema tiene que ver con el contenido de las pruebas, asunto que plantea dos tipos de dificultades. La primera se refiere a la relación que debe existir entre las pruebas y los objetivos educativos. Lo deseable es que las pruebas estén referidas a los objetivos establecidos en el sistema educativo, de manera que permitan valorar el grado en que se alcanzan las metas previstas. Aunque este planteamiento resulta lógico y plausible, plantea dificultades cuando no existen objetivos explícitos (lo que sucede en muchos casos), o cuando los objetivos de cada curso o etapa se formulan de manera poco concreta. Cuando no se pueden determinar los objetivos de forma precisa, resulta sin duda más difícil elaborar las pruebas. La segunda dificultad se refiere al tratamiento de la diversidad curricular existente entre diferentes regiones, distritos o escuelas. La mayoría de los modelos curriculares aplicados en América Latina conceden cierto grado de autonomía a las autoridades regionales o distritales o a las propias escuelas para definir el currículo. En consecuencia, no resulta sencillo hacer pruebas que abarquen todas las enseñanzas efectivamente impartidas en todo el sistema educativo. Las soluciones posibles son dos: elaborar pruebas de mínimos, lo que implica reducir el campo de evaluación, o elaborar pruebas comunes a partir de un consenso profesional o técnico. Ambas soluciones son utilizadas en la región, sin que quepa conceder prioridad a una de ellas sobre la otra.

• Un segundo problema tiene que ver con algunas disyuntivas que se plantean en relación con el diseño y la confección de las pruebas. La primera disyuntiva se refiere al enfoque de las pruebas, que pueden estar centradas en los conocimientos adquiridos por los alumnos o abarcar también el desarrollo de actitudes. Las pruebas que miden unos y otras no son iguales, ni siquiera plantean las mismas exigencias técnicas, lo que obliga a decidir su enfoque. Una segunda disyuntiva se refiere al carácter de las pruebas, pudiéndose optar por la elaboración de pruebas referidas a criterios de logro o por la confección de pruebas de tipo normativo, adaptadas a una distribución de resultados estadísticamente normal. La tercera disyuntiva se refiere a la delimitación de la población sujeta a evaluación, que permite optar por pruebas de aplicación censal (dirigidas a toda la población estudiantil de un determinado grado o edad) o de tipo muestral (dirigidas a muestras representativas de población).

Otro grupo importante de problemas están relacionados con la explicación de los resultados conseguidos. La mayoría de los sistemas nacionales de evaluación no suelen contentarse con medir los logros alcanzados por los estudiantes, sino que también pretenden explicar por qué se producen tales resultados. Sin embargo, dicho intento de explicación tropieza con varios problemas y dificultades:

• Un primer problema tiene que ver con el grado de coherencia realmente existente entre la evaluación y el currículo. Como se señalaba al comienzo del trabajo, el desarrollo de los sistemas nacionales de evaluación ha ido generalmente asociado a otros procesos de reforma curricular. No obstante, esa simultaneidad no ha asegurado siempre la existencia de una adecuada coherencia entre ambos aspectos. En los casos más extremos, puede incluso decirse que ambos procesos se han desarrollado en direcciones divergentes. Cuanto más importancia se ha concedido a las pruebas, mayor ha sido su impacto sobre el desarrollo curricular.

• Un segundo problema, menos complejo pero no menos influyente, está relacionado con el tipo de interpretación que permiten los diversos modelos de pruebas. Como se señalaba más arriba, dos son los modelos de pruebas utilizados más habitualmente: criteriales y normativas. Las pruebas de tipo criterial proporcionan una base sólida para valorar la suficiencia de los logros conseguidos, ya que se apoyan en una definición operativa de los objetivos que deben alcanzarse. Por el contrario, las pruebas de tipo normativo exigen alguna operación adicional para poder valorar la suficiencia de los logros alcanzados, dado que se refieren a situaciones de normalidad estadística. La existencia de estos dos modelos alternativos obliga a considerar cuidadosamente qué usos se quieren hacer de las pruebas, antes de decidir el que conviene aplicar.
• Un tercer problema se refiere a las dificultades conceptuales y técnicas que se plantean a la hora de buscar explicaciones. Por una parte, hay que reconocer la debilidad teórica de los modelos habituales de producción educativa, que en buena parte deriva del problema que plantea la causalidad en educación. Esa debilidad influye en la selección de los factores que se consideran asociados al rendimiento, pocos de los cuales cuentan con confirmación empírica sólida. Además, la explicación de los resultados se ha basado tradicionalmente en la distinción de dos tipos de variables, unas extrínsecas y otras intrínsecas. Mientras que las primeras (nivel socioeconómico y cultural, recursos destinados a la educación) han sido objeto de análisis abundantes, las segundas (organización del sistema educativo, procesos institucionales, procesos de aula) vienen resultando menos concluyentes y aún requieren investigaciones adicionales.

• Un cuarto problema tiene que ver con la voluntad que a veces existe de buscar muchas vías de explicación de los resultados obtenidos, que puede traducirse en un exceso de datos recogidos. Cuando ese exceso de datos va unido, como ocurre en ocasiones, con una insuficiente delimitación conceptual de las variables seleccionadas y con limitaciones en el análisis estadístico de los datos, la situación puede llegar a resultar inmanejable. La consecuencia suele ser una evidente infrautilización de los datos y una ineficiencia en el uso de los recursos disponibles.

• Un último grupo de problemas que plantean las pruebas de logros están relacionados con el uso que se hace de las mismas y con las interpretaciones a que dan pie:
• Un primer problema tiene que ver con los distintos tipos de uso que pueden hacerse de la información. Los resultados de la evaluación pueden utilizarse con una finalidad formativa, orientada al desarrollo institucional y profesional de los agentes implicados, para fomentar la competición, e incluso para impulsar políticas de mercado en el ámbito educativo. Obviamente, las interpretaciones que permiten tales posibilidades son diferentes y persiguen distintos efectos. Es necesario señalar que, si bien esos son los extremos de un continuo de posibilidades de uso, existen otras opciones intermedias en que dichos propósitos pueden combinarse en diferente proporción. La decisión sobre el tipo de uso que se pretende hacer de los datos de la evaluación condiciona en buena medida el diseño de la evaluación.

• Un segundo problema tiene que ver con la existencia de diversas posibilidades de comparación (con una norma o criterio, con otras realidades semejantes, consigo mismo a lo largo del tiempo), cada una de las cuales plantea sus propias exigencias y ofrece diferentes posibilidades. El uso de la comparación plantea un problema complicado, que tiene que ver con la justicia de la comparación. El intento de dar respuesta a esa cuestión ha impulsado el desarrollo de técnicas de cálculo del denominado valor añadido.

• Un tercer problema consiste en el excesivo reduccionismo en que a veces se cae cuando se pretende interpretar los resultados de la evaluación. Ese defecto puede venir originado por una excesiva limitación del contenido de las pruebas, que no permite llegar a conclusiones razonables sobre el logro de los objetivos propuestos, o por una interpretación poco rigurosa de los datos, que puede incluso llegar a distorsionar las interpretaciones.

A la vista del análisis que acaba de hacerse de las pruebas nacionales de logros, se llega a la conclusión de que constituyen la práctica de evaluación más habitual en la región, encontrándose bastante asentadas en la actualidad. No obstante, como se ha puesto de manifiesto, presentan algunas deficiencias y problemas que deberán solventarse en el futuro, si se quiere asegurar su credibilidad y se pretende que contribuyan a mejorar la educación.



Extraído de
¿Qué pretendemos evaluar, qué evaluamos y qué conclusiones podemos extraer de la evaluación?
Alejandro Tiana Ferrer
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

Related Posts Plugin for WordPress, Blogger...

Busca en mis sitios