La calidad de la educación y su medición en gran escala

Si consideramos que es imposible definir de manera única el concepto de “Calidad Educativa”, su medición será siempre insuficiente. En la actualidad se emplean gran cantidad de recursos en las evaluaciones, tanto a nivel nacional como internacional ¿Podemos aceptarlas como veredicto final? Por otra parte ¿Estas evaluaciones pueden interferir en el proceso educativo? ¿Promueven la mejora de los mismos? Además ¿Cuál es su nivel de fiabilidad? En cuanto al uso de los resultados ¿Pueden ser inapropiados?

La calidad de la educación y su medición en gran escala: un referente bien elaborado, con una aplicación defectuosa
Si una definición de calidad educativa ha resultado difícil de legitimar, lo mismo ocurre cuando se plantea la necesidad de evaluar el sistema educativo nacional y acercarse a una definición de su nivel de calidad. La solución a esta necesidad resulta insuficiente aún, pues son los exámenes censales a gran escala el instrumento desde el cual ha de tomarse tal medición.

A más de una década de estos ejercicios de evaluación a gran escala, la consolidación de la multicitada calidad educativa no ha sido posible, abriéndose una paradoja: se ha puntualizado dónde están las deficiencias pero no se ha dicho cómo superarlas.

Sobre todo, a raíz de los resultados de las evaluaciones internacionales, principalmente de PISA, que es la más difundida, y, muchas otras a nivel nación.

De lo anteriormente mencionado se infiere que en la actualidad la expresión o la medida de la calidad educativa la aportan casi exclusivamente los exámenes de opción múltiple que se aplican anualmente en las escuelas de México. Una pregunta que quizá se formule de manera muy frecuente es: ¿No resulta esto una involución?

Desde la perspectiva pedagógica de la evaluación educativa, se encuentran en desventaja evaluaciones de este tipo, donde se dejan de lado muchos otros recursos que permiten formarse una idea más precisa del avance de los alumnos y, por tal, del trabajo del profesor, como puede ser un portafolio de evaluación, con productos que prueben la competencia en alguna ejecución de los alumnos, o bien evaluar el desarrollo de la expresión oral, o la competencia en la redacción de textos, o la medición de longitudes, elaboración de figuras y cuerpos geométricos; estos son algunos de los contenidos que no pueden ser medidos a través de exámenes con el formato de opción múltiple. Quienes elaboran este tipo de evaluaciones en nuestro país reconocen la existencia de: “Aspectos esenciales que no evalúan las pruebas en gran escala, como la expresión escrita y oral, la formación de actitudes y valores, la educación artística, e incluso los niveles cognitivos más complejos de las áreas tradicionalmente cubiertas de Lectura, Matemáticas y Ciencias” (Shepard).

Aun así, puede considerarse, desde la perspectiva de la misma autora, que este tipo de instrumentos podrían ser un buen coadyuvante, que junto a las evaluaciones que realizan los docentes puede contribuir a la mejora educativa.

La autora pone énfasis en el uso que se haga de las evaluaciones, que pueden convertirse en herramientas muy útiles, con la capacidad de arrojar luz sobre zonas oscuras que frecuentemente quedan fuera de la reflexión para los profesores y para las escuelas; sobre todo, si se trabajan como complementos de las evaluaciones formativas.

Por otra parte, los exámenes de gran escala pueden llegar a interferir en el proceso educativo en un aula o escuela, ya que no está indicado el uso de estos instrumentos para evaluar el proceso enseñanza-aprendizaje en el interior de un grupo escolar, sino que se constituyen en un referente para docentes, alumnos, padres de familia, directivos y colectivo escolar para tomar nota de las áreas de oportunidad que sean señaladas a partir de estos instrumentos de evaluación; es decir, no es correcto ni ético dar un uso a los exámenes que no corresponde con el objetivo para el que fueron creados, ni con los alcances que este formato de examen presenta. A este respecto, Martínez y Santos  formulan una crítica al empleo inadecuado de los resultados obtenidos en la prueba ENLACE:
El desconocimiento de los alcances y límites de las pruebas ENLACE ha hecho que sus resultados se utilicen para propósitos para los que no son adecuados, en particular para valorar la calidad de una escuela solamente con base en el puntaje promedio obtenido por sus alumnos y, lo que es aún más inadecuado, para valorar el desempeño de los maestros.

Este señalamiento es grave, ya que en lugar de promover la mejora de los profesores y de los centros educativos, se genera una obsesión por los resultados. Y además de esto, se sabe que una cantidad considerable de casos de copiado por parte de alumnos pasan inadvertidos; al respecto Martínez y Santos señalan lo siguiente:
[Se] hace inevitable el riesgo de que algunos alumnos copien las respuestas de otros, lo que se facilita por las dimensiones del sistema educativo y el carácter masivo de ENLACE, que dificultan el control de su aplicación, por lo que se decidió utilizar procedimientos computarizados para la detección de posibles casos de copia.

No se sabe hasta qué punto la falta de control en la aplicación de dichos exámenes incide en su resultado. Los exámenes se aplican a través de un personal capacitado ex profeso para ese evento: a cada plantel se le asigna una persona responsable de hacer llegar los exámenes a la escuela y de explicar al director y a la planta de docentes el procedimiento de aplicación, ya que son estos últimos quienes son asignados a un grupo que no es el suyo, estableciéndose frecuentemente entre los docentes algunas complicidades, de manera que no resulta difícil el dictado de respuestas o la permisión hacia la copia entre alumnos, porque aunque los exámenes se presentan en dos versiones distintas para evitar la copia, después de algunos años de aprendizaje, los docentes y los propios alumnos saben que si van a copiar tiene que ser a un examen de la misma versión que el que se tiene.

Esta es un área que requiere de mayor investigación y, aunque lógicamente resulta difícil aproximarse al objeto de estudio desde algunas perspectivas, sí podría ser un terreno propicio para metodologías como las representaciones sociales, imaginario social, interaccionismo simbólico, etnografía o etnometodología respecto al copiado en los exámenes en gran escala.

A pesar de ser este un asunto muy evidente, pues cualquier profesor de educación básica sabe que esto ocurre de ordinario, sin embargo, es un tema que ha quedado en un segundo plano, siendo que esta podría constituir una fuente de error muy sensible en este tipo de exámenes; y esto ocurre lógicamente debido a que los resultados de los exámenes afectan de manera positiva o negativa a los docentes y al plantel educativo en el que se laboran, como consecuencia de que se hacen del conocimiento de toda la estructura educativa, desde jefes de sector, supervisores, directores de escuela y docentes; por lo que la posición obtenida en las evaluaciones es socializada en las zonas escolares, haciéndose la escuela de una especie de fama, dependiendo del lugar en que haya sido ubicado, de acuerdo a los resultados de los exámenes; es decir, se presta a que se creen sanciones sociales entre colegas y entre directivos hacia los docentes. De esta manera, los profesores y los directivos desean que su grupo, escuela y zona escolar aparezcan con una buena calificación. Shepard advierte del tipo de escenarios que se generan a partir de estimular o castigar por medio de las evaluaciones en gran escala:
Otros ejemplos de manejo inapropiado de los resultados de las evaluaciones en gran escala son la asignación de estímulos a los docentes o la elaboración de ordenamientos simples de escuelas supuestamente en función de la calidad de unas y otras, sin tener en cuenta los numerosos factores que inciden en los resultados de los alumnos en las pruebas ni tener en cuenta las limitaciones de éstas. En vez de ello, para facilitar el aprendizaje, es igualmente importante que la retroalimentación esté vinculada explícitamente a criterios claros de desempeño y que se proporcione a los estudiantes estrategias de mejoramiento.

Según estas palabras, cuando se socializa el lugar que obtiene la escuela y esto provoca la comparación entre docentes, se crea una serie de estímulos y castigos sociales percibidos por algunos alumnos, docentes y directivos como una experiencia desalentadora. Esto se desvía del propósito al que toda evaluación educativa se encuentra orientada, que es el de mejorar las prácticas a partir de la retroalimentación que proporciona. Shepard explica que “Tal vez las consecuencias negativas más serias de las prácticas tradicionales de calificación provienen del uso de comparaciones normativas”.

Al parecer, este escenario se recrudecerá, debido a que en el ciclo escolar 2009-2010 se inició con el otorgamiento de estímulos a docentes y directivos por buenos desempeños en la prueba ENLACE, en el marco del Programa de Estímulos a la Calidad Docente, contraviniendo las recomendaciones de los expertos en evaluación, en el sentido de que no debe estimularse a los profesores a partir de los resultados de estos exámenes. El escenario que se genera a partir de estos usos de las evaluaciones en gran escala en nuestro país lo describe Padilla:
La enseñanza y el aprendizaje se han convertido hoy en una especie de adiestramiento para pasar la prueba. Más que preocuparse por el aprendizaje de sus alumnos, los maestros procuran entrenarlos para aprobar exámenes como ENLACE. Para que la evaluación cumpla con su función formativa de mejorar la enseñanza y el aprendizaje, es necesario pasar de la evaluación como objetivo, o más aún como indicador, a la evaluación vinculada al proceso de aprendizaje, al contenido de evaluación y a las formas de enseñanza.

Esto implica desviarse de los objetivos del currículo y de las intenciones de alcanzar una educación de calidad para apropiarse de objetivos personales relacionados a la obtención de un estímulo económico, para lo cual se tendría que trabajar en función del examen.

El uso de calificaciones como recompensa contribuye a lo que Lave y Wenger llamaron la “comercialización del aprendizaje”. Cuando no se da un valor cultural al incremento de la habilidad y la participación de alguien en un esfuerzo, la única razón para participar es obtener un conocimiento superficial que puede exhibirse para que lo evalúen. En revisiones de estudios experimentales, los investigadores descubrieron que el uso de recompensas externas puede minar realmente el interés intrínseco de los estudiantes en una tarea.

A este respecto el INEE plantea de manera muy precisa la siguiente recomendación, que es ignorada por las autoridades educativas:
Es importante no invertir recursos económicos en premiar a escuelas o docentes por resultados espurios, ya que no solo se desperdician los recursos, sino que se mandan mensajes equivocados a la comunidad educativa y a la sociedad… y evitar que se utilicen como evidencia de logros educativos.

Esto es precisamente lo que ocurrió durante el ciclo escolar 2009-2010, en que se asignó un estímulo económico para profesores y directivos, tomando como referencia para ello los resultados del examen ENLACE, con lo que probablemente se estimulen dos comportamientos entre los docentes y directivos, quienes naturalmente esperan obtener dicho estímulo económico el próximo ciclo escolar:

-Establecer acuerdos por escuela para dictar resultados o permitir la copia entre alumnos.

-Que los docentes privilegien los contenidos evaluados en los exámenes de ENLACE y EXCALE, y descuiden los contenidos que no son evaluados, como expresión oral, escritura y medición, entre otros. De ocurrir esto, se estarían abriendo huecos en la formación de los alumnos de educación básica.

Esto, como consecuencia de un tratamiento poco crítico de los resultados que se obtienen en los exámenes, tal como lo sugiere el INEE:
Baste señalar que no es adecuado dar por buenos sin más, los resultados que parecen mostrar la presencia de tendencias de clara mejoría en los niveles de aprendizaje de los alumnos de educación básica del sistema educativo nacional, pero que tampoco se puede descartar que sean reales.

Como respuesta a esta idea, Muñoz y Biel sostienen que es necesario reclamarle calidad a la evaluación de la calidad educativa. Por supuesto que esto es importante, porque, a pesar de los grandes esfuerzos que se hacen y de los avances a los que se ha arribado, estas evaluaciones poseen serias limitaciones. De ahí que, además de exigir calidad en estas mediciones, sea necesario exigir responsabilidad en las inferencias e interpretaciones que se extraen a partir de los resultados estadísticos.




Autores
José Francisco Miranda Esquer
Maestro en educación, campo formación docente por la Universidad Pedagógica Nacional.
Jesús Bernardo Miranda Esquer
Doctor en educación por la Universidad Autónoma de Sinaloa.
En
EDUCERE • Artículos arbitrados
Año 16, Nº 53 • Enero-Abril de 2012 • 43 52