TIMSS PROYECTO INTERNACIONAL DE EVALUACIÓN DEL APRENDIZAJE ESCOLAR EN CIENCIAS
José Antonio Acevedo Díaz
Consejería de Educación de la Junta de Andalucía. Inspección de Educación. Delegación Provincial de Huelva.
EL PROYECTO TIMSS
TIMSS es el acrónimo de Third International Mathematics and Science Study, un proyecto de evaluación internacional del aprendizaje escolar en matemáticas y ciencias realizado por la International Association for the Evaluation of Educational Achievement (IEA), que se aplicó en 1995 (Beaton et al., 1996; Martin et al., 1997; Mullis et al., 1998). Puesto que en 1990 la Asamblea General de la IEA decidió hacer sus evaluaciones de manera regular cada cuatro años, volvió a aplicarse en 1999 con el nombre de TIMSS Repeat (Martin et al., 2000). En el año 2003 cambió su nombre a Trends in International Mathematics and Science Study, pero manteniendo el acrónimo que lo identifica (figura 1), por lo que éste se conoce como TIMSS Trends (Mullis et al., 2002). España participó en 1995 (7º y 8º EGB), pero no lo ha hecho en las dos ocasiones siguientes, excepto la Comunidad Autónoma del País Vasco que sí ha participado en el año 2003.
Las personas que contribuyen al desarrollo de las diversas partes del TIMSS proceden
de todas las áreas de evaluación educativa, incluyendo expertos en el análisis de políticas educativas, educación matemática, educación científica, diseño del currículo, supervisión de la investigación, construcción de pruebas, psicometría, encuestas, muestreo y análisis de datos.
El proyecto TIMSS evalúa el rendimiento de los estudiantes en matemáticas y ciencias
para aprender más de la naturaleza y el alcance del aprendizaje de los estudiantes en estas dos materias, así como del contexto en que ello ocurre. Pretende encontrar factores directamente relacionados con el aprendizaje de los estudiantes en ambas materias que puedan modificarse por la política educativa, tales como el currículo, la asignación de recursos o las prácticas de enseñanza.
Durante el año 2003, TIMSS Trends ha evaluado el rendimiento del alumnado en matemáticas y ciencias en dos cursos: 4º grado (4º de Primaria en España) y 8º grado (2º de ESO en España). Como estos cursos son los mismos que se evaluaron en 1995 y 1999, TIMSS Trends proporciona información de la tendencia a lo largo de un período de ocho años (Martin et al., 2004). Aunque de naturaleza muy distinta, estos datos también pueden servir de complemento a los que proporciona el proyecto internacional PISA de la OCDE, que se aplica a poblaciones de estudiantes de 15 años de edad.
Los resultados de las pruebas del TIMSS Trends se pueden emplear para diversos fines. Los responsables de las políticas educativas y los investigadores académicos obtienen datos generales sobre el rendimiento del alumnado en matemáticas y ciencias que:
· Amplían las evaluaciones realizadas en matemáticas y ciencias iniciadas con el TIMSS 1995 y continuadas con el TIMSS 1999.
· Permiten hacer comparaciones contrastadas del rendimiento en matemáticas y ciencias entre los países participantes y, junto a otros datos que proporciona el TIMSS 2003, sugieren posibles razones para explicar las diferencias encontradas.
· Pueden mejorar la evaluación de la eficacia de la enseñanza y el aprendizaje de las matemáticas y las ciencias en cada país participante.
· Resaltan aspectos del crecimiento de los conocimientos y destrezas matemáticos y científicos desde cuarto a octavo curso.
· Proporcionan información para otros análisis relacionados con la mejora de los niveles de rendimiento en los sistemas educativos, los centros de enseñanza y las prácticas didácticas mediante políticas educativas más y mejor informadas.
El modelo de evaluación curricular del TIMSS
TIMSS parte de la idea de que puede conseguirse una comprensión adecuada de los elementos que influyen en el aprendizaje de las matemáticas y las ciencias mediante un análisis cuidadoso del rendimiento de los estudiantes, las características de éstos, el currículo que siguen, las metodologías didácticas de sus profesores y los recursos disponibles en sus escuelas y aulas. Las características del aula y de la escuela son un reflejo de la comunidad y del sistema educativo, que, a la vez, también son aspectos particulares de la sociedad del país en el que viven los estudiantes.
Para conseguir lo anterior, los diseñadores del TIMSS han establecido un modelo conceptual curricular como amplio factor explicativo que subyace al rendimiento de los estudiantes (Robitaille y Garden, 1996). Desde esta perspectiva, se consideran tres niveles del currículo:
(i) El currículo pretendido, es decir, el que se planifica para la enseñanza.
(ii) El currículo aplicado, esto es, el que se enseña en el aula.
(iii) El currículo logrado, que es el que los estudiantes consiguen aprender.
El currículo pretendido es la respuesta planificada a las finalidades educativas de la sociedad, en general, y de una comunidad educativa, en particular, para la enseñanza
y el aprendizaje escolar; unas metas que reflejan los ideales y las tradiciones sociales
y comunitarias, pero que se ven limitadas por los recursos del sistema educativo. De otro modo, representa lo que la sociedad pretende que aprendan los estudiantes y cómo debería organizarse y planificarse el sistema educativo para facilitar este aprendizaje.
El currículo aplicado se corresponde con lo que realmente se enseña en el aula, con quién lo imparte y cómo lo hace. Aunque se supone que se inspira en la planificación del currículo pretendido, hay que tener en cuenta que lo que sucede en el aula suele responder en gran parte a la actuación del profesor, cuyo comportamiento puede estar muy influido por su formación y experiencia, la naturaleza y estructura orgánica de la escuela, su interacción con los compañeros y las características del alumnado, entre otros factores.
El currículo logrado hace referencia a lo que los estudiantes consiguen aprender y a lo que piensan sobre las materias aprendidas. El rendimiento de los estudiantes depende en parte del currículo aplicado y de su contexto social y educativo, así como de las características de cada estudiante, incluyendo entre ellas su capacidad, actitud, intereses, motivación y esfuerzo.
Con este modelo, TIMSS utiliza pruebas de rendimiento en matemáticas y ciencias para describir el aprendizaje de los estudiantes de los países participantes, además de cuestionarios de contexto que proporcionan una gran cantidad de información. Estos últimos preguntan sobre la estructura y el contenido del currículo pretendido en matemáticas y ciencias, la preparación, experiencia y actitudes de los profesores, los contenidos de matemáticas y ciencias que realmente se imparten, los enfoques didácticos empleados, la organización y los recursos de los centros y las aulas y, por último, las experiencias y actitudes de los estudiantes en los centros docentes.
El conocimiento del currículo pretendido en cada país participante se obtiene en una fase inicial de aplicación del TIMSS a partir de un análisis minucioso de las orientaciones de los documentos curriculares, los libros de texto y otros materiales de apoyo, así como de los cuestionarios respondidos por expertos en educación y especialistas del currículo. Su finalidad es mostrar con detalle las intenciones curriculares de los países participantes.
Los datos para el estudio del currículo aplicado se toman en la fase de aplicación de la evaluación del rendimiento de los estudiantes. Los cuestionarios contestados por el profesorado de matemáticas y ciencias, los estudiantes y los directores de sus escuelas contienen información sobre características del profesorado –formación, experiencia, actitudes y opiniones–, los temas de ciencias y matemáticas que se enseñan y aquellos en los que se pone más énfasis, los enfoques metodológicos empleados en el aula, las estructuras organizativas y los recursos que sirven de apoyo a la enseñanza y los aspectos que facilitan o dificultan ésta y el aprendizaje.
La evaluación del rendimiento de los estudiantes suministra numerosos datos para el estudio del currículo logrado. Por un lado, la información de las características de los estudiantes, sus actitudes, creencias y experiencias se obtiene por medio de los cuestionarios que responde cada alumno participante en el estudio; esta información sirve para identificar los principales rasgos de los estudiantes relativos al aprendizaje y permite establecer un contexto para el posterior análisis de lo que han aprendido. Por otro lado, los resultados de las pruebas aplicadas de matemáticas y ciencias proporcionan información sobre el conocimiento del currículo logrado en cada país, lo que posibilita la elaboración de una amplia base de datos para hacer comparaciones transnacionales del rendimiento de los estudiantes.
Las pruebas del TIMSS
El principio fundamental para elaborar las pruebas de aplicación del TIMSS es la producción de instrumentos de evaluación que generen datos de rendimiento fiables válidos para los fines que se pretenden. A partir de los marcos teóricos expuestos, las pruebas se elaboran mediante un proceso de consenso internacional, con aportaciones de expertos en educación, matemáticas, ciencias y evaluación. Estas pruebas tienen preguntas cerradas de opción múltiple, algunas de respuesta abierta y otras de resolución de problemas. La mayoría de los ítems de las pruebas del TIMSS Trends se centran en un contenido concreto, pero también se necesitan conocimientos o destrezas procedentes de otras áreas de contenidos. Además, determinados temas se han enunciado de forma más general que en ocasiones anteriores y algunos de los ítems de nueva creación exigen a los estudiantes que sinteticen conocimientos y tengan que poner en práctica más de una destreza. En la aplicación del año 2003, se ha hecho más hincapié que otras veces en preguntas y tareas que impliquen destrezas y capacidades analíticas, de resolución de problemas y de investigación.
La evaluación de ciencias del TIMSS Trends aplicada en el año 2003 se basa en dominios de contenido y dominios cognitivos. Los primeros incluyen diversas áreas específicas de las materias de ciencias evaluadas, mientras que los segundos corresponden a las destrezas necesarias para abordar los contenidos de ciencias. En la tabla 1 se indican los porcentajes del tiempo dedicado en la evaluación a ambos dominios. Además de los dominios de contenido señalados, la aplicación del año 2003 también ha incluido la evaluación de la investigación científica como área separada, dedicándose a la misma aproximadamente el 15% del tiempo total de las pruebas.
Los ítems de conocimiento factual son: (i) preguntas de recuerdo y reconocimiento,
(ii) definiciones, (iii) descripciones y (iv) cuestiones de conocimiento sobre el uso de instrumentos y procedimientos de medidas científicas.
Las preguntas de comprensión conceptual requieren: (i) ilustrar con ejemplos, (ii) comparar, contrastar y clasificar, (iii) representar y modelizar, (iv) relacionar, (v) obtener y aplicar información, (vi) encontrar soluciones y (vii) explicar.
Las preguntas de razonamiento y análisis implican: (i) analizar, interpretar y resolver problemas, (ii) asociar, integrar y sintetizar, (iii) formular hipótesis y predecir, (iv) diseñar y planificar, (v) recopilar, analizar e interpretar datos, (vi) sacar conclusiones,
(vii) generalizar, (viii) evaluar y (ix) justificar.
Por último, los dominios de contenido evaluados por el TIMSS Trends, incluyendo la investigación científica, y sus principales áreas temáticas se muestran en la tabla 2.
sábado, 15 de noviembre de 2008
Evaluaciones Internacionales de Calidad Educativa. PISA
TIMSS Y PISA. DOS PROYECTOS INTERNACIONALES DE EVALUACIÓN DEL APRENDIZAJE ESCOLAR EN CIENCIAS
José Antonio Acevedo Díaz
Consejería de Educación de la Junta de Andalucía. Inspección de Educación. Delegación Provincial de Huelva.
EL PROYECTO PISA
PISA es el acrónimo de Programme for International Student Assessment, un proyecto promovido por la Organization for Economic Cooperation and Development (OECD en inglés; OCDE en castellano) para evaluar el resultado de los sistemas educativos relativo a la formación de los alumnos necesaria para la vida adulta (figura 3). La evaluación se centra en la alfabetización lectora (año 2000), matemática (año 2003) y científica (año 2006). La iniciativa de esta evaluación comparativa transnacional corresponde a los gobiernos de los países miembros de la OCDE y está diseñada para orientar sus políticas educativas.
En las diversas ocasiones en que se ha aplicado PISA hay cuestiones de los tres tipos de alfabetización señalados, pero cada nueve años se pone el acento en un área de conocimiento, a la que se dedica dos tercios del tiempo total de las pruebas de evaluación (OECD, 1999, 2000). Esta actualización de resultados permite a los países participantes hacer un seguimiento cíclico de los progresos conseguidos en cada área.
La evaluación del alumnado que está terminando su escolarización obligatoria es un indicador útil del rendimiento de los sistemas educativos. Aunque la mayor parte de los jóvenes de los países de la OCDE continúa su educación después de los 15 años, esta edad está próxima al final del período de escolarización obligatoria en el cual los estudiantes siguen, por lo general, un currículo básico común. En ese momento de su formación es conveniente determinar los conocimientos y destrezas que han adquirido para desenvolverse en la vida y para la elección de estudios posteriores. En cada país se evalúan entre 4500 y 10000 alumnos de 15 años de edad. PISA ha evaluado durante el año 2003 a 276165 estudiantes, provenientes de 10104 centros, de un total de 42 países: los 30 miembros de la OCDE y otros 12 (OECD, 2003). España ha participado en las dos evaluaciones realizadas hasta ahora (años 2000 y 2003), obteniendo en ambas resultados mediocres (MEC, 2004; OECD, 2001, 2004a,b). Los resultados obtenidos en el año 2003 por España y las tres Comunidades Autónomas que participaron con una muestra ampliada se exhiben en la figura 4, donde también se indican los países con mejor y peor puntuación en cada área evaluada y la media correspondiente a los países de la OCDE.
Los resultados de las evaluaciones PISA, que se publican cada tres años junto a otros indicadores de los sistemas educativos, permiten a los administradores y gestores de la política educativa comparar el funcionamiento de sus sistemas educativos con los de los otros países y tomar decisiones en su ámbito nacional. También pueden ayudar a impulsar y orientar las reformas de la enseñanza y la mejora de los centros educativos, sobre todo en aquellos casos en que se obtienen peores resultados disponiendo de recursos similares. Además, estos resultados también son importantes para mejorar la evaluación y el seguimiento de la eficacia de los sistemas educativos.
PISA no es el único estudio transnacional para comparar el rendimiento del alumnado.
Como se ha mencionado en la sección anterior, durante los últimos 40 años se han realizado diversos estudios, la mayoría de ellos dirigidos por la IEA –como el TIMSS– y por la International Assessment of Educational Progress (IAEP) del Educational Testing Service (ETS). No obstante, estas otras evaluaciones se han centrado en resultados directamente relacionados con el currículo y, por tanto, sólo en aquellas partes de éste que son comunes a todos los países participantes. Por el contrario, el objetivo general del proyecto PISA es conocer la preparación de los estudiantes de 15 años de edad para afrontar los retos cotidianos de la vida adulta. Como PISA no es un proyecto rigurosamente vinculado al currículo, se facilita la comparación de resultados entre países, con independencia de la organización de las enseñanzas que éstos tengan.
El modelo de evaluación del PISA
Los marcos conceptuales del proyecto PISA definen cada una de las áreas que se evalúan –lectura, matemáticas y ciencias–, explican qué y cómo se evalúa y describen el contexto de las evaluaciones, incluyendo las posibles limitaciones que éste impone.
En PISA subyace la idea de un modelo dinámico de aprendizaje a lo largo de toda la vida para adaptarse con más éxito a las circunstancias personales en cada momento. Como es obvio, los estudiantes no pueden aprender en las escuelas todo lo que necesitarán para desenvolverse en la vida como adultos, pero sí deberían adquirir las capacidades necesarias –cognitivas y emotivas– para seguir aprendiendo en el futuro. Por este motivo, se considera deseable que los alumnos sean capaces de organizar y regular su propio aprendizaje, tanto individualmente como en grupo. Para ello, es preciso que lleguen a ser conscientes de sus propios procesos cognitivos, estrategias y métodos de aprendizaje. Así pues, la evaluación de la capacidad de autorregulación en el aprendizaje tiene mucha importancia en el proyecto PISA (OECD, 2003).
La evaluación PISA se ocupa de los procedimientos o destrezas, la comprensión de conceptos y la capacidad para responder a diversas situaciones reales en cada área evaluada. Sin embargo, los conocimientos y las destrezas no se definen, como ocurre en el TIMSS, a partir de los contenidos comunes de los diversos currículos nacionales, sino en función de lo que se considera necesario para la vida cotidiana. A pesar de que las tres áreas que evalúa se corresponden con asignaturas concretas, PISA va mucho más allá de los contenidos curriculares específicos, prestando atención sobre todo a los conocimientos y destrezas relevantes para la vida adulta (Acevedo, 2004).
Por otro lado, PISA también incluye la evaluación de ciertas capacidades transversales que no son específicas de una materia determinada, pero sí son esenciales para los alumnos; por ejemplo, comunicación, adaptación, flexibilidad, resolución de problemas, uso de las tecnologías de la información, etc.
Los indicadores que proporcionan las evaluaciones del PISA están diseñados para lograr una mejor comprensión de hasta qué punto los sistemas educativos de los países participantes prepararan a sus alumnos para continuar aprendiendo a lo largo de sus vidas y puedan tener un papel activo en la sociedad como ciudadanos. Con otras palabras, PISA pretende más la evaluación del rendimiento de los sistemas educativos respecto a sus objetivos subyacentes –tal como los define la sociedad– que con referencia en la enseñanza y el aprendizaje de un cuerpo disciplinar de conocimientos. Esta forma de entender la evaluación es necesaria para estimular a los sistemas educativos y a los centros a enfrentarse a los retos educativos actuales, por lo que es, sin duda, la característica más importante y novedosa del proyecto PISA.
Las preguntas de ciencias del PISA
El tipo de preguntas del proyecto PISA es, en general, distinto al de otros proyectos de evaluación internacional como el TIMSS, los cuales usan sobre todo cuestiones cortas de elección múltiple basadas en conocimientos curriculares. Por el contrario, muchas preguntas del PISA requieren la combinación de diferentes tipos de conocimientos y destrezas y, a veces, la valoración de diversas decisiones para las que no hay una única respuesta correcta.
Algunas cuestiones del proyecto PISA son cerradas, en las que los alumnos sólo tienen que elegir entre varias opciones o dar respuestas relativamente simples que pueden compararse directamente con una respuesta correcta. Otras son preguntas abiertas, en las cuales los alumnos tienen que dar respuestas mucho más elaboradas; de esta forma, se pueden evaluar aspectos más amplios que los que suelen recogerse en otros estudios más convencionales. Una importante innovación de PISA es la evaluación de destrezas de orden superior, lo que suele hacerse mediante preguntas abiertas.
De acuerdo con la definición de la alfabetización científica propuesta en PISA, se establecen tres grandes dimensiones para la evaluación (véase la tabla 3):
1. Destrezas. Los procedimientos científicos necesarios para la resolución de una pregunta o un problema.
2. Conceptos. El conocimiento científico y la comprensión conceptual que se requieren para usar los procedimientos anteriores.
3. Áreas de aplicación del conocimiento. El marco teórico de referencia de los casos o situaciones del mundo real en los que se aplican las destrezas y los conceptos.
En la mayor parte de los casos, las cuestiones de la evaluación se organizan en grupos de preguntas basados en un texto relativo a un mismo asunto, problema o tema, el cual refleja una situación de la vida real. Este formato permite emplear cuestiones que profundizan más en el tema que si cada pregunta introdujera un nuevo contexto. Así, el alumno tiene tiempo suficiente para asimilar el material que se emplea para evaluar distintos aspectos del rendimiento.
En la tabla 4 se muestra una cuestión abierta de ciencias utilizada en la prueba piloto del proyecto PISA realizada antes de su aplicación del año 2000, así como algunas respuestas que dan los estudiantes y la puntuación otorgada a cada una de ellas en la evaluación realizada.
La cuestión presenta una posición que defienden algunas personas: “los trolebuses no contribuyen a la contaminación del aire”. Los alumnos tienen que evaluar la validez de esta afirmación utilizando la información que se suministra en el propio texto y sus conocimientos sobre los productos desprendidos en la combustión del carbón en las centrales eléctricas (OECD, 2000, p. 81; p. 122 de la traducción castellana, 2001). La destreza necesaria para ello es la capacidad para obtener conclusiones válidas, el concepto científico se refiere a transformaciones de la energía y el área de aplicación del conocimiento es la contaminación, correspondiente a “Ciencias de la Tierra y del medio ambiente” (véanse en la tabla 3). La situación del mundo real descrita en la pregunta es la contaminación atmosférica provocada por los autobuses, un asunto controvertido sobre el que los estudiantes deben tomar decisiones razonadas.
Los cuestionarios de contexto del proyecto PISA
Con el fin de encontrar algunas de las principales características asociadas al éxito escolar, el proyecto PISA tiene en cuenta el rendimiento de los alumnos junto con las características de sus centros de enseñanza y sus entornos familiares. Para ello, los alumnos y los directores de los centros educativos responden a cuestionarios sobre su entorno. Estos cuestionarios no son un simple anexo del proyecto PISA, sino que permiten recopilar información del contexto, la cual es muy útil para el análisis de los resultados en función de las características de los alumnos y del centro educativo. También se incluye un cuestionario para obtener información de la capacidad de autorregulación del aprendizaje por parte de los alumnos.
La información contextual recogida en los cuestionarios del alumno y del director del centro educativo abarca sólo una parte de toda la información de este tipo disponible en el proyecto PISA. Los indicadores relativos a la estructura general de los sistemas educativos –sus contextos demográficos y económicos, tales como costes, matrículas, características de los centros educativos y del profesorado…– y al funcionamiento del mercado laboral los desarrolla la OCDE regularmente por otra vía.
En conjunto, los cuestionarios de contexto de PISA proporcionan una completa y detallada base de datos para el análisis, orientado a la política educativa, de los resultados de la evaluación realizada. Junto con la información obtenida mediante otros programas e instrumentos de la OCDE, permiten:
· Comparar diferencias entre los resultados de los alumnos de distintos sistemas educativos y con diversos entornos académicos.
· Comparar diferencias entre los resultados de los alumnos que estudian distintos contenidos curriculares y siguen diversos procedimientos pedagógicos.
· Considerar posibles relaciones entre el rendimiento de los alumnos y los factores organizativos, tales como el tamaño de los centros educativos y los recursos disponibles, así como las diferencias entre países en estos aspectos.
· Examinar diferencias entre países respecto al grado en que los centros educativos reducen o incrementan los efectos de los factores contextuales que influyen en el nivel de rendimiento del alumnado.
· Considerar diferencias entre los sistemas educativos y el contexto nacional respecto a las diferencias en el rendimiento de los estudiantes dentro de cada país.
José Antonio Acevedo Díaz
Consejería de Educación de la Junta de Andalucía. Inspección de Educación. Delegación Provincial de Huelva.
EL PROYECTO PISA
PISA es el acrónimo de Programme for International Student Assessment, un proyecto promovido por la Organization for Economic Cooperation and Development (OECD en inglés; OCDE en castellano) para evaluar el resultado de los sistemas educativos relativo a la formación de los alumnos necesaria para la vida adulta (figura 3). La evaluación se centra en la alfabetización lectora (año 2000), matemática (año 2003) y científica (año 2006). La iniciativa de esta evaluación comparativa transnacional corresponde a los gobiernos de los países miembros de la OCDE y está diseñada para orientar sus políticas educativas.
En las diversas ocasiones en que se ha aplicado PISA hay cuestiones de los tres tipos de alfabetización señalados, pero cada nueve años se pone el acento en un área de conocimiento, a la que se dedica dos tercios del tiempo total de las pruebas de evaluación (OECD, 1999, 2000). Esta actualización de resultados permite a los países participantes hacer un seguimiento cíclico de los progresos conseguidos en cada área.
La evaluación del alumnado que está terminando su escolarización obligatoria es un indicador útil del rendimiento de los sistemas educativos. Aunque la mayor parte de los jóvenes de los países de la OCDE continúa su educación después de los 15 años, esta edad está próxima al final del período de escolarización obligatoria en el cual los estudiantes siguen, por lo general, un currículo básico común. En ese momento de su formación es conveniente determinar los conocimientos y destrezas que han adquirido para desenvolverse en la vida y para la elección de estudios posteriores. En cada país se evalúan entre 4500 y 10000 alumnos de 15 años de edad. PISA ha evaluado durante el año 2003 a 276165 estudiantes, provenientes de 10104 centros, de un total de 42 países: los 30 miembros de la OCDE y otros 12 (OECD, 2003). España ha participado en las dos evaluaciones realizadas hasta ahora (años 2000 y 2003), obteniendo en ambas resultados mediocres (MEC, 2004; OECD, 2001, 2004a,b). Los resultados obtenidos en el año 2003 por España y las tres Comunidades Autónomas que participaron con una muestra ampliada se exhiben en la figura 4, donde también se indican los países con mejor y peor puntuación en cada área evaluada y la media correspondiente a los países de la OCDE.
Los resultados de las evaluaciones PISA, que se publican cada tres años junto a otros indicadores de los sistemas educativos, permiten a los administradores y gestores de la política educativa comparar el funcionamiento de sus sistemas educativos con los de los otros países y tomar decisiones en su ámbito nacional. También pueden ayudar a impulsar y orientar las reformas de la enseñanza y la mejora de los centros educativos, sobre todo en aquellos casos en que se obtienen peores resultados disponiendo de recursos similares. Además, estos resultados también son importantes para mejorar la evaluación y el seguimiento de la eficacia de los sistemas educativos.
PISA no es el único estudio transnacional para comparar el rendimiento del alumnado.
Como se ha mencionado en la sección anterior, durante los últimos 40 años se han realizado diversos estudios, la mayoría de ellos dirigidos por la IEA –como el TIMSS– y por la International Assessment of Educational Progress (IAEP) del Educational Testing Service (ETS). No obstante, estas otras evaluaciones se han centrado en resultados directamente relacionados con el currículo y, por tanto, sólo en aquellas partes de éste que son comunes a todos los países participantes. Por el contrario, el objetivo general del proyecto PISA es conocer la preparación de los estudiantes de 15 años de edad para afrontar los retos cotidianos de la vida adulta. Como PISA no es un proyecto rigurosamente vinculado al currículo, se facilita la comparación de resultados entre países, con independencia de la organización de las enseñanzas que éstos tengan.
El modelo de evaluación del PISA
Los marcos conceptuales del proyecto PISA definen cada una de las áreas que se evalúan –lectura, matemáticas y ciencias–, explican qué y cómo se evalúa y describen el contexto de las evaluaciones, incluyendo las posibles limitaciones que éste impone.
En PISA subyace la idea de un modelo dinámico de aprendizaje a lo largo de toda la vida para adaptarse con más éxito a las circunstancias personales en cada momento. Como es obvio, los estudiantes no pueden aprender en las escuelas todo lo que necesitarán para desenvolverse en la vida como adultos, pero sí deberían adquirir las capacidades necesarias –cognitivas y emotivas– para seguir aprendiendo en el futuro. Por este motivo, se considera deseable que los alumnos sean capaces de organizar y regular su propio aprendizaje, tanto individualmente como en grupo. Para ello, es preciso que lleguen a ser conscientes de sus propios procesos cognitivos, estrategias y métodos de aprendizaje. Así pues, la evaluación de la capacidad de autorregulación en el aprendizaje tiene mucha importancia en el proyecto PISA (OECD, 2003).
La evaluación PISA se ocupa de los procedimientos o destrezas, la comprensión de conceptos y la capacidad para responder a diversas situaciones reales en cada área evaluada. Sin embargo, los conocimientos y las destrezas no se definen, como ocurre en el TIMSS, a partir de los contenidos comunes de los diversos currículos nacionales, sino en función de lo que se considera necesario para la vida cotidiana. A pesar de que las tres áreas que evalúa se corresponden con asignaturas concretas, PISA va mucho más allá de los contenidos curriculares específicos, prestando atención sobre todo a los conocimientos y destrezas relevantes para la vida adulta (Acevedo, 2004).
Por otro lado, PISA también incluye la evaluación de ciertas capacidades transversales que no son específicas de una materia determinada, pero sí son esenciales para los alumnos; por ejemplo, comunicación, adaptación, flexibilidad, resolución de problemas, uso de las tecnologías de la información, etc.
Los indicadores que proporcionan las evaluaciones del PISA están diseñados para lograr una mejor comprensión de hasta qué punto los sistemas educativos de los países participantes prepararan a sus alumnos para continuar aprendiendo a lo largo de sus vidas y puedan tener un papel activo en la sociedad como ciudadanos. Con otras palabras, PISA pretende más la evaluación del rendimiento de los sistemas educativos respecto a sus objetivos subyacentes –tal como los define la sociedad– que con referencia en la enseñanza y el aprendizaje de un cuerpo disciplinar de conocimientos. Esta forma de entender la evaluación es necesaria para estimular a los sistemas educativos y a los centros a enfrentarse a los retos educativos actuales, por lo que es, sin duda, la característica más importante y novedosa del proyecto PISA.
Las preguntas de ciencias del PISA
El tipo de preguntas del proyecto PISA es, en general, distinto al de otros proyectos de evaluación internacional como el TIMSS, los cuales usan sobre todo cuestiones cortas de elección múltiple basadas en conocimientos curriculares. Por el contrario, muchas preguntas del PISA requieren la combinación de diferentes tipos de conocimientos y destrezas y, a veces, la valoración de diversas decisiones para las que no hay una única respuesta correcta.
Algunas cuestiones del proyecto PISA son cerradas, en las que los alumnos sólo tienen que elegir entre varias opciones o dar respuestas relativamente simples que pueden compararse directamente con una respuesta correcta. Otras son preguntas abiertas, en las cuales los alumnos tienen que dar respuestas mucho más elaboradas; de esta forma, se pueden evaluar aspectos más amplios que los que suelen recogerse en otros estudios más convencionales. Una importante innovación de PISA es la evaluación de destrezas de orden superior, lo que suele hacerse mediante preguntas abiertas.
De acuerdo con la definición de la alfabetización científica propuesta en PISA, se establecen tres grandes dimensiones para la evaluación (véase la tabla 3):
1. Destrezas. Los procedimientos científicos necesarios para la resolución de una pregunta o un problema.
2. Conceptos. El conocimiento científico y la comprensión conceptual que se requieren para usar los procedimientos anteriores.
3. Áreas de aplicación del conocimiento. El marco teórico de referencia de los casos o situaciones del mundo real en los que se aplican las destrezas y los conceptos.
En la mayor parte de los casos, las cuestiones de la evaluación se organizan en grupos de preguntas basados en un texto relativo a un mismo asunto, problema o tema, el cual refleja una situación de la vida real. Este formato permite emplear cuestiones que profundizan más en el tema que si cada pregunta introdujera un nuevo contexto. Así, el alumno tiene tiempo suficiente para asimilar el material que se emplea para evaluar distintos aspectos del rendimiento.
En la tabla 4 se muestra una cuestión abierta de ciencias utilizada en la prueba piloto del proyecto PISA realizada antes de su aplicación del año 2000, así como algunas respuestas que dan los estudiantes y la puntuación otorgada a cada una de ellas en la evaluación realizada.
La cuestión presenta una posición que defienden algunas personas: “los trolebuses no contribuyen a la contaminación del aire”. Los alumnos tienen que evaluar la validez de esta afirmación utilizando la información que se suministra en el propio texto y sus conocimientos sobre los productos desprendidos en la combustión del carbón en las centrales eléctricas (OECD, 2000, p. 81; p. 122 de la traducción castellana, 2001). La destreza necesaria para ello es la capacidad para obtener conclusiones válidas, el concepto científico se refiere a transformaciones de la energía y el área de aplicación del conocimiento es la contaminación, correspondiente a “Ciencias de la Tierra y del medio ambiente” (véanse en la tabla 3). La situación del mundo real descrita en la pregunta es la contaminación atmosférica provocada por los autobuses, un asunto controvertido sobre el que los estudiantes deben tomar decisiones razonadas.
Los cuestionarios de contexto del proyecto PISA
Con el fin de encontrar algunas de las principales características asociadas al éxito escolar, el proyecto PISA tiene en cuenta el rendimiento de los alumnos junto con las características de sus centros de enseñanza y sus entornos familiares. Para ello, los alumnos y los directores de los centros educativos responden a cuestionarios sobre su entorno. Estos cuestionarios no son un simple anexo del proyecto PISA, sino que permiten recopilar información del contexto, la cual es muy útil para el análisis de los resultados en función de las características de los alumnos y del centro educativo. También se incluye un cuestionario para obtener información de la capacidad de autorregulación del aprendizaje por parte de los alumnos.
La información contextual recogida en los cuestionarios del alumno y del director del centro educativo abarca sólo una parte de toda la información de este tipo disponible en el proyecto PISA. Los indicadores relativos a la estructura general de los sistemas educativos –sus contextos demográficos y económicos, tales como costes, matrículas, características de los centros educativos y del profesorado…– y al funcionamiento del mercado laboral los desarrolla la OCDE regularmente por otra vía.
En conjunto, los cuestionarios de contexto de PISA proporcionan una completa y detallada base de datos para el análisis, orientado a la política educativa, de los resultados de la evaluación realizada. Junto con la información obtenida mediante otros programas e instrumentos de la OCDE, permiten:
· Comparar diferencias entre los resultados de los alumnos de distintos sistemas educativos y con diversos entornos académicos.
· Comparar diferencias entre los resultados de los alumnos que estudian distintos contenidos curriculares y siguen diversos procedimientos pedagógicos.
· Considerar posibles relaciones entre el rendimiento de los alumnos y los factores organizativos, tales como el tamaño de los centros educativos y los recursos disponibles, así como las diferencias entre países en estos aspectos.
· Examinar diferencias entre países respecto al grado en que los centros educativos reducen o incrementan los efectos de los factores contextuales que influyen en el nivel de rendimiento del alumnado.
· Considerar diferencias entre los sistemas educativos y el contexto nacional respecto a las diferencias en el rendimiento de los estudiantes dentro de cada país.
sábado, 8 de noviembre de 2008
Evaluaciones Internacionales de Calidad Educativa desde sus comienzos.
Este artículo, en forma completa, puede bajarse de ACA, le pertenece a Alejandro Tiana Ferrer
Comienzos de las Evaluaciones
La última década del siglo XX fue testigo de una preocupación creciente por la mejora de la calidad de la educación, tanto en los países desarrollados, como en aquellos que aún estaban en vías de serlo. La presión económica internacional, la expansión del proceso de globalización, la introducción masiva de las nuevas tecnologías de la información y la comunicación, junto con otros fenómenos económicos y sociales de gran impacto, volvieron a atraer la atención hacia la educación, considerada nuevamente como un factor decisivo para asegurar el desarrollo de los pueblos (OECD, 1992). En ese contexto de renovada preocupación educativa, aumentó el interés por evaluar y comparar la situación y los resultados de los sistemas educativos, apareciendo nuevas iniciativas en ese sentido, como la construcción de un sistema internacional de indicadores de la educación, tarea impulsada por la OCDE desde finales de los años ochenta (CERI, 1994).
Siguiendo ese impulso, durante los diez últimos años se han iniciado y puesto en marcha diversos proyectos internacionales de evaluación de la educación, que están dando lugar a informes que cada vez reciben más atención. El caso de la reciente publicación de los resultados del proyecto PISA de la OCDE, que ha producido debates públicos en muy diversos países, es un ejemplo palpable de esa nueva situación (OECD, 2001b). Podría decirse que la evaluación internacional de los resultados de la educación es una tendencia que se ha consolidado en los últimos diez años.
El mundo como un laboratorio educativo: la actuación de la IEA
Y decimos que se trata de una tendencia que se ha consolidado, porque no se puede considerar que sea estrictamente nueva. En efecto, los antecedentes de esta expansión actual se remontan a una época tan lejana en el tiempo como el final de los años cincuenta, cuando un grupo de reconocidos investigadores en educación decidieron crear una asociación internacional para evaluar los resultados de los sistemas educativos. Así es como se constituyó la International Association for the Evaluation of Educational Achievement (IEA), tras una primera reunión celebrada en 1958 en el Instituto de Educación de la UNESCO en Hamburgo (Tiana, 2001).
La propuesta de aquellos investigadores consistía en realizar estudios internacionales del rendimiento educativo, adoptando para ello una perspectiva comparada. Desde su punto de vista, los estudios comparativos de los sistemas educativos debían tomar necesariamente en consideración los resultados que conseguían los estudiantes, cosa que no siempre ocurría. Aunque no menospreciaban las iniciativas centradas en el análisis comparado de aspectos tales como los recursos disponibles o las condiciones en que se desarrolla la enseñanza, consideraban que la evaluación de un sistema educativo debía basarse en la emisión de juicios rigurosos sobre los resultados alcanzados por los alumnos.
No obstante, aquel grupo de investigadores que constituyó la IEA no quería limitarse a medir y comparar los resultados educativos conseguidos por los estudiantes, sino que pretendía explicarlos de manera convincente. Además de calcular y valorar los resultados, querían identificar los principales factores capaces de explicar las diferencias de rendimiento encontradas y analizar de qué modo interactuaban entre sí. Esa explicación constituía, en última instancia, la base para diseñar cualquier acción de mejora de la educación, que era lo que realmente les preocupaba.
Fue ese el contexto en que surgió la idea de considerar el mundo como un laboratorio educativo (Purves, 1993). La idea es ciertamente simple, pero hay que reconocer que fue una idea feliz. Se basa en la explotación de la variación natural que existe entre los sistemas educativos, cuando se pretende explicar sus resultados. Frente al caso de otros campos científicos, donde se pueden aplicar procedimientos experimentales para estudiar el efecto de determinadas condiciones o intervenciones, en el ámbito educativo es muy complicado, e incluso para muchos éticamente discutible, seguir procesos estrictamente experimentales. Los investigadores suelen recurrir a otro tipo de métodos, en muchos casos empíricos, pero pocas veces experimentales en sentido estricto. A pesar de esa dificultad, hay que tener en cuenta que los sistemas educativos difieren notablemente entre sí, con una variación que podemos considerar natural (aunque, en realidad, puede argumentarse que deriva en buena medida de su historia y de las condiciones de su entorno), circunstancia que puede permitir extraer conclusiones interesantes aplicando una metodología comparativa.
De acuerdo con esa concepción, los sistemas educativos deben ser considerados como sistemas complejos, formados por escuelas, clases, profesores, estudiantes y comunidades. Cada sistema tiene algunos rasgos distintivos propios, mientras que otras de sus características son comunes. Por lo tanto, sería teóricamente posible comparar los resultados conseguidos por los estudiantes, controlando en la medida de lo posible las variables diferenciales que intervienen en el rendimiento. Ese tipo de comparación permitiría analizar y valorar la influencia de dichos factores, contribuyendo a explicar sus efectos respectivos. Así, podrían valorarse las consecuencias de los diversos modos de diseño y desarrollo curricular, la integración o segregación de los alumnos en vías académicas alternativas, los modelos de formación del profesorado o la interacción didáctica en el interior del aula, por no citar sino algunos factores frecuentemente estudiados. Sin necesidad de introducir cambios en un sistema educativo determinado, lo que no siempre resulta posible, sencillo ni conveniente, la existencia de esa variación natural permitiría analizar y valorar el efecto de los principales factores asociados con el rendimiento. Esa es, en síntesis, la concepción del mundo como laboratorio educativo, que la IEA difundió entre los investigadores de la educación.
Esa idea directriz sirvió de esquema básico para diseñar y poner en marcha los primeros estudios emprendidos por la IEA, entre los que destacan el primer Estudio de Viabilidad (Feasibility Study), de carácter piloto y desarrollado entre 1959 y 1962 en doce sistemas educativos el Primer Estudio Internacional de Matemáticas (First International Matematics Study – FIMS), que se llevó a cabo entre 1959 y 1967; el Estudio de Seis Materias (Six-subject Survey), iniciado en 1966 y finalizado a comienzos de los setenta; y el Segundo Estudio Internacional de Matemáticas (Second International Matematics Study -SIMS), realizado entre 1964 y 1967. Posteriormente, durante los años setenta y ochenta, la IEA desarrolló el Estudio del Entorno Escolar (Classroom Environment Study, 1978-1981), el Estudio Internacional de Composición Escrita (International Study of Achievement in Written Composition, 1980-1986), y el Segundo Estudio Internacional en Ciencias (Second International Science Study – SISS, 1980-1987). Ya en los noventa llevaría a cabo el ciclo conocido como Tercer Estudio Internacional de Matemáticas y Ciencias (Third International Matematics and Science Study – TIMSS), el ciclo sobre Comprensión Lectora (Reading Literacy Study y Progress in Reading Literacy Study – PIRLS), el ciclo de estudios sobre Tecnologías de la Información en Educación (Computers in Education y Second Information Technologies in Education Study – SITES), el estudio sobre Educación Preescolar (Pre- Primary Education) y el estudio sobre Educación Cívica (Civic Education).
Este conjunto de trabajos, que ha dado lugar a una amplia serie de informes y publicaciones (Degenhart, 1990), ha proporcionado una valiosa información sobre el nivel comparativo de rendimiento de los sistemas educativos, por una parte, y sobre las variables asociadas a los resultados, por otra. Para permitir tales logros, la IEA ha aplicado una metodología básicamente cuantitativa, que presenta tres rasgos característicos:
a) En primer lugar, la IEA ha aplicado procedimientos estandarizados de evaluación, consistentes fundamentalmente en pruebas de rendimiento de los alumnos y cuestionarios dirigidos a profesores, directores escolares y a los propios alumnos. En ocasiones ha aplicado otros procedimientos, tales como realización de tareas prácticas (performance tasks) o técnicas cualitativas (estudios de caso, por ejemplo), pero insistiendo siempre en su carácter estandarizado. La recogida de datos por medio de dichos instrumentos permite aplicar técnicas de análisis rigurosas, respetuosas de las condiciones de una comparación fiable y válida. Con el paso de los años, los procedimientos concretos de recogida y análisis de datos han ido variando, esforzándose siempre por mantener su carácter innovador.
b) En segundo lugar, los estudios de la IEA se han basado en marcos conceptuales centrados en el currículo escolar. Ese modo de actuar ha estado motivado por la voluntad de realizar estudios que pudiesen ofrecer orientaciones para la mejora de los sistemas educativos de los países participantes. En consecuencia, los resultados que se pretende valorar deben guardar relación con los objetivos establecidos para las diversas etapas educativas. Esa decisión condujo a la elaboración de una distinción que ya se ha convertido en clásica entre currículo prescrito, impartido y alcanzado (Pelgrum, 1989), así como al desarrollo del concepto de oportunidad de aprender, que ha inspirado muchos trabajos e investigaciones (Anderson, 1991).
c) En tercer lugar, la IEA se ha esforzado por conseguir que los instrumentos de evaluación aplicados estuviesen libres de sesgos culturales, idiomáticos o de otro tipo. Para alcanzar ese objetivo ha basado sus estudios en análisis curriculares previos, capaces de permitir la elaboración de instrumentos adecuados a la diversidad internacional de situaciones escolares, ha desarrollado procedimientos cooperativos de construcción de pruebas, en la que colaboran todos los países participantes, y ha establecido criterios rigurosos para la traducción de los instrumentos elaborados a las diversas lenguas.
Los estudios internacionales de evaluación de la educación en la actualidad
A lo largo de las últimas décadas del siglo XX, los estudios de la IEA han servido de referencia y de modelo para la puesta en marcha de nuevas iniciativas de evaluación internacional de los resultados educativos. En la actualidad, son diversos los organismos y las instituciones que llevan a cabo estudios de esta naturaleza, bien a escala mundial, bien circunscribiéndose a algunas áreas geográficas o geopolíticas concretas. La situación es tal que puede afirmarse que estamos asistiendo a un auge considerable de los estudios internacionales que tienen por objeto la evaluación del rendimiento educativo.
Entre las organizaciones que más han impulsado este tipo de estudios internacionales, hay que destacar a la Organización para la Cooperación y el Desarrollo Económico (OCDE). Aunque su interés por los asuntos educativos viene de antiguo (Papadopoulos, 1994), en la década de los noventa puso en marcha un ambicioso proyecto de construcción de indicadores internacionales de la educación, que ha dado importantes frutos. Se trata del denominado Proyecto INES, que ha producido la serie de informes que viene publicándose desde 1992 con el título de Education at a Glance / Regards sur l’éducation.
Los indicadores elaborados por la OCDE se refieren tanto al contexto de la educación como a los recursos humanos y económicos utilizados, los procesos escolares y los resultados logrados. No obstante, esta última dimensión ha estado poco atendida, dado que los únicos datos hasta ahora existentes eran los procedentes de los estudios de la IEA, que no siempre se ajustaban a las demandas formuladas, ni por el número de países participantes, ni por las áreas evaluadas, ni por su periodicidad. Para salvar esa carencia de indicadores de resultados educativos, la OCDE diseñó y puso en marcha a finales de los noventa el proyecto denominado PISA (Programme for International Student Assessment), que pretende valorar
el grado de formación de los jóvenes de quince años, en tres áreas básicas: matemáticas, lectura y ciencias. La primera recogida de datos se realizó en el año 2000 (OECD, 2001b), estando previsto que se repita cada tres años, aunque haciendo énfasis sucesivamente en cada una de las áreas mencionadas.
Además del Proyecto PISA, la OCDE ha realizado otros estudios orientados a la evaluación de las capacidades de la población adulta (International Adult Literacy Survey, International Life Skills Survey), que han empezado a producir algunos resultados de interés (OECD & Statistics Canada, 1995). Su objetivo consiste en aproximarse a una estimación del capital humano de los países, a través de la estimación del grado de formación de su población en edad laboral (de 16 a 65 años).
La Unión Europea ha desarrollado algunas tareas orientadas en la misma dirección durante los últimos años. En primer lugar, merece la pena citar la publicación de la serie denominada Cifras claves de la educación en la Unión Europea, aunque el informe no incluye datos procedentes de estudios de evaluación de los resultados de los estudiantes. En segundo lugar, hay que mencionar el reciente empeño tendente a construir unos indicadores europeos de calidad de la educación, cuyos primeros resultados aún no se han publicado.
También la UNESCO ha emprendido algún proyecto de la misma naturaleza, entre los que destaca especialmente el denominado Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación, cuyos trabajos se han desarrollado también en la última década (Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación, 1998). Otras iniciativas de distinta naturaleza han sido emprendidas por la Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI), la Cumbre de las Américas o el Programa de Promoción de la Reforma Educativa en América Latina (PREAL), por hacer simplemente referencia al continente americano (Tiana, 2000).
Ahora bien, toda esta serie de estudios, aun siendo semejantes, tienen sin embargo características parcialmente distintas, que conviene destacar. Ante todo, hay que distinguir los proyectos directamente orientados a evaluar los resultados conseguidos por los estudiantes (como son el TIMSS, PIRLS o PISA) de aquellos otros que tienen unos objetivos más amplios, como es el caso de la construcción de sistemas de indicadores (Proyecto INES e indicadores de la Unión Europea o de la Cumbre de las Américas). Si bien es cierto que estos últimos sistemas suelen incluir algunos indicadores de resultados, no siempre constituyen su núcleo central, ni consiguen en todos los casos aportar datos originales. Puede decirse que los sistemas de indicadores elaborados hasta el momento son tributarios del desarrollo experimentado por la estadística educativa, más que de los avances registrados en el campo de la evaluación del rendimiento. Al estar este trabajo centrado en el primer tipo de estudios de los mencionados, las consideraciones que siguen deben entenderse desde esa perspectiva.
La cuestión clave que puede ayudarnos a establecer distinciones pertinentes en el conjunto de los estudios internacionales de evaluación del rendimiento consiste en saber qué miden exactamente. Aunque todos ellos tienen características en parte semejantes, difieren en algunos aspectos fundamentales, lo que obliga a interpretarlos de modo distinto. A efectos de este análisis, hemos distinguido cuatro aspectos diferenciales básicos, que son presentados en forma dicotómica, aun cuando hay que reconocer que entre los dos extremos mencionados en cada caso suelen existir posiciones intermedias.
a) Una primera distinción puede establecerse entre los estudios encaminados a la evaluación del rendimiento escolar y los orientados a la estimación del nivel formativo de una población. Los estudios del primer tipo pretenden evaluar los resultados que logran los alumnos que alcanzan un determinado grado o curso escolar. Es el caso de estudios como el TIMSS, centrado en los aprendizajes adquiridos en matemáticas y ciencias por los alumnos de los cursos cuarto y octavo (equivalentes a los diez y catorce años de edad modal) o el PIRLS, centrado en el aprendizaje lector logrado al alcanzar el cuarto curso.
En ambos estudios, los alumnos evaluados son los que alcanzan dicho curso, con independencia de su edad concreta, aunque se controle esa variable y se tenga en cuenta en los análisis. Los estudios del segundo tipo pretenden estimar el nivel formativo alcanzado por todas las personas que tienen una determinada edad, independientemente de su situación y grado de avance escolar. Es el caso de PISA, que evalúa las capacidades adquiridas por los jóvenes de quince años de edad en las áreas de matemáticas, lectura y ciencias, o del IALS, cuya población de estudio es la comprendida entre 16 y 65 años. En ambos estudios, los sujetos evaluados son elegidos al azar entre los que tienen dicha edad o edades, con independencia del nivel escolar que hayan alcanzado. Mientras que los estudios del primer tipo están más directamente relacionados con la eficacia interna del sistema educativo, los del segundo valoran sus resultados finales.
b) Una segunda distinción es la existente entre los estudios centrados en las áreas curriculares básicas y los dedicados a la evaluación de capacidades transversales. Los estudios del primer tipo pretenden medir el grado de dominio de diversas habilidades ligadas a áreas tales como las matemáticas, la lengua materna o extranjera o las ciencias, esto es, a áreas instrumentales básicas del currículo escolar. Es el caso de TIMSS, PIRLS o PISA, antes mencionados. Los estudios del segundo tipo pretenden medir el grado de desarrollo de diversas capacidades no vinculadas a áreas curriculares concretas, sino relacionadas con otras dimensiones formativas, como pueden ser la educación cívica o la utilización de las nuevas tecnologías de la información. Es el caso del estudio CIVICS de la IEA, que evalúa los conocimientos y las actitudes cívicas de los jóvenes y adolescentes, y también del SITES o la componente adicional del PISA, que valoran la familiaridad con la tecnología informática y el uso que los escolares hacen de la misma. Mientras que los estudios del primer tipo están muy relacionados con los objetivos explícitos del currículo escolar, los segundos tienen que ver con un tipo de formación más amplia y vinculada con distintos tipos de aprendizajes y de comportamientos.
c) Una tercera distinción es la que contrapone los estudios centrados en la evaluación de las capacidades o conocimientos adquiridos por los estudiantes con los que tienen como objetivo estimar el nivel formativo general de una población. Los estudios del primer tipo se basan en la aplicación de pruebas idénticas para todos los alumnos evaluados, lo que proporciona la posibilidad de establecer comparaciones o de realizar análisis basados en unidades individuales. Su contrapartida consiste en que obligan a limitar la cobertura curricular de las pruebas, para evitar su extensión excesiva, lo que implica reducir la profundidad de los análisis subsiguientes. Los estudios del segundo tipo se basan en la aplicación de pruebas rotadas, respondiendo los alumnos a combinaciones diferentes de cuadernillos parciales, con lo que no existe un modelo único de prueba. A cambio, puede ampliarse notablemente la cobertura curricular y se pueden hacer análisis más profundos, aunque sin poder establecer conclusiones de nivel individual, sino únicamente grupal. Cada tipo de estudios permite llegar a conclusiones de distinta naturaleza sobre la situación del sistema educativo.
d) Una cuarta distinción puede establecerse entre los estudios que evalúan los resultados educativos en un momento concreto y los que pretenden medir el progreso educativo a lo largo del tiempo. Los estudios del primer tipo proporcionan una información valiosa acerca del estado de una parcela determinada del sistema educativo en un momento dado, en una circunstancia temporal concreta. Los del segundo tipo se proponen valorar el progreso producido en un lapso de tiempo determinado. Los estudios más sofisticados de los que se desarrollan en la actualidad combinan ambos propósitos. Así, por ejemplo, el TIMSS y el PIRLS están concebidos como ciclos cuatrienales, mientras que el PISA tiene una periodicidad trienal. Ello permite, por una parte, conocer cuál es la situación educativa en un año concreto, y por otra, valorar el progreso producido cada varios años. De ese modo, los países participantes no sólo pueden compararse con otros en un momento dado, sino que pueden analizar cuál es su tendencia de evolución.
Como puede apreciarse, los estudios internacionales tienen características diferentes, que permiten establecer distinciones entre ellos, tanto por el enfoque que adoptan como por la población elegida y el tipo de comparación predominante. Por lo tanto, se puede concluir que para poder interpretar o valorar correctamente un estudio determinado hay que analizar y tener en cuenta sus características específicas.
Comienzos de las Evaluaciones
La última década del siglo XX fue testigo de una preocupación creciente por la mejora de la calidad de la educación, tanto en los países desarrollados, como en aquellos que aún estaban en vías de serlo. La presión económica internacional, la expansión del proceso de globalización, la introducción masiva de las nuevas tecnologías de la información y la comunicación, junto con otros fenómenos económicos y sociales de gran impacto, volvieron a atraer la atención hacia la educación, considerada nuevamente como un factor decisivo para asegurar el desarrollo de los pueblos (OECD, 1992). En ese contexto de renovada preocupación educativa, aumentó el interés por evaluar y comparar la situación y los resultados de los sistemas educativos, apareciendo nuevas iniciativas en ese sentido, como la construcción de un sistema internacional de indicadores de la educación, tarea impulsada por la OCDE desde finales de los años ochenta (CERI, 1994).
Siguiendo ese impulso, durante los diez últimos años se han iniciado y puesto en marcha diversos proyectos internacionales de evaluación de la educación, que están dando lugar a informes que cada vez reciben más atención. El caso de la reciente publicación de los resultados del proyecto PISA de la OCDE, que ha producido debates públicos en muy diversos países, es un ejemplo palpable de esa nueva situación (OECD, 2001b). Podría decirse que la evaluación internacional de los resultados de la educación es una tendencia que se ha consolidado en los últimos diez años.
El mundo como un laboratorio educativo: la actuación de la IEA
Y decimos que se trata de una tendencia que se ha consolidado, porque no se puede considerar que sea estrictamente nueva. En efecto, los antecedentes de esta expansión actual se remontan a una época tan lejana en el tiempo como el final de los años cincuenta, cuando un grupo de reconocidos investigadores en educación decidieron crear una asociación internacional para evaluar los resultados de los sistemas educativos. Así es como se constituyó la International Association for the Evaluation of Educational Achievement (IEA), tras una primera reunión celebrada en 1958 en el Instituto de Educación de la UNESCO en Hamburgo (Tiana, 2001).
La propuesta de aquellos investigadores consistía en realizar estudios internacionales del rendimiento educativo, adoptando para ello una perspectiva comparada. Desde su punto de vista, los estudios comparativos de los sistemas educativos debían tomar necesariamente en consideración los resultados que conseguían los estudiantes, cosa que no siempre ocurría. Aunque no menospreciaban las iniciativas centradas en el análisis comparado de aspectos tales como los recursos disponibles o las condiciones en que se desarrolla la enseñanza, consideraban que la evaluación de un sistema educativo debía basarse en la emisión de juicios rigurosos sobre los resultados alcanzados por los alumnos.
No obstante, aquel grupo de investigadores que constituyó la IEA no quería limitarse a medir y comparar los resultados educativos conseguidos por los estudiantes, sino que pretendía explicarlos de manera convincente. Además de calcular y valorar los resultados, querían identificar los principales factores capaces de explicar las diferencias de rendimiento encontradas y analizar de qué modo interactuaban entre sí. Esa explicación constituía, en última instancia, la base para diseñar cualquier acción de mejora de la educación, que era lo que realmente les preocupaba.
Fue ese el contexto en que surgió la idea de considerar el mundo como un laboratorio educativo (Purves, 1993). La idea es ciertamente simple, pero hay que reconocer que fue una idea feliz. Se basa en la explotación de la variación natural que existe entre los sistemas educativos, cuando se pretende explicar sus resultados. Frente al caso de otros campos científicos, donde se pueden aplicar procedimientos experimentales para estudiar el efecto de determinadas condiciones o intervenciones, en el ámbito educativo es muy complicado, e incluso para muchos éticamente discutible, seguir procesos estrictamente experimentales. Los investigadores suelen recurrir a otro tipo de métodos, en muchos casos empíricos, pero pocas veces experimentales en sentido estricto. A pesar de esa dificultad, hay que tener en cuenta que los sistemas educativos difieren notablemente entre sí, con una variación que podemos considerar natural (aunque, en realidad, puede argumentarse que deriva en buena medida de su historia y de las condiciones de su entorno), circunstancia que puede permitir extraer conclusiones interesantes aplicando una metodología comparativa.
De acuerdo con esa concepción, los sistemas educativos deben ser considerados como sistemas complejos, formados por escuelas, clases, profesores, estudiantes y comunidades. Cada sistema tiene algunos rasgos distintivos propios, mientras que otras de sus características son comunes. Por lo tanto, sería teóricamente posible comparar los resultados conseguidos por los estudiantes, controlando en la medida de lo posible las variables diferenciales que intervienen en el rendimiento. Ese tipo de comparación permitiría analizar y valorar la influencia de dichos factores, contribuyendo a explicar sus efectos respectivos. Así, podrían valorarse las consecuencias de los diversos modos de diseño y desarrollo curricular, la integración o segregación de los alumnos en vías académicas alternativas, los modelos de formación del profesorado o la interacción didáctica en el interior del aula, por no citar sino algunos factores frecuentemente estudiados. Sin necesidad de introducir cambios en un sistema educativo determinado, lo que no siempre resulta posible, sencillo ni conveniente, la existencia de esa variación natural permitiría analizar y valorar el efecto de los principales factores asociados con el rendimiento. Esa es, en síntesis, la concepción del mundo como laboratorio educativo, que la IEA difundió entre los investigadores de la educación.
Esa idea directriz sirvió de esquema básico para diseñar y poner en marcha los primeros estudios emprendidos por la IEA, entre los que destacan el primer Estudio de Viabilidad (Feasibility Study), de carácter piloto y desarrollado entre 1959 y 1962 en doce sistemas educativos el Primer Estudio Internacional de Matemáticas (First International Matematics Study – FIMS), que se llevó a cabo entre 1959 y 1967; el Estudio de Seis Materias (Six-subject Survey), iniciado en 1966 y finalizado a comienzos de los setenta; y el Segundo Estudio Internacional de Matemáticas (Second International Matematics Study -SIMS), realizado entre 1964 y 1967. Posteriormente, durante los años setenta y ochenta, la IEA desarrolló el Estudio del Entorno Escolar (Classroom Environment Study, 1978-1981), el Estudio Internacional de Composición Escrita (International Study of Achievement in Written Composition, 1980-1986), y el Segundo Estudio Internacional en Ciencias (Second International Science Study – SISS, 1980-1987). Ya en los noventa llevaría a cabo el ciclo conocido como Tercer Estudio Internacional de Matemáticas y Ciencias (Third International Matematics and Science Study – TIMSS), el ciclo sobre Comprensión Lectora (Reading Literacy Study y Progress in Reading Literacy Study – PIRLS), el ciclo de estudios sobre Tecnologías de la Información en Educación (Computers in Education y Second Information Technologies in Education Study – SITES), el estudio sobre Educación Preescolar (Pre- Primary Education) y el estudio sobre Educación Cívica (Civic Education).
Este conjunto de trabajos, que ha dado lugar a una amplia serie de informes y publicaciones (Degenhart, 1990), ha proporcionado una valiosa información sobre el nivel comparativo de rendimiento de los sistemas educativos, por una parte, y sobre las variables asociadas a los resultados, por otra. Para permitir tales logros, la IEA ha aplicado una metodología básicamente cuantitativa, que presenta tres rasgos característicos:
a) En primer lugar, la IEA ha aplicado procedimientos estandarizados de evaluación, consistentes fundamentalmente en pruebas de rendimiento de los alumnos y cuestionarios dirigidos a profesores, directores escolares y a los propios alumnos. En ocasiones ha aplicado otros procedimientos, tales como realización de tareas prácticas (performance tasks) o técnicas cualitativas (estudios de caso, por ejemplo), pero insistiendo siempre en su carácter estandarizado. La recogida de datos por medio de dichos instrumentos permite aplicar técnicas de análisis rigurosas, respetuosas de las condiciones de una comparación fiable y válida. Con el paso de los años, los procedimientos concretos de recogida y análisis de datos han ido variando, esforzándose siempre por mantener su carácter innovador.
b) En segundo lugar, los estudios de la IEA se han basado en marcos conceptuales centrados en el currículo escolar. Ese modo de actuar ha estado motivado por la voluntad de realizar estudios que pudiesen ofrecer orientaciones para la mejora de los sistemas educativos de los países participantes. En consecuencia, los resultados que se pretende valorar deben guardar relación con los objetivos establecidos para las diversas etapas educativas. Esa decisión condujo a la elaboración de una distinción que ya se ha convertido en clásica entre currículo prescrito, impartido y alcanzado (Pelgrum, 1989), así como al desarrollo del concepto de oportunidad de aprender, que ha inspirado muchos trabajos e investigaciones (Anderson, 1991).
c) En tercer lugar, la IEA se ha esforzado por conseguir que los instrumentos de evaluación aplicados estuviesen libres de sesgos culturales, idiomáticos o de otro tipo. Para alcanzar ese objetivo ha basado sus estudios en análisis curriculares previos, capaces de permitir la elaboración de instrumentos adecuados a la diversidad internacional de situaciones escolares, ha desarrollado procedimientos cooperativos de construcción de pruebas, en la que colaboran todos los países participantes, y ha establecido criterios rigurosos para la traducción de los instrumentos elaborados a las diversas lenguas.
Los estudios internacionales de evaluación de la educación en la actualidad
A lo largo de las últimas décadas del siglo XX, los estudios de la IEA han servido de referencia y de modelo para la puesta en marcha de nuevas iniciativas de evaluación internacional de los resultados educativos. En la actualidad, son diversos los organismos y las instituciones que llevan a cabo estudios de esta naturaleza, bien a escala mundial, bien circunscribiéndose a algunas áreas geográficas o geopolíticas concretas. La situación es tal que puede afirmarse que estamos asistiendo a un auge considerable de los estudios internacionales que tienen por objeto la evaluación del rendimiento educativo.
Entre las organizaciones que más han impulsado este tipo de estudios internacionales, hay que destacar a la Organización para la Cooperación y el Desarrollo Económico (OCDE). Aunque su interés por los asuntos educativos viene de antiguo (Papadopoulos, 1994), en la década de los noventa puso en marcha un ambicioso proyecto de construcción de indicadores internacionales de la educación, que ha dado importantes frutos. Se trata del denominado Proyecto INES, que ha producido la serie de informes que viene publicándose desde 1992 con el título de Education at a Glance / Regards sur l’éducation.
Los indicadores elaborados por la OCDE se refieren tanto al contexto de la educación como a los recursos humanos y económicos utilizados, los procesos escolares y los resultados logrados. No obstante, esta última dimensión ha estado poco atendida, dado que los únicos datos hasta ahora existentes eran los procedentes de los estudios de la IEA, que no siempre se ajustaban a las demandas formuladas, ni por el número de países participantes, ni por las áreas evaluadas, ni por su periodicidad. Para salvar esa carencia de indicadores de resultados educativos, la OCDE diseñó y puso en marcha a finales de los noventa el proyecto denominado PISA (Programme for International Student Assessment), que pretende valorar
el grado de formación de los jóvenes de quince años, en tres áreas básicas: matemáticas, lectura y ciencias. La primera recogida de datos se realizó en el año 2000 (OECD, 2001b), estando previsto que se repita cada tres años, aunque haciendo énfasis sucesivamente en cada una de las áreas mencionadas.
Además del Proyecto PISA, la OCDE ha realizado otros estudios orientados a la evaluación de las capacidades de la población adulta (International Adult Literacy Survey, International Life Skills Survey), que han empezado a producir algunos resultados de interés (OECD & Statistics Canada, 1995). Su objetivo consiste en aproximarse a una estimación del capital humano de los países, a través de la estimación del grado de formación de su población en edad laboral (de 16 a 65 años).
La Unión Europea ha desarrollado algunas tareas orientadas en la misma dirección durante los últimos años. En primer lugar, merece la pena citar la publicación de la serie denominada Cifras claves de la educación en la Unión Europea, aunque el informe no incluye datos procedentes de estudios de evaluación de los resultados de los estudiantes. En segundo lugar, hay que mencionar el reciente empeño tendente a construir unos indicadores europeos de calidad de la educación, cuyos primeros resultados aún no se han publicado.
También la UNESCO ha emprendido algún proyecto de la misma naturaleza, entre los que destaca especialmente el denominado Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación, cuyos trabajos se han desarrollado también en la última década (Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación, 1998). Otras iniciativas de distinta naturaleza han sido emprendidas por la Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI), la Cumbre de las Américas o el Programa de Promoción de la Reforma Educativa en América Latina (PREAL), por hacer simplemente referencia al continente americano (Tiana, 2000).
Ahora bien, toda esta serie de estudios, aun siendo semejantes, tienen sin embargo características parcialmente distintas, que conviene destacar. Ante todo, hay que distinguir los proyectos directamente orientados a evaluar los resultados conseguidos por los estudiantes (como son el TIMSS, PIRLS o PISA) de aquellos otros que tienen unos objetivos más amplios, como es el caso de la construcción de sistemas de indicadores (Proyecto INES e indicadores de la Unión Europea o de la Cumbre de las Américas). Si bien es cierto que estos últimos sistemas suelen incluir algunos indicadores de resultados, no siempre constituyen su núcleo central, ni consiguen en todos los casos aportar datos originales. Puede decirse que los sistemas de indicadores elaborados hasta el momento son tributarios del desarrollo experimentado por la estadística educativa, más que de los avances registrados en el campo de la evaluación del rendimiento. Al estar este trabajo centrado en el primer tipo de estudios de los mencionados, las consideraciones que siguen deben entenderse desde esa perspectiva.
La cuestión clave que puede ayudarnos a establecer distinciones pertinentes en el conjunto de los estudios internacionales de evaluación del rendimiento consiste en saber qué miden exactamente. Aunque todos ellos tienen características en parte semejantes, difieren en algunos aspectos fundamentales, lo que obliga a interpretarlos de modo distinto. A efectos de este análisis, hemos distinguido cuatro aspectos diferenciales básicos, que son presentados en forma dicotómica, aun cuando hay que reconocer que entre los dos extremos mencionados en cada caso suelen existir posiciones intermedias.
a) Una primera distinción puede establecerse entre los estudios encaminados a la evaluación del rendimiento escolar y los orientados a la estimación del nivel formativo de una población. Los estudios del primer tipo pretenden evaluar los resultados que logran los alumnos que alcanzan un determinado grado o curso escolar. Es el caso de estudios como el TIMSS, centrado en los aprendizajes adquiridos en matemáticas y ciencias por los alumnos de los cursos cuarto y octavo (equivalentes a los diez y catorce años de edad modal) o el PIRLS, centrado en el aprendizaje lector logrado al alcanzar el cuarto curso.
En ambos estudios, los alumnos evaluados son los que alcanzan dicho curso, con independencia de su edad concreta, aunque se controle esa variable y se tenga en cuenta en los análisis. Los estudios del segundo tipo pretenden estimar el nivel formativo alcanzado por todas las personas que tienen una determinada edad, independientemente de su situación y grado de avance escolar. Es el caso de PISA, que evalúa las capacidades adquiridas por los jóvenes de quince años de edad en las áreas de matemáticas, lectura y ciencias, o del IALS, cuya población de estudio es la comprendida entre 16 y 65 años. En ambos estudios, los sujetos evaluados son elegidos al azar entre los que tienen dicha edad o edades, con independencia del nivel escolar que hayan alcanzado. Mientras que los estudios del primer tipo están más directamente relacionados con la eficacia interna del sistema educativo, los del segundo valoran sus resultados finales.
b) Una segunda distinción es la existente entre los estudios centrados en las áreas curriculares básicas y los dedicados a la evaluación de capacidades transversales. Los estudios del primer tipo pretenden medir el grado de dominio de diversas habilidades ligadas a áreas tales como las matemáticas, la lengua materna o extranjera o las ciencias, esto es, a áreas instrumentales básicas del currículo escolar. Es el caso de TIMSS, PIRLS o PISA, antes mencionados. Los estudios del segundo tipo pretenden medir el grado de desarrollo de diversas capacidades no vinculadas a áreas curriculares concretas, sino relacionadas con otras dimensiones formativas, como pueden ser la educación cívica o la utilización de las nuevas tecnologías de la información. Es el caso del estudio CIVICS de la IEA, que evalúa los conocimientos y las actitudes cívicas de los jóvenes y adolescentes, y también del SITES o la componente adicional del PISA, que valoran la familiaridad con la tecnología informática y el uso que los escolares hacen de la misma. Mientras que los estudios del primer tipo están muy relacionados con los objetivos explícitos del currículo escolar, los segundos tienen que ver con un tipo de formación más amplia y vinculada con distintos tipos de aprendizajes y de comportamientos.
c) Una tercera distinción es la que contrapone los estudios centrados en la evaluación de las capacidades o conocimientos adquiridos por los estudiantes con los que tienen como objetivo estimar el nivel formativo general de una población. Los estudios del primer tipo se basan en la aplicación de pruebas idénticas para todos los alumnos evaluados, lo que proporciona la posibilidad de establecer comparaciones o de realizar análisis basados en unidades individuales. Su contrapartida consiste en que obligan a limitar la cobertura curricular de las pruebas, para evitar su extensión excesiva, lo que implica reducir la profundidad de los análisis subsiguientes. Los estudios del segundo tipo se basan en la aplicación de pruebas rotadas, respondiendo los alumnos a combinaciones diferentes de cuadernillos parciales, con lo que no existe un modelo único de prueba. A cambio, puede ampliarse notablemente la cobertura curricular y se pueden hacer análisis más profundos, aunque sin poder establecer conclusiones de nivel individual, sino únicamente grupal. Cada tipo de estudios permite llegar a conclusiones de distinta naturaleza sobre la situación del sistema educativo.
d) Una cuarta distinción puede establecerse entre los estudios que evalúan los resultados educativos en un momento concreto y los que pretenden medir el progreso educativo a lo largo del tiempo. Los estudios del primer tipo proporcionan una información valiosa acerca del estado de una parcela determinada del sistema educativo en un momento dado, en una circunstancia temporal concreta. Los del segundo tipo se proponen valorar el progreso producido en un lapso de tiempo determinado. Los estudios más sofisticados de los que se desarrollan en la actualidad combinan ambos propósitos. Así, por ejemplo, el TIMSS y el PIRLS están concebidos como ciclos cuatrienales, mientras que el PISA tiene una periodicidad trienal. Ello permite, por una parte, conocer cuál es la situación educativa en un año concreto, y por otra, valorar el progreso producido cada varios años. De ese modo, los países participantes no sólo pueden compararse con otros en un momento dado, sino que pueden analizar cuál es su tendencia de evolución.
Como puede apreciarse, los estudios internacionales tienen características diferentes, que permiten establecer distinciones entre ellos, tanto por el enfoque que adoptan como por la población elegida y el tipo de comparación predominante. Por lo tanto, se puede concluir que para poder interpretar o valorar correctamente un estudio determinado hay que analizar y tener en cuenta sus características específicas.
Variables extrínsecas que explican los mejores resultados en estudios internacionales
Variables extrínsecas del rendimiento
Entre las variables extrínsecas, hay tres que tienen especial interés, además de contar con una cierta tradición en la investigación educativa. Se trata del nivel socioeconómico y cultural de los estudiantes y de sus familias, el nivel de desarrollo educativo y cultural de la población y los recursos que se destinan a la educación. Aunque esa relación no agota el conjunto de variables extrínsecas que podrían considerarse, tiene al menos en cuenta las más relevantes.
Nivel socioeconómico y cultural
La consideración del nivel socioeconómico y cultural de la población evaluada constituye una práctica habitual de la investigación educativa, cuando se pretende explicar los resultados logrados por los estudiantes (Tiana, 2002). Hoy se acepta plenamente que los estudiantes están condicionados por una serie de factores de naturaleza socio- familiar, unos de ellos de carácter microsocial, relacionados con las características concretas de su grupo familiar y de su entorno geográfico, y otros de carácter macrosocial, relacionados con aspectos tales como su adscripción social o la riqueza cultural de su entorno. En consecuencia, no es legítimo ni tiene sentido minusvalorar el efecto de este tipo de variables cuando se analizan los resultados logrados por los alumnos.
La ponderación del nivel socioeconómico y cultural no sólo se efectúa cuando se comparan estudiantes, individualmente considerados, sino también cuando se evalúan los resultados logrados por diversos colectivos. Así, la construcción de índices socioeconómicos
o socioculturales constituye una práctica habitual en los proyectos de evaluación de centros escolares o de sistemas educativos emprendidos en diferentes países. Su propósito consiste en última instancia en asegurar la comparación justa entre las unidades evaluadas, evitando atribuir una eficacia mayor a aquellas unidades (centros educativos o distritos escolares) que simplemente se benefician de un público más favorecido social y culturalmente. La realización de análisis que tienen en cuenta el denominado valor añadido no es sino uno de los ejemplos más claros y sofisticados de ese tipo de aproximación (Thomas, 1998).
Los estudios internacionales también han tenido en cuenta esta variable, aunque aplicando diversos procedimientos para analizar su efecto. La aproximación utilizada más habitualmente ha consistido en comparar los resultados logrados por los países con algún indicador global de desarrollo económico, tal como el Producto Interior Bruto per capita. En este caso, los análisis suelen limitarse a yuxtaponer las tablas de resultados obtenidos y de PIB nacional, sin hacer otras consideraciones. En ocasiones se han realizado algunos estudios de correlación entre ambos o de comparación de la ordenación obtenida con cada serie de datos, si bien se trata generalmente de análisis poco sofisticados.
Una aproximación más precisa consiste en utilizar datos individualizados de los alumnos evaluados, referidos a variables tales como el nivel de estudios y la ocupación profesional de los padres, los bienes materiales de que dispone la familia, el nivel de renta familiar o los recursos culturales disponibles en el hogar. La complejidad que supone obtener datos fiables de este tipo (por la pérdida de respuestas que suele producirse cuando se pregunta a los padres y por la imprecisión que implica preguntar a los propios alumnos) ha sido el motivo de que hasta ahora apenas se haya utilizado esta aproximación en los estudios internacionales. El estudio PISA ha optado por este tipo de instrumento, pese a las eventuales imprecisiones que pueda implicar, realizando algunos análisis interesantes.
La Tabla 1 proporciona una información sintética de los resultados obtenidos en el Proyecto PISA, cuando se tiene en cuenta el nivel socioeconómico y cultural de los estudiantes evaluados. En la columna de la izquierda se presentan los datos brutos obtenidos por algunos de los países participantes, mientras que en la columna de la derecha aparece su media ponderada, obtenida mediante la aplicación de un índice socioeconómico y cultural calculado a partir de los datos globales. Como puede apreciarse fácilmente, hay algunos países (Corea, España, Francia y Portugal) cuya media ponderada es superior a la bruta, lo que indica que sus resultados hubiesen sido superiores si los alumnos evaluados tuviesen una situación socioeconómica y cultural equivalente a la media de la OCDE. Ese efecto es independiente de que sus resultados ponderados deban considerarse satisfactorios o no. Así, Corea o Francia se sitúan por encima de la media ponderada, mientras que España se coloca casi en ella y Portugal sigue quedando por debajo, aunque con una menor distancia que con respecto a la media bruta (17 puntos frente a 30). El caso de Italia es interesante, pues su puntuación no cambia al ponderarla, pero sin embargo queda algo más alejada de la media de la OCDE, al aumentar ligeramente esta última. Hay otros países, como Estados Unidos o Suecia, cuya puntuación ponderada es inferior a la bruta, consecuencia de tener una población con un índice socioeconómico y cultural superior a la media de la OCDE. En ambos casos la caída de posición es notable, pues Suecia pasa a situarse al nivel de España, mientras que Estados Unidos cae por debajo de la media ponderada de la OCDE.
La lectura de esa tabla, aunque sea un simple ejemplo que no deba extrapolarse a cualquier otro ámbito, permite extraer varias conclusiones. Ante todo, resulta indudable que el nivel socioeconómico y cultural influye en los resultados alcanzados por los alumnos. Pero también hay que reconocer que el efecto que produce la ponderación de esa variable es diferente para los diversos países, como no podría ser de otro modo. Así, para los países cuya población disfruta de unas condiciones socioeconómicas y culturales superiores a la media internacional, la ponderación produce un descenso de la puntuación, mientras que el efecto es el contrario para los países con una población más desfavorecida desde el punto de vista socioeconómico y social.
Por otra parte, no hay que creer que la ponderación de la situación socioeconómica y cultural de la población evaluada produzca necesariamente un efecto de igualación en las puntuaciones. El caso de Corea ilustra adecuadamente cómo en determinadas ocasiones, la ponderación realizada eleva aún más la distancia con la media (que en este caso aumenta de 25 a 29 puntos por encima de la media de la OCDE). El efecto concreto producido por este tipo de ponderación depende del nivel socioeconómico y cultural de la población nacional, pero también del nivel de rendimiento logrado por el país. Por lo tanto, hay que concluir que los mejores resultados obtenidos por algunos países no se explican exclusivamente en función de esta variable extrínseca.
A la vista de estos análisis, cabe concluir que el nivel socioeconómico y cultural de la población tiene un efecto importante en los resultados logrados por los estudiantes, pero que en modo alguno es un efecto unívoco. Por lo tanto, hay que tenerlo en cuenta a la hora de explicar los resultados y de realizar interpretaciones de los mismos, pero no constituye una variable determinante, puesto que existen casos de países que, por arriba o por abajo, escapan a la lógica puramente socioeconómica.
Nivel de desarrollo educativo y cultural de la población
En los estudios que intentan valorar y explicar el rendimiento de los sistemas educativos se ha detectado un fenómeno interesante, que consiste en la relativa disociación del efecto de las condiciones socioeconómicas propiamente dichas de los alumnos, de un lado, y la riqueza de su entorno educativo y cultural, de otro. Dicho de otro modo, cuando se intenta explicar los resultados logrados por los estudiantes se aprecia que guardan una cierta relación con sus condiciones socioeconómicas, esto es, con los bienes materiales y la renta disponible de la familia, si bien la relación encontrada es bastante mayor si a esas variables se le agregan algunas otras sobre el acceso a bienes culturales, las aspiraciones y expectativas educativas familiares y las prácticas culturales, o sea, los elementos fundamentales de lo que Bourdieu y Passeron (1970) denominaron el capital cultural de la familia y los individuos.
Ese fenómeno ha sido bien analizado en algunos estudios nacionales de evaluación. Así, por ejemplo, en la evaluación de la nueva Educación Primaria que se llevó a cabo en España en 1995 se construyeron dos índices complementarios y parcialmente coincidentes, a partir de algunas variables extrínsecas como las que aquí se mencionan. El primero fue el índice socioeconómico, compuesto por variables relativas a la profesión de los padres y la posesión de bienes materiales por la familia. El segundo fue el índice sociocultural, compuesto por variables relativas a los estudios y la profesión de los padres, más otras referidas a las expectativas educativas para los hijos y el acceso a algunos bienes culturales básicos. Los análisis estadísticos demostraron que la relación del segundo índice con los resultados logrados por los alumnos era claramente mayor que la del primero, lo que avala la importancia de las variables de tipo educativo y cultural sobre las estrictamente económicas (INCE, 1996). Dicho de otro modo, el grado de riqueza material de la familia parece influir menos en los resultados académicos de los hijos que la riqueza del entorno educativo y cultural, lo que además concuerda con nuestra experiencia cotidiana.
Entre las variables extrínsecas, hay tres que tienen especial interés, además de contar con una cierta tradición en la investigación educativa. Se trata del nivel socioeconómico y cultural de los estudiantes y de sus familias, el nivel de desarrollo educativo y cultural de la población y los recursos que se destinan a la educación. Aunque esa relación no agota el conjunto de variables extrínsecas que podrían considerarse, tiene al menos en cuenta las más relevantes.
Nivel socioeconómico y cultural
La consideración del nivel socioeconómico y cultural de la población evaluada constituye una práctica habitual de la investigación educativa, cuando se pretende explicar los resultados logrados por los estudiantes (Tiana, 2002). Hoy se acepta plenamente que los estudiantes están condicionados por una serie de factores de naturaleza socio- familiar, unos de ellos de carácter microsocial, relacionados con las características concretas de su grupo familiar y de su entorno geográfico, y otros de carácter macrosocial, relacionados con aspectos tales como su adscripción social o la riqueza cultural de su entorno. En consecuencia, no es legítimo ni tiene sentido minusvalorar el efecto de este tipo de variables cuando se analizan los resultados logrados por los alumnos.
La ponderación del nivel socioeconómico y cultural no sólo se efectúa cuando se comparan estudiantes, individualmente considerados, sino también cuando se evalúan los resultados logrados por diversos colectivos. Así, la construcción de índices socioeconómicos
o socioculturales constituye una práctica habitual en los proyectos de evaluación de centros escolares o de sistemas educativos emprendidos en diferentes países. Su propósito consiste en última instancia en asegurar la comparación justa entre las unidades evaluadas, evitando atribuir una eficacia mayor a aquellas unidades (centros educativos o distritos escolares) que simplemente se benefician de un público más favorecido social y culturalmente. La realización de análisis que tienen en cuenta el denominado valor añadido no es sino uno de los ejemplos más claros y sofisticados de ese tipo de aproximación (Thomas, 1998).
Los estudios internacionales también han tenido en cuenta esta variable, aunque aplicando diversos procedimientos para analizar su efecto. La aproximación utilizada más habitualmente ha consistido en comparar los resultados logrados por los países con algún indicador global de desarrollo económico, tal como el Producto Interior Bruto per capita. En este caso, los análisis suelen limitarse a yuxtaponer las tablas de resultados obtenidos y de PIB nacional, sin hacer otras consideraciones. En ocasiones se han realizado algunos estudios de correlación entre ambos o de comparación de la ordenación obtenida con cada serie de datos, si bien se trata generalmente de análisis poco sofisticados.
Una aproximación más precisa consiste en utilizar datos individualizados de los alumnos evaluados, referidos a variables tales como el nivel de estudios y la ocupación profesional de los padres, los bienes materiales de que dispone la familia, el nivel de renta familiar o los recursos culturales disponibles en el hogar. La complejidad que supone obtener datos fiables de este tipo (por la pérdida de respuestas que suele producirse cuando se pregunta a los padres y por la imprecisión que implica preguntar a los propios alumnos) ha sido el motivo de que hasta ahora apenas se haya utilizado esta aproximación en los estudios internacionales. El estudio PISA ha optado por este tipo de instrumento, pese a las eventuales imprecisiones que pueda implicar, realizando algunos análisis interesantes.
La Tabla 1 proporciona una información sintética de los resultados obtenidos en el Proyecto PISA, cuando se tiene en cuenta el nivel socioeconómico y cultural de los estudiantes evaluados. En la columna de la izquierda se presentan los datos brutos obtenidos por algunos de los países participantes, mientras que en la columna de la derecha aparece su media ponderada, obtenida mediante la aplicación de un índice socioeconómico y cultural calculado a partir de los datos globales. Como puede apreciarse fácilmente, hay algunos países (Corea, España, Francia y Portugal) cuya media ponderada es superior a la bruta, lo que indica que sus resultados hubiesen sido superiores si los alumnos evaluados tuviesen una situación socioeconómica y cultural equivalente a la media de la OCDE. Ese efecto es independiente de que sus resultados ponderados deban considerarse satisfactorios o no. Así, Corea o Francia se sitúan por encima de la media ponderada, mientras que España se coloca casi en ella y Portugal sigue quedando por debajo, aunque con una menor distancia que con respecto a la media bruta (17 puntos frente a 30). El caso de Italia es interesante, pues su puntuación no cambia al ponderarla, pero sin embargo queda algo más alejada de la media de la OCDE, al aumentar ligeramente esta última. Hay otros países, como Estados Unidos o Suecia, cuya puntuación ponderada es inferior a la bruta, consecuencia de tener una población con un índice socioeconómico y cultural superior a la media de la OCDE. En ambos casos la caída de posición es notable, pues Suecia pasa a situarse al nivel de España, mientras que Estados Unidos cae por debajo de la media ponderada de la OCDE.
La lectura de esa tabla, aunque sea un simple ejemplo que no deba extrapolarse a cualquier otro ámbito, permite extraer varias conclusiones. Ante todo, resulta indudable que el nivel socioeconómico y cultural influye en los resultados alcanzados por los alumnos. Pero también hay que reconocer que el efecto que produce la ponderación de esa variable es diferente para los diversos países, como no podría ser de otro modo. Así, para los países cuya población disfruta de unas condiciones socioeconómicas y culturales superiores a la media internacional, la ponderación produce un descenso de la puntuación, mientras que el efecto es el contrario para los países con una población más desfavorecida desde el punto de vista socioeconómico y social.
Por otra parte, no hay que creer que la ponderación de la situación socioeconómica y cultural de la población evaluada produzca necesariamente un efecto de igualación en las puntuaciones. El caso de Corea ilustra adecuadamente cómo en determinadas ocasiones, la ponderación realizada eleva aún más la distancia con la media (que en este caso aumenta de 25 a 29 puntos por encima de la media de la OCDE). El efecto concreto producido por este tipo de ponderación depende del nivel socioeconómico y cultural de la población nacional, pero también del nivel de rendimiento logrado por el país. Por lo tanto, hay que concluir que los mejores resultados obtenidos por algunos países no se explican exclusivamente en función de esta variable extrínseca.
A la vista de estos análisis, cabe concluir que el nivel socioeconómico y cultural de la población tiene un efecto importante en los resultados logrados por los estudiantes, pero que en modo alguno es un efecto unívoco. Por lo tanto, hay que tenerlo en cuenta a la hora de explicar los resultados y de realizar interpretaciones de los mismos, pero no constituye una variable determinante, puesto que existen casos de países que, por arriba o por abajo, escapan a la lógica puramente socioeconómica.
Nivel de desarrollo educativo y cultural de la población
En los estudios que intentan valorar y explicar el rendimiento de los sistemas educativos se ha detectado un fenómeno interesante, que consiste en la relativa disociación del efecto de las condiciones socioeconómicas propiamente dichas de los alumnos, de un lado, y la riqueza de su entorno educativo y cultural, de otro. Dicho de otro modo, cuando se intenta explicar los resultados logrados por los estudiantes se aprecia que guardan una cierta relación con sus condiciones socioeconómicas, esto es, con los bienes materiales y la renta disponible de la familia, si bien la relación encontrada es bastante mayor si a esas variables se le agregan algunas otras sobre el acceso a bienes culturales, las aspiraciones y expectativas educativas familiares y las prácticas culturales, o sea, los elementos fundamentales de lo que Bourdieu y Passeron (1970) denominaron el capital cultural de la familia y los individuos.
Ese fenómeno ha sido bien analizado en algunos estudios nacionales de evaluación. Así, por ejemplo, en la evaluación de la nueva Educación Primaria que se llevó a cabo en España en 1995 se construyeron dos índices complementarios y parcialmente coincidentes, a partir de algunas variables extrínsecas como las que aquí se mencionan. El primero fue el índice socioeconómico, compuesto por variables relativas a la profesión de los padres y la posesión de bienes materiales por la familia. El segundo fue el índice sociocultural, compuesto por variables relativas a los estudios y la profesión de los padres, más otras referidas a las expectativas educativas para los hijos y el acceso a algunos bienes culturales básicos. Los análisis estadísticos demostraron que la relación del segundo índice con los resultados logrados por los alumnos era claramente mayor que la del primero, lo que avala la importancia de las variables de tipo educativo y cultural sobre las estrictamente económicas (INCE, 1996). Dicho de otro modo, el grado de riqueza material de la familia parece influir menos en los resultados académicos de los hijos que la riqueza del entorno educativo y cultural, lo que además concuerda con nuestra experiencia cotidiana.
Cabe suponer que ese fenómeno se debería también apreciar en los estudios internacionales, si bien hasta ahora no ha sido objeto de análisis detenido. En los trabajos promovidos por la IEA no se ha llevado a cabo dicho análisis hasta el momento actual, debido a las dificultades que se plantean para obtener la información necesaria. El proyecto PISA, al obtener datos singularizados del nivel socioeconómico y cultural de los alumnos participantes, debería permitir hacer algún estudio de ese tipo, aunque todavía no se haya realizado. Los únicos análisis disponibles combinan ambas dimensiones en un mismo índice, lo que impide apreciar el efecto diferencial mencionado.
En todo caso, parece lógico preguntarse por el efecto que puede producir la existencia de condiciones educativas y culturales muy diferentes entre los países participantes en los estudios internacionales. En la Tabla 2 se han resumido algunos indicadores relativos al nivel educativo y cultural de la población de los países de la Unión Europea. Un primer indicador seleccionado consiste en el porcentaje de la población comprendida entre los 15 y los 64 años de edad que ha finalizado al menos la educación secundaria superior (aunque bajo esa denominación común quepan realidades muy diversas). Otro indicador complementario consiste en el número de lectores habituales de periódicos por cada mil habitantes. Como tercer elemento de comparación, se ha incluido la puntuación bruta alcanzada por los países de la Unión Europea en el estudio PISA del año 2000, que ha servido como criterio de ordenación. Aunque los años de referencia de los tres indicadores no sean idénticos, no constituye un obstáculo insalvable para un análisis tan general como el que aquí se hace.
Lo primero que llama la atención es que los países que obtienen en el proyecto PISA puntuaciones por encima de la media de la OCDE (500 puntos) tienen, en general, mayor porcentaje de población adulta con estudios superiores que los situados por debajo de la media. Sin embargo, hay varias excepciones a esta regla general. Por una parte, Irlanda está incluida entre los países con menor proporción de población con estudios superiores (51%) y sin embargo obtiene una alta puntuación en PISA. Por otra parte, Alemania y Dinamarca son
los países que tienen mayor proporción de población con estudios superiores (81% y 80%, respectivamente) y sin embargo quedan por debajo de la media. Es evidente que esa sencilla comparación no avala la existencia de una relación perfecta entre ambas variables. Pero si nos fijamos en los países del sur de Europa, comprobaremos que tanto Italia como España, Portugal y Grecia se encuentran entre los que menos población tienen con estudios superiores y también entre los que obtienen puntuaciones por debajo de la media, lo que nos obliga a no desechar rápidamente la existencia de algún tipo de relación.
Por otra parte, al comparar los resultados de PISA con la lectura de periódicos vuelve a apreciarse un fenómeno similar. Ahora son tres los países incluidos en el grupo de menor proporción de lectores que quedan por encima de la media en PISA (Irlanda, Bélgica y Francia), mientras que dos de los países con mayor proporción de población lectora de periódicos quedan por debajo de la media (Luxemburgo y Alemania). Los países del sur de Europa vuelven a quedar por debajo de la media en ambos indicadores.
Aunque no es propósito de este trabajo descender a un análisis detenido y riguroso de esta posible relación, estudio que sin duda reclama atención y que deberá emprenderse en algún momento, una sencilla reflexión sobre los datos incluidos en la Tabla 2 apunta a la existencia de algún tipo de conexión entre el grado de desarrollo educativo y cultural de un país (medido aquí por dos indicadores simples) y los resultados logrados por sus estudiantes.
Al igual que se observaba en el caso de la variable anterior, no podemos hablar de una relación perfecta, ni mucho menos de una determinación causal, pero hay indicios que obligan a analizar con más atención la conexión que pueda existir. En concreto, el análisis de
la situación educativa de los países del sur de Europa, que han sufrido un retraso educativo histórico y que han evolucionado muy rápidamente en las últimas décadas, pero sin poder salvar fácilmente esa brecha centenaria que les separa de otros países europeos, merece un estudio más detenido, puesto que parece estar en relación con los resultados que alcanzan sus estudiantes. Desde ese punto de vista, valdría la pena hacer un estudio comparativo más cuidadoso con el caso de Irlanda, que podría arrojar información interesante.
Recursos destinados a la educación
La tercera variable extrínseca aquí analizada se refiere a los recursos que cada país destina a la educación. Dichos recursos son de naturaleza muy variada, debiendo distinguirse al menos entre los recursos humanos (profesorado, personal de administración y servicios educativos) y los económicos y materiales (infraestructura, equipamiento, presupuestos). Además, hay que tener en cuenta que esos recursos pueden proceder de muy diversas fuentes, tanto públicas como privadas, y de los distintos niveles de las administraciones públicas (estatal, provincial, regional, local). Puede incluso discutirse si esta variable debe considerarse extrínseca, puesto que entra dentro de la esfera propia de decisión de los gobiernos. El motivo de incluirla en este grupo consiste en que la determinación del presupuesto educativo es una tarea que no compete solamente a las autoridades educativas, sino que se inserta en un cuadro más complejo de asignación de prioridades y fondos presupuestarios para el conjunto de las políticas nacionales. Por lo tanto, no se trata de una decisión interna al propio sistema educativo, sino externa a él.
Las dificultades que plantea la comparación de los recursos realmente utilizados en las tareas educativas ha implicado que la mayor parte de los análisis ahora realizados estén basados en el gasto que se realiza en educación (incluyendo a veces la inversión), medido en términos monetarios, siendo mucho menos frecuente otro tipo de comparación. Además, hay que señalar que los estudios internacionales de evaluación del rendimiento raramente incluyen análisis acerca de la relación entre los resultados educativos y los recursos monetarios utilizados. Lo más que hacen, como en el caso de TIMSS o del proyecto PISA, es yuxtaponer ambas informaciones, pero sin analizar detenidamente su relación. Por lo tanto, al igual que sucedía en el apartado anterior, no es fácil llegar a conclusiones definitivas sobre la conexión que pueda existir entre ambas variables.
A pesar de esa dificultad, también en este caso se ha intentado analizar el efecto que ejerce la variable que aquí se considera. En la Tabla 3 se han recogido algunos datos correspondientes a varios de los países participantes en el proyecto PISA. La selección de países se ha efectuado de acuerdo con la relevancia que dichos casos tienen en el contexto de este trabajo y con su carácter ejemplificador. La primera columna incluye los resultados brutos obtenidos en PISA que, al igual que en otras tablas precedentes, han servido para ordenar los países. La segunda columna recoge el Producto Interior Bruto per capita de dichos países, mientras que la tercera incluye el gasto acumulado en instituciones educativas por estudiante. Estas dos últimas cifras se expresan en dólares USA, utilizando un algoritmo de paridad del poder adquisitivo (PPP), a fin de hacer al s cifras comparables. La última columna incluye el cociente resultante de dividir las dos anteriores, representando el esfuerzo económico efectuado por estudiante en relación con el Producto Interior Bruto nacional.
Como puede apreciarse en la tabla, los resultados de los países no siguen el mismo orden que el gasto acumulado por estudiante. Así, Corea se sitúa en la parte alta de la tabla, pese a que su gasto por estudiante es de los más bajos de la OCDE, exactamente al contrario que le sucede a Italia. Además, hay países con un nivel similar de rendimiento en esta prueba, a los que corresponden niveles bastante dispares de gasto. Es lo que sucede al comparar Francia con Estados Unidos, Corea con el Reino Unido o Grecia con Portugal. A la inversa, hay países con niveles comparables de gasto acumulado por estudiante pero con niveles dispares de resultados, como el caso del Reino Unido y Alemania o España y Portugal.
Tampoco el cociente que se obtiene al dividir el gasto acumulado por estudiante entre el PIB sigue un orden igual al de los resultados. Aunque México ocupa la última posición en ambos casos, Italia está muy por debajo de lo que le correspondería en el caso de existir una relación perfecta, y también estarían fuera de su lugar países tan dispares como Corea, el Reino Unido y Finlandia (todos ellos por encima de su posición teórica), así como Portugal y Dinamarca (en este caso por debajo).
Por lo tanto, también en el caso de esta tercera variable extrínseca pueden hacerse algunas consideraciones similares a las que se formulaban con las dos anteriores. Nos encontramos en una situación en la que podemos afirmar que todo apunta a la existencia de una cierta relación entre los recursos dedicados a la educación y el rendimiento educativo, pero la relación dista mucho de ser lineal ni perfecta. Sin duda, es una de las variables que deben ser tenidas en cuenta a la hora de valorar y explicar los resultados, pero no es la única. Como se ha afirmado muchas veces, no se trata solamente de dedicar más recursos a la educación, sino de emplearlos bien. Y en esta última parte de la afirmación intervienen otras variables, muchas de ellas de carácter intrínseco, que han de tenerse en cuenta.
Antes de entrar en el análisis de las variables intrínsecas, habría que señalar que las reflexiones que se han realizado en este apartado, insertas por otra parte en una línea ya tradicional en la investigación educativa, apuntan a la existencia de relaciones múltiples y cruzadas entre todas estas variables extrínsecas. Por lo tanto, aun cuando pueda interesar en ocasiones el estudio singular de algunas de ellas, no es posible pretender explicar los resultados logrados en los estudios internacionales por medio de una sola variable. Los análisis deben respetar la complejidad de los fenómenos estudiados e integrar distintas variables en cada explicación.
Este artículo, le pertenece a Alejandro Tiana Ferrer
Variables intrínsecas que explican los mejores resultados en estudios internacionales
Variables intrínsecas del rendimiento
Las variables extrínsecas ayudan a explicar los resultados conseguidos por los estudiantes en las pruebas de rendimiento escolar, pero no dan cuenta total de los mismos. Por ese motivo hay que explorar otro tipo de factores, relativos a las características y al funcionamiento del sistema educativo, que tienen además especial interés cuando se pretende llevar a cabo acciones de mejora, ya que caen plenamente dentro de la esfera de actuación de las autoridades educativas, de los centros escolares y de los profesores. Son las que aquí denominamos variables intrínsecas.
Las variables intrínsecas que tienen en cuenta los estudios actuales de evaluación del rendimiento son muy diversas. Muchos de los estudios promovidos por IEA, OCDE y UNESCO recogen información acerca de variables tales como la formación y el desempeño de los profesores, el grado de autonomía de la escuela, el tiempo dedicado a la enseñanza y al estudio personal, la organización del currículo, el tipo de refuerzo prestado a los alumnos y otras similares. Todas estas dimensiones de la vida educativa caen dentro de lo que se suele denominar variables intrínsecas.
Entre este tipo de variables se han seleccionado aquí tres grupos. En primer lugar, se analizarán los efectos producidos por algunos factores relacionados con la organización general del sistema educativo. En segundo lugar, se pasará revista al efecto de los denominados factores de centro escolar, que se refieren a la organización, el funcionamiento y el clima o ambiente escolar, considerados en términos generales. En tercer lugar, se analizará el efecto de los denominados factores de aula, que guardan relación con las condiciones en que se desarrollan los procesos de enseñanza y aprendizaje en el interior del aula, en el contacto directo entre el profesor y los alumnos.
Organización del sistema educativo
Las variables intrínsecas de mayor nivel de generalidad son las que se refieren a la organización del sistema educativo. Se trata de variables que afectan al conjunto de los centros y de los agentes escolares, puesto que tienen que ver con las normas fundamentales y las condiciones generales en que aquellos deben desenvolverse. Este tipo de variables son en realidad características relativas a la estructura del propio sistema educativo y a las reglas básicas de su funcionamiento.
De acuerdo con los supuestos de la concepción del mundo como laboratorio educativo que se comentaba al comienzo del trabajo, los estudios internacionales deberían contribuir a proporcionar explicaciones ligadas precisamente a este tipo de variables, ya que son las que distinguen más claramente a unos sistemas educativos de otros. Sin embargo, hay que reconocer que los estudios realizados rara vez son concluyentes y casi siempre proporcionan una información que requiere interpretaciones complementarias. Hasta ahora son pocas las conclusiones definitivas que han aportado los estudios internacionales sobre este tipo de variables. Sin embargo, se pueden señalar algunas, aunque haya que tomarlas con cierta precaución.
Entre los ejemplos más relevantes de este tipo de análisis, hay que acudir una vez más a PISA, sobre todo teniendo en cuenta lo reciente del estudio. Uno de los fenómenos que más ha llamado la atención tras la publicación del informe de resultados (OECD, 2001b), y que más debate ha generado, ha consistido en el pobre rendimiento educativo de los jóvenes alemanes de quince años. Como se ha visto en las tablas insertas en el trabajo, su puntuación está claramente por debajo de la media de la OCDE y también por debajo de lo que cabría esperar de un país con un buen nivel de desarrollo. Ese dato ha provocado alarma y generado una viva discusión. Lo que no ha llamado tanto la atención es que esa circunstancia no es exclusiva de Alemania, sino que también se aprecia, en mayor o menor grado, en otros países con sistemas educativos semejantes. La característica fundamental de ese tipo de sistemas consiste en una diferenciación institucional temprana. Dicho de otro modo, los adolescentes de esos países son separados muy tempranamente (entre los diez y los doce años de edad) en itinerarios formativos muy diferenciados, que se corresponden con otros tantos modelos institucionales escolares. Aunque el sistema prevé la posibilidad de trasvases entre unos y otros itinerarios, ese paso se produce en la práctica en muy pocos casos.
Los responsables del estudio PISA llegan a una triple conclusión que merece la pena destacar. En primer lugar, las diferencias que existen entre los diversos tipos de escuelas en esos países son generalmente mayores que las que se observan en otros lugares. En segundo lugar, la variación de resultados que se aprecia entre estudiantes también suele ser mayor que en otros países, con muy pocas excepciones. En tercer lugar, ninguno de esos países se encuentra entre los de mayor rendimiento promedio. O sea, el estudio PISA parece advertir que la discriminación institucional temprana (la que tiene lugar antes de los doce años de edad) produce desigualdades importantes en los países que la aplican, sin llegar por ello a obtener unos resultados promedios satisfactorios. Los mejores estudiantes de esos sistemas educativos están entre los mejores del mundo, pero también los peores se encuentran entre los peores, provocando una situación global poco positiva y poco equilibrada. Cabría inferir que este modelo de organización del sistema educativo parece poco aconsejable para las circunstancias actuales, tanto por la escasa equidad que logra como por su bajo rendimiento.
Otro ejemplo concreto del análisis de ciertas variables que parecen incidir en los resultados de los estudiantes se encuentra en las conclusiones sobre la autonomía escolar que aporta el estudio PISA. A partir de la información recogida en dicho estudio, se ha elaborado la Tabla 4, que sintetiza la relación existente entre los resultados que logran los alumnos y el porcentaje de directores escolares que tienen al menos alguna responsabilidad en una serie de áreas de actuación educativa.
Lo que la tabla manifiesta es que no se puede afirmar taxativamente que una mayor o menor autonomía escolar produzca globalmente mejores o peores resultados de los estudiantes. Como puede apreciarse a partir de esos datos, la autonomía escolar es una realidad que abarca diversas dimensiones y no todas ellas tienen la misma incidencia sobre el rendimiento escolar. En términos generales, podría decirse que la autonomía en los aspectos relativos a la organización curricular, la vida y el ambiente del centro escolar y la gestión de sus recursos presupuestarios parece ejercer un mayor efecto sobre el rendimiento que la autonomía en lo relativo a la gestión del personal docente. Así, cabría concluir que ciertas dimensiones de la autonomía escolar merecen un especial apoyo por parte de las autoridades educativas, mientras que hay otros aspectos en que la acción no es tan prioritaria.
Procesos de centro escolar
Este último tipo de reflexiones conducen directamente al segundo grupo de variables intrínsecas, las relacionadas con la vida de los centros escolares. Son los que aquí se denominan procesos de centro escolar. Los procesos de centro y los de aula, que serán objeto de comentario en el apartado siguiente, constituyen en conjunto lo que habitualmente se conoce como procesos escolares. Esta dimensión constituye un nivel intermedio entre el contexto socioeconómico y cultural y los resultados educativos. O sea, la acción desarrollada por los profesores y por otros miembros de la comunidad escolar, mediante el desarrollo de unos determinados procesos y actuaciones, es la que explica que se logren unos determinados resultados, a partir de unas determinadas condiciones de partida. De ahí deriva su importancia y el interés que el tema despierta en los investigadores (Marchesi y Martín, 1998).
La importancia de este tipo de procesos es indudable, aunque haya que situarla en su justo término. Frente a la tendencia inaugurada por la publicación del célebre Informe Coleman (Coleman et al., 1966) y por la sociología crítica que insiste en la reproducción (Bourideu y Passeron, 1970), la investigación educativa reciente ha puesto de manifiesto que no todos los resultados de la educación pueden explicarse exclusivamente en función de las fuerzas reproductoras del contexto, aunque su presencia y su impacto sean innegables. Así, un estudio reciente en el que se revisaron veinticuatro investigaciones y se realizaron varios metaanálisis llegaba a la conclusión de que entre un 12% y un 15% de la varianza en los resultados que alcanzan los alumnos es debida a la acción del centro escolar (Teddlie, Reynolds y Sammons, 2000). Se trata de un porcentaje que, sin ser demasiado elevado, no resulta despreciable y que está en línea con lo que otros investigadores han concluido. Podríamos decir que ese es el espacio propio de actuación de los centros educativos y de los profesores y que, por tanto, tiene notable importancia desde el punto de vista pedagógico.
Los estudios de evaluación, tanto los realizados en un plano nacional como los internacionales, conceden importancia a los procesos de centro y de aula. Algunos proyectos concretos, como el desarrollado en España durante los últimos años por el Instituto IDEA, prestan notable atención a su estudio, en la convicción de que constituyen el ámbito privilegiado de cualquier plan de actuación para la mejora de la educación (Marchesi y Martín, 2002). Los estudios internacionales también han incluido este tipo de procesos entre sus variables de análisis, aunque con unos enfoques y una formulación ligeramente diferente de uno a otro caso.
Hablando concretamente de los procesos de centro escolar, hemos revisado las variables de proceso contempladas por los estudios desarrollados en la última década por la IEA, OCDE y UNESCO, con el fin de identificar las que parecen guardar mayor relación con el rendimiento. Entre todas las variables incluidas en esos estudios, las que parecen gozar de un mayor consenso son las siguientes:
a) Liderazgo pedagógico, entendido como la existencia de una dirección con autoridad pedagógica reconocida, capaz de promover un buen funcionamiento del centro escolar, facilitadora del logro de un buen clima escolar y eficaz en su funcionamiento cotidiano.
b) Coordinación pedagógica y curricular entre los profesores y las etapas, con el fin de asegurar una coherencia interna en la enseñanza proporcionada y en los medios puestos en juego para lograr el aprendizaje.
c) Implicación familiar en la escuela, como señal de la participación de los padres en la educación de sus hijos y como compromiso con un estilo de actuación capaz de asegurar la coherencia educativa entre la escuela y el hogar.
d) Buen ambiente o clima escolar, entendido como la existencia de unas buenas relaciones entre los distintos miembros de la comunidad escolar (estudiantes, profesores, familias), capaz de facilitar la tarea educativa.
e) Formación y estabilidad del profesorado, ya que existe la certeza de que la actuación de los docentes constituye un elemento capital para el logro de una enseñanza de calidad, y que esa actuación no puede ser positiva si no se dan unas condiciones favorables, tanto en lo que se refiere a la capacitación de los profesores, como a su seguridad laboral, una de cuyas variables fundamentales es la estabilidad.
f) Tamaño adecuado de la escuela, que no siempre resulta fácil de determinar, pero que tiene relación con la existencia de una ambiente diversificado y rico (que exige unas dimensiones mínimas) pero no masificado (que impone unos límites superiores).
El modo que los distintos estudios internacionales tienen de formular y de explorar el efecto de estas variables difiere de unos a otros casos, pero existe una notable coincidencia en la elección de las áreas abarcadas. Aún a falta de realizar un análisis comparado detenido de esas formulaciones y aproximaciones, cuestión que tiene indudable interés, se aprecia la existencia de unas áreas prioritarias de análisis en dichos estudios. No obstante, hay que señalar que la dispersión de aproximaciones utilizadas por las diferentes organizaciones que los promueven, la dificultad que plantea la definición común de variables como las mencionadas para sistemas educativos tan distintos entre sí y la limitada consistencia de los análisis realizados, obligan a seguir trabajando en este campo, como hacen en la actualidad tanto la IEA como la OCDE en sus estudios recientes.
Procesos de aula
Las variables referidas a los procesos de centro se complementan estrechamente con las relativas a los que hemos denominado procesos de aula. Si las variables anteriores configuraban un campo complejo y multidimensional, en el que no era fácil encontrar explicaciones unívocas y obligaba a combinarlas en análisis multifactoriales, esa complejidad se acentúa incluso más cuando descendemos al plano de las prácticas educativas en el aula.
Como afirma Elena Martín, lo que sucede en una clase se caracteriza por la multidimensionalidad, la simultaneidad, la inmediatez, la impredictibilidad, la singularidad y el carácter valorativo de las actividades (Martín, 2002). Por ese motivo, todos los estudios que intentan valorar el efecto de este tipo de variables en el rendimiento de ol s alumnos tienen que reducir su foco de atención y centrarse en algunas variables concretas.
Si eso sucede en las investigaciones que adoptan el aula como objeto de estudio, aún con mayor motivo se ven obligados a hacerlo los estudios internacionales, dada la distancia que mantienen con las aulas y la diversidad de estilos de configuración y funcionamiento de éstas que existen en el plano internacional. Por esa razón, estos estudios se centran en un número limitado de variables, seleccionando aquellas que la investigación educativa parece reconocer como más potentes a la hora de explicar los resultados.
Entre las variables relativas a los procesos de aula que se han tomado en consideración en los estudios internacionales realizados durante la última década y que parecen producir unos resultados más prometedores, hemos identificado las siguientes:
a) Tiempo dedicado a la enseñanza, entendido tanto en el sentido del tiempo efectivamente dedicado a las tareas docentes en la escuela (excluyendo, por ejemplo, interrupciones no deseadas, que en algún caso llegan a ser considerables), como el tiempo dedicado a tareas escolares en el hogar.
b) Estructuración de la enseñanza, entendida como una organización adecuada y cognitivamente estimulante de las tareas de aprendizaje por parte del docente.
c) Oportunidad de aprender, entendida en el sentido en que la IEA desarrolló este concepto hace tiempo, esto es, como la exposición real a la enseñanza (en el sentido del currículo efectivamente impartido), que proporciona al estudiante una oportunidad de desarrollar su aprendizaje.
d) Altas expectativas de rendimiento por parte de los profesores, factor que la investigación educativa ha demostrado cumplidamente que va ligado a unos mejores resultados de los estudiantes.
e) Evaluación continua y control del progreso de los alumnos, en el sentido de ofrecer una realimentación permanente del proceso de enseñanza y aprendizaje y de ayudar a los alumnos a valorar por sí mismos su progreso.
f) Refuerzo positivo al aprendizaje, entendido de diversos modos, no necesariamente en su concepción conductista, y que tiene que ver con la introducción de estímulos para continuar en la tarea y para esforzarse en conseguir mejores resultados.
g) Proporción adecuada de alumnos por profesor que, al igual que sucedía con el tamaño de
la escuela, no es una función lineal, sino que tiene un mínimo y un máximo convenientes,
por debajo o por encima de los cuales la tarea docente y el aprendizaje resultan menos estimulantes o más difíciles.
El problema que plantean todas estas variables, tanto las referidas a procesos de centro como a procesos de aula, radica en la dificultad que implica su investigación empírica. Los docentes y los estudiosos de la educación saben que se trata de variables muy influyentes en el desarrollo de las actividades escolares y, en consecuencia, en los resultados logrados por los alumnos. Pero dada su relación multidimensional, no resulta sencillo medir ni valorar su efecto concreto.
Una de las líneas de investigación que ha pretendido estimar el efecto de este tipo de variables sobre el rendimiento académico es la que se conoce como estudio de la eficacia escolar. Se trata de una línea de trabajo con cierta tradición, pero que se ha renovado en los últimos años (Scheerens, 1992). Entre los principales autores que han contribuido a renovarla merece la pena citar al holandés Jaap Scheerens. En un trabajo publicado en 1996, se preguntaba por la aportación que el movimiento de la eficacia escolar puede realizar para la gestión y la mejora de la educación (Scheerens, 1996). Sus conclusiones no eran excesivamente esperanzadoras. Tras realizar diversos análisis empíricos a partir de investigaciones propias y de otros autores, llegaba a la conclusión de que muchas de las variables sobre cuyo efecto existe un consenso bastante generalizado no disfrutaban de una base empírica suficiente, como recoge la Tabla 5.
La lectura correcta de esta tabla no implica que dichas variables deban ser despreciadas ni que su efecto sea irrelevante. Sabemos que muchas de ellas desempeñan un papel importante en la actividad escolar. El problema está en que no resulta fácil cuantificarlas. Y si esa dificultad surge en estudios de pequeña escala, aún es mayor en los estudios internacionales, que adoptan una perspectiva muy amplia. Por ese motivo, los resultados que hasta ahora ha proporcionado en este campo la investigación internacional del rendimiento son limitados. Aunque todas las organizaciones que trabajan en este campo están desarrollando modelos finos y sofisticados para valorar el impacto de las variables intrínsecas sobre el rendimiento, todavía no contamos con aproximaciones unánimemente aceptadas.
Las variables extrínsecas ayudan a explicar los resultados conseguidos por los estudiantes en las pruebas de rendimiento escolar, pero no dan cuenta total de los mismos. Por ese motivo hay que explorar otro tipo de factores, relativos a las características y al funcionamiento del sistema educativo, que tienen además especial interés cuando se pretende llevar a cabo acciones de mejora, ya que caen plenamente dentro de la esfera de actuación de las autoridades educativas, de los centros escolares y de los profesores. Son las que aquí denominamos variables intrínsecas.
Las variables intrínsecas que tienen en cuenta los estudios actuales de evaluación del rendimiento son muy diversas. Muchos de los estudios promovidos por IEA, OCDE y UNESCO recogen información acerca de variables tales como la formación y el desempeño de los profesores, el grado de autonomía de la escuela, el tiempo dedicado a la enseñanza y al estudio personal, la organización del currículo, el tipo de refuerzo prestado a los alumnos y otras similares. Todas estas dimensiones de la vida educativa caen dentro de lo que se suele denominar variables intrínsecas.
Entre este tipo de variables se han seleccionado aquí tres grupos. En primer lugar, se analizarán los efectos producidos por algunos factores relacionados con la organización general del sistema educativo. En segundo lugar, se pasará revista al efecto de los denominados factores de centro escolar, que se refieren a la organización, el funcionamiento y el clima o ambiente escolar, considerados en términos generales. En tercer lugar, se analizará el efecto de los denominados factores de aula, que guardan relación con las condiciones en que se desarrollan los procesos de enseñanza y aprendizaje en el interior del aula, en el contacto directo entre el profesor y los alumnos.
Organización del sistema educativo
Las variables intrínsecas de mayor nivel de generalidad son las que se refieren a la organización del sistema educativo. Se trata de variables que afectan al conjunto de los centros y de los agentes escolares, puesto que tienen que ver con las normas fundamentales y las condiciones generales en que aquellos deben desenvolverse. Este tipo de variables son en realidad características relativas a la estructura del propio sistema educativo y a las reglas básicas de su funcionamiento.
De acuerdo con los supuestos de la concepción del mundo como laboratorio educativo que se comentaba al comienzo del trabajo, los estudios internacionales deberían contribuir a proporcionar explicaciones ligadas precisamente a este tipo de variables, ya que son las que distinguen más claramente a unos sistemas educativos de otros. Sin embargo, hay que reconocer que los estudios realizados rara vez son concluyentes y casi siempre proporcionan una información que requiere interpretaciones complementarias. Hasta ahora son pocas las conclusiones definitivas que han aportado los estudios internacionales sobre este tipo de variables. Sin embargo, se pueden señalar algunas, aunque haya que tomarlas con cierta precaución.
Entre los ejemplos más relevantes de este tipo de análisis, hay que acudir una vez más a PISA, sobre todo teniendo en cuenta lo reciente del estudio. Uno de los fenómenos que más ha llamado la atención tras la publicación del informe de resultados (OECD, 2001b), y que más debate ha generado, ha consistido en el pobre rendimiento educativo de los jóvenes alemanes de quince años. Como se ha visto en las tablas insertas en el trabajo, su puntuación está claramente por debajo de la media de la OCDE y también por debajo de lo que cabría esperar de un país con un buen nivel de desarrollo. Ese dato ha provocado alarma y generado una viva discusión. Lo que no ha llamado tanto la atención es que esa circunstancia no es exclusiva de Alemania, sino que también se aprecia, en mayor o menor grado, en otros países con sistemas educativos semejantes. La característica fundamental de ese tipo de sistemas consiste en una diferenciación institucional temprana. Dicho de otro modo, los adolescentes de esos países son separados muy tempranamente (entre los diez y los doce años de edad) en itinerarios formativos muy diferenciados, que se corresponden con otros tantos modelos institucionales escolares. Aunque el sistema prevé la posibilidad de trasvases entre unos y otros itinerarios, ese paso se produce en la práctica en muy pocos casos.
Los responsables del estudio PISA llegan a una triple conclusión que merece la pena destacar. En primer lugar, las diferencias que existen entre los diversos tipos de escuelas en esos países son generalmente mayores que las que se observan en otros lugares. En segundo lugar, la variación de resultados que se aprecia entre estudiantes también suele ser mayor que en otros países, con muy pocas excepciones. En tercer lugar, ninguno de esos países se encuentra entre los de mayor rendimiento promedio. O sea, el estudio PISA parece advertir que la discriminación institucional temprana (la que tiene lugar antes de los doce años de edad) produce desigualdades importantes en los países que la aplican, sin llegar por ello a obtener unos resultados promedios satisfactorios. Los mejores estudiantes de esos sistemas educativos están entre los mejores del mundo, pero también los peores se encuentran entre los peores, provocando una situación global poco positiva y poco equilibrada. Cabría inferir que este modelo de organización del sistema educativo parece poco aconsejable para las circunstancias actuales, tanto por la escasa equidad que logra como por su bajo rendimiento.
Otro ejemplo concreto del análisis de ciertas variables que parecen incidir en los resultados de los estudiantes se encuentra en las conclusiones sobre la autonomía escolar que aporta el estudio PISA. A partir de la información recogida en dicho estudio, se ha elaborado la Tabla 4, que sintetiza la relación existente entre los resultados que logran los alumnos y el porcentaje de directores escolares que tienen al menos alguna responsabilidad en una serie de áreas de actuación educativa.
Lo que la tabla manifiesta es que no se puede afirmar taxativamente que una mayor o menor autonomía escolar produzca globalmente mejores o peores resultados de los estudiantes. Como puede apreciarse a partir de esos datos, la autonomía escolar es una realidad que abarca diversas dimensiones y no todas ellas tienen la misma incidencia sobre el rendimiento escolar. En términos generales, podría decirse que la autonomía en los aspectos relativos a la organización curricular, la vida y el ambiente del centro escolar y la gestión de sus recursos presupuestarios parece ejercer un mayor efecto sobre el rendimiento que la autonomía en lo relativo a la gestión del personal docente. Así, cabría concluir que ciertas dimensiones de la autonomía escolar merecen un especial apoyo por parte de las autoridades educativas, mientras que hay otros aspectos en que la acción no es tan prioritaria.
Procesos de centro escolar
Este último tipo de reflexiones conducen directamente al segundo grupo de variables intrínsecas, las relacionadas con la vida de los centros escolares. Son los que aquí se denominan procesos de centro escolar. Los procesos de centro y los de aula, que serán objeto de comentario en el apartado siguiente, constituyen en conjunto lo que habitualmente se conoce como procesos escolares. Esta dimensión constituye un nivel intermedio entre el contexto socioeconómico y cultural y los resultados educativos. O sea, la acción desarrollada por los profesores y por otros miembros de la comunidad escolar, mediante el desarrollo de unos determinados procesos y actuaciones, es la que explica que se logren unos determinados resultados, a partir de unas determinadas condiciones de partida. De ahí deriva su importancia y el interés que el tema despierta en los investigadores (Marchesi y Martín, 1998).
La importancia de este tipo de procesos es indudable, aunque haya que situarla en su justo término. Frente a la tendencia inaugurada por la publicación del célebre Informe Coleman (Coleman et al., 1966) y por la sociología crítica que insiste en la reproducción (Bourideu y Passeron, 1970), la investigación educativa reciente ha puesto de manifiesto que no todos los resultados de la educación pueden explicarse exclusivamente en función de las fuerzas reproductoras del contexto, aunque su presencia y su impacto sean innegables. Así, un estudio reciente en el que se revisaron veinticuatro investigaciones y se realizaron varios metaanálisis llegaba a la conclusión de que entre un 12% y un 15% de la varianza en los resultados que alcanzan los alumnos es debida a la acción del centro escolar (Teddlie, Reynolds y Sammons, 2000). Se trata de un porcentaje que, sin ser demasiado elevado, no resulta despreciable y que está en línea con lo que otros investigadores han concluido. Podríamos decir que ese es el espacio propio de actuación de los centros educativos y de los profesores y que, por tanto, tiene notable importancia desde el punto de vista pedagógico.
Los estudios de evaluación, tanto los realizados en un plano nacional como los internacionales, conceden importancia a los procesos de centro y de aula. Algunos proyectos concretos, como el desarrollado en España durante los últimos años por el Instituto IDEA, prestan notable atención a su estudio, en la convicción de que constituyen el ámbito privilegiado de cualquier plan de actuación para la mejora de la educación (Marchesi y Martín, 2002). Los estudios internacionales también han incluido este tipo de procesos entre sus variables de análisis, aunque con unos enfoques y una formulación ligeramente diferente de uno a otro caso.
Hablando concretamente de los procesos de centro escolar, hemos revisado las variables de proceso contempladas por los estudios desarrollados en la última década por la IEA, OCDE y UNESCO, con el fin de identificar las que parecen guardar mayor relación con el rendimiento. Entre todas las variables incluidas en esos estudios, las que parecen gozar de un mayor consenso son las siguientes:
a) Liderazgo pedagógico, entendido como la existencia de una dirección con autoridad pedagógica reconocida, capaz de promover un buen funcionamiento del centro escolar, facilitadora del logro de un buen clima escolar y eficaz en su funcionamiento cotidiano.
b) Coordinación pedagógica y curricular entre los profesores y las etapas, con el fin de asegurar una coherencia interna en la enseñanza proporcionada y en los medios puestos en juego para lograr el aprendizaje.
c) Implicación familiar en la escuela, como señal de la participación de los padres en la educación de sus hijos y como compromiso con un estilo de actuación capaz de asegurar la coherencia educativa entre la escuela y el hogar.
d) Buen ambiente o clima escolar, entendido como la existencia de unas buenas relaciones entre los distintos miembros de la comunidad escolar (estudiantes, profesores, familias), capaz de facilitar la tarea educativa.
e) Formación y estabilidad del profesorado, ya que existe la certeza de que la actuación de los docentes constituye un elemento capital para el logro de una enseñanza de calidad, y que esa actuación no puede ser positiva si no se dan unas condiciones favorables, tanto en lo que se refiere a la capacitación de los profesores, como a su seguridad laboral, una de cuyas variables fundamentales es la estabilidad.
f) Tamaño adecuado de la escuela, que no siempre resulta fácil de determinar, pero que tiene relación con la existencia de una ambiente diversificado y rico (que exige unas dimensiones mínimas) pero no masificado (que impone unos límites superiores).
El modo que los distintos estudios internacionales tienen de formular y de explorar el efecto de estas variables difiere de unos a otros casos, pero existe una notable coincidencia en la elección de las áreas abarcadas. Aún a falta de realizar un análisis comparado detenido de esas formulaciones y aproximaciones, cuestión que tiene indudable interés, se aprecia la existencia de unas áreas prioritarias de análisis en dichos estudios. No obstante, hay que señalar que la dispersión de aproximaciones utilizadas por las diferentes organizaciones que los promueven, la dificultad que plantea la definición común de variables como las mencionadas para sistemas educativos tan distintos entre sí y la limitada consistencia de los análisis realizados, obligan a seguir trabajando en este campo, como hacen en la actualidad tanto la IEA como la OCDE en sus estudios recientes.
Procesos de aula
Las variables referidas a los procesos de centro se complementan estrechamente con las relativas a los que hemos denominado procesos de aula. Si las variables anteriores configuraban un campo complejo y multidimensional, en el que no era fácil encontrar explicaciones unívocas y obligaba a combinarlas en análisis multifactoriales, esa complejidad se acentúa incluso más cuando descendemos al plano de las prácticas educativas en el aula.
Como afirma Elena Martín, lo que sucede en una clase se caracteriza por la multidimensionalidad, la simultaneidad, la inmediatez, la impredictibilidad, la singularidad y el carácter valorativo de las actividades (Martín, 2002). Por ese motivo, todos los estudios que intentan valorar el efecto de este tipo de variables en el rendimiento de ol s alumnos tienen que reducir su foco de atención y centrarse en algunas variables concretas.
Si eso sucede en las investigaciones que adoptan el aula como objeto de estudio, aún con mayor motivo se ven obligados a hacerlo los estudios internacionales, dada la distancia que mantienen con las aulas y la diversidad de estilos de configuración y funcionamiento de éstas que existen en el plano internacional. Por esa razón, estos estudios se centran en un número limitado de variables, seleccionando aquellas que la investigación educativa parece reconocer como más potentes a la hora de explicar los resultados.
Entre las variables relativas a los procesos de aula que se han tomado en consideración en los estudios internacionales realizados durante la última década y que parecen producir unos resultados más prometedores, hemos identificado las siguientes:
a) Tiempo dedicado a la enseñanza, entendido tanto en el sentido del tiempo efectivamente dedicado a las tareas docentes en la escuela (excluyendo, por ejemplo, interrupciones no deseadas, que en algún caso llegan a ser considerables), como el tiempo dedicado a tareas escolares en el hogar.
b) Estructuración de la enseñanza, entendida como una organización adecuada y cognitivamente estimulante de las tareas de aprendizaje por parte del docente.
c) Oportunidad de aprender, entendida en el sentido en que la IEA desarrolló este concepto hace tiempo, esto es, como la exposición real a la enseñanza (en el sentido del currículo efectivamente impartido), que proporciona al estudiante una oportunidad de desarrollar su aprendizaje.
d) Altas expectativas de rendimiento por parte de los profesores, factor que la investigación educativa ha demostrado cumplidamente que va ligado a unos mejores resultados de los estudiantes.
e) Evaluación continua y control del progreso de los alumnos, en el sentido de ofrecer una realimentación permanente del proceso de enseñanza y aprendizaje y de ayudar a los alumnos a valorar por sí mismos su progreso.
f) Refuerzo positivo al aprendizaje, entendido de diversos modos, no necesariamente en su concepción conductista, y que tiene que ver con la introducción de estímulos para continuar en la tarea y para esforzarse en conseguir mejores resultados.
g) Proporción adecuada de alumnos por profesor que, al igual que sucedía con el tamaño de
la escuela, no es una función lineal, sino que tiene un mínimo y un máximo convenientes,
por debajo o por encima de los cuales la tarea docente y el aprendizaje resultan menos estimulantes o más difíciles.
El problema que plantean todas estas variables, tanto las referidas a procesos de centro como a procesos de aula, radica en la dificultad que implica su investigación empírica. Los docentes y los estudiosos de la educación saben que se trata de variables muy influyentes en el desarrollo de las actividades escolares y, en consecuencia, en los resultados logrados por los alumnos. Pero dada su relación multidimensional, no resulta sencillo medir ni valorar su efecto concreto.
Una de las líneas de investigación que ha pretendido estimar el efecto de este tipo de variables sobre el rendimiento académico es la que se conoce como estudio de la eficacia escolar. Se trata de una línea de trabajo con cierta tradición, pero que se ha renovado en los últimos años (Scheerens, 1992). Entre los principales autores que han contribuido a renovarla merece la pena citar al holandés Jaap Scheerens. En un trabajo publicado en 1996, se preguntaba por la aportación que el movimiento de la eficacia escolar puede realizar para la gestión y la mejora de la educación (Scheerens, 1996). Sus conclusiones no eran excesivamente esperanzadoras. Tras realizar diversos análisis empíricos a partir de investigaciones propias y de otros autores, llegaba a la conclusión de que muchas de las variables sobre cuyo efecto existe un consenso bastante generalizado no disfrutaban de una base empírica suficiente, como recoge la Tabla 5.
La lectura correcta de esta tabla no implica que dichas variables deban ser despreciadas ni que su efecto sea irrelevante. Sabemos que muchas de ellas desempeñan un papel importante en la actividad escolar. El problema está en que no resulta fácil cuantificarlas. Y si esa dificultad surge en estudios de pequeña escala, aún es mayor en los estudios internacionales, que adoptan una perspectiva muy amplia. Por ese motivo, los resultados que hasta ahora ha proporcionado en este campo la investigación internacional del rendimiento son limitados. Aunque todas las organizaciones que trabajan en este campo están desarrollando modelos finos y sofisticados para valorar el impacto de las variables intrínsecas sobre el rendimiento, todavía no contamos con aproximaciones unánimemente aceptadas.
Suscribirse a:
Entradas (Atom)