domingo, 29 de agosto de 2010

PISA 2006 Iberoamérica Organización y funcionamiento de las escuelas

Introducción. Información disponible en pisa sobre la Organización y el funcionamiento de las escuelas
Según señala el informe internacional correspondiente a la aplicación de 2006, los estudios PISA han examinado un conjunto de características de los centros escolares siguiendo tres líneas de investigación. La primera se centra en las características de la organización y la gestión de los centros (autonomía, liderazgo, prácticas de evaluación, implicación de los padres, entre otras). La segunda agrupa los estudios sobre los recursos humanos y materiales educativos (proporción entre alumnos y profesores, calidad de las infraestructuras físicas del colegio, recursos educativos, etc.). Y por último, la tercera línea se centra en los procesos educativos en el aula (oportunidades de aprendizaje de los alumnos, tiempo que emplean en las tareas, control del rendimiento en clase, etc.). En el presente capítulo se analiza la información que aporta PISA sobre algunos de los aspectos de las escuelas y las aulas en las que los alumnos evaluados desarrollan las competencias básicas, como los relativos a la organización de las escuelas, los criterios de admisión de los alumnos, el grado de autonomía y

Organización y funcionamiento de las escuelas



corresponsabilidad de equipos directivos y comunidades educativas, y los recursos de los centros. A esta información se añade la que ofrecen los alumnos sobre sus actitudes ante las ciencias y la de los padres sobre su percepción del funcionamiento de las escuelas. El análisis de los resultados que se ha realizado en el capítulo anterior, en el que se han considerado los factores asociados a los mismos, pone de manifiesto la importancia que para unos buenos resultados educativos tienen la organización y el funcionamiento de las escuelas, el trabajo de los equipos docentes y de cada uno de los profesores y lo que ocurre día a día en el aula. Sin embargo, conocer estos aspectos del funcionamiento de las escuelas y de las aulas es tan importante como complejo, especialmente si se abordan estas cuestiones solo desde la evaluación externa y con los instrumentos que PISA utiliza, es decir, cuestionarios auto-respondidos. Como se ha señalado, PISA ofrece información sobre estas cuestiones en el capítulo 5 del informe internacional. Lo que allí se expone se basa fundamentalmente en cuestionarios respondidos por directores y alumnos, y en menor medida en cuestionarios dirigidos a los padres. Por esta razón, no se ha querido limitar este informe al análisis sobre estos factores que se hace en el capítulo anterior. Se trata de complementar aquí dicho análisis, debido a su relevancia. No obstante, es necesario subrayar que la información que se ofrece en este capítulo debe tomarse con cautela. En primer lugar, porque no son muchos los directores consultados por cada país (excepto en algunos casos). En segundo lugar, en aquellos sistemas educativos en los que la enseñanza se imparte en diversas instituciones educativas a lo largo de la vida escolar, el entorno actual de aprendizaje y los datos contextuales recogidos en PISA de los alumnos de 15 años solo pueden explicar parcialmente los resultados de los alumnos, ya que no considera directores, profesores y compañeros de años anteriores. Por último, el estudio de los recursos de un centro requiere una precisión que es posible que las encuestas no logren recoger, ya que los directores pueden no disponer del tiempo o los medios para recoger tales datos. Asimismo, sería importante poder asociar recursos a determinados estudiantes más que asociarlos a todo un centro. Hay que insistir, por tanto, en la prudencia al considerar estos datos presentados por el informe internacional y aquí recogidos, sin perder de vista la importancia de los aspectos a los que se refieren. Por otra parte, se ha señalado que es complejo medir los procesos educativos en los centros y en las aulas mediante pruebas estandarizadas externas. Pero no menos complejo es recurrir a evaluaciones, opiniones y percepciones de los propios centros y profesores que, por su carácter eminentemente ligado a cada contexto, no son comparables internacionalmente, y ni siquiera entre escuelas o etapas educativas y equipos de profesores de un mismo país. Por tanto, debemos tener presente que se trata de información complementaria importante que puede iluminar los resultados, aunque se tomen las precauciones del caso. Esta es la razón que justifica este capítulo en el Informe del GIP.

La cautela señalada exige matizar cualquier relación entre los resultados de los cuestionarios y los de las pruebas de los alumnos. Por esta razón, en este capítulo se renuncia a relacionar directamente la organización y el entorno de las escuelas con el nivel de rendimiento de los alumnos. Se abordan aspectos relativos a la política de admisión de alumnos por parte de las escuelas, la autonomía de que disponen los directores y órganos de dirección de las escuelas y los recursos que se ponen a su disposición, así como percepciones de alumnos y padres. No se relacionaron procesos de aula con aspectos del informe por la debilidad de la información. No obstante, este asunto es de la mayor importancia y el GIP quiere dejar constancia de lo valioso que sería para PISA plantearse instrumentos más adecuados para mejorar la información que sobre los procesos educativos se puede obtener en el contexto de una evaluación externa.

Políticas de admisión de los alumnos en las escuelas
Para conocer el grado de selección de los alumnos que realizan las escuelas se preguntó a los directores sobre las políticas de admisión que aplicaban en el centro. Entre otros criterios, se recogen a continuación el grado en que se toman en consideración para la admisión de alumnos el área de residencia, las calificaciones de los alumnos, el deseo o necesidad de un programa especial y la existencia de familiares matriculados en el centro. Entre estos criterios destaca claramente la admisión en función del área de residencia de los estudiantes, por ser el más frecuente en los países de la OCDE (47 % de los alumnos), seguido de las calificaciones de los alumnos (27 %) y del deseo de realizar un programa especial (19 %) (Gráficos 5.1 y 5.2)1. Gráfico 5.1 Políticas de admisión en los centros escolares Porcentaje de alumnos matriculados: En función de residir en un área particular

El deseo o la necesidad de un alumno de cursar un programa específico es el siguiente criterio más utilizado en la OCDE (19 %). Portugal es el país del grupo donde más alumnos hay matriculados en función de este criterio (41 %). Por encima del promedio de la OCDE también se sitúan Colombia y Argentina (20 % de los alumnos en los dos países), mientras que en el resto de países del GIP este criterio de admisión es menos frecuente (en torno al 10 %). Finalmente, España es el país donde el criterio de existencia de familiares matriculados en el mismo centro es el más utilizado en la admisión de alumnos. Portugal y Argentina también aplican este criterio de admisión con más frecuencia que los países de la OCDE. Por debajo de esta media se sitúan el resto de países iberoamericanos, siendo Colombia (5 %), Brasil (6 %) y Uruguay (7 %) los que menos habitualmente aplican esta política (Gráfico 5.2). Puede concluirse que, en general, la selección de alumnos por parte de las escuelas por motivos distintos que los de residir en el área de residencia no es determinante en los países de la OCDE, si se descuentan aquellos con un elevado porcentaje de centros privados o los países asiáticos. Solo Chile y México entre los países del GIP dan un peso relativo a las calificaciones anteriores de los alumnos y prácticamente solo en España es un factor determinante el tener hermanos en el centro.

Percepción de los directores sobre la autonomía de sus escuelas y asunción de responsabilidades por parte de la dirección y del conjunto de la comunidad educativa
Este es uno de los factores mejor analizados por PISA. Hay que destacar también que en este asunto la información de los directores es seguramente la mejor fuente posible y, desde luego, es cualificada. Para medir el grado en el que la comunidad educativa de una escuela participa en la toma de decisiones relativas a la gestión del centro, PISA pregunta a los directores de los colegios el grado de responsabilidad y de influencia de las partes interesadas (el propio director, la junta de gobierno del colegio, grupos de directores, asociaciones de padres y de estudiantes…) en la toma de decisiones. A continuación, se analiza la autonomía de la que disponen los propios directores de los centros en la toma de decisiones relacionadas con el profesorado, el alumnado, las enseñanzas y el presupuesto. Con respecto a la autonomía de la que disponen los directores en relación con el profesorado (tanto en relación con su contratación como con la posibilidad de una mejora salarial), se observa que los directores de los países del GIP, excepto Chile, tienen menos autonomía que el resto de países de la OCDE (Gráfico 5.3). Y, cuando esta autonomía existe, se concentra, al menos en algunos de los países GIP como España y Chile, en los centros privados. Gráfico 5.3 Autonomía de los centros escolares Porcentaje de alumnos en centros cuyo director informó que tiene autonomía a la hora de: Contratar al profesorado


Respecto a la contratación de los profesores de sus escuelas y en los salarios que perciben, las situaciones de los países del GIP son diversas y la de los países utilizados en la comparación también. No parece poder establecerse de modo concluyente ninguna relación entre esta capacidad de decisión de los directores y los promedios de los países en las pruebas PISA, pues hay resultados en los extremos en todos los casos considerados. Si se compara la autonomía del director en las decisiones relativas al profesorado y en aquellas relativas al alumnado, se observa una mayor flexibilidad de los directores de la OCDE en lo que respecta a los alumnos (admisión, disciplina y evaluación) que en aquellas relativas al profesorado (Gráficos 5.3 y 5.4). Este es el patrón al que responden también los países del GIP. La autonomía de los directivos con los alumnos y sus circunstancias es considerablemente mayor. Entre el 63 % y el 82 % de los alumnos que han participado en PISA 2006 se encuentra en centros en la que la dirección toma decisiones relativas a las cuestiones de admisión, disciplina o evaluación de los estudiantes. Con relación a la admisión de alumnos, los directores de los centros de Brasil, Argentina, Colombia y Chile poseen más autonomía que la media de los países de la OCDE (76 %,79 %, 80 % y 91 %, respectivamente, frente al 74 % de la OCDE), mientras que los de Uruguay y México se sitúan por debajo de esta media (41 % y 67 %, respectivamente). Autonomía para la admisión de los alumnos equivale a autoridad para seleccionar estudiantes para su matrícula. De hecho, países como Chile, Argentina y México están entre los países que menos matriculan según el lugar de residencia y que más seleccionan según el desempeño académico. El 82 % de los alumnos de la OCDE asisten a colegios donde los directores disponen de autonomía en la disciplina de los alumnos. En el GIP, Chile, México y Colombia superan este porcentaje con un 85 %, 89 % y 96 %, respectivamente. En el caso del establecimiento de normas de evaluación, Chile es el único país que presenta un porcentaje superior al resto de países de la OCDE (63 %). Aunque por debajo de esta media Brasil, México y Colombia presentan porcentajes próximos (56 %, 58 % y 61 %, respectivamente), mientras que Uruguay y Argentina se alejan significativamente de ella (20 % y 42 %, respectivamente). Dentro de los países del GIP, Uruguay, España y Portugal presentan los porcentajes más moderados de autonomía en todos los asuntos relacionados con la admisión, la disciplina y la evaluación de los alumnos, y Chile y Colombia los más elevados. Tampoco en este caso, considerando los países del GIP o de la muestra, puede concluirse una relación evidente entre autonomía de los directores y resultados de los países. En el Gráfico 5.5 se recogen los porcentajes sobre la autonomía de los directores en relación con las enseñanzas ofrecidas y la elaboración del presupuesto. Solo los directores de Chile y Colombia ostentan una autonomía mayor en la decisión sobre las enseñanzas ofrecidas que el resto de directores de la OCDE (74 % y 77 %, respectivamente, frente a un promedio de 53 %). Argentina presenta un porcentaje cercano a la media (52 %), mientras que México, Uruguay y Brasil se alejan considerablemente de la media de la OCDE (16 %, 18 % y 29 %). El promedio de alumnos de la OCDE escolarizados en centros cuyos directores dicen tener autonomía con relación a la elaboración del presupuesto se sitúa en el 57 %, siendo Colombia el país iberoamericano con más autonomía en este campo (88 %). México y Chile también declaran mayor autonomía que la media de los países de la OCDE (58 % y 62 %, respectivamente). De forma general se concluye que Chile es el único país del GIP en el que los directores disponen en todos los casos (con relación a los profesores, a los alumnos, a las decisiones sobre las enseñanzas ofrecidas y a la elaboración del presupuesto) de una mayor autonomía que el promedio de países de la OCDE, mientras que Uruguay se halla sistemáticamente por debajo de este promedio. Debe extremarse la prudencia al considerar el efecto de la autonomía de los directores sobre las enseñanzas y los resultados de los alumnos (véanse, por ejemplo, los resultados de Finlandia en todos los gráficos). Como se ha destacado anteriormente, la relación entre los diferentes aspectos de la autonomía de los centros en un país y el rendimiento de los estudiantes puede no ser muy elevada. Sin embargo, cuando PISA estudia esta relación a través de un análisis multinivel y con todos los países de la muestra, concluye que, en general, el rendimiento medio suele ser más elevado en aquellos países en que los directores informan de un grado más alto de autonomía en la mayoría de los aspectos de la toma de decisiones mencionados anteriormente. A continuación se describe la influencia que ejercen las juntas de gobierno de las escuelas en las decisiones relativas a las políticas de personal, a la elaboración y asignación de presupuestos y al contenido educativo, siempre según las respuestas de los directores. En el conjunto de países de la OCDE, la junta directiva de los centros participa sobre todo en la elaboración de presupuestos (62 %), y en menor medida en las políticas de personal (34 %) y en la decisión sobre contenidos educativos (22 %) (Gráfico 5.6). La influencia directa de las juntas directivas en las políticas de personal (contrataciones y despidos) es muy desigual entre los países del GIP. En Colombia, un porcentaje muy bajo (6 %) de estudiantes de 15 años asiste a centros privados cuyo director declara que la junta directiva ejerce una influencia directa en las políticas de personal. En España y Uruguay el porcentaje se sitúa alrededor del 20 %. En Brasil, Portugal, Argentina y México el porcentaje es superior al de la media de la OCDE, en torno al 40 %. Y, por último, en Chile la junta directiva ejerce claramente una influencia directa en este aspecto (75 %). En Chile, Portugal, Colombia y España más del 70 % de los estudiantes asiste a centros cuyos directores perciben una fuerte influencia de la junta en la elaboración y asignación de presupuestos, mientras que en Uruguay este porcentaje está muy por debajo de la media del GIP (18 %).

Nuevamente hay que tener en cuenta la gran diferencia que existe en muchos sistemas educativos entre centros públicos y privados en estos aspectos. En la mayoría de los países del GIP (salvo en Portugal, Uruguay y España) la influencia de la junta directiva del centro en el contenido educativo es más importante que en los países de la OCDE (22 %). Además, en Chile, Colombia y Brasil más del 50 % de los estudiantes asiste a centros en los que existe una influencia directa de la junta de gobierno en la definición de los contenidos educativos que se imparten en el centro.

viernes, 20 de agosto de 2010

Pisa 2006 países participantes y resultados

El estudio PISA
Características principales del estudio y países participantes
El Informe GIP y la comparabilidad de los resultados entre países
Características principales del Estudio Y países participantes
La OCDE inició el proyecto PISA en 1997 con el propósito de ofrecer resultados sobre el rendimiento educativo de los alumnos de 15 años. Se trataba de que estos resultados pudieran completar el panorama de indicadores educativos que viene publicando la OCDE desde 1992. Pero, sobre todo, PISA representa hoy un compromiso de los gobiernos para estudiar la evolución de los resultados de los sistemas educativos a través de los logros de los alumnos. Además, trata de proporcionar nuevas bases para el diálogo político y la colaboración en la definición y adopción de los objetivos educativos y de las competencias que son relevantes para la vida adulta. Por otra parte, la OCDE, en colaboración con todos los países implicados en PISA, ha puesto en marcha un riguroso y extenso plan de trabajo, que incluye un sólido apoyo técnico a cargo de un consorcio internacional de instituciones con amplia experiencia en la evaluación y la investigación educativas. Este consorcio internacional está dirigido por el Consejo Australiano para la Investigación Educativa (Australian Council for Educational Research, ACER). Los otros socios del consorcio son el Instituto Nacional Holandés para la Medición Educativa (National Institute for Educational Measurement, Citogroep), el Instituto Nacional Japonés para la Investigación Educativa (National Institute for Educational Policy Research, NIER), el Servicio de Evaluación Educativa de Estados Unidos (Educational Testing Service, ETS) y la empresa WESTAT, también de Estados Unidos. Al mismo tiempo, el trabajo de coordinación, dirección y gestión

Estudio PISA 2006 Paises Participantes y Result a Dos


del proyecto se reparte entre el Secretariado, que bajo la responsabilidad de la división de indicadores coordina los trabajos, impulsa el proyecto y garantiza su realización, el Consejo de Gobierno (PISA Governing Board), que en sus dos reuniones anuales establece las directrices de actuación y adopta las decisiones oportunas, los coordinadores nacionales (National Project Managers) y las unidades correspondientes de cada país. PISA evalúa los conocimientos y las destrezas adquiridas por los alumnos hasta los 15 años; la evaluación de los estudiantes de esta edad y no en un determinado grado ha resultado muy positiva para facilitar la comparación entre sistemas educativos muy diferentes. El estudio se centra en la comprensión lectora, la competencia matemática y la científica. Las tres competencias básicas son evaluadas en cada ciclo de PISA, que se realiza cada tres años. Esto permite apreciar la evolución en el tiempo del rendimiento de los alumnos en las tres competencias evaluadas, pero una de ellas ocupa en cada caso una mayor atención, una prueba más amplia y más tiempo de evaluación. Hay que resaltar que el informe internacional utiliza el término competencia en este sentido amplio (competencia matemática, competencia científica o reading literacy), que incluye distintos procesos, contenidos y, en su caso, actitudes. Pero en ciencias también usa el término de competencias para referirse a los diferentes procesos científicos que se consideran en la competencia básica científica: identificar cuestiones científicas, explicar fenómenos científicamente y utilizar evidencia científica. En este informe aparece el concepto con ambos sentidos, particularmente en el capítulo 3, en el que se trata de precisar un poco más el uso referido a los procesos. Esperamos que esta aclaración evite la posible confusión, sobre todo si se tiene en cuenta el contexto en el que se utiliza en cada caso, como en los informes PISA de OCDE. La idea de considerar en la evaluación las competencias básicas en lugar de los aspectos exclusivamente cognitivos de las distintas áreas del currículo se fue generalizando a partir de los años noventa. El Informe a la UNESCO de la Comisión Internacional sobre la Educación para el siglo xxi, presidida por Jacques Delors –La educación encierra un tesoro (UNESCO, 1996)–, planteó cuatro pilares que se consideran fundamentales para la educación: aprender a conocer (dominar los instrumentos del conocimiento), aprender a hacer (adquirir las competencias personales para desenvolverse como ciudadano), aprender a ser (alcanzar el máximo desarrollo posible como persona) y aprender a convivir y a trabajar en comunidad. Además, el Informe destacó el valor y la importancia del desarrollo emocional de los individuos y cómo se deben fomentar los aprendizajes en este sentido.
La aproximación al concepto de competencia básica que utiliza PISA se realizó en el proyecto DeSeCo de OCDE. A esta preocupación por la adquisición de las competencias clave se han incorporado también la Unión Europea y diferentes países, que las han introducido en su currículo, como España, Portugal y Francia, atendiendo a las recomendaciones del Parlamento Europeo y del Consejo sobre las competencias clave para el aprendizaje permanente (UE, 2006), que señala como competencias clave aquellas que todas las personas precisan para su realización y desarrollo personales, así como para la ciudadanía activa, la inclusión social y el empleo. El enfoque final adoptado por los países participantes en PISA tiene que ver con la capacidad de los estudiantes para extrapolar lo aprendido y aplicar sus conocimientos a nuevas situaciones y contextos. No se trata de evaluar qué se espera que los estudiantes hayan aprendido, sino con qué éxito pueden extrapolar lo que han aprendido y aplicar sus conocimientos y habilidades en nuevos contextos (OCDE, 2007). Los grupos de expertos e instituciones internacionales que colaboran con PISA han elaborado un marco de referencia para cada competencia y los objetivos de evaluación (OCDE, 2006), en los que se definen las poblaciones muestrales, los ejercicios, las dimensiones de las competencias, los contextos de los aprendizajes y las circunstancias de las escuelas, así como los análisis y los informes que se ofrecen como resultado del estudio. El estudio se realiza sobre una muestra representativa de alumnos de 15 años de cada país, estado federado, región o comunidad participante. Las especificaciones internacionales de muestreo exigen un mínimo de 4.500 alumnos y de 150 centros docentes por país, y 50 centros por estado, región o comunidad. El muestreo puede hacerse proporcional a un cierto número de estratos, y el plan de muestreo de cada país debe ser negociado previamente con el Consorcio Internacional. PISA recoge información de diverso tipo. Por un lado, los alumnos realizan pruebas que duran aproximadamente dos horas y media en formato papel. A partir de 2009 habrá una opción que agrega una prueba en formato electrónico. Estas pruebas combinan preguntas de elección múltiple y preguntas abiertas, organizadas en unidades basadas en un pasaje escrito o en un gráfico que plantea una situación de la vida real. Los marcos especifican los porcentajes deseados según el tipo de respuesta solicitada. Se recurre al muestreo matricial para garantizar que se valoran adecuadamente todas las dimensiones definidas para cada competencia, al tiempo que cada ejercicio individual no sea excesivamente largo para cada alumno. En consecuencia, se han elaborado cuadernos distintos para los alumnos con diferentes bloques de cuestiones en cada una de las formas, de modo que todos los bloques aparecen en posiciones inicial, final e intermedia dentro de algún cuaderno. Por otro lado, PISA propone cuestionarios de contexto que son diligenciados por los alumnos, los directores de los centros y, opcionalmente, las familias. Además, PISA tiene en cuenta otros factores asociados al rendimiento de los alumnos, como sus actitudes y compromiso y las características y recursos de los centros. En el capítulo 3 del presente informe se abordan los resultados de PISA 2006. Como allí se señala, PISA trata de garantizar que estos se expresen en una medida que permite la comparación entre países y en el tiempo. Los resultados que miden el rendimiento de los alumnos se han calculado según la Teoría de Respuesta al Ítem y se han presentado mediante escalas centradas sobre la media de los países pertenecientes a la OCDE e invariantes entre los distintos ciclos de PISA. Todas las escalas de PISA se construyen de modo que la media de los países de la OCDE se hace equivaler a 500 puntos y la desviación típica a 100. Para dar un mayor sentido educativo a la dispersión numérica de las puntuaciones que se producen en PISA, estas se agrupan en niveles de rendimiento. Cada nivel de rendimiento se asocia con una descripción de las competencias y capacidades que típicamente demuestran los alumnos que alcanzan el rango de puntuaciones propio del nivel. Los niveles de rendimiento resultantes, que se describen en el capítulo 3, son los siguientes:
El estudio PISA también recoge importante información de contexto de los propios alumnos y de los directores de los centros educativos. Esta información, puesta en relación con los resultados de las pruebas de rendimiento, ofrece una rica comparación de los rasgos que caracterizan a los sistemas educativos de los países participantes. Además, PISA ofrece información y resultados según el sexo, la historia académica de los alumnos y sus circunstancias personales, así como la titularidad de los centros a los que están adscritos y la autonomía y gestión de los mismos. La organización y dirección cooperativa de PISA ha supuesto la participación de 32 países en 2000, 41 en 2003, 57 en 2006 y en 2009 serán 64, sin contar unos 19 más en los que se hará una aplicación especial en 2010. La relación completa de países participantes en 2006 se puede ver en seguida, en el Gráfico 1.1.y en la Tabla 1.2. Gráfico 1.1 Países participantes en PISA 2009
En resumen, PISA tiene como finalidad principal la de ofrecer resultados de los alumnos para valorar a través de ellos el funcionamiento de los distintos sistemas educativos. Asimismo, considera las competencias básicas alcanzadas por los alumnos a la edad de 15 de años y permite la comparación de los resultados entre los países, estados federados, regiones o comunidades autónomas participantes. Estas son, también para los países iberoamericanos, las principales ventajas de participar en este estudio. Cabe resaltar la utilidad de la comparación de los resultados para la región. Los datos del conjunto de la región pueden ser interpretados a la luz de los resultados de otras regiones de características muy diferentes. No obstante, las características y la situación de los países latinoamericanos y sus sistemas educativos son tales que, como queda de manifiesto en este Informe, requieren un esfuerzo complementario de contextualización y de referencia, que el ámbito de países que ofrece PISA amplía notablemente.

El informe gip Y la comparabilidad de los resultados entre países
El Grupo Iberoamericano de PISA, GIP, nació en 2005 con el propósito de facilitar la cooperación, la reflexión y la ayuda mutua entre los países Iberoamericanos que participan en PISA, mejorar su contribución a la toma de decisiones técnicas y de política educativa del estudio, enriquecer los trabajos científicos que PISA exige e incorporar a los planteamientos, los análisis, la toma de decisiones y los propósitos de PISA, la sensibilidad y la consideración de las particulares circunstancias e intereses educativos de la región. Una de las virtudes más destacadas del Informe GIP es precisamente la de hacer posible la comparación entre los resultados obtenidos por los distintos países y regiones participantes, independientemente del tamaño de sus poblaciones, de los currículos impartidos o de otras circunstancias fundamentales de sus sistemas educativos. El Informe GIP trata de ofrecer, precisamente, una perspectiva comparada de los resultados en PISA 2006 de los países iberoamericanos participantes en el mismo. Toda la investigación científica supone un ejercicio de comparación. Sartori y Morlino (1994) afirman que la comparación permite ampliar los criterios de evaluación de una determinada teoría o hipótesis, especificar las condiciones en las cuales las proposiciones resultan correctas y alertar sobre posibles excepciones que surgen de contextos específicos. Las investigaciones con mayor potencialidad comparativa son aquellas que analizan similares intervenciones, resultados o procesos entre países, utilizando metodologías y datos análogos (Carnoy, 2006). En cuanto a qué comparar, en el campo de la educación la pregunta esencial apunta a establecer el conjunto de factores que favorecen ciertos resultados. Son frecuentes las discusiones acerca de si en la determinación de estos resultados debe priorizarse la calidad de la educación o los niveles de equidad social en los logros. Sin embargo, la experiencia demuestra que los países que han alcanzado los mejores resultados académicos son los que ostentan los más altos niveles de equidad, por lo que parece imprescindible considerar ambas dimensiones de forma conjunta. La selección de un grupo de países como referencia para la comparación puede responder a la cercanía cultural, a una historia o un contexto social, económico o político más o menos comunes, o a la confluencia de intereses a la hora de evaluar la política educativa en los distintos países. La conformación del GIP responde, en buena medida, a estos criterios. De todos modos, aun en este caso, el volumen de información internacional comparable del que se dispone en la actualidad permite tomar otras experiencias como parámetros relevantes de comparación (de ahí la inclusión de países externos al GIP). Para el presente informe, los países miembros del GIP han decidido realizar la comparación del siguiente modo: • Países del GIP: Argentina, Brasil, Chile, Colombia, España, México, Portugal y Uruguay. Se comparan con los de referencia.
• Países de referencia: Finlandia, Canadá, Estados Unidos, Francia, Grecia, Italia, Japón, Corea, Kirguizistán y Qatar y promedios OCDE. • Regiones brasileñas, españolas y mexicanas, que se comparan con los promedios OCDE y los de sus respectivos países. Como en los capítulos siguientes no se hacen más referencias al conjunto de los países participantes en PISA 2006 y sus resultados globales, se ofrece en la siguiente tabla un resumen de dichos resultados en ciencias, matemáticas y lectura en todos los países.

Un aspecto clave para la colaboración entre los miembros del GIP está siendo la capacitación científica y técnica de los equipos responsables del estudio en cada país. La elaboración del presente informe ha constituido un excelente medio para la cooperación entre los países iberoamericanos y ha proporcionado a todos los responsables de PISA que han colaborado en él la oportunidad de conocer mejor el estudio y aprender sobre la realidad educativa de los países del GIP y sus regiones.

miércoles, 11 de agosto de 2010

PISA 2006 Latinoamérica. Conclusiones y una mirada al futuro


Vamos a resumir los aspectos más destacados de los resultados de los alumnos de los países iberoamericanos que han participado en PISA 2006 y su comparación con los resultados internacionales. Asimismo, consideramos que la información que PISA ofrece es muy valiosa para un mejor conocimiento del funcionamiento de nuestros sistemas educativos. No obstante, hay ciertos aspectos que aparecen como muy influyentes en los resultados de los alumnos, sobre los que PISA ofrece información insuficiente.




Las aportaciones de Pisa a la evaluación y el conocimiento de los sistemas educativos


Como ha sido expuesto en secciones anteriores de este documento, y en otros de la OCDE, varios son los objetivos planteados por PISA 2006. En primer lugar, PISA evalúa los conocimientos y las destrezas adquiridas por los alumnos de 15 años, entendidas como la capacidad de los estudiantes para extrapolar lo aprendido y aplicar sus conocimientos a nuevas situaciones y contextos. Con esta valoración del rendimiento de los alumnos se trata de ofrecer un elemento objetivo y comparable sobre el funcionamiento de los sistemas educativos. Además, PISA permite valorar la evolución en el tiempo del rendimiento de los alumnos en las competencias evaluadas. Pero quizás el objetivo más ambicioso de PISA sea el de proporcionar a los gobiernos elementos para evaluar el comportamiento de sus sistemas educativos e instrumentos que permitan su continua mejora. PISA continúa proporcionando a la comunidad educativa, en esta tercera aplicación de 2006, nuevos elementos de análisis y nuevas formas de abordar los resultados de los sistemas educativos en materia de calidad y equidad. En primer lugar, el aumento de la importancia de PISA se hace evidente en el creciente número de países que participan en sus evaluaciones. En 2009 se doblará el número de naciones con respecto a las que participaron en PISA 2000, al pasar de 32 a 65 países participantes. Por otra parte, PISA ofrece por primera vez la posibilidad de comparar de manera fiable la evolución de los resultados en comprensión lectora entre 2000 y 2009. Otro hecho destacable es la influencia notablemente positiva de la participación en proyectos internacionales de medición de la calidad de la educación sobre los sistemas de evaluación. Esto ha sido así gracias a las reflexiones llevadas a cabo durante el proceso de construcción y aplicación de las pruebas por los representantes de los países participantes y los expertos y técnicos convocados en la preparación de los marcos de la evaluación de PISA.



Conclusiones y Una Mirada Al Futuro PISA 2006


El nacimiento y desarrollo del GIP Como ejemplo de la colaboración Para la mejora de la evaluación y la educación
El gran acervo informativo recogido en los trabajos de PISA, al igual que en los otros proyectos internacionales de medición de la calidad de la educación, ha facilitado el surgimiento de proyectos subregionales para un mejor aprovechamiento de sus resultados, incluyendo nuevos enfoques y usos de la información recolectada. Hay que resaltar que un ejemplo de lo citado es precisamente el nacimiento en 2005 del Grupo Iberoamericano de PISA (GIP), con varias aspiraciones, una de las cuales se ve cumplida con la elaboración del presente informe. En primer lugar, el Informe del GIP ofrece una perspectiva comparada de los resultados alcanzados en PISA 2006 por los países iberoamericanos participantes en esta prueba. Esto significa abordar el análisis concentrando la atención en un grupo de países con mayores puntos de encuentro en términos históricos, culturales, geográficos, educativos, económicos y sociales, aunque sin dejar de lado referentes de orden internacional que permiten establecer la situación y los retos de la educación en los países del GIP.
Otra de las preocupaciones del GIP es resaltar dos aspectos centrales en el estudio de los sistemas educativos: la calidad de la educación y los niveles de equidad social en los logros. En la elaboración del Informe GIP hemos constatado la necesidad de analizar tanto los resultados alcanzados por los estudiantes de un país en materia de calidad como la distribución de estos aprendizajes entre los distintos grupos poblacionales, en función de la situación social, cultural y económica de las familias de los alumnos. De lo anterior se derivan, o deben derivarse, recomendaciones para las políticas educativas de mejora de la calidad de los aprendizajes y de la adquisición de competencias por parte de los estudiantes. Un tercer aspecto, igualmente importante, es el interés de los miembros del GIP en estimular la cooperación, la reflexión y la ayuda mutua entre los países iberoamericanos que participan en PISA. Ayuda que se ha venido dando especialmente en el desarrollo y la consolidación de los sistemas nacionales de evaluación de la calidad educativa, al igual que en la interpretación y el análisis de los resultados alcanzados. Para presentar las conclusiones de este informe se sigue el mismo orden en que se ha estructurado el documento: el contexto de los sistemas educativos, los rendimientos de los alumnos, el comportamiento de las variables del estudiante y la escuela, presumiblemente asociadas a los resultados académicos, y los factores asociados a la calidad de la educación en cada uno de los países participantes.

Los contextos de la educación en los países del gip
En lo que a los contextos económicos y educativos de los países se refiere, el estudio deja ver mayores coincidencias entre los países del GIP, que los diferencian de otros países que participan en PISA, especialmente de los más desarrollados. Esto, sin duda, debe ser tenido en cuenta a la hora de analizar los resultados alcanzados por cada uno de los países en PISA 2006. Si bien podría considerarse la educación como un prerrequisito para alcanzar mayores niveles de desarrollo, también es cierto que, a mayor desarrollo, mayores serán los recursos disponibles para invertir en la mejora de la calidad del sistema educativo. Si se analiza el PIB per cápita, por ejemplo, en los países del GIP la producción por habitante equivale a la mitad de la registrada por los países de la OCDE. Más aún, si se tiene en cuenta que los países europeos que forman parte del GIP muestran niveles de ingresos muy superiores a los americanos, se hacen más evidentes las diferencias existentes. Lo anterior implica la necesidad de ampliar el espectro desde el cual analizar el comportamiento y los resultados de los sistemas educativos, puesto que algunos indicadores, considerados individualmente, pueden dar una idea equivocada de la verdadera situación. Tal es el caso del porcentaje del PIB dedicado a educación. Si bien los países del GIP dedican un porcentaje del PIB similar a los países de la OCDE o de referencia, son grandes las diferencias en términos del gasto por alumno. En los países del GIP dicho gasto por alumno se sitúa entre 1.000 y 2.000 dólares para los países americanos, cifra que sube hasta 6.000 dólares para el caso de países europeos del GIP, mientras que en otros países el gasto por alumno alcanza los 10.000 dólares. Dentro de las restricciones económicas antes presentadas, resulta importante destacar el avance que los países del GIP han logrado en materia de cobertura del servicio educativo. Con tasas iguales o superiores al 90 %, los países del GIP se encuentran muy cerca de alcanzar una de las principales Metas del Milenio, consistente en la universalización de la educación primaria. Este hecho pone de manifiesto la necesidad de avanzar en la inclusión de los niños cuyas edades corresponden a los niveles de preescolar o infantil y secundaria en los respectivos sistemas educativos. La mejora de la educación primaria deberá concentrarse en elevar la calidad de los aprendizajes, al igual que en reducir la repetición de cursos y la deserción. En algunos países del GIP la repetición o la deserción se sitúan aún en niveles muy elevados, lo cual no solamente afecta a los resultados generales en materia de calidad, sino también a la equidad, en la medida en que los niños más propensos a repetir el grado y a desertar de la escuela pertenecen, en su mayoría, a los estratos más desfavorecidos de la población. Durante las últimas décadas, la educación de la región ha sido testigo de fuertes vientos de reforma de los sistemas educativos, que han perseguido ampliar el acceso y mejorar la calidad de la educación. Dichas políticas educativas han tenido diferentes énfasis, no solo entre sus dos grandes componentes (calidad y cobertura), sino también diferentes estrategias para atender un mismo fin. Especialmente en el caso de la calidad, la cantidad de actores, elementos y procesos susceptibles de ser combinados es tal que el número de opciones de política se amplía. Esto, y la necesidad de tener en cuenta el contexto como factor determinante del éxito o fracaso de las políticas, hizo que la reforma educativa en los países de la región siguieran vertientes, propósitos y prácticas bastante diferentes entre sí. La importancia de la calidad de la educación como elemento potenciador del desarrollo y bienestar de la sociedad, al igual que como motor del progreso individual, hizo que los países volcaran sus esfuerzos en su mejora. Sin embargo, con algunas excepciones, con el paso de los años los esfuerzos parecen no traducirse en mejores resultados, y los indicadores que dan cuenta de la calidad parecen anclados en viejas prácticas que impiden avanzar. Esta es la perspectiva desde la que se ha abordado el estudio de los resultados académicos de los estudiantes del GIP: primero, desde el reconocimiento de sus debilidades y necesidades de mejoramiento; segundo, desde una mirada retrospectiva frente a los esfuerzos desarrollados y los logros alcanzados. el rendimiento de los alumnos del GiP El promedio de la OCDE en la escala general de ciencias es de 500 puntos, puntaje que no alcanza ninguno de los países del GIP (426 puntos de promedio), mientras que los países latinoamericanos no superan los 438 puntos. Los países de la OCDE tienen en promedio un 19 % de estudiantes que no alcanzan el Nivel 2, es decir, estudiantes que tienen un nivel de competencia insuficiente, a juicio de PISA, para afrontar con éxito las demandas sociales y laborales y poder ejercer los derechos, libertades y responsabilidades de una ciudadanía activa en las sociedades del conocimiento del siglo xxi. En particular, estos estudiantes confunden hechos con creencias personales al tomar una decisión, confunden rasgos clave de una investigación o aplican mal la información científica que reciben. Si se consideran los requerimientos de competencias científicas en el mundo actual, nuestros países tienen un arduo desafío que no se puede eludir. Entre los países del GIP, los porcentajes de alumnos por debajo de ese Nivel 2 van del 19 % al 60 %. España (con 19 %) y Portugal (con 24,5 %) tienen porcentajes similares al promedio de los países más avanzados. En los países de Latinoamérica la situación es gravísima: Brasil, Colombia, Argentina y México tienen más de la mitad de sus estudiantes por debajo del Nivel 2, en tanto que Chile y Uruguay arrojan porcentajes cercanos a 40 %. En el otro extremo del desempeño, los países de la OCDE tienen en promedio un 9 % de estudiantes en los dos niveles superiores (5 y 6), mientras que para los países del GIP este promedio es solo de 1,7 %. Cabe señalar las diferencias que existen en los porcentajes de los países del GIP: así, mientras que en España y Portugal son del 5,8 % y 3,1 %, respectivamente, en cuatro de los países latinoamericanos el número de alumnos en estos niveles no llega al 1 % y en dos no alcanza el 2 %. Las perspectivas sociales y laborales de los jóvenes mejoran de modo muy notable cuando sus niveles de competencia lectora a la edad de 15 años son mayores, como pone de manifiesto un estudio canadiense sobre las posibilidades de éxito de los jóvenes en la educación superior. Si se consideran las posibilidades de éxito de los jóvenes que alcanzaron un nivel de rendimiento igual o inferior a 1 en la escala de PISA, el estudio muestra que dichas posibilidades de éxito se multiplican por dos para los estudiantes del Nivel 2, por 4 en el caso de los estudiantes del Nivel 3, por ocho en los de Nivel 4 y por dieciséis para los de los Niveles 5 y 6. La situación parece ser igualmente desfavorable en Iberoamérica si se consideran las subescalas de contenidos en ciencias: sistemas de la Tierra y el espacio, sistemas biológicos y sistemas físicos. Sin embargo, resulta interesante e ilustrativo señalar que España y Portugal tienen un área más débil que las demás, sistemas físicos, a la cual se debería prestar especial atención. Brasil, Uruguay y Colombia tienen debilidades en los sistemas de la Tierra y el espacio, pero al mismo tiempo tienen mejor desempeño en sistemas biológicos. Estos países podrían examinar sus currículos, así como las competencias docentes en estas áreas. Los otros países tienen diferencias más leves, aunque se puede decir que Argentina y Chile tienen un relativo y escaso mejor desempeño en sistemas biológicos, mientras que México tiene uno inferior en estos contenidos. Por otra parte, si bien los resultados de calidad educativa presentados por los países del GIP están por debajo de los niveles internacionales, especialmente de los requeridos para insertarse en un mundo globalizado, algunos aires de cambio empiezan a insinuarse. Los resultados de PISA y del Segundo Estudio Regional Comparativo y Explicativo SERCE (LLECE-UNESCO, 2008) parecen sugerir que, en algunos países, los esfuerzos de mejora comienzan a dar importantes frutos. No obstante, conviene resaltar que la situación actual es el resultado de largos procesos que se remontan, al menos, a mediados del siglo xx, y en los que influyeron factores tan importantes como el fuerte crecimiento demográfico de algunos de los países del GIP entre 1950 y 2000, las etapas de muy diferente crecimiento económico que hubo en ese lapso, con períodos de fuerte crecimiento y épocas de estancamiento; en algunos casos, los períodos de regímenes autoritarios, con consecuencias a veces devastadoras, pero también con algunos puntos de consecuencias positivas para la educación. Algunos de los resultados de PISA que sorprenden se relacionan con el comportamiento que muestran los estudiantes de los países del GIP respecto a temas como el compromiso, aprecio y percepciones respecto de las ciencias. Cuando se esperaría una relación directa entre tales aspectos y los resultados en ciencias, los estudiantes de los países del GIP, especialmente los latinoamericanos, tienen índices superiores a los países de la OCDE en aquellas actitudes que deberían favorecer el aprendizaje. Más aún, en algunos casos las actitudes favorables se asocian negativamente con el desempeño. Esto sucede con las actividades relacionadas con las ciencias, con el valor personal de las ciencias y con la motivación instrumental hacia las ciencias. Surge entonces la duda de si no hay algún aspecto cultural en los países latinoamericanos que haga que sus estudiantes tengan actitudes aparentemente positivas hacia las ciencias, pero inconsistentes con el desempeño en esta disciplina. Es posible también que influya la presencia de expectativas inferiores por parte de los jóvenes de algunos países del GIP, así como una mayor tendencia a dar respuestas socialmente deseables a preguntas sobre actitudes.

La equidad, los contextos sociales, económicos y Culturales y otros factores asociados a la Calidad de la educación
El análisis de la equidad en materia de resultados destaca la importancia de los gradientes socioeconómicos (ESE) en el interior de las escuelas y entre ellas, los cuales ilustran la relación entre los puntajes obtenidos por los estudiantes en ciencias y su nivel socioeconómico. De esta forma, el nivel socioeconómico de las familias de los estudiantes deja de ser una variable meramente instrumental, empleada para determinar el efecto neto que las variables del estudiante y de la escuela tienen sobre los niveles de desempeño, para convertirse en un instrumento de política educativa.
Incrementar en un punto el nivel socioeconómico de los estudiantes significa elevar su nivel de desempeño en ciencias entre 6 y 23 puntos, dependiendo del país. Esta conclusión nos lleva a plantear cinco estrategias de mejora de los resultados de los estudiantes. • Intervenciones focalizadas en escuelas de bajos desempeños, priorizando la asistencia a los estudiantes de los estratos más bajos. • Intervenciones centradas en escuelas de bajo estatus social, económico y cultural, que por ende recogen buena parte de las escuelas de bajo desempeño. • Programas compensatorios, dirigidos a los estudiantes de los entornos menos favorecidos, tendentes a aliviar los efectos de la pobreza sobre la asistencia, la permanencia y los resultados de los estudiantes en la escuela. • Intervenciones universales, derivadas de decisiones de políticas nacionales o locales que pretenden mejorar los resultados de todos los estudiantes. • Intervenciones inclusivas, tendentes a reducir la segregación que existe entre escuelas redistribuyendo estudiantes de bajo ESE en escuelas de nivel medio. En el análisis de los factores asociados al desempeño de los estudiantes de los países del GIP en PISA 2006, por su parte, se proponen diez variables que se agrupan en los cinco aspectos fundamentales:
1) calidad de la enseñanza;
2) nivel de enseñanza apropiado;
3) tiempo dedicado al aprendizaje;
4) compromiso del estudiante, y
5) recursos de la escuela.
Los resultados de PISA en los países del GIP ofrecen sustento a la idea de que, sin desconocer la importancia que tienen sobre el rendimiento escolar los factores del entorno familiar y social de los alumnos, los factores de la escuela tienen también un peso significativo que debe ser aprovechado para el diseño de políticas de mejora. El grado de desarrollo efectivo del currículo en las escuelas es el factor más sólidamente asociado a los resultados en ciencias de los países del GIP. En primer lugar, porque es el único que, estadísticamente hablando, funciona en todos los países. En segundo lugar, por la magnitud de su efecto, en términos de lo que el aumento de un punto en el desarrollo efectivo del currículo tiene sobre los resultados académicos. En tercer lugar, porque la dirección del efecto es la misma en todos los países. Este hallazgo resulta de vital importancia, no solo para los países considerados individualmente, sino también para todos aquellos espacios de cooperación multilateral para el mejoramiento de la calidad de la educación. El estudio también destaca la importancia del tiempo dedicado a la enseñanza de las ciencias en la escuela como factor determinante de los aprendizajes de los estudiantes. Esto actúa en la misma dirección señalada para el currículo, en la medida en que eleva las oportunidades de aprendizaje brindadas por las escuelas y los sistemas educativos a sus estudiantes. Por último, entre los factores destacables por su efecto sobre los resultados en ciencias se encuentran los recursos escolares y el tamaño de la clase. Este último dato es de interés, dada la importancia que han tenido recientemente las discusiones sobre la influencia del tamaño de la clase en los resultados de los alumnos. La investigación lleva a concluir que el tamaño de la clase solo es relevante si se trata de cambios fuertes, de tamaños muy grandes a mucho menores, y si la reducción del tamaño va acompañada de cambios en las estrategias docentes. En los países del GIP hay casos en los que el tamaño promedio de los grupos es mucho mayor que en el promedio de la OCDE, lo que hace que el factor sí tenga un peso significativo en los resultados de los alumnos. Se justificarían, pues, esfuerzos para modificar esa situación, pero deberían ir acompañados de lo necesario para que los docentes puedan utilizar estrategias pedagógicas más productivas.

Mirando al futuro
La elaboración del presente Informe GIP ha sido enormemente provechosa para los que en ella hemos colaborado. Primero, por los beneficios técnicos y científicos y los aprendizajes que nos ha proporcionado la colaboración. Segundo, por los datos que PISA ofrece para el conocimiento de nuestros sistemas educativos, que se hacen más relevantes cuando el punto de vista es, como en nuestro caso, el comparado. Tercero, y no menos importante, por lo que nos ha permitido aprender sobre la información que PISA (así como las otras evaluaciones nacionales e internacionales que conocemos) no nos ofrece de modo satisfactorio. Es fundamental seguir trabajando e investigando para que mejore PISA y aporte más luz sobre determinadas cuestiones. Son muy ilustrativos los diferentes resultados educativos de las regiones o las comunidades autónomas españolas. En todos los casos, parece que los aspectos esenciales de los sistemas educativos que son comunes a dichas regiones, como el currículo básico o la formación inicial del profesorado, no permiten explicar dichas diferencias en los resultados. Por otra parte, los contextos sociales económicos y culturales condicionan de modo destacado los rendimientos de los alumnos. Todas las líneas de regresión consideradas (de países y regiones) tienen pendiente positiva, es decir, los rendimientos mejoran con el estatus socioeconómico. Ahora bien, este no es determinante: en todos los países y regiones hay alumnos y escuelas de contextos modestos con muy buenos resultados, y viceversa. Por tanto, hay factores que deben explicar las diferencias de rendimiento, a veces muy notables, entre alumnos y escuelas de similares condiciones sociales, económicas y culturales, factores que deben estar asociados a las escuelas, los alumnos y las familias. Esta constatación pone de manifiesto que se debe mejorar y complementar PISA y, en general, las evaluaciones externas de modo que puedan ofrecer más detallada y mejor información sobre la influencia de la organización y el funcionamiento de las escuelas, el trabajo de los equipos docentes y los procesos de aula en los resultados de los alumnos y, de modo relevante, el valor añadido que escuelas y equipos docentes ofrecen en los aprendizajes de sus alumnos. No obstante, no es posible que las evaluaciones externas puedan resolver todos los interrogantes que la mejora de la educación plantea. PISA confirma que es imprescindible enriquecer el conocimiento de los sistemas educativos mediante el uso de medidas directas, internas y aplicadas en centros y aulas, con los profesores, cuantitativas y cualitativas, y con todos los medios precisos. Se trata de poner a disposición de programas ambiciosos de evaluación todo aquello que mejor puede explicar el éxito de alumnos y escuelas. Finalmente, debemos resaltar que una de las lecciones más provechosas de PISA, de cara a las políticas y acciones de mejora, es que son de la mayor utilidad aquellas acciones concretas destinadas a los alumnos que requieren apoyo y especial dedicación: esas escuelas y esos alumnos que, perteneciendo a los contextos sociales, económicos y culturales más modestos obtienen excelentes resultados, son el mejor ejemplo de que en esos contextos se puede y se debe trabajar y que el fruto de ese trabajo específico puede ser muy superior al de declaraciones, políticas y recursos generales, no específicos. En resumen, enumeramos a continuación algunos de los retos para el futuro que sugiere el análisis de los resultados de los países iberoamericanos en PISA 2006. 1. Deberían incorporarse a las evaluaciones externas los instrumentos que permitan mejorar el conocimiento y la influencia sobre los resultados de los alumnos de: – los procesos de aula y de escuela; – el funcionamiento de los equipos docentes y las estrategias individuales y colectivas de los profesores; – la organización escolar, la autonomía de la comunidad educativa y su corresponsabilidad en la enseñanza;
– la implicación de los distintos agentes educativos y, particularmente, de las familias; – la actitud de los alumnos y de las familias ante el aprendizaje. 2. Es primordial avanzar en la medida del valor añadido que escuelas y profesores son capaces de incorporar en los aprendizajes de sus alumnos. 3. Se deberían afinar los instrumentos de medida de modo que permitan un análisis más preciso de las circunstancias más adversas y de los entornos económicos y sociales más diversos. 4. Parece imprescindible añadir a las políticas generales de mejora, destinadas al conjunto de las escuelas y de los alumnos, políticas y acciones específicas destinadas a mejorar las circunstancias de escuelas concretas, y los entornos de aprendizaje de los alumnos que requieren apoyos y esfuerzos determinados. Puede mencionarse, para terminar, un avance que ya ha sido tomado en cuenta para la aplicación de PISA 2009, y que se debió a una propuesta del GIP, el relativo a la inclusión de ítems de baja dificultad, en la forma de cuadernillos opcionales que pueden aplicar los países cuyos jóvenes de 15 años de edad han obtenido resultados muy por debajo de la media de la OCDE, como es el caso de los países latinoamericanos del GIP. Dada la alta dificultad de la mayoría de los ítems utilizados en las aplicaciones de PISA de 2000 a 2006, en dichos países alrededor de la mitad de los jóvenes se ubicaron por debajo del Nivel 2 en todas las competencias medidas por PISA, lo que significa que no han desarrollado las competencias indispensables para desenvolverse con éxito en una sociedad avanzada. Como se ha explicado ya, lo anterior constituye un problema serio que los sistemas educativos no pueden ignorar, pero para enfrentarlo es necesario tener más información sobre qué pueden hacer esos jóvenes, y no solo sobre qué no son capaces de hacer. Para ello es necesario que las pruebas de PISA cubran una gama más amplia de niveles de competencia, lo que se conseguirá con la opción introducida en 2009. Conviene precisar que el optar por utilizar algunos cuadernillos con ítems de baja dificultad no impedirá que los resultados de los países que tomen esa decisión puedan compararse con los demás, ni tampoco se pondrá en riesgo la comparabilidad de los resultados en el tiempo. La importancia de este avance de PISA es considerable, sobre todo si se tiene en cuenta que muchos de los países que se están incorporando a estas evaluaciones tienen niveles de desarrollo general y educativo inferiores a los que caracterizan, en promedio, a los miembros de la OCDE y a algunos países asiáticos o europeos que no pertenecen a esa organización.

lunes, 2 de agosto de 2010

Nivel socioeconómico y resultados en los países del GIP

Nivel socioeconómico y rendimiento en los países del Gip
De acuerdo con el informe internacional de PISA, y de manera coincidente con muchas otras investigaciones, el origen socioeconómico de los alumnos parece tener una poderosa influencia sobre sus resultados escolares. La escasa variación de los resultados de los alumnos entre escuelas ha hecho pensar que la aportación de estas es más reducida, si bien hay que tomar con cautela esta idea, dada la insuficiente calidad de las mediciones de los factores escolares y de las metodologías utilizadas habitualmente para valorar su influencia. Aunque en todos los países hay una alta correlación entre el ESE y el desempeño, algunos muestran que la equidad y la alta calidad pueden ir juntas. Las estrategias para lograr esta meta deben diseñarse de acuerdo con las características de cada país. También en el GIP el origen socioeconómico de los alumnos tiene un efecto notorio sobre su rendimiento en la mayoría de los países. Asimismo, este indicador muestra una gran variación entre los países participantes en PISA, siendo evidente que los estudiantes de los países de la OCDE tienen unas condiciones de vida notablemente superiores en los aspectos económicos, sociales y culturales que aquellos de los países del GIP. No todos los estudiantes aprenden en la misma medida dado que las capacidades y las potencialidades no son idénticas para todos.

Nivel socioeconómico y resultados en lso paises del GIP



Sin embargo, cuando el aprendizaje varía según el ESE de la familia, esto puede ser señal de inequidad. Más aún, cuando se observa que esta distribución desigual de conocimiento está relacionada no solo con diferencias entre los niños, sino que existen grandes diferencias entre las escuelas, el que las escuelas no produzcan resultados similares puede deberse al efecto combinado de las carencias del hogar y las de la escuela, lo que significa que la sociedad no ofrece a todos los estudiantes las mismas oportunidades de aprender. A pesar de compartir ciertas características de contexto y culturales, los países miembros del GIP muestran diferencias considerables en lo que se refiere al ESE, apreciándose, por un lado, que hay países con una mayor variabilidad socioeconómica al interior, con una gran diferencia entre los valores más altos y más bajos del ESE (México y Portugal), y otros, como Brasil, que exhibe una menor diferencia al interior, pero tiene el promedio más bajo del índice, así como las menores diferencias entre valores extremos del mismo (percentiles 5 y 95), lo que indica que su población en general está mucho más empobrecida que en el resto de los países comparados. El ESE influye fuertemente, por tanto, en el puntaje que obtienen los alumnos en ciencias en todos los países del GIP, como también en el promedio de la OCDE, aunque se aprecian diferencias en la magnitud de esta relación para los distintos países. Si se analiza el promedio que cada país tendría en la escala de ciencias si el ESE fuera igual al promedio de la OCDE, se observa que los puntajes de todos los países del GIP aumentarían. Sin embargo, excepto España, los otros países ni siquiera así llegan al promedio de la OCDE, lo que demuestra que no todo se debe al inferior ESE. En el informe internacional de PISA se muestra una regresión bivariada entre el rendimiento en ciencias y el ESE de los estudiantes. Se observa que los mayores porcentajes de varianza en el rendimiento explicada por el ESE están en Chile, Argentina y Uruguay (de 18,3 % a 23,3 %). El efecto de una unidad del índice ESE en el puntaje de ciencias es alto y significativo para Uruguay, España y Brasil (de 30 a 34 puntos). Esto significa que en estos países por cada unidad que aumente el ESE de los estudiantes, su puntaje aumentaría en 30 puntos aproximadamente. El hecho de que el ESE tenga fuertes efectos sobre el rendimiento de los estudiantes implica que el sistema educativo no es exitoso en cuanto a ofrecer a todos los estudiantes oportunidades de aprender apropiadas y equitativas. Mejorar tanto en calidad como en equidad es uno de los mayores retos que enfrentan los sistemas educativos, y PISA ha mostrado que hay países que han conseguido tener altos rendimientos independientemente del origen de sus estudiantes, es decir, con equidad. Los gradientes socioeconómicos del desempeño de los estudiantes y los perfiles de escuela, que se presentaron a lo largo del presente capítulo, aclaran más el panorama de cada sistema educacional. Para los países latinoamericanos en general, el gradiente1 socioeconómico es convexo; es decir, que tiene distinta tasa de crecimiento: más lento al inicio (menos influencia del ESE en el rendimiento) y más rápida al final (más influencia). En cambio, para los países de la OCDE (España y Portugal) el gradiente es lineal. En los gráficos de perfiles se observa que para la mayoría de los países latinoamericanos 2 los colegios privados tienden a concentrarse a la derecha del eje ESE (alto nivel socioeconómico) y en la parte superior del gráfico (alto rendimiento). En Portugal hay pocos colegios privados y están repartidos en los distintos valores del ESE y en la parte superior del rendimiento. En España hay muchos colegios privados, con comportamiento similar al de Chile. El comportamiento de los colegios rurales es el opuesto, concentrándose en la parte inferior de la escala de rendimiento y en el nivel bajo del ESE (en el cuadrante inferior izquierdo de los gráficos) para la mayoría de los países con excepción de Portugal y, en menor medida, de Uruguay y Brasil. Es importante, por otra parte, el análisis de la proporción de la varianza de los resultados que se sitúa dentro de cada escuela, en comparación con la varianza entre unas escuelas y otras. En la OCDE un 33 % de la varianza en el rendimiento se da entre las escuelas. Entre los países del GIP, Argentina y Chile son los que muestran mayor diferencia en el rendimiento de los estudiantes entre las escuelas (53 %, que equivale a 1 ½ veces más que en el promedio de la OCDE). Menor varianza entre escuelas que en el promedio de la OCDE existe en Colombia, México, Portugal y, especialmente, en España, donde no alcanza a la mitad, con una situación bastante parecida a la observada en los países nórdicos. En este contexto, en España, más que en cualquier país del GIP, para los padres no supone tanta diferencia enviar al hijo a una escuela o a otra, en cambio en los países del GIP sí representa una gran diferencia. Por otro lado, respecto a la varianza en el rendimiento al interior de las escuelas, que en la OCDE es del 68 %, España muestra la mayor diferencia, es decir, dentro de una misma escuela se encuentran estudiantes con muy mal rendimiento junto con otros de rendimiento extraordinario. Por el contrario, la menor variación al interior de las escuelas se observa en México. De entre todos los países del GIP, Chile es el único donde la varianza entre las escuelas es mayor que la varianza al interior de las escuelas. Esto es particularmente grave, pues muestra que el sistema educacional chileno es más inequitativo, ya que la escuela a la que el niño vaya es muy determinante de su rendimiento. Además, el sistema chileno es segregado, ya que las escuelas atienden a niños que son similares entre sí y muy distintos de los de otras escuelas, como lo demuestra el porcentaje de varianza entre escuelas. Esto es un factor explicativo de que los niños de una escuela tengan mucha más diferencia de rendimiento con los estudiantes de otras escuelas que con sus propios compañeros. Esta situación, que puede ser considerada una condición estructural del sistema educativo, puede ser atribuida a varios factores, por ejemplo, las decisiones de las familias o el lugar de residencia, el nivel socioeconómico de los estudiantes que ingresan en las escuelas, así como también políticas de agrupación o selección de estudiantes o la separación de los estudiantes con diferentes currículos, distinguiendo entre formación académica y profesional. En otras palabras, hay un «valor» que la escuela agrega o resta a cada estudiante en particular. En este capítulo se muestran los gráficos que permiten examinar la distribución de los centros escolares según los distintos factores del modelo utilizado. Desgraciadamente, en general solo dos factores tienen influencia significativa en el rendimiento y, salvo para el caso del factor calidad de la enseñanza, también tienden a estar relacionados con el ESE, con lo cual no se sabe cuánto favorecen o no por sí solos. La información que se tiene permite analizar aspectos de igualdad-equidad, que ayudan a entender la realidad de los países. Al analizar el conjunto del GIP, se observa que en la categoría de «bajo ESE», aunque se definió como el 25 % más bajo de los alumnos latinoamericanos, el porcentaje de estudiantes así catalogados varía bastante por país. Junto a lo anterior, se observa que el porcentaje de «bajo rendimiento» (Nivel 1 e inferior) en lectura3 bordea o excede el 50 % en la región, salvo para Chile, Portugal y España (ver Gráfico 4.99). En el mismo gráfico, la línea roja representa el porcentaje de alumnos con bajo ESE, observándose que en Brasil y México la cifra ronda el 40 %, mientras que en España es inferior al 20 %, en Argentina, Chile y Uruguay se sitúa entre el 20 % y 30 %, y en Colombia y Portugal un poco por encima del 30 %. La línea azul, por su parte, representa el porcentaje de estudiantes evaluados en PISA 2006 que se ubicó en el Nivel 1 de desempeño o por debajo del mismo. En este caso, solo España y Portugal tienen porcentajes inferiores al 30 %; Chile entre el 30 % y el 40 %, México y Uruguay cerca del 50 %, y Argentina, Brasil y Colombia cerca del 60 %. Gráfico 4.99 Porcentaje de alumnos con bajos resultados en PISA y con bajo ESE en los países del GIP
La región posee altos índices de segregación socioeconómica (porcentaje de la varianza de ESE que hay entre centros escolares). En el Gráfico 4.100 esto se representa mediante la línea roja, que muestra cifras superiores al 30 % para todos los países latinoamericanos, con Chile rondando el 50 %, mientras que Portugal tiene el 30 % y España se sitúa cerca de la media de la OCDE (24 %). El mismo gráfico muestra la proporción de la varianza de los niveles de logro que se debe a diferencias entre los centros escolares, proporción que es más del 50 % en Chile y más del 40 % en Argentina, Brasil, México y Uruguay. Cerca de la media de la OCDE (36 %) se sitúan Colombia y Portugal; y muy por debajo de ella España, con menos del 20 %. Gráfico 4.100 Porcentaje de la varianza entre centros escolares del ESE y de los niveles de logro en los países del GIP
En el Gráfico 4.101 se observa que en la región el gradiente de las rectas de regresión entre logro escolar y ESE dentro de los centros escolares es muy bajo en todos los países del GIP (menos de 15 o incluso de 10 puntos salvo en Portugal y España, donde es cercano a 20). Esto quiere decir que dentro de cada escuela el nivel de logro no está fuertemente asociado al ESE. En cambio el gradiente de esas rectas entre unos centros escolares y otros es altísimo (sobre 45 puntos para todos los países, y más de 70 en los casos de Argentina, Chile y Uruguay). Esto debe entenderse en el sentido de que hay grandes desigualdades de rendimiento entre unas escuelas y otras. La probabilidad de tener bajo rendimiento para un alumno de bajo nivel de ESE, en comparación con uno de un nivel promedio o superior (el «riesgo relativo»), es 1,4 veces más alta en la región, y más de 2 veces superior en España y Portugal. Siendo así, no sería suficiente subir el nivel del ESE de la región para obtener buenos resultados. Al calcular cuánto disminuiría la prevalencia de los bajos rendimientos («riesgo atribuible a la población») si se eliminara el factor de riesgo (bajo ESE), se observa que, a lo más, la proporción de alumnos de bajo rendimiento podría disminuir alrededor de un 33 % en Portugal, y en el resto de los países del GIP esa proporción de alumnos de bajo rendimiento podría disminuir en menos de una quinta parte o 20 %.
ConsiderAciones finAles soBre el Análisis de los fActores AsociAdos
Los informes internacionales de PISA, así como los derivados de trabajos de evaluación que se llevan a cabo en muchos sistemas educativos nacionales, permiten precisar los niveles de rendimiento de los alumnos en algunas áreas y en ciertos momentos del trayecto escolar, así como algunos factores asociados con dicho rendimiento, incluyendo variables del entorno familiar de los estudiantes y otras relativas a recursos y procesos de las escuelas. Estos informes son importantes, ya que permiten conocer la distribución de resultados educativos dentro de las escuelas y entre ellas, examinar tendencias en los resultados de los estudiantes, evaluar el grado de desigualdad de los resultados educativos entre grupos étnicos, clases sociales o sexos, y distinguir el grado en que el desempeño de los estudiantes está asociado con características del entorno y del sistema educativo. En este capítulo, utilizando datos de PISA 2006, se ha intentado caracterizar el desempeño de los sistemas escolares de los países de Iberoamérica que participaron en ese ejercicio, dar algunas indicaciones de por qué unas escuelas tienen más éxito que otras y analizar las implicaciones de los resultados para las políticas educativas. No obstante, PISA tiene limitaciones importantes, que conviene tener presentes al interpretar sus resultados. Unas limitaciones se refieren a las pruebas con las que PISA mide el rendimiento de los alumnos. Aunque diseñadas cuidadosamente con las metodologías más avanzadas al respecto, la gran diversidad de las circunstancias de los estudiantes de los países que participan, sobre todo en el terreno cultural, plantea retos considerables para asegurar la validez de los resultados. En particular, debe señalarse que las pruebas no fueron diseñadas para evaluar habilidades en niveles muy bajos; y dado que en la mayor parte de los países incluidos en este análisis hay muchos estudiantes que tuvieron calificaciones por debajo del Nivel 1, las puntuaciones resultantes pueden no ser muy precisas para ellos. Es probable que la calificación real de esos alumnos sea más baja que la calculada por PISA, puesto que están en el piso de la prueba o muy cerca de este. De ser así, la forma y el nivel de los gradientes calculados se verán afectados. Otras limitaciones tienen que ver con la forma en que se obtiene la información sobre las variables del entorno y la escuela asociadas al desempeño de los estudiantes. Varias de las medidas utilizadas para evaluar los elementos del modelo de aprendizaje que utiliza PISA son de dudosa calidad, al basarse en las opiniones subjetivas de alumnos y directores, quienes responden a un número limitado de preguntas. La opinión de los directores al referirse a la suficiencia de los recursos con que cuenta su escuela o al grado de responsabilidad pública de la misma no siempre es confiable. En cuanto a las variables medidas a partir del punto de vista de los estudiantes, la relativa a la calidad de la enseñanza se derivó únicamente de dos preguntas sobre las percepciones de los estudiantes respecto a si sus maestros y las materias que estudiaban en la escuela les brindaban las habilidades necesarias para una carrera relacionada con la ciencia. Las medidas de la cobertura del currículo y del tiempo dedicado a la enseñanza parecen mejores, pero las respuestas a las preguntas sobre el interés de los alumnos por las ciencias y la relevancia de estas presentan comportamientos extraños, que sin duda se relacionan en parte con el nivel mismo de desempeño de los que responden, y posiblemente se deban también a diferencias culturales. Las limitaciones de los datos, tanto de las competencias de los alumnos, como de los factores del entorno y la escuela asociados con ellas, tienen consecuencias obvias para la solidez de las conclusiones a las que se puede llegar mediante su análisis; otras limitaciones tienen que ver con los modelos analíticos. Algunos estudios sobre la efectividad de las escuelas dan estimaciones de la proporción de la varianza de los resultados de los alumnos dentro de las aulas y entre las aulas de una misma escuela, así como entre unas escuelas y otras. En la mayor parte de los países, en general, la proporción de la varianza entre aulas es mayor que la que hay entre escuelas (Scheerens, Vermeulen y Pelgrum, 1989). En los estudios de PISA, sin embargo, no se recogen datos en el nivel de las aulas, lo que es una limitación significativa ya que, por ejemplo, cuando los alumnos responden a preguntas sobre la calidad de la enseñanza que reciben, tienen que valorar de alguna manera su experiencia promedio al respecto, teniendo en cuenta los diferentes cursos que están recibiendo. Los análisis que buscan detectar el efecto de variables del ámbito de la escuela –como el tamaño de la clase o la calidad de la enseñanza– se refieren a los grupos existentes y al ambiente escolar prevaleciente en el momento de la aplicación de las pruebas, así como a los cursos que se impartían en ese momento y los maestros que se encargaban de ellos; la puntuación en una prueba de desempeño, en cambio, representa el resultado acumulado de la escolaridad previa, así como de factores del entorno que influyen en el desarrollo de las competencias de los jóvenes desde su nacimiento. Los análisis hechos suponen que el clima y la cultura de la escuela son relativamente estables en lapsos de varios años, lo que puede ser verdad o no. Los comentarios de los párrafos anteriores no demeritan el valor de los resultados de PISA, pero sí señalan la necesidad de perfeccionar la calidad de los instrumentos y de los diseños de los estudios. Dadas las limitaciones de todo estudio transversal, debe subrayarse la necesidad de emprender estudios que sigan en forma individual a ciertos alumnos a lo largo del tiempo, para poder valorar la forma en que se desarrollan las competencias y poder hacer análisis del valor agregado por la escuela. Debe añadirse que los estudios internacionales, que aportan elementos insustituibles al permitir comparar la situación de un sistema educativo con la de otros, no pueden satisfacer todas las necesidades de los tomadores de decisiones. Por ello, además de una participación activa en esos proyectos, que permita hacerlos cada vez mejor, es necesario que cada país desarrolle sus propias evaluaciones.
Related Posts Plugin for WordPress, Blogger...

Busca en mis sitios