MARCO DE LA EVALUACIÓN
Conocimientos y habilidades en Ciencias, Matemáticas y Lectura
Programa para la Evaluación Internacional de Alumnos
OCDE ORGANIZACIÓN PARA LA COOPERACIÓN Y EL DESARROLLO ECONÓMICO
El Programa para la Evaluación Internacional de Alumnos (PISA), que fue puesto en marcha en 1997 por la OCDE, representa el compromiso de los gobiernos de los países miembros de examinar en un marco común internacional los resultados de los sistemas educativos, medidos en función de los logros alcanzados por los alumnos. PISA es, ante todo, un esfuerzo colectivo que aglutina el conocimiento científico de los países participantes y es dirigido conjuntamente por sus respectivos gobiernos, unidos por el interés común de extraer consecuencias para sus políticas. Corresponde, pues, a los países participantes responsabilizarse del proyecto a nivel político. Asimismo, expertos de los países participantes se integran en una serie de grupos de trabajo cuya función es establecer un nexo entre los objetivos políticos de PISA y los conocimientos técnicos más avanzados disponibles en el ámbito de la evaluación comparativa a escala internacional. La participación en estos grupos de expertos garantiza a los países que los instrumentos de evaluación de PISA tienen validez internacional, toman en consideración el contexto cultural y curricular de los países miembros de la OCDE, constituyen poderosas herramientas de medición y hacen hincapié en la autenticidad y la validez educativa.
Al igual que en los casos anteriores, esta nueva publicación presenta las líneas maestras de la evaluación PISA 2006, definidas en función de los contenidos que deben adquirir los alumnos, los procesos que han de ser capaces de ejecutar y los contextos a los que deben aplicar sus conocimientos y habilidades. Las distintas áreas de evaluación se ilustran asimismo con unas muestras de ejercicios, cuya elaboración ha corrido a cargo de una serie de grupos de expertos.
La preparación de la presente publicación ha corrido a cargo del Secretariado de la OCDE, siendo sus principales supervisores John Cresswell y Sophie Vayssettes. El informe se publica bajo responsabilidad del Secretario General de la OCDE.
Competencia científica PISA 2006
1 La Competencia Científica INTRODUCCIÓN
Por su condición de área de evaluación prioritaria, la competencia científica tiene especial relevancia en PISA 2006. Al ser la primera vez que dicha competencia se evalúa de una forma tan detallada, el área ha experimentado un intenso proceso de reelaboración desde el estudio de 2003, que comporta, entre otras cosas, una interpretación más amplia de la materia objeto de evaluación. Esto implica no solo una descripción más pormenorizada de la competencia científica, sino también una importante innovación en el enfoque de la evaluación, que repercutirá en el conjunto de PISA en el futuro. Por vez primera se incluyen en el estudio principal una serie de preguntas de actitud adjuntas a la evaluación de los conocimientos y habilidades cognitivas. Llevar a cabo una investigación que permita determinar en qué medida las cuestiones que se plantean en el curso de la prueba de evaluación despiertan el interés de los alumnos contribuye a fortalecer la evaluación de una serie de elementos relativos a la actitud y la motivación que serán importantes en el futuro compromiso con la ciencia. Con anterioridad, las preguntas referidas a estos aspectos se hallaban limitadas a un cuestionario independiente donde se preguntaba de una forma más general sobre el interés y la motivación. La comprensión de las ciencias y la tecnología resulta crucial para la preparación para la vida de los jóvenes en la sociedad contemporánea. Mediante ella, el individuo puede participar plenamente en una sociedad en la que las ciencias y la tecnología desempeñan un papel fundamental. Esta comprensión faculta asimismo a las personas para intervenir con criterio en la definición de las políticas públicas relativas a aquellas materias científicas o tecnológicas que repercuten en sus vidas. En suma, comprender las ciencias y la tecnología influye de manera significativa en la vida personal, social, profesional y cultural de todas las personas. Un alto porcentaje de los problemas, situaciones y asuntos a los que deben hacer frente las personas en sus vidas cotidianas requieren un cierto grado de conocimiento de las ciencias y la tecnología antes de poder ser valorados, comprendidos o abordados. Las personas se enfrentan a cuestiones con un componente científico o tecnológico tanto a nivel personal como a nivel comunitario, nacional e incluso global y, por tanto, se debería animar a los dirigentes nacionales a interrogarse sobre el grado de preparación que tienen los individuos de sus respectivos países para abordar este tipo de cuestiones. No obstante, quizá sea aún más importante preguntarse cómo responden ante estas cuestiones los alumnos de 15 años. Contestar a esta pregunta proporcionará un indicador anticipado sobre la forma en que responderán en un momento posterior de sus vidas ante la gran diversidad de situaciones vitales en las que se hallan presentes las ciencias y la tecnología. Para establecer las bases de una evaluación internacional de los jóvenes de 15 años parece, pues, razonable formularse la siguiente pregunta: «¿Qué es importante que sepan, valoren y sean capaces de realizar los ciudadanos en las situaciones que comportan un contenido científico o tecnológico?». Responder a esta pregunta supone determinar los cimientos de la evaluación en los siguientes términos: los conocimientos, valores y habilidades que poseen hoy los estudiantes se relacionan con lo que necesitarán en el futuro. En este sentido, la clave de la respuesta reside en el conjunto de competencias concretas que se encuentran en el núcleo mismo de la definición que hace PISA 2006 del concepto de competencia científica. Mediante ellas se interroga sobre la capacidad de los estudiantes a la hora de:
• identificar cuestiones científicas, • explicar fenómenos científicamente, • utilizar pruebas científicas.
Estas capacidades concretas requieren que los alumnos den muestra, por un lado, de sus conocimientos y sus destrezas cognitivas y, por otro, de sus actitudes, valores y motivaciones al abordar y dar respuesta a las cuestiones relacionadas con las ciencias. Identificar lo que deben conocer, valorar y ser capaces de realizar los ciudadanos en las situaciones que comportan aspectos científicos y tecnológicos puede parecer una tarea bastante clara y sencilla. Hacerlo, no obstante, significa plantearse la cuestión de la comprensión científica, sin que ello implique un dominio del conjunto del conocimiento científico. En este sentido, el principio rector por el que se guiará el presente marco de evaluación serán las necesidades de los ciudadanos. En su condición de ciudadano, ¿qué conocimiento es el más indicado para una persona? La respuesta a esta pregunta incluye sin duda los conceptos básicos de las disciplinas científicas, pero ese conocimiento ha de ser a su vez utilizado en los contextos que los individuos se encuentran en sus vidas. Por otra parte, resulta bastante normal que las personas se vean en situaciones que requieren un cierto grado de conocimiento de la ciencia, entendida como un proceso que genera conocimiento y postula explicaciones del mundo natural1. Finalmente, los ciudadanos también deben ser conscientes de las relaciones complementarias que se dan entre las ciencias y la tecnología, así como de la ubicua influencia que ejercen las tecnologías de base científica sobre la naturaleza de la vida moderna. ¿Qué aspectos de las ciencias y la tecnología deben valorar los ciudadanos? La respuesta debería incluir el papel y la contribución de las ciencias y las tecnologías de base científica a la sociedad, así como su importancia en muchos contextos personales, sociales y globales. Es razonable esperar, por tanto, que los individuos se muestren interesados en las ciencias, apoyen los procesos de investigación científica y adopten una actitud responsable en relación con los recursos naturales y el medio ambiente. ¿Qué actividades relacionadas con las ciencias debe ser capaz de realizar una persona? Cualquier individuo se ve a menudo en la necesidad de extraer conclusiones adecuadas a partir de una serie de pruebas e informaciones que se le han suministrado. Asimismo, puede tener que evaluar las afirmaciones de terceros sobre la base de las pruebas presentadas o diferenciar entre una opinión personal y una aseveración basada en pruebas. En muchas ocasiones, las pruebas presentes en este tipo de situaciones tienen un carácter científico. No obstante, las ciencias también pueden desempeñar un papel de carácter más general debido a su estrecha vinculación con la aplicación de criterios racionales para contrastar ideas y teorías con las pruebas disponibles. Esto no significa, por supuesto, una negación de la importancia que tienen la creatividad y la imaginación en las ciencias, dos aspectos que siempre han desempeñado un papel crucial en el progreso de la comprensión humana del mundo. ¿Poseen los ciudadanos la capacidad de diferenciar las afirmaciones dotadas de solidez científica de las que carecen de ella? No es habitual que se pida al ciudadano medio que emita un juicio sobre la validez de las principales teorías científicas o sobre los potenciales avances de la ciencia. En cambio, lo que sí que hacen es tomar decisiones basándose en los datos que presentan los anuncios, en las pruebas esgrimidas en cuestiones jurídicas o en informaciones concernientes a su salud o a los temas relacionados con el medio ambiente y los recursos de su entorno más inmediato. Una persona cultivada debería ser capaz de distinguir el tipo de cuestiones a las que pueden dar respuesta los científicos, o el tipo de problemas que pueden ser solucionados mediante la aplicación de tecnologías de base científica, de aquellas otras que no pueden responderse ni solucionarse de esa manera.
1 La Competencia Científica DEFINICIÓN DEL ÁREA DE EVALUACIÓN
Las teorías actuales sobre los objetivos a los que debe aspirar la educación en ciencias hacen especial hincapié en la asimilación del conocimiento científico (que comprende también el conocimiento del enfoque científico de la investigación) y en la valoración del aporte que hacen las ciencias a la sociedad. Para alcanzar estos objetivos es necesario comprender los principales conceptos y explicaciones de la ciencia, pero también ser capaz de reconocer sus virtudes y sus limitaciones en el mundo en que vivimos. Otro objetivo sería, por tanto, desarrollar una actitud crítica y un enfoque reflexivo ante la ciencia (Millar y Osborne, 1998). Son estos objetivos los que indican dónde se ha de poner el énfasis y cómo debe orientarse la formación en ciencias de todas las personas (Fensham, 1985). En consecuencia, las competencias que evalúa PISA 2006 son lo más amplias posible e incluyen aquellos aspectos que se relacionan con la utilidad personal, la responsabilidad social y el valor intrínseco y extrínseco del conocimiento científico. Lo señalado hasta ahora sirve de marco para uno de los puntos clave de la evaluación en ciencias de PISA 2006. La evaluación debe centrarse en aquellas competencias que sirvan para clarificar lo que los alumnos de 15 años conocen, valoran y son capaces de realizar dentro de unos contextos personales, sociales y globales definidos de una forma razonable y adecuada. Esta perspectiva difiere de aquellas otras que se sustentan exclusivamente en los programas escolares de ciencias y recurren profusamente a las disciplinas científicas, pues en este caso se incluyen los contextos educativos y profesionales y se reconoce el lugar preeminente que corresponde al conocimiento, los métodos, las actitudes y los valores que definen las disciplinas científicas. El término que mejor engloba los objetivos generales de la evaluación en ciencias de PISA 2006 es el de competencia científica (Bybee, 1997b; Fensham, 2000; Graber y Bolte, 1997; Mayer, 2002; Roberts, 1983; Unesco, 1993). PISA 2006 se propone evaluar los aspectos cognitivos y afectivos de la competencia científica de los alumnos. Los aspectos cognitivos incluyen el conocimiento al que han de recurrir los alumnos, así como su capacidad de hacer uso del mismo de forma eficiente cuando llevan a cabo ciertos procesos cognitivos propios de las ciencias y de las investigaciones científicas que tienen relevancia a nivel personal, social y global. A la hora de evaluar las competencias científicas, PISA se interesa particularmente por aquellas cuestiones a las que el conocimiento científico puede realizar una aportación y que, ahora o en un futuro, harán que los estudiantes se vean involucrados en los procesos de toma de decisiones. Desde la perspectiva de sus competencias científicas, los alumnos abordan estas cuestiones según su grado de comprensión de los conocimientos científicos pertinentes, su capacidad
Cuadro 1.1 • Conocimiento científico: terminología de PISA 2006
El término «conocimiento científico» que se emplea a lo largo de este marco de evaluación hace referencia conjuntamente al conocimiento de la ciencia y al conocimiento acerca de la ciencia. Por conocimiento de la ciencia se entiende el conocimiento del mundo natural a través de las principales disciplinas científicas, esto es, la física, la química, la biología, las ciencias de la Tierra y del espacio y las tecnologías de base científica. Por su parte, el conocimiento acerca de la ciencia hace referencia al conocimiento de los medios (investigación científica) y las metas (explicaciones científicas) de la ciencia.
para acceder a la información y evaluarla, su capacidad para interpretar las pruebas que hagan al caso y su capacidad para identificar los aspectos científicos y tecnológicos de la cuestión planteada (Koballa, Kemp y Evans, 1997; Law, 2002). Además de estos aspectos cognitivos, también se toma en consideración la respuesta afectiva de los alumnos: los aspectos relacionados con la actitud contribuyen a despertar el interés del alumno y a mantener su apoyo a las ciencias, a la vez que lo motivan a actuar (Shibeci, 1984). Todas estas consideraciones nos conducen a la definición del concepto clave de competencia científica de PISA 2006. El término competencia científica ha sido elegido por las siguientes razones: es aceptado como un término que representa las metas de la educación en ciencias que son aplicables a todos los estudiantes; connota la gran amplitud y el carácter aplicado que tiene como objetivo la educación en ciencias; representa un continuo que engloba tanto el conocimiento científico como las habilidades científicas asociadas a la investigación en ciencias; incorpora una multiplicidad de dimensiones e incluye las relaciones entre la ciencia y la tecnología. En su conjunto, las competencias específicas que constituyen el núcleo de la definición caracterizan los fundamentos de la competencia científica en su sentido más amplio, así como el objetivo de la evaluación en ciencias de PISA 2006, que no es otro que evaluar el nivel de competencia alcanzado por los alumnos. (Bybee, 1997a; Fensham, 2000; Law, 2002; Mayer y Kumano, 2002).
Cuadro 1.2 • La competencia científica en PISA 2006
A efectos de la evaluación PISA 2006, el concepto de competencia científica2 aplicado a un individuo concreto hace referencia a los siguientes aspectos:
• el conocimiento científico y el uso que se hace de ese conocimiento para identificar cuestiones, adquirir nuevos conocimientos, explicar fenómenos científicos y extraer conclusiones basadas en pruebas sobre temas relacionados con las ciencias;
• la comprensión de los rasgos característicos de la ciencia, entendida como una forma del conocimiento y la investigación humanos;
• la conciencia de las formas en que la ciencia y la tecnología moldean nuestro entorno material, intelectual y cultural;
• la disposición a implicarse en asuntos relacionados con la ciencia y a comprometerse con las ideas de la ciencia como un ciudadano reflexivo. Las observaciones que siguen contribuirán a clarificar esta definición.
Competencia científica
El empleo del término «competencia científica» en lugar del término «ciencia» pone de relieve la importancia que concede la evaluación PISA 2006 a la aplicación del conocimiento científico al contexto de las situaciones vitales, a la vez que se contrapone a la mera reproducción del conocimiento científico que caracteriza la enseñanza escolar. El uso funcional del conocimiento comporta la aplicación de los procesos que caracterizan a las ciencias y al método de investigación científica (las competencias específicas de las ciencias), y viene determinado por la apreciación, el interés, los valores y los actos de los individuos en relación con los asuntos científicos. La capacidad de un alumno para poner en práctica sus competencias científicas conlleva necesariamente el conocimiento de la ciencia, así como la comprensión de los rasgos propios de la ciencia, entendida como un método para adquirir conocimientos (esto es, el conocimiento acerca de la ciencia). La definición reconoce asimismo que la disposición a ejercitar estas competencias concretas depende de las actitudes del individuo hacia las ciencias y de su disposición a implicarse en cuestiones relacionadas con las ciencias.
El conocimiento científico y el uso que se hace de ese conocimiento para identificar cuestiones, adquirir nuevos conocimientos, explicar fenómenos científicos y extraer conclusiones basadas en pruebas
Según esta definición de la competencia científica, el conocimiento entraña mucho más que la capacidad de recordar información, hechos y nombres. La definición hace referencia tanto al conocimiento de la ciencia (el conocimiento del mundo natural) como al conocimiento acerca de la propia ciencia. El primero de ellos comporta la comprensión de los conceptos y las teorías científicas fundamentales, mientras que el segundo implica comprender la naturaleza de la ciencia como actividad humana, así como el poder y las limitaciones del conocimiento científico. Las cuestiones que se han de identificar son aquellas a las que puede dar respuesta la investigación científica, lo cual, una vez más, requiere un conocimiento acerca de la ciencia y un conocimiento científico de los temas pertinentes. Especial relevancia para la definición de la competencia científica tiene el hecho de que, a la hora de adquirir nuevos conocimientos, las personas en muchas ocasiones no pueden llevar a cabo sus propias investigaciones, sino que deben acudir a otras fuentes, como son las bibliotecas o Internet. Extraer conclusiones basadas en pruebas supone seleccionar y evaluar la información y los datos, sabiendo reconocer al mismo tiempo que a menudo no se dispone de información suficiente para extraer una conclusión definitiva, lo cual obliga a especular sobre la información disponible de forma consciente y con la debida cautela.
Los rasgos característicos de la ciencia, entendida como una forma del conocimiento y la investigación humanos
Como ya se ha señalado, la competencia científica implica que los alumnos deben tener un cierto conocimiento de la forma en que los científicos obtienen datos y plantean explicaciones, así como la capacidad de reconocer los rasgos esenciales de las investigaciones científicas y los tipos de respuesta que es razonable obtener por medio de la ciencia. Deben saber, por ejemplo, que los científicos recurren a la observación y los experimentos para recopilar datos sobre los objetos, los organismos y los sucesos del mundo natural. Esos datos se utilizan luego para proponer explicaciones que pasan a ser del dominio público y pueden ser empleadas en diversos tipos de actividades humanas. De hecho, la recogida y la utilización de datos constituyen dos elementos clave de las ciencias. La recogida de datos, en concreto, se guía por ideas y conceptos (a veces planteados en forma de hipótesis), y conlleva las nociones de relevancia, contexto y precisión, así como el carácter provisional de los conocimientos postulados, la receptividad a la revisión escéptica, el empleo de argumentos lógicos y la obligación de establecer nexos con el conocimiento actual e histórico y de dar cuenta de los métodos y procedimientos empleados para la obtención de pruebas.
Las formas en que la ciencia y la tecnología moldean nuestro entorno material, intelectual y cultural
Los puntos clave de esta afirmación residen en la idea de que la ciencia constituye una empresa humana y que dicha empresa ejerce una notable influencia en nuestras sociedades y en nosotros mismos como individuos. La categorización de empresa humana es aplicable asimismo al desarrollo tecnológico (Fleming, 1989). Aun cuando la ciencia y la tecnología difieren hasta cierto punto en sus objetivos, procesos y realizaciones, lo cierto es que se encuentran estrechamente relacionadas y, en muchos aspectos, resultan complementarias. A este respecto, la definición de competencia científica que aquí se postula incluye tanto la naturaleza de la ciencia y la tecnología como sus relaciones de complementariedad. A través de las políticas públicas, los individuos tomamos decisiones que influyen en la orientación de la ciencia y la tecnología. Sin embargo, el papel de la ciencia y la tecnología en la sociedad tiene un componente paradójico, pues a la vez que plantean respuestas a interrogantes y dan soluciones a problemas, pueden ser el origen de nuevos interrogantes y problemas.
La disposición a implicarse en asuntos relacionadas con la ciencia y a comprometerse con las ideas de la ciencia como un ciudadano reflexivo
El alcance de los significados que conlleva la primera parte de esta aseveración va más allá de la mera toma de apuntes o la realización ocasional de alguna práctica científica. Implica que se mantiene un interés continuado por la ciencia, que se tienen opiniones sobre ella y que se participa en actividades actuales y futuras de carácter científico. La segunda parte de la aseveración cubre varios aspectos de las actitudes y los valores de los individuos en relación con la ciencia. La frase hace referencia a una persona que se interesa por los temas científicos, piensa en temas de carácter científico, tiene interés en cuestiones relacionadas con la tecnología, los recursos y el medio ambiente, y reflexiona sobre la importancia de la ciencia desde una perspectiva personal y social. Como no podía ser de otra manera, la competencia científica recurre a la competencia en matemáticas y en lectura (Norris y Phillips, 1003). La competencia lectora, por ejemplo, puede resultar necesaria para que un estudiante demuestre su comprensión de la terminología científica. De modo similar, en un contexto de interpretación de datos, pueden ser necesarios diversos aspectos de la competencia matemática. Si bien la intersección de estas otras competencias con la definición y la evaluación de la competencia científica de PISA 2006 es algo inevitable, en el núcleo de cada una de las tareas de evaluación deberá haber siempre determinados aspectos que pertenezcan de manera inequívoca al campo de la competencia científica. En comparación con la definición de competencia científica de las evaluaciones PISA 2000 y 2003, la definición de 2006 presenta un mayor grado de elaboración, así como una serie de mejoras. En las anteriores evaluaciones, donde las ciencias eran un área secundaria, la competencia científica se definía en los siguientes términos: La competencia cientí ca es la capacidad de utilizar el conocimiento científico, identificar cuestiones científicas y sacar conclusiones basadas en pruebas con el n de comprender y ayudar a tomar decisiones relativas al mundo natural y a los cambios que ha producido en él la actividad humana (OCDE, 1999, 2000, 2003a). Las aseveraciones iniciales de las definiciones de 2000, 2003 y 2006 son sustancialmente las mismas, puesto que en todos los casos se centran en el uso que hacen los individuos del conocimiento científico con el fin de sacar conclusiones. Sin embargo, mientras que en las definiciones de 2000 y 2003 el conocimiento de la ciencia y la comprensión acerca de la ciencia se englobaban dentro de la noción de conocimiento científico, la definición de 2006 desglosa y desarrolla este aspecto de la competencia científica mediante la adición de unos términos que ponen de relieve el conocimiento que tienen los alumnos acerca de los rasgos característicos de la ciencia. Ambas definiciones se refieren luego a la aplicación del conocimiento científico con el fin de comprender y tomar decisiones sobre el mundo natural. En PISA 2006 esta parte de la definición se mejora al añadir el conocimiento de las relaciones entre ciencia y tecnología, un aspecto de la competencia científica que, si bien no se llegaba a desarrollar, se presuponía en las definiciones anteriores. En el mundo actual, la ciencia y la tecnología se hallan estrechamente ligadas y es frecuente que se den relaciones sinérgicas entre ambas. En contraposición con las definiciones anteriores, la definición de competencia científica de PISA 2006 se ha ampliado para incluir de forma explícita distintos aspectos de la actitud que manifiestan los alumnos ante aquellas cuestiones dotadas de relevancia científica y tecnológica. En suma, exceptuada la inclusión del elemento de actitud, la definición de 2006 concuerda conceptualmente con la definición de 2000/2003. Otros cambios, como son el desarrollo del concepto del conocimiento acerca de la ciencia o la noción de la tecnología de base científica, se limitan a enfatizar unos aspectos concretos que ya estaban englobados o implícitos en las definiciones anteriores.
ORGANIZACIÓN DEL ÁREA DE EVALUACIÓN
En la definición aquí propuesta, la competencia científica se concibe como un continuo que abarca desde los niveles de competencia científica más bajos hasta los más avanzados. Dicho de otra manera, se considera que las personas poseen diversos grados de competencia científica y no que posean o carezcan de competencia científica en términos absolutos (Bybee, 1997a y 1997b). Por ejemplo, un estudiante con un nivel de competencia menos desarrollado puede ser capaz de recordar conocimientos científicos factuales sencillos y de emplear conocimientos científicos de uso corriente para sacar y evaluar conclusiones. En cambio, un alumno con un nivel de competencia científica más avanzado podrá crear y emplear modelos con objeto de hacer predicciones y dar explicaciones, analizar investigaciones científicas, relacionar entre sí datos que puedan constituirse en pruebas, evaluar explicaciones alternativas de un mismo fenómeno y exponer sus conclusiones con precisión. A efectos de esta evaluación, la definición de competencia científica de PISA 2006 puede caracterizarse por cuatro aspectos interrelacionados:
• Contexto: reconocer las situaciones de la vida dotadas de un contenido científico y tecnológico.
• Conocimientos: comprender el mundo natural por medio del conocimiento científico, en el que se incluye tanto el conocimiento del mundo natural como el conocimiento acerca de la propia ciencia.
• Capacidades: acreditar que se poseen una serie de capacidades, como identificar cuestiones científicas, explicar fenómenos científicamente y extraer conclusiones basadas en pruebas.
• Actitudes: mostrar interés por la ciencia, respaldar la investigación científica y contar con la motivación necesaria para actuar de forma responsable en relación, por ejemplo, con los recursos naturales y los ambientes.
Los apartados que vienen a continuación reafirman y desarrollan los aspectos organizativos de la competencia científica. Al resaltar estos aspectos, el marco de competencia científica de PISA 2006 se asegura de que la evaluación se centra en los rendimientos de la educación en ciencias en su conjunto. Una serie de preguntas, basadas en la perspectiva que adopta PISA 2006 con respecto a la competencia científica subyacen a la organización de este apartado del marco de evaluación. Son las siguientes:
• ¿Qué contextos son los más adecuados para evaluar a los alumnos de 15 años? • ¿Qué capacidades cabe esperar razonablemente que tengan los alumnos de 15 años? • ¿Qué conocimientos cabe esperar razonablemente que tengan los alumnos de 15 años? • ¿Qué actitudes cabe esperar razonablemente que tengan los alumnos de 15 años?
SITUACIONES Y CONTEXTO
Un aspecto importante de la competencia científica hace referencia al grado de compromiso con la ciencia en una diversidad de situaciones. De hecho, a la hora de abordar cuestiones de carácter científico, la elección de los métodos y las representaciones a menudo depende de las situaciones en las que dichas cuestiones se presentan. La situación es la parte del universo del estudiante en que se sitúan las tareas que se han de realizar. A este respecto, conviene señalar que los ejercicios de evaluación no se limitan a las situaciones propias del entorno escolar, sino que se presentan enmarcados en una serie de situaciones comunes de la vida real. En la evaluación PISA 2006, los ejercicios están centrados en situaciones relacionadas con el yo, la familia y los grupos de compañeros (personal), la comunidad (social) y la vida a escala mundial (global). Otro tipo de situación, que puede ser adecuada para algunos temas, es la histórica, a través de la cual se puede evaluar el grado de comprensión de los avances del conocimiento científico. Por su parte, el contexto de un ejercicio es el marco concreto en que se presenta una determinada situación. En él se incluyen todos los pormenores empleados para formular la pregunta. PISA 2006 evalúa los principales conocimientos científicos relevantes en los currículos educativos de ciencias de los países participantes, pero sin restringirse a los elementos compartidos por los currículos nacionales de los distintos países. A tal efecto, la evaluación requiere pruebas del uso satisfactorio de las capacidades científicas en situaciones importantes que reflejen el mundo y se ajusten al carácter central que PISA concede al concepto de competencia científica. Esto conlleva, a su vez, la aplicación de una serie de conocimientos sobre el mundo natural y sobre la propia ciencia, así como una evaluación de la actitud de los alumnos hacia las ciencias.
La Figura 1.2 proporciona un listado de las aplicaciones de la ciencia dentro de unas situaciones personales, sociales y globales cuya principal función es servir de contextos para los ejercicios de evaluación. En algunas ocasiones, no obstante, se recurre también a otro tipo de situaciones (por ejemplo, tecnológicas, históricas), así como a otras áreas de aplicación. Las aplicaciones se extraen de un abanico de situaciones de la vida que, en términos generales, concuerdan con las áreas de aplicación de la competencia científica definidas en los marcos de la evaluación de PISA 2000 y 2003. Estas áreas de aplicación son: «la salud», «los recursos naturales», «el medio ambiente», «los riesgos» y «las fronteras de la ciencia y la tecnología». Se trata de unas áreas en las que la competencia científica resultará de gran valor para los individuos y las comunidades a la hora de mejorar y mantener los niveles de calidad de vida y de desarrollar políticas públicas. La evaluación en ciencias de PISA no es una evaluación de contextos. Lo que se evalúa son capacidades, conocimientos y actitudes, según se presentan o se relacionan con unos determinados contextos. A la hora de seleccionar los contextos, es importante tener presente que lo que se pretende evaluar son las capacidades científicas, el grado de asimilación de los conocimientos y las actitudes que han adquirido los alumnos al llegar al final de su etapa de educación obligatoria. Los contextos que se emplean en los ejercicios de evaluación se eligen atendiendo a su relevancia para los intereses y la vida de los alumnos. En la elaboración de los ejercicios de ciencias se toman también en consideración las diferencias lingüísticas y culturales de los países participantes.
Figura 1.2 • Contextos de la evaluación en ciencias PISA 2006 Personal (yo, familia y compañeros) Salud Conservación de la salud, accidentes, nutrición Social (la comunidad) Global (la vida en todo el mundo)
Control de enfermedades, transmisión social, elección de Epidemias, propagación de enfermedades infecciosas alimentos, salud comunitaria Manutención de poblaciones humanas, calidad de vida, seguridad, producción y distribución de alimentos, abastecimiento energético Distribución de la población, eliminación de residuos, impacto medioambiental, climas locales Cambios rápidos (terremotos, rigores climáticos), cambios lentos y progresivos (erosión costera, sedimentación), evaluación de riesgos Nuevos materiales, aparatos y procesos, manipulación genética, tecnología armamentística, transportes Renovables y no renovables, sistemas naturales, crecimiento demográfico, uso sostenible de las especies Biodiversidad, sostenibilidad ecológica, control demográfico, generación y pérdida de suelos Cambio climático, impacto de las modernas técnicas bélicas
Recursos naturales
Consumo personal de materiales y energía
Medio ambiente
Comportamientos respetuosos con el medio ambiente, uso y desecho de materiales Naturales y provocados por el hombre, decisiones sobre la vivienda
Riesgos
Interés por las explicaciones Fronteras científicas de los fenómenos de la ciencia naturales, aficiones de carácter y la tecnología científico, deporte y ocio, música y tecnología personal
Extinción de especies, exploración del espacio, origen y estructura del universo
El Ejemplo de Ciencias 1 forma parte de una unidad titulada CAPTURAR AL ASESINO. El material de estímulo lo proporciona un artículo que establece el contexto de la unidad. El área de aplicación es «Fronteras de la ciencia y la tecnología» dentro de un marco social.
1 La Competencia Científica
Ejemplo de Ciencias 1: CAPTURAR AL ASESINO
EMPLEO DEL ADN PARA LA IDENTIFICACIÓN DE UN ASESINO Smithville, ayer: Un hombre ha fallecido hoy en Smithville después de recibir múltiples puñaladas. Según fuentes policiales, había señales de lucha y parte de la sangre hallada en la escena del crimen no se corresponde con la sangre de la víctima. Sospechan que dicha sangre pertenece al asesino. Para ayudar a capturar al culpable, los miembros de la policía científica han elaborado un perfil del ADN de la muestra de sangre. Tras ser comparado con los perfiles de ADN de los criminales convictos que se almacenan en las bases de datos informatizadas, no se ha hallado ningún perfil que concuerde con el de la muestra. La policía ha arrestado a un habitante de la localidad al que se vio discutiendo con la víctima el mismo día horas antes. Ha pedido permiso para recoger una muestra de ADN de los sospechosos. Según el sargento Brown de la policía de Smithville: «Se trata tan solo de extraer una muestra mediante un inofensivo raspado de la cara interna de la mejilla. A partir de esa muestra, los científicos pueden extraer el ADN y conformar un perfil de ADN como los que aparecen en la ilustración». Dejando a un lado los casos de gemelos idénticos, las posibilidades de que dos personas compartan el mismo perfil de ADN son de 1 entre 100 millones.
La Competencia Científica CAPACIDADES CIENTÍFICAS
La evaluación en ciencias de PISA 2006 da prioridad a las capacidades que aparecen en la Figura 1.3: la identificación de cuestiones de orientación científica; la descripción, explicación o predicción de fenómenos sobre la base del conocimiento científico; la interpretación de pruebas y conclusiones y la utilización de pruebas para tomar y comunicar decisiones. En todas estas capacidades se halla implícita la noción de conocimiento científico, que comporta tanto un conocimiento de la ciencia como un conocimiento acerca de la propia ciencia, entendida como un método de conocimiento y una forma de enfocar la investigación. Ciertos procesos cognitivos poseen una especial significación y relevancia para la competencia científica. Entre los procesos cognitivos que se hallan implícitos en las capacidades científicas se cuentan: los razonamientos inductivos/deductivos, el pensamiento crítico e integrado, la conversión de representaciones (por ejemplo, de datos a tablas, de tablas a gráficos), la elaboración y comunicación de argumentaciones y explicaciones basadas en datos, la facultad de pensar en términos de modelos y el empleo de las matemáticas. El énfasis que pone PISA 2006 en las capacidades científicas recogidas en la Figura 1.3 se justifica por la importancia que tales capacidades tienen para la investigación científica. Todas ellas se fundamentan en la lógica, el razonamiento y el análisis crítico. Lo que sigue es una explicación más detallada de las capacidades científicas.
Figura 1.3 • Capacidades cientí cas en PISA 2006
Identificar cuestiones científicas
• Reconocer cuestiones susceptibles de ser investigadas científicamente • Identificar términos clave para la búsqueda de información científica • Reconocer los rasgos clave de la investigación científica
Explicar fenómenos científicos
•Aplicar el conocimiento de la ciencia a una situación determinada •Describir o interpretar fenómenos científicamente y predecir cambios •Identificar las descripciones, explicaciones y predicciones apropiadas
Utilizar pruebas científicas
•Interpretar pruebas científicas y elaborar y comunicar conclusiones •Identificar los supuestos, las pruebas y los razonamientos que subyacen
a las conclusiones
•Reflexionar sobre las implicaciones sociales de los avances científicos
y tecnológicos Identificar cuestiones científicas
Lo esencial en este caso es distinguir entre las cuestiones y contenidos científicos y otros tipos de cuestiones. El aspecto más importante es que las cuestiones científicas deben poder resolverse mediante respuestas basadas en pruebas de carácter científico. La capacidad identificar cuestiones científicas implica reconocer interrogantes que pueden ser investigados científicamente en una situación dada e identificar términos clave para buscar información científica sobre un determinado tema. Incluye asimismo la capacidad de reconocer los rasgos característicos de una investigación de corte científico: por ejemplo, qué elementos deben ser comparados, qué variables deberían modificarse o someterse a control, qué información complementaria se requiere o qué medidas han de adoptarse para recoger los datos que hacen al caso. Identificar cuestiones científicas requiere que los estudiantes posean un conocimiento acerca de la ciencia, aunque en ocasiones puede ser necesario recurrir también en mayor o menor grado al conocimiento de la ciencia. La Pregunta 2 de CAPTURAR AL ASESINO (Ejemplo de Ciencias 1) requiere que los alumnos identifiquen una cuestión que no puede ser investigada científicamente. El ejercicio evalúa por encima de todo el conocimiento que tienen los alumnos sobre el tipo de cuestiones que pueden ser investigadas científicamente. (Conocimiento acerca de la ciencia, categoría: «Investigación científica»), pero también presupone el conocimiento de la ciencia (categoría: «Sistemas vivos») que cabe esperar de un alumno de 15 años.
Explicar fenómenos científicamente
Los alumnos acreditan la capacidad explicar fenómenos científicamente aplicando el conocimiento de la ciencia adecuado a una determinada situación. Esta capacidad implica describir o interpretar fenómenos y predecir cambios, y puede incluir asimismo la capacidad de reconocer o identificar las descripciones, explicaciones y predicciones apropiadas al caso. La Pregunta 1 de CAPTURAR AL ASESINO (Ejemplo de Ciencias 1) requiere que los alumnos hagan uso de sus conocimientos de la ciencia (categoría: «Sistemas vivos») con el fin de identificar la descripción adecuada del ADN.
Utilizar pruebas científicas
La capacidad utilizar pruebas científicas requiere que los alumnos capten el sentido de los hallazgos científicos con el fin de utilizarlos como pruebas para realizar afirmaciones o extraer conclusiones. La respuesta requerida puede entrañar conocimiento acerca de la ciencia, conocimiento de la ciencia o ambos. La pregunta planteada en MALARIA (Ejemplo de Ciencias 2) requiere que los alumnos saquen una serie de conclusiones sobre el ciclo vital del mosquito basándose en las pruebas científicas que se presentan en el texto. El ejercicio evalúa principalmente la capacidad de los alumnos para interpretar una representación estándar (modelo) de un ciclo vital. Se trata, pues, de un conocimiento acerca de la ciencia (categoría: «Explicaciones científicas»; ver Figura 1.5). Utilizar pruebas científicas conlleva la capacidad de acceder a información científica, así como la elaboración de argumentaciones y conclusiones basadas en pruebas científicas (Kuhn, 1992; Osborne, Erduran, Simon y Monk, 2001). Esta capacidad también puede englobar los siguientes aspectos: seleccionar conclusiones alternativas en función de las pruebas de que se dispone, dar razones a favor y en contra de una conclusión determinada, según los procesos empleados para llegar a dicha conclusión a partir de los datos disponibles e identificar los supuestos que se han asumido para llegar a la conclusión. La reflexión sobre las implicaciones sociales de los avances científicos o tecnológicos constituye otro aspecto de esta capacidad. A los alumnos se les puede pedir asimismo que comuniquen sus pruebas y decisiones ante un público determinado, bien con sus propias palabras, bien mediante el uso de diagramas u otros sistemas de representación apropiados. En suma, los alumnos deberán ser capaces de presentar de forma lógica y clara las conexiones entre las pruebas y sus conclusiones o decisiones.
domingo, 27 de junio de 2010
sábado, 19 de junio de 2010
PISA 2006 MARCO DE LA EVALUACIÓN
Conocimientos y habilidades en Ciencias, Matemáticas y Lectura
Programa para la Evaluación Internacional de Alumnos
OCDE ORGANIZACIÓN PARA LA COOPERACIÓN Y EL DESARROLLO ECONÓMICO
El Programa para la Evaluación Internacional de Alumnos (PISA), que fue puesto en marcha en 1997 por la OCDE, representa el compromiso de los gobiernos de los países miembros de examinar en un marco común internacional los resultados de los sistemas educativos, medidos en función de los logros alcanzados por los alumnos. PISA es, ante todo, un esfuerzo colectivo que aglutina el conocimiento científico de los países participantes y es dirigido conjuntamente por sus respectivos gobiernos, unidos por el interés común de extraer consecuencias para sus políticas. Corresponde, pues, a los países participantes responsabilizarse del proyecto a nivel político. Asimismo, expertos de los países participantes se integran en una serie de grupos de trabajo cuya función es establecer un nexo entre los objetivos políticos de PISA y los conocimientos técnicos más avanzados disponibles en el ámbito de la evaluación comparativa a escala internacional. La participación en estos grupos de expertos garantiza a los países que los instrumentos de evaluación de PISA tienen validez internacional, toman en consideración el contexto cultural y curricular de los países miembros de la OCDE, constituyen poderosas herramientas de medición y hacen hincapié en la autenticidad y la validez educativa.
Al igual que en los casos anteriores, esta nueva publicación presenta las líneas maestras de la evaluación PISA 2006, definidas en función de los contenidos que deben adquirir los alumnos, los procesos que han de ser capaces de ejecutar y los contextos a los que deben aplicar sus conocimientos y habilidades. Las distintas áreas de evaluación se ilustran asimismo con unas muestras de ejercicios, cuya elaboración ha corrido a cargo de una serie de grupos de expertos.
La preparación de la presente publicación ha corrido a cargo del Secretariado de la OCDE, siendo sus principales supervisores John Cresswell y Sophie Vayssettes. El informe se publica bajo responsabilidad del Secretario General de la OCDE.
PISA 2006 Perspectiva General
El Programa para la Evaluación Internacional de Alumnos de la OCDE (PISA) constituye un esfuerzo de colaboración acometido por todos los países miembros, así como por un buen número de países no miembros asociados, cuyo objetivo es medir hasta qué punto los alumnos de 15 años se encuentran preparados para afrontar los retos que les planteará su vida futura. Se ha elegido la edad de 15 años porque, en la mayoría de los países de la OCDE, los alumnos de esa edad se acercan ya al final del período de escolarización obligatoria y, por tanto, una evaluación realizada en ese momento permite obtener una idea bastante aproximada de los conocimientos, las habilidades y aptitudes que se han acumulado a lo largo de un período educativo de unos diez años. A la hora de evaluar los conocimientos, las habilidades y aptitudes de los alumnos, la evaluación PISA adopta un enfoque amplio que, si bien refleja los cambios más recientes en materia curricular, va más allá del enfoque centrado en la escuela para orientarse hacia la aplicación de los conocimientos a las tareas y los retos cotidianos. Las habilidades adquiridas por los alumnos reflejan su capacidad de seguir aprendiendo a lo largo de sus vidas mediante la aplicación de lo aprendido en la escuela a entornos extraescolares, la valoración de sus distintas opciones y la toma de decisiones. La evaluación, dirigida conjuntamente por los gobiernos participantes, aúna los intereses en materia política de los países mediante la aplicación de unos conocimientos científicos a escala nacional e internacional. En PISA se combina la evaluación de áreas cognitivas de un campo específico, como son la lectura, las matemáticas y las ciencias, con una evaluación sobre el entorno doméstico de los alumnos, el enfoque que dan a su aprendizaje, la percepción que tienen del entorno de aprendizaje y su grado de familiaridad con el uso de ordenadores. Una de las máximas prioridades de PISA 2006 consiste en una innovadora evaluación de las actitudes de los alumnos hacia las ciencias, un aspecto que quedó recogido mediante una serie de preguntas contextualizadas dentro del apartado cognitivo de la prueba. Esta proximidad entre las preguntas de actitud y los ejercicios cognitivos permitió asimismo dirigir las preguntas a unas áreas específicas que se centraron en el interés por las ciencias y el respaldo que prestan los alumnos a la investigación científica. Los resultados obtenidos por los alumnos en la evaluación cognitiva se asocian luego a estos factores contextuales. PISA utiliza: i) mecanismos muy rigurosos de control de calidad de la traducción, el muestreo y la administración de las pruebas; ii) medidas para conseguir la máxima amplitud cultural y lingüística en los materiales de evaluación, objetivo que se alcanza fundamentalmente mediante la implicación de los países en el proceso de elaboración y revisión de los ejercicios; y iii) la aplicación de las tecnologías y metodologías más avanzadas para el proceso de datos. Mediante la conjunción de todas estas medidas se obtienen unas herramientas de gran calidad, así como unos resultados con un alto grado de validez y fiabilidad, que permiten comprender mejor el funcionamiento de los sistemas educativos y los conocimientos, las habilidades y actitudes de los alumnos. PISA se basa en un modelo dinámico de aprendizaje en el que los nuevos conocimientos y las habilidades necesarios para adaptarse con éxito a un mundo cambiante se adquieren de forma continuada a lo largo de toda la vida. PISA se centra en todo aquello que los jóvenes de 15 años necesitarán en el futuro y se propone evaluar qué son capaces de hacer con lo que han aprendido. La evaluación toma en consideración el común denominador de los currículos nacionales, pero no se circunscribe a él.
Introducción
Cuadro A • ¿Qué es PISA?
Aspectos básicos • Una evaluación internacional estandarizada desarrollada de forma conjunta por los países participantes y aplicada a los alumnos de 15 años integrados en el sistema educativo. • Un estudio llevado a cabo en 43 países en el primer ciclo (32 en 2000 y 11 en 2002), 41 países en el segundo ciclo (2003) y 56 en el tercer ciclo (2006). • Por término medio, en cada país fueron sometidos a las pruebas de evaluación entre 4.500 y 10.000 alumnos. Contenido • PISA 2006 abarca las áreas de competencia lectora, matemática y científica, atendiendo no tanto al dominio del currículo escolar como a los conocimientos y las habilidades más importantes y necesarios para la vida adulta. • El énfasis recae en el dominio de procesos, la comprensión de conceptos y la capacidad para desenvolverse en diversas situaciones dentro de cada área. Métodos • Las pruebas son escritas y la duración total de la evaluación es de dos horas por alumno. • Los ejercicios combinan las preguntas de elección múltiple con otras en las que los alumnos deben elaborar sus propias respuestas. Las preguntas se organizan en unidades basadas en un pasaje escrito que plantea una situación de la vida real. • En total, la duración de las pruebas de evaluación es de 390 minutos, durante los cuales distintos alumnos realizan diversas combinaciones de ejercicios. • Los alumnos responden a un cuestionario contextual, cuya duración aproximada es de treinta minutos, en el que suministran información sobre sí mismos y su entorno familiar. Los directores de los centros de enseñanza, por su parte, responden a un cuestionario de 20 minutos de duración sobre sus centros. Ciclo de evaluación • La evaluación tiene lugar cada tres años, de acuerdo con el plan estratégico vigente, que se extiende hasta el año 2015. • Cada uno de esos ciclos analiza en profundidad un área principal, a la que se dedican dos tercios del tiempo de evaluación; de las otras áreas se obtiene un perfil sumario de habilidades. Las principales áreas han sido la competencia lectora en 2000, la competencia matemática en 2003 y la competencia científica en 2006. Resultados • Un perfil básico de los conocimientos y las habilidades de los jóvenes de 15 años. • Indicadores contextuales que relacionan el rendimiento con las características del alumno y del centro. En 2006 se hará también hincapié en la evaluación de las actitudes de los alumnos hacia la ciencia. • Indicadores de tendencia que muestran la evolución de los resultados en el tiempo. • Una valiosa base de conocimientos para el análisis y la investigación de las políticas educativas.
Así, a la vez que evalúa los conocimientos adquiridos por los alumnos, PISA examina su capacidad para reflexionar y aplicar sus conocimientos y experiencias a los problemas que plantea la vida real. Por ejemplo, un adulto que pretenda comprender y valorar las recomendaciones científicas relativas a la seguridad de los alimentos no podrá limitarse a conocer algunos hechos básicos sobre la composición de los nutrientes, sino que deberá ser capaz de aplicar dicha información. El término «competencia» se emplea para condensar esta concepción más amplia de los conocimientos y las habilidades. El proyecto PISA ha sido diseñado con objeto de recopilar información en ciclos trienales, presentar datos sobre la competencia lectora, matemática y científica de los alumnos, los centros de enseñanza y los países, proporcionar datos reveladores sobre los factores que influyen en el desarrollo de las habilidades y las actitudes, tanto en el entorno doméstico como en el escolar, y analizar cómo interactúan esos factores y cuáles son sus implicaciones para la adopción de pautas de actuación política. En esta publicación, que presenta el marco conceptual que sirve de base a las evaluaciones PISA 2006, se incluye una reelaboración y ampliación del marco de la competencia científica y un aspecto innovador relativo a la evaluación de la actitud de los alumnos hacia las ciencias, así como los marcos de evaluación de lectura y matemáticas. Para cada área, el marco de la evaluación define los contenidos que los alumnos deben adquirir, los procesos que deben ser capaces de ejecutar y los contextos a los que deben aplicar sus conocimientos y habilidades. Finalmente, cada área, así como sus distintos aspectos, se ilustra con una serie de ejercicios de muestra.
Dado que PISA tiene como objetivo evaluar el rendimiento acumulado por los sistemas educativos a una edad en la que la escolarización obligatoria es prácticamente universal, las pruebas de evaluación se centran en los jóvenes de 15 años integrados en programas educativos de ámbito escolar o de formación profesional. Por término medio, entre 5.000 y 10.000 alumnos, pertenecientes al menos a 150 centros escolares, serán sometidos a pruebas de evaluación en cada país. De esa forma, se obtendrá una muestra base significativa, cuyos resultados serán luego desglosados de acuerdo con una serie de características de los alumnos. El principal objetivo de la evaluación PISA es determinar en qué medida los jóvenes han adquirido esa amplia gama de conocimientos y habilidades en las áreas de las competencias lectora, matemática y científica que les permitirá desenvolverse en la vida adulta. Asimismo, la evaluación de las competencias transversales continúa siendo un elemento esencial de PISA 2006. Las principales razones que explican la adopción de un enfoque de esta amplitud son las siguientes:
Introducción
• Si bien la adquisición de conocimientos específicos tiene su importancia en el aprendizaje escolar,
la aplicación de esos conocimientos a la vida adulta depende de manera fundamental de la adquisición de una serie de conceptos y habilidades de carácter más amplio. En el caso de las ciencias, si pensamos en términos de los temas que son objeto de debate en la comunidad adulta, un conocimiento de carácter específico, como serían los nombres de plantas o animales, posee menos valor que la comprensión de una serie de temas más amplios, como son el consumo de energía, la biodiversidad y la salud humana. En el caso de la lectura, la capacidad de desarrollar interpretaciones del material escrito y de reflexionar acerca de los contenidos y cualidades de un determinado texto serían habilidades fundamentales. Finalmente, en el ámbito de las matemáticas, ser capaz de razonar cuantitativamente y de representar relaciones o dependencias tiene mayor valor a la hora de aplicar las habilidades matemáticas a la vida cotidiana que la capacidad de responder a las preguntas que suelen figurar en los libros de texto.
• Dado el carácter internacional del marco de referencia, centrarse en los contenidos de los currículos restringiría la atención a los elementos curriculares que comparten la totalidad, o la mayor parte, de los países. Eso obligaría a adoptar una serie de soluciones de compromiso que redundarían en una evaluación demasiado restringida para resultar de utilidad a los gobiernos que desean obtener información acerca de los puntos fuertes y las innovaciones de los sistemas educativos de otros países.
• Existen asimismo una serie de habilidades generales de carácter muy amplio que es esencial que los alumnos desarrollen. Entre ellas se incluyen la comunicación, la adaptabilidad, la flexibilidad, la capacidad de solucionar problemas y la utilización de las tecnologías de la información. Estas habilidades se desarrollan en diversas áreas curriculares y, por tanto, han de ser evaluadas con un enfoque transversal amplio. PISA no es una sola evaluación transnacional de las habilidades de los jóvenes de 15 años en las áreas de lectura, matemáticas y ciencias. Se trata de un programa de evaluación continuada que, a largo plazo, conducirá al desarrollo de un corpus de información que servirá para llevar un control de las tendencias que marcan la evolución de los conocimientos y las habilidades de los alumnos de varios países, así como de diversos subgrupos poblacionales dentro de cada país. En cada caso, se evaluará de forma más detallada un área concreta, que abarcará cerca de las dos terceras partes del tiempo total de la evaluación. En 2000, el área principal fue la competencia lectora, en 2003, la competencia matemática, y en 2006 será la competencia científica. De ese modo, cada nueve años se obtendrá un análisis exhaustivo de los logros en cada una de las áreas y, cada tres años, un análisis de tendencias.
Al igual que en los anteriores ciclos PISA, el tiempo total empleado por cada alumno en la realización de las pruebas PISA 2006 es de dos horas, si bien la información se obtiene de un conjunto de ejercicios cuya duración es de 390 minutos. El conjunto completo de las preguntas se presenta bajo el formato de 13 cuadernillos interrelacionados. Cada cuadernillo es realizado por un número de estudiantes que se considere suficiente para obtener una estimación adecuada de los niveles de rendimiento alcanzados en todos los ejercicios por los estudiantes de cada país, así como por los subgrupos más relevantes dentro de un mismo país (por ejemplo, varones y mujeres, alumnos procedentes de distintos entornos sociales y económicos, etc.). Los alumnos emplean asimismo 30 minutos respondiendo a las preguntas del cuestionario de contexto. La evaluación PISA proporciona tres tipos principales de resultados:
• Indicadores básicos, que proporcionan un perfil base de los conocimientos y las habilidades de los estudiantes. • Indicadores contextuales, que muestran la relación que guardan dichas habilidades con las principales variables demográficas, sociales, económicas y educacionales. • Indicadores de tendencias, que se derivan del carácter continuo de la recogida de datos y muestran los cambios en los niveles y en la distribución de los resultados, así como en las relaciones entre las variables contextuales y los rendimientos, tanto a nivel del alumnado como a nivel de los centros de enseñanza. Aun cuando los indicadores constituyen un medio adecuado para poner de relieve algunas cuestiones importantes, por regla general no son capaces de dar respuesta a los interrogantes de carácter político. En vista de ello, PISA ha desarrollado igualmente un plan de análisis de orientación política que va más allá de la mera presentación de los indicadores.
QUÉ HACE QUE PISA SEA ÚNICO
PISA no es el primer estudio comparativo internacional del rendimiento de los alumnos. A lo largo de los últimos 40 años se han llevado a cabo otros estudios, entre los que destacan el de la Internacional Association for the Evaluation of Educational Achievement (IEA) [Asociación Internacional para la Evaluación del Rendimiento Educativo] y el del Education Testing Service´s International Assessment of Educational Progress (IAEP) [Evaluación Internacional del Progreso Educativo del Servicio de Evaluación Educativa]. Es importante señalar, no obstante, que estos estudios se han centrado en los rendimientos ligados directamente a los currículos y, además, solo en aquellas partes de los currículos que son en lo sustancial comunes a los distintos países participantes. Por regla general, aquellos aspectos curriculares que se encuentran presentes en un único país o en un pequeño número de países no se han tomado en consideración a la hora de realizar las evaluaciones. El enfoque que adopta PISA es diferente en varios aspectos:
• Su origen: una iniciativa adoptada por los gobiernos, cuyos resultados pretenden dar satisfacción a sus propias necesidades en materia de orientación política.
• Su regularidad: el compromiso de cubrir múltiples áreas de evaluación con actualizaciones trienales hace posible que los países realicen un seguimiento regular y previsible de los progresos obtenidos en el cumplimiento de sus principales objetivos educativos.
• El grupo de edad cubierto: la evaluación de unos jóvenes que se encuentran al final del período de escolarización obligatoria permite obtener un indicador muy útil del rendimiento de los sistemas educativos. Aunque el ciclo educativo inicial de la mayoría de los jóvenes de los países de la OCDE se prolonga más allá de los 15 años, dicha edad se encuentra bastante próxima al final del primer período de educación básica, durante el cual el currículo que se imparte a los jóvenes de los distintos países suele ser bastante similar. Llegado ese momento, resulta extremadamente útil determinar en qué medida han adquirido los conocimientos y las habilidades que pueden serles de más utilidad en el futuro, así como los recorridos individualizados que pueden seguir para continuar su aprendizaje.
• Los conocimientos y las habilidades evaluados: sus contenidos no se definen atendiendo al común denominador que representan los currículos escolares nacionales, sino en función de las habilidades que se consideran esenciales para que los estudiantes se desenvuelvan con éxito en su vida futura. Este aspecto es el rasgo fundamental de PISA. En buena medida, los currículos escolares vienen elaborándose en función de un corpus de información y de técnicas que ha de ser dominado. Dentro de cada área curricular, no suele prestarse excesiva atención a las habilidades que deben desarrollarse para su uso general en la vida adulta. Y menor aún es la atención que se presta a otras habilidades de carácter más general que se desarrollan de forma transversal entre las distintas áreas curriculares, como son la solución de problemas o la aplicación de ideas y conocimientos a las situaciones que se encuentran en la vida. PISA no excluye los conocimientos y la comprensión basados en el currículo, pero los evalúa en función de la adquisición de unos conceptos y habilidades de carácter más amplio que posibilitan la aplicación de los conocimientos adquiridos. Es más, PISA no se siente constreñido por el común denominador de lo que se ha enseñado específicamente en los países participantes. Este énfasis en evaluar en función del grado de aptitud adquirido y de unos conceptos de gran amplitud cobra especial significación a la luz del interés que muestran las naciones por desarrollar su capital humano, un concepto que la OCDE define de la siguiente manera: Los conocimientos, las habilidades, capacidades y otros atributos pertenecientes a los individuos que in uyen de forma signi cativa en el bienestar personal, social y económico. En el mejor de los casos, las estimaciones sobre el capital humano han tendido a deducirse partiendo de indicadores tangenciales, como el nivel educativo alcanzado. Cuando el interés por el capital humano se amplía de forma que incluya aquellos atributos que posibilitan la plena participación social y democrática en la vida adulta y preparan a los individuos para convertirse en «personas que aprenden durante toda su vida», la insuficiencia de tales indicadores se hace aún más patente. Evaluar directamente los conocimientos y las habilidades que se poseen cuando ya está próxima la finalización del período de escolarización básica permite a PISA analizar el grado de preparación de los jóvenes para la vida adulta y, en cierta medida, la propia eficacia del sistema educativo. Lo que se ambiciona es evaluar los logros en función de los objetivos subyacentes a los sistemas educativos (según los define la sociedad), y no en función de la docencia y aprendizaje de un corpus de conocimientos. Esta forma de enfocar el rendimiento educativo se hace necesaria si se desea fomentar que los centros de enseñanza y los sistemas educativos se centren en los retos que plantea la sociedad contemporánea.
En el Cuadro B se presenta la definición de las tres áreas de PISA 2006. Todas las definiciones ponen especial énfasis en los conocimientos y las habilidades funcionales que hacen posible una participación activa en la sociedad. Tal participación no se limita a ser capaz de llevar a cabo unas tareas impuestas externamente, como las que pueda exigir un jefe a un empleado. También implica que se está pertrechado de los recursos necesarios para participar en un proceso de toma de decisiones. En las tareas más complejas de PISA se pidió a los alumnos que reflexionaran y evaluaran determinados materiales, en lugar de limitarse a responder unas preguntas que poseen una sola respuesta correcta.
Cuadro B • Definiciones de las áreas de evaluación
Competencia científica: Hace referencia a los conocimientos científicos de un individuo y al uso de ese conocimiento para identificar problemas, adquirir nuevos conocimientos, explicar fenómenos científicos y extraer conclusiones basadas en pruebas sobre cuestiones relacionadas con la ciencia. Asimismo, comporta la comprensión de los rasgos característicos de la ciencia, entendida como un método del conocimiento y la investigación humanas, la percepción del modo en que la ciencia y la tecnología conforman nuestro entorno material, intelectual y cultural, y la disposición a implicarse en asuntos relacionados con la ciencia y con las ideas de la ciencia como un ciudadano reflexivo. Competencia lectora: La capacidad que tiene un individuo de comprender, utilizar y analizar textos escritos con objeto de alcanzar sus propias metas, desarrollar sus conocimientos y posibilidades y participar en la sociedad. Competencia matemática: La capacidad que tiene un individuo de identificar y comprender el papel que desempeñan las matemáticas en el mundo, emitir juicios bien fundados y utilizar e implicarse en las matemáticas de una manera que satisfaga sus necesidades vitales como un ciudadano constructivo, comprometido y reflexivo. La competencia científica (que se trata en el Capítulo 1) se define como la capacidad de utilizar el conocimiento y los procesos científicos, no solo para comprender el mundo natural, sino también para intervenir en la toma de decisiones que lo afectan. La competencia científica se evalúa en relación con las siguientes dimensiones:
• Los conocimientos o conceptos científicos: Constituyen los vínculos que facilitan la comprensión de fenómenos relacionados. Aunque los conceptos empleados por PISA son los habituales de los campos de la física, la química, las ciencias biológicas y las ciencias del espacio y la Tierra, a la hora de realizar los ejercicios habrá que aplicarlos a sus contenidos, no bastando con una mera reproducción memorística.
• Los procesos científicos: Se centran en la capacidad de asimilar, interpretar y actuar partiendo de pruebas. Estos tres procesos se hallan presentes en PISA y se relacionan con: i) la descripción, explicación y predicción de fenómenos científicos, ii) la comprensión de la investigación científica, y iii) la interpretación de pruebas y conclusiones científicas.
PERSPECTIVA GENERAL DE LO QUE SE EVALÚA EN CADA ÁREA
• Las situaciones o contextos científicos: Representan los ámbitos a los que se aplican los conocimientos y los procesos científicos. El marco identifica tres áreas principales de aplicación: la ciencia en la vida y la salud, la ciencia en la Tierra y el medio ambiente y la ciencia en la tecnología. La competencia lectora (que se trata en el Capítulo 2) se define en función de la capacidad de los alumnos para comprender, utilizar y analizar textos escritos con objeto de alcanzar sus propias metas. Este aspecto de la competencia lectora ha quedado firmemente establecido en estudios anteriores, como el Internacional Adult Literacy Survey (IALS) (Estudio Internacional de la Competencia Lectora en Adultos); sin embargo, PISA da un paso más al incluir asimismo un elemento activo: la capacidad, no ya de comprender un texto, sino de reflexionar sobre él a partir de pensamientos y reflexiones personales. La competencia lectora se evalúa en relación con:
• El formato textual: La competencia lectora de los alumnos se evalúa con frecuencia mediante textos continuos, es decir, pasajes de prosa organizados en oraciones y párrafos. PISA añadirá además textos discontinuos, en los que la información se presenta de otras maneras, como son las listas, los formularios, los gráficos o los diagramas. Asimismo, distinguirá entre un abanico de formas prosísticas, como son la narrativa, la exposición o la argumentación. Estas distinciones se basan en el principio de que en su vida adulta profesional los individuos se encuentran con una gran variedad de textos escritos (por ejemplo, solicitudes, formularios, anuncios), y que no basta con leer un número limitado de tipos de texto, como los que suelen encontrarse en el entorno escolar.
• Los procesos de lectura (aspectos): Las habilidades lectoras más básicas no serán evaluadas, pues se da por supuesto que los alumnos de 15 años ya las han adquirido. En lugar de ello, se espera que sean capaces de demostrar su aptitud a la hora de obtener información, formarse una idea general y amplia del texto y reflexionar sobre su contenido, su forma y los rasgos que lo caracterizan.
• Las situaciones: Definen el uso para el que ha sido elaborado el texto. Por ejemplo, una novela, una carta personal o una biografía están destinadas a un uso privado; los documentos oficiales o los comunicados para un uso público; un manual o un informe para un uso profesional; y un libro de texto o una hoja de ejercicios para un uso educativo. Considerando que muy probablemente habrá grupos de alumnos cuyo rendimiento será mejor en una situación lectora que en otra, se procurará que los ejercicios de evaluación incluyan una gama muy variada de tipos de lectura. La competencia matemática (que se trata en el Capítulo 3) hace referencia a la capacidad de los alumnos para analizar, razonar y comunicar ideas de manera eficaz al plantear, formular, resolver e interpretar las soluciones a un problema matemático en una variedad de situaciones. La competencia matemática se evalúa en relación con:
• El contenido matemático: Se define fundamentalmente en función de cuatro ideas clave (cantidad, espacio y forma, cambio y relaciones, e incertidumbre) y solo de manera secundaria en relación con las «ramas curriculares» (como los números, el álgebra y la geometría).
• Los procesos matemáticos: Vienen definidos por las competencias generales propias de las matemáticas, que incluyen el empleo del lenguaje matemático, la creación de modelos y las habilidades relacionadas con la solución de problemas. Tales competencias no aparecen separadas en los distintos ejercicios de prueba, puesto que se asume que la ejecución de cualquier tarea matemática requiere la aplicación de varias de ellas. Por esa razón, las preguntas se organizan en función de unos «grupos de competencias concretas» que definen el tipo de habilidad mental requerido.
• Las situaciones: Representan los ámbitos en los que se utilizan las matemáticas y se organizan según
su grado de proximidad con respecto al alumno. El marco de la evaluación de PISA identifica cinco situaciones: personales, educativas, profesionales, públicas y científicas.
EVALUACIÓN E INFORME DE LOS RESULTADOS DE PISA 2006
Como ya ocurriera en las anteriores evaluaciones PISA, por razones de viabilidad, la evaluación de 2006 se realizará mediante una prueba escrita. Esta evaluación incluirá diversos tipos de preguntas. Algunas de ellas requieren que los alumnos escojan o produzcan respuestas simples que pueden ser cotejadas directamente con una única respuesta correcta, como sucede con los ejercicios de elección múltiple o los ejercicios de respuesta construida-cerrada. Estas preguntas tienen una respuesta correcta o incorrecta y suelen evaluar habilidades básicas. Otras preguntas, en cambio, poseen un carácter más creativo y requieren que los alumnos elaboren sus propias respuestas. A través de este tipo de preguntas se pueden medir unos constructos más amplios que los que suelen recoger los estudios de corte más tradicional, permitiendo a su vez una mayor gama de respuestas aceptables y el uso de un sistema de calificación más complejo que puede dar cabida a respuestas parcialmente correctas. Los estudiantes no tienen que responder a la totalidad de las preguntas de la evaluación. Las unidades de evaluación de PISA 2006 se estructuran en 13 grupos, cada uno de los cuales ha sido diseñado para ocupar 30 minutos del tiempo total de la prueba. Hay siete grupos de ciencias, dos de lectura y cuatro de matemáticas. Los grupos se reparten en 13 cuadernillos, en consonancia con el carácter rotatorio de la prueba. Cada uno de los cuadernillos contiene cuatro grupos y se asigna a cada alumno uno de estos cuadernillos, que deberá ser realizado en dos horas. Cada cuadernillo incluye al menos un grupo de Ciencias. PISA evalúa la competencia mediante unas unidades compuestas de un estímulo (por ejemplo, un texto, una tabla, un gráfico, figuras, etc.), al que siguen una serie de tareas asociadas a ese estímulo común. Este rasgo característico tiene su importancia, pues permite una profundización mayor de la que se obtendría si cada una de las preguntas introdujera un contexto completamente nuevo. De este modo, el estudiante dispone de más tiempo para asimilar un material que luego puede ser utilizado para evaluar diversos aspectos de su rendimiento. Los resultados de PISA vienen comunicándose por medio de unas escalas con una puntuación media de 500 y una desviación típica de 100 para las tres áreas de evaluación, lo que significa que las dos terceras partes de los alumnos de los países de la OCDE obtuvieron entre 400 y 600 puntos. Estas puntuaciones representan diversos grados de aptitud en un determinado aspecto de la competencia. Como la principal área de la evaluación de 2000 era la competencia lectora, las escalas de lectura se dividieron en cinco niveles de conocimientos y habilidades. La principal ventaja de este enfoque estriba en que permite describir lo que son capaces de hacer los alumnos, asociando las tareas con los distintos niveles de dificultad. Además de ello, los resultados se presentaron por medio de tres subescalas de lectura: obtención de información, interpretación de textos y reflexión y evaluación. En el informe de 2000 se ofrecía también una escala de aptitud para las competencias matemática y científica, aunque sin distintos niveles, lo cual reflejaba el carácter más limitado de los datos obtenidos en las áreas secundarias. PISA 2003 partió de este mismo enfoque, pero introdujo algunas novedades, como fue la especificación de seis niveles de aptitud para la escala de competencia matemática, siguiendo un modelo similar al empleado para la lectura. La competencia matemática comprendía cuatro subescalas: espacio y forma, cambio y relaciones, cantidad e incertidumbre. El informe sobre la competencia científica se estructurará de forma similar e incluirá también los resultados de las distintas áreas. Del mismo modo que PISA 2003 ofreció por primera vez la oportunidad de presentar resultados de tendencia para la competencia lectora, matemática y científica, los resultados de PISA 2006 suministrarán información adicional para este tipo de análisis.
LOS CUESTIONARIOS DE CONTEXTO Y SU UTILIZACIÓN
Con objeto de recabar información contextual, PISA pide a los alumnos y a los directores de los centros que respondan a un cuestionario de una duración aproximada de 30 minutos. Estos cuestionarios desempeñan un papel crucial, pues permiten analizar los resultados en función de las diversas características de los alumnos y de los centros de enseñanza. Los cuestionarios de PISA 2000 y 2003 se pueden consultar en la página web de PISA: www. pisa.oecd. org. A través de los cuestionarios se pretende obtener información sobre:
• los alumnos y su entorno familiar, incluyendo su capital económico, social y cultural; • diversos aspectos de la vida de los alumnos, como, por ejemplo, su actitud hacia el aprendizaje, sus hábitos y su vida en el entorno escolar y familiar;
• diversos aspectos sobre los centros de enseñanza, como, por ejemplo, la calidad de los recursos humanos y materiales de los centros, el carácter público o privado de su gestión y financiación, los procesos de toma de decisiones y las prácticas del personal docente;
• el contexto del aprendizaje, incluyendo el tipo y las estructuras de las instituciones, el tamaño de las clases y el grado de implicación de los padres;
• las estrategias de aprendizaje autorregulado, las preferencias motivacionales y la orientación hacia la consecución de los propios fines, los mecanismos cognitivos del yo, las estrategias de control de la acción, las preferencias por determinados tipos de situaciones de aprendizaje, los métodos de aprendizaje y las habilidades sociales necesarias para un aprendizaje de tipo cooperativo o competitivo;
• diversos aspectos del aprendizaje y la instrucción en ciencias, incluyendo la motivación, la implicación y el grado de confianza en las ciencias por parte de los alumnos, así como el impacto de las estrategias de aprendizaje en los logros relacionados con la enseñanza y aprendizaje de las ciencias. A escala internacional, se ofrecen asimismo dos cuestionarios adicionales:
• Un cuestionario sobre el grado de familiaridad con el uso de ordenadores, centrado en: i) la disponibilidad y utilización de las tecnologías de la información y comunicación (TIC), lo cual incluye el emplazamiento en que suelen usarse las TIC, así como el tipo de uso que se les da; ii) la desenvoltura en el uso de las TIC y las actitudes que generan, incluyendo la autoeficacia y las actitudes hacia los ordenadores; y iii) el contexto de aprendizaje de las TIC, que presta especial atención al lugar donde se ha aprendido a usar los ordenadores e Internet. En 2003, la OCDE publicó los resultados del análisis de este cuestionario en su informe Are Students Ready for a Technology – Rich World? What PISA Studies Tell Us (OCDE, 2005). (¿Están preparados los estudiantes para un mundo rico en tecnología?: Lo que nos dicen los estudios de PISA).
• Un cuestionario dirigido a los padres, que se centra en una serie de aspectos, entre los que se cuentan las actividades de carácter científico realizadas por los estudiantes en el pasado, el punto de vista de los padres acerca de los colegios de sus hijos, la opinión de los padres sobre el papel de la ciencia en los planes profesionales de sus hijos y sobre la importancia de los conocimientos
La información contextual recogida a través de los cuestionarios presentados a los alumnos y a los centros no representa más que una parte de la cantidad total de información de la que dispone PISA. Hace tiempo que la OCDE viene desarrollando y aplicando de forma regular una serie de indicadores que no solo describen la estructura general de los sistemas educativos (sus contextos demográficos y económicos: costes, matriculaciones, características de los centros y los docentes, así como algunos procedimientos utilizados para impartir las clases), sino también la repercusión que esta tiene en el mercado laboral.
EL CARÁCTER COOPERATIVO DE LA ELABORACIÓN DE PISA Y DE SUS MARCOS DE EVALUACIÓN PISA representa un esfuerzo de colaboración entre los gobiernos miembros de la OCDE cuyo objetivo es ofrecer de forma periódica un nuevo modelo de evaluación del rendimiento de los alumnos. Las evaluaciones se elaboran en un marco de cooperación, acordado entre los países participantes, y son llevadas a la práctica por las organizaciones nacionales. La cooperación constructiva de los alumnos, los profesores y los directores de los centros participantes viene siendo esencial para garantizar el éxito de PISA en todos los estadios de su desarrollo y aplicación. La Junta de Gobierno de PISA (PGB, siglas inglesas), que cuenta con una representación política de todas las naciones, determina, dentro del marco de los objetivos de la OCDE, las políticas prioritarias de PISA, a la vez que supervisa la adhesión a estas políticas durante la puesta en práctica del programa. Entre sus responsabilidades se incluye determinar las prioridades para el desarrollo de indicadores, para la elaboración de los instrumentos de evaluación y para la presentación de los resultados. Los expertos de los países participantes se integran en los grupos de trabajo, cuya tarea consiste en poner en conexión los objetivos de PISA en materia de políticas recurriendo para ello a los mejores conocimientos técnicos disponibles a escala internacional en las distintas áreas de evaluación. Mediante su participación en estos grupos de expertos, los países se aseguran de que los instrumentos elaborados tienen validez internacional y toman en consideración los contextos culturales y educativos de los países miembros de la OCDE. Igualmente, constatan que los materiales de evaluación constituyen poderosas herramientas de medición y hacen hincapié en la autenticidad y la validez educativa. Los países participantes ponen en práctica PISA a escala nacional a través de los Coordinadores Nacionales del Proyecto (NPM, siglas inglesas), según los procedimientos de gestión acordados. El papel de los Coordinadores Nacionales del Proyecto es fundamental, pues a la vez que garantizan la máxima calidad en la puesta en práctica del programa, se ocupan de verificar y evaluar los resultados de los distintos estudios, análisis, informes y publicaciones. El diseño y la ejecución de los estudios, dentro del marco establecido por la PGB, corresponde a un consorcio internacional presidido por el Australian Council for Educational Research [Consejo Australiano para la Investigación sobre Educación]. Otros organismos asociados a este consorcio son el Netherlands National Institute for Educational Measurement (CITO) [Instituto Nacional de los Países Bajos para la Medición Educativa], la empresa WESTAT y el Educational Testing Service (ETS) [Servicio de Evaluación Educativa] de Estados Unidos, y el National Institute for Educational Policy Research del Japón (NIER) [Instituto Nacional para la Investigación de la Política Educativa].
y las habilidades científicas en el mercado laboral, la opinión de los padres acerca de las ciencias y el medioambiente, los costes de los servicios educativos y, finalmente, la propia educación y categoría profesional de los padres.
El Secretariado de la OCDE ejerce el control ejecutivo global sobre el programa, supervisa el día a día de su realización, hace las funciones de secretariado de la PGB, acerca posturas entre los países y sirve de interlocutor entre la PGB y el consorcio internacional encargado de la aplicación del programa. Al Secretariado de la OCDE corresponde también la responsabilidad de la elaboración de indicadores, así como el análisis y la preparación de informes y publicaciones a escala internacional en cooperación con el consorcio PISA y en estrecho contacto con los países miembros tanto en el nivel político (PGB) como en el nivel ejecutivo (Coordinadores Nacionales del Proyecto). Desde que se inició el programa en 1997, la elaboración de los marcos de la evaluación de PISA ha sido un empeño constante, cuyo proceso puede describirse como una secuencia compuesta por los siguientes pasos:
• Elaboración de una definición de trabajo para el área de evaluación y descripción de los supuestos que sirven de base a dicha definición.
• Evaluación del modo en que han de organizarse las tareas para poder informar a los responsables políticos y a los investigadores sobre el rendimiento de los alumnos en cada una de las áreas e identificación de los rasgos clave que deben ser tenidos en cuenta a la hora de elaborar pruebas de evaluación adecuadas a un uso internacional.
• Determinación de la operatividad de los rasgos clave que se emplearán en la elaboración de las pruebas, recurriendo a definiciones basadas en la bibliografía existente y en la experiencia de otras evaluaciones a gran escala.
• Validación de las variables y evaluación de la contribución que hace cada una de ellas a la comprensión de la dificultad que pueden presentar las tareas en los distintos países participantes.
• Preparación de un esquema de interpretación de los resultados.
Aunque la principal ventaja de elaborar y validar un marco de evaluación para cada una de las áreas reside en la obtención de mejores herramientas de medición, existen además otras ventajas potenciales:
• Un marco de evaluación proporciona un lenguaje común y un vehículo para debatir cuáles son los objetivos de la evaluación y qué es lo que se pretende medir. Este debate, a su vez, fomenta el desarrollo de un consenso en torno al marco de la evaluación y los objetivos de la medición.
• Un análisis de los tipos de conocimientos y habilidades que se asocian a un rendimiento satisfactorio proporciona una base para establecer estándares o niveles de aptitud. A medida que va evolucionando la comprensión de lo que se está midiendo y la capacidad de interpretar las calificaciones según una determinada escala, se puede ir desarrollando una base empírica que permita comunicar un caudal de información más rico a los distintos sectores a los que se dirige el estudio.
• La identificación y comprensión de las variables concretas que subyacen a un rendimiento satisfactorio fomenta la capacidad de evaluar lo que se está midiendo y posibilita introducir cambios en la evaluación a lo largo del tiempo. Una mejor comprensión de lo que se está midiendo y de su conexión con lo que se dice acerca de los alumnos proporciona un importante vínculo entre las políticas públicas, la evaluación y la investigación, lo cual, a su vez, refuerza la utilidad de los datos recogidos.
Programa para la Evaluación Internacional de Alumnos
OCDE ORGANIZACIÓN PARA LA COOPERACIÓN Y EL DESARROLLO ECONÓMICO
El Programa para la Evaluación Internacional de Alumnos (PISA), que fue puesto en marcha en 1997 por la OCDE, representa el compromiso de los gobiernos de los países miembros de examinar en un marco común internacional los resultados de los sistemas educativos, medidos en función de los logros alcanzados por los alumnos. PISA es, ante todo, un esfuerzo colectivo que aglutina el conocimiento científico de los países participantes y es dirigido conjuntamente por sus respectivos gobiernos, unidos por el interés común de extraer consecuencias para sus políticas. Corresponde, pues, a los países participantes responsabilizarse del proyecto a nivel político. Asimismo, expertos de los países participantes se integran en una serie de grupos de trabajo cuya función es establecer un nexo entre los objetivos políticos de PISA y los conocimientos técnicos más avanzados disponibles en el ámbito de la evaluación comparativa a escala internacional. La participación en estos grupos de expertos garantiza a los países que los instrumentos de evaluación de PISA tienen validez internacional, toman en consideración el contexto cultural y curricular de los países miembros de la OCDE, constituyen poderosas herramientas de medición y hacen hincapié en la autenticidad y la validez educativa.
Al igual que en los casos anteriores, esta nueva publicación presenta las líneas maestras de la evaluación PISA 2006, definidas en función de los contenidos que deben adquirir los alumnos, los procesos que han de ser capaces de ejecutar y los contextos a los que deben aplicar sus conocimientos y habilidades. Las distintas áreas de evaluación se ilustran asimismo con unas muestras de ejercicios, cuya elaboración ha corrido a cargo de una serie de grupos de expertos.
La preparación de la presente publicación ha corrido a cargo del Secretariado de la OCDE, siendo sus principales supervisores John Cresswell y Sophie Vayssettes. El informe se publica bajo responsabilidad del Secretario General de la OCDE.
PISA 2006 Perspectiva General
El Programa para la Evaluación Internacional de Alumnos de la OCDE (PISA) constituye un esfuerzo de colaboración acometido por todos los países miembros, así como por un buen número de países no miembros asociados, cuyo objetivo es medir hasta qué punto los alumnos de 15 años se encuentran preparados para afrontar los retos que les planteará su vida futura. Se ha elegido la edad de 15 años porque, en la mayoría de los países de la OCDE, los alumnos de esa edad se acercan ya al final del período de escolarización obligatoria y, por tanto, una evaluación realizada en ese momento permite obtener una idea bastante aproximada de los conocimientos, las habilidades y aptitudes que se han acumulado a lo largo de un período educativo de unos diez años. A la hora de evaluar los conocimientos, las habilidades y aptitudes de los alumnos, la evaluación PISA adopta un enfoque amplio que, si bien refleja los cambios más recientes en materia curricular, va más allá del enfoque centrado en la escuela para orientarse hacia la aplicación de los conocimientos a las tareas y los retos cotidianos. Las habilidades adquiridas por los alumnos reflejan su capacidad de seguir aprendiendo a lo largo de sus vidas mediante la aplicación de lo aprendido en la escuela a entornos extraescolares, la valoración de sus distintas opciones y la toma de decisiones. La evaluación, dirigida conjuntamente por los gobiernos participantes, aúna los intereses en materia política de los países mediante la aplicación de unos conocimientos científicos a escala nacional e internacional. En PISA se combina la evaluación de áreas cognitivas de un campo específico, como son la lectura, las matemáticas y las ciencias, con una evaluación sobre el entorno doméstico de los alumnos, el enfoque que dan a su aprendizaje, la percepción que tienen del entorno de aprendizaje y su grado de familiaridad con el uso de ordenadores. Una de las máximas prioridades de PISA 2006 consiste en una innovadora evaluación de las actitudes de los alumnos hacia las ciencias, un aspecto que quedó recogido mediante una serie de preguntas contextualizadas dentro del apartado cognitivo de la prueba. Esta proximidad entre las preguntas de actitud y los ejercicios cognitivos permitió asimismo dirigir las preguntas a unas áreas específicas que se centraron en el interés por las ciencias y el respaldo que prestan los alumnos a la investigación científica. Los resultados obtenidos por los alumnos en la evaluación cognitiva se asocian luego a estos factores contextuales. PISA utiliza: i) mecanismos muy rigurosos de control de calidad de la traducción, el muestreo y la administración de las pruebas; ii) medidas para conseguir la máxima amplitud cultural y lingüística en los materiales de evaluación, objetivo que se alcanza fundamentalmente mediante la implicación de los países en el proceso de elaboración y revisión de los ejercicios; y iii) la aplicación de las tecnologías y metodologías más avanzadas para el proceso de datos. Mediante la conjunción de todas estas medidas se obtienen unas herramientas de gran calidad, así como unos resultados con un alto grado de validez y fiabilidad, que permiten comprender mejor el funcionamiento de los sistemas educativos y los conocimientos, las habilidades y actitudes de los alumnos. PISA se basa en un modelo dinámico de aprendizaje en el que los nuevos conocimientos y las habilidades necesarios para adaptarse con éxito a un mundo cambiante se adquieren de forma continuada a lo largo de toda la vida. PISA se centra en todo aquello que los jóvenes de 15 años necesitarán en el futuro y se propone evaluar qué son capaces de hacer con lo que han aprendido. La evaluación toma en consideración el común denominador de los currículos nacionales, pero no se circunscribe a él.
Introducción
Cuadro A • ¿Qué es PISA?
Aspectos básicos • Una evaluación internacional estandarizada desarrollada de forma conjunta por los países participantes y aplicada a los alumnos de 15 años integrados en el sistema educativo. • Un estudio llevado a cabo en 43 países en el primer ciclo (32 en 2000 y 11 en 2002), 41 países en el segundo ciclo (2003) y 56 en el tercer ciclo (2006). • Por término medio, en cada país fueron sometidos a las pruebas de evaluación entre 4.500 y 10.000 alumnos. Contenido • PISA 2006 abarca las áreas de competencia lectora, matemática y científica, atendiendo no tanto al dominio del currículo escolar como a los conocimientos y las habilidades más importantes y necesarios para la vida adulta. • El énfasis recae en el dominio de procesos, la comprensión de conceptos y la capacidad para desenvolverse en diversas situaciones dentro de cada área. Métodos • Las pruebas son escritas y la duración total de la evaluación es de dos horas por alumno. • Los ejercicios combinan las preguntas de elección múltiple con otras en las que los alumnos deben elaborar sus propias respuestas. Las preguntas se organizan en unidades basadas en un pasaje escrito que plantea una situación de la vida real. • En total, la duración de las pruebas de evaluación es de 390 minutos, durante los cuales distintos alumnos realizan diversas combinaciones de ejercicios. • Los alumnos responden a un cuestionario contextual, cuya duración aproximada es de treinta minutos, en el que suministran información sobre sí mismos y su entorno familiar. Los directores de los centros de enseñanza, por su parte, responden a un cuestionario de 20 minutos de duración sobre sus centros. Ciclo de evaluación • La evaluación tiene lugar cada tres años, de acuerdo con el plan estratégico vigente, que se extiende hasta el año 2015. • Cada uno de esos ciclos analiza en profundidad un área principal, a la que se dedican dos tercios del tiempo de evaluación; de las otras áreas se obtiene un perfil sumario de habilidades. Las principales áreas han sido la competencia lectora en 2000, la competencia matemática en 2003 y la competencia científica en 2006. Resultados • Un perfil básico de los conocimientos y las habilidades de los jóvenes de 15 años. • Indicadores contextuales que relacionan el rendimiento con las características del alumno y del centro. En 2006 se hará también hincapié en la evaluación de las actitudes de los alumnos hacia la ciencia. • Indicadores de tendencia que muestran la evolución de los resultados en el tiempo. • Una valiosa base de conocimientos para el análisis y la investigación de las políticas educativas.
Así, a la vez que evalúa los conocimientos adquiridos por los alumnos, PISA examina su capacidad para reflexionar y aplicar sus conocimientos y experiencias a los problemas que plantea la vida real. Por ejemplo, un adulto que pretenda comprender y valorar las recomendaciones científicas relativas a la seguridad de los alimentos no podrá limitarse a conocer algunos hechos básicos sobre la composición de los nutrientes, sino que deberá ser capaz de aplicar dicha información. El término «competencia» se emplea para condensar esta concepción más amplia de los conocimientos y las habilidades. El proyecto PISA ha sido diseñado con objeto de recopilar información en ciclos trienales, presentar datos sobre la competencia lectora, matemática y científica de los alumnos, los centros de enseñanza y los países, proporcionar datos reveladores sobre los factores que influyen en el desarrollo de las habilidades y las actitudes, tanto en el entorno doméstico como en el escolar, y analizar cómo interactúan esos factores y cuáles son sus implicaciones para la adopción de pautas de actuación política. En esta publicación, que presenta el marco conceptual que sirve de base a las evaluaciones PISA 2006, se incluye una reelaboración y ampliación del marco de la competencia científica y un aspecto innovador relativo a la evaluación de la actitud de los alumnos hacia las ciencias, así como los marcos de evaluación de lectura y matemáticas. Para cada área, el marco de la evaluación define los contenidos que los alumnos deben adquirir, los procesos que deben ser capaces de ejecutar y los contextos a los que deben aplicar sus conocimientos y habilidades. Finalmente, cada área, así como sus distintos aspectos, se ilustra con una serie de ejercicios de muestra.
Dado que PISA tiene como objetivo evaluar el rendimiento acumulado por los sistemas educativos a una edad en la que la escolarización obligatoria es prácticamente universal, las pruebas de evaluación se centran en los jóvenes de 15 años integrados en programas educativos de ámbito escolar o de formación profesional. Por término medio, entre 5.000 y 10.000 alumnos, pertenecientes al menos a 150 centros escolares, serán sometidos a pruebas de evaluación en cada país. De esa forma, se obtendrá una muestra base significativa, cuyos resultados serán luego desglosados de acuerdo con una serie de características de los alumnos. El principal objetivo de la evaluación PISA es determinar en qué medida los jóvenes han adquirido esa amplia gama de conocimientos y habilidades en las áreas de las competencias lectora, matemática y científica que les permitirá desenvolverse en la vida adulta. Asimismo, la evaluación de las competencias transversales continúa siendo un elemento esencial de PISA 2006. Las principales razones que explican la adopción de un enfoque de esta amplitud son las siguientes:
Introducción
• Si bien la adquisición de conocimientos específicos tiene su importancia en el aprendizaje escolar,
la aplicación de esos conocimientos a la vida adulta depende de manera fundamental de la adquisición de una serie de conceptos y habilidades de carácter más amplio. En el caso de las ciencias, si pensamos en términos de los temas que son objeto de debate en la comunidad adulta, un conocimiento de carácter específico, como serían los nombres de plantas o animales, posee menos valor que la comprensión de una serie de temas más amplios, como son el consumo de energía, la biodiversidad y la salud humana. En el caso de la lectura, la capacidad de desarrollar interpretaciones del material escrito y de reflexionar acerca de los contenidos y cualidades de un determinado texto serían habilidades fundamentales. Finalmente, en el ámbito de las matemáticas, ser capaz de razonar cuantitativamente y de representar relaciones o dependencias tiene mayor valor a la hora de aplicar las habilidades matemáticas a la vida cotidiana que la capacidad de responder a las preguntas que suelen figurar en los libros de texto.
• Dado el carácter internacional del marco de referencia, centrarse en los contenidos de los currículos restringiría la atención a los elementos curriculares que comparten la totalidad, o la mayor parte, de los países. Eso obligaría a adoptar una serie de soluciones de compromiso que redundarían en una evaluación demasiado restringida para resultar de utilidad a los gobiernos que desean obtener información acerca de los puntos fuertes y las innovaciones de los sistemas educativos de otros países.
• Existen asimismo una serie de habilidades generales de carácter muy amplio que es esencial que los alumnos desarrollen. Entre ellas se incluyen la comunicación, la adaptabilidad, la flexibilidad, la capacidad de solucionar problemas y la utilización de las tecnologías de la información. Estas habilidades se desarrollan en diversas áreas curriculares y, por tanto, han de ser evaluadas con un enfoque transversal amplio. PISA no es una sola evaluación transnacional de las habilidades de los jóvenes de 15 años en las áreas de lectura, matemáticas y ciencias. Se trata de un programa de evaluación continuada que, a largo plazo, conducirá al desarrollo de un corpus de información que servirá para llevar un control de las tendencias que marcan la evolución de los conocimientos y las habilidades de los alumnos de varios países, así como de diversos subgrupos poblacionales dentro de cada país. En cada caso, se evaluará de forma más detallada un área concreta, que abarcará cerca de las dos terceras partes del tiempo total de la evaluación. En 2000, el área principal fue la competencia lectora, en 2003, la competencia matemática, y en 2006 será la competencia científica. De ese modo, cada nueve años se obtendrá un análisis exhaustivo de los logros en cada una de las áreas y, cada tres años, un análisis de tendencias.
Al igual que en los anteriores ciclos PISA, el tiempo total empleado por cada alumno en la realización de las pruebas PISA 2006 es de dos horas, si bien la información se obtiene de un conjunto de ejercicios cuya duración es de 390 minutos. El conjunto completo de las preguntas se presenta bajo el formato de 13 cuadernillos interrelacionados. Cada cuadernillo es realizado por un número de estudiantes que se considere suficiente para obtener una estimación adecuada de los niveles de rendimiento alcanzados en todos los ejercicios por los estudiantes de cada país, así como por los subgrupos más relevantes dentro de un mismo país (por ejemplo, varones y mujeres, alumnos procedentes de distintos entornos sociales y económicos, etc.). Los alumnos emplean asimismo 30 minutos respondiendo a las preguntas del cuestionario de contexto. La evaluación PISA proporciona tres tipos principales de resultados:
• Indicadores básicos, que proporcionan un perfil base de los conocimientos y las habilidades de los estudiantes. • Indicadores contextuales, que muestran la relación que guardan dichas habilidades con las principales variables demográficas, sociales, económicas y educacionales. • Indicadores de tendencias, que se derivan del carácter continuo de la recogida de datos y muestran los cambios en los niveles y en la distribución de los resultados, así como en las relaciones entre las variables contextuales y los rendimientos, tanto a nivel del alumnado como a nivel de los centros de enseñanza. Aun cuando los indicadores constituyen un medio adecuado para poner de relieve algunas cuestiones importantes, por regla general no son capaces de dar respuesta a los interrogantes de carácter político. En vista de ello, PISA ha desarrollado igualmente un plan de análisis de orientación política que va más allá de la mera presentación de los indicadores.
QUÉ HACE QUE PISA SEA ÚNICO
PISA no es el primer estudio comparativo internacional del rendimiento de los alumnos. A lo largo de los últimos 40 años se han llevado a cabo otros estudios, entre los que destacan el de la Internacional Association for the Evaluation of Educational Achievement (IEA) [Asociación Internacional para la Evaluación del Rendimiento Educativo] y el del Education Testing Service´s International Assessment of Educational Progress (IAEP) [Evaluación Internacional del Progreso Educativo del Servicio de Evaluación Educativa]. Es importante señalar, no obstante, que estos estudios se han centrado en los rendimientos ligados directamente a los currículos y, además, solo en aquellas partes de los currículos que son en lo sustancial comunes a los distintos países participantes. Por regla general, aquellos aspectos curriculares que se encuentran presentes en un único país o en un pequeño número de países no se han tomado en consideración a la hora de realizar las evaluaciones. El enfoque que adopta PISA es diferente en varios aspectos:
• Su origen: una iniciativa adoptada por los gobiernos, cuyos resultados pretenden dar satisfacción a sus propias necesidades en materia de orientación política.
• Su regularidad: el compromiso de cubrir múltiples áreas de evaluación con actualizaciones trienales hace posible que los países realicen un seguimiento regular y previsible de los progresos obtenidos en el cumplimiento de sus principales objetivos educativos.
• El grupo de edad cubierto: la evaluación de unos jóvenes que se encuentran al final del período de escolarización obligatoria permite obtener un indicador muy útil del rendimiento de los sistemas educativos. Aunque el ciclo educativo inicial de la mayoría de los jóvenes de los países de la OCDE se prolonga más allá de los 15 años, dicha edad se encuentra bastante próxima al final del primer período de educación básica, durante el cual el currículo que se imparte a los jóvenes de los distintos países suele ser bastante similar. Llegado ese momento, resulta extremadamente útil determinar en qué medida han adquirido los conocimientos y las habilidades que pueden serles de más utilidad en el futuro, así como los recorridos individualizados que pueden seguir para continuar su aprendizaje.
• Los conocimientos y las habilidades evaluados: sus contenidos no se definen atendiendo al común denominador que representan los currículos escolares nacionales, sino en función de las habilidades que se consideran esenciales para que los estudiantes se desenvuelvan con éxito en su vida futura. Este aspecto es el rasgo fundamental de PISA. En buena medida, los currículos escolares vienen elaborándose en función de un corpus de información y de técnicas que ha de ser dominado. Dentro de cada área curricular, no suele prestarse excesiva atención a las habilidades que deben desarrollarse para su uso general en la vida adulta. Y menor aún es la atención que se presta a otras habilidades de carácter más general que se desarrollan de forma transversal entre las distintas áreas curriculares, como son la solución de problemas o la aplicación de ideas y conocimientos a las situaciones que se encuentran en la vida. PISA no excluye los conocimientos y la comprensión basados en el currículo, pero los evalúa en función de la adquisición de unos conceptos y habilidades de carácter más amplio que posibilitan la aplicación de los conocimientos adquiridos. Es más, PISA no se siente constreñido por el común denominador de lo que se ha enseñado específicamente en los países participantes. Este énfasis en evaluar en función del grado de aptitud adquirido y de unos conceptos de gran amplitud cobra especial significación a la luz del interés que muestran las naciones por desarrollar su capital humano, un concepto que la OCDE define de la siguiente manera: Los conocimientos, las habilidades, capacidades y otros atributos pertenecientes a los individuos que in uyen de forma signi cativa en el bienestar personal, social y económico. En el mejor de los casos, las estimaciones sobre el capital humano han tendido a deducirse partiendo de indicadores tangenciales, como el nivel educativo alcanzado. Cuando el interés por el capital humano se amplía de forma que incluya aquellos atributos que posibilitan la plena participación social y democrática en la vida adulta y preparan a los individuos para convertirse en «personas que aprenden durante toda su vida», la insuficiencia de tales indicadores se hace aún más patente. Evaluar directamente los conocimientos y las habilidades que se poseen cuando ya está próxima la finalización del período de escolarización básica permite a PISA analizar el grado de preparación de los jóvenes para la vida adulta y, en cierta medida, la propia eficacia del sistema educativo. Lo que se ambiciona es evaluar los logros en función de los objetivos subyacentes a los sistemas educativos (según los define la sociedad), y no en función de la docencia y aprendizaje de un corpus de conocimientos. Esta forma de enfocar el rendimiento educativo se hace necesaria si se desea fomentar que los centros de enseñanza y los sistemas educativos se centren en los retos que plantea la sociedad contemporánea.
En el Cuadro B se presenta la definición de las tres áreas de PISA 2006. Todas las definiciones ponen especial énfasis en los conocimientos y las habilidades funcionales que hacen posible una participación activa en la sociedad. Tal participación no se limita a ser capaz de llevar a cabo unas tareas impuestas externamente, como las que pueda exigir un jefe a un empleado. También implica que se está pertrechado de los recursos necesarios para participar en un proceso de toma de decisiones. En las tareas más complejas de PISA se pidió a los alumnos que reflexionaran y evaluaran determinados materiales, en lugar de limitarse a responder unas preguntas que poseen una sola respuesta correcta.
Cuadro B • Definiciones de las áreas de evaluación
Competencia científica: Hace referencia a los conocimientos científicos de un individuo y al uso de ese conocimiento para identificar problemas, adquirir nuevos conocimientos, explicar fenómenos científicos y extraer conclusiones basadas en pruebas sobre cuestiones relacionadas con la ciencia. Asimismo, comporta la comprensión de los rasgos característicos de la ciencia, entendida como un método del conocimiento y la investigación humanas, la percepción del modo en que la ciencia y la tecnología conforman nuestro entorno material, intelectual y cultural, y la disposición a implicarse en asuntos relacionados con la ciencia y con las ideas de la ciencia como un ciudadano reflexivo. Competencia lectora: La capacidad que tiene un individuo de comprender, utilizar y analizar textos escritos con objeto de alcanzar sus propias metas, desarrollar sus conocimientos y posibilidades y participar en la sociedad. Competencia matemática: La capacidad que tiene un individuo de identificar y comprender el papel que desempeñan las matemáticas en el mundo, emitir juicios bien fundados y utilizar e implicarse en las matemáticas de una manera que satisfaga sus necesidades vitales como un ciudadano constructivo, comprometido y reflexivo. La competencia científica (que se trata en el Capítulo 1) se define como la capacidad de utilizar el conocimiento y los procesos científicos, no solo para comprender el mundo natural, sino también para intervenir en la toma de decisiones que lo afectan. La competencia científica se evalúa en relación con las siguientes dimensiones:
• Los conocimientos o conceptos científicos: Constituyen los vínculos que facilitan la comprensión de fenómenos relacionados. Aunque los conceptos empleados por PISA son los habituales de los campos de la física, la química, las ciencias biológicas y las ciencias del espacio y la Tierra, a la hora de realizar los ejercicios habrá que aplicarlos a sus contenidos, no bastando con una mera reproducción memorística.
• Los procesos científicos: Se centran en la capacidad de asimilar, interpretar y actuar partiendo de pruebas. Estos tres procesos se hallan presentes en PISA y se relacionan con: i) la descripción, explicación y predicción de fenómenos científicos, ii) la comprensión de la investigación científica, y iii) la interpretación de pruebas y conclusiones científicas.
PERSPECTIVA GENERAL DE LO QUE SE EVALÚA EN CADA ÁREA
• Las situaciones o contextos científicos: Representan los ámbitos a los que se aplican los conocimientos y los procesos científicos. El marco identifica tres áreas principales de aplicación: la ciencia en la vida y la salud, la ciencia en la Tierra y el medio ambiente y la ciencia en la tecnología. La competencia lectora (que se trata en el Capítulo 2) se define en función de la capacidad de los alumnos para comprender, utilizar y analizar textos escritos con objeto de alcanzar sus propias metas. Este aspecto de la competencia lectora ha quedado firmemente establecido en estudios anteriores, como el Internacional Adult Literacy Survey (IALS) (Estudio Internacional de la Competencia Lectora en Adultos); sin embargo, PISA da un paso más al incluir asimismo un elemento activo: la capacidad, no ya de comprender un texto, sino de reflexionar sobre él a partir de pensamientos y reflexiones personales. La competencia lectora se evalúa en relación con:
• El formato textual: La competencia lectora de los alumnos se evalúa con frecuencia mediante textos continuos, es decir, pasajes de prosa organizados en oraciones y párrafos. PISA añadirá además textos discontinuos, en los que la información se presenta de otras maneras, como son las listas, los formularios, los gráficos o los diagramas. Asimismo, distinguirá entre un abanico de formas prosísticas, como son la narrativa, la exposición o la argumentación. Estas distinciones se basan en el principio de que en su vida adulta profesional los individuos se encuentran con una gran variedad de textos escritos (por ejemplo, solicitudes, formularios, anuncios), y que no basta con leer un número limitado de tipos de texto, como los que suelen encontrarse en el entorno escolar.
• Los procesos de lectura (aspectos): Las habilidades lectoras más básicas no serán evaluadas, pues se da por supuesto que los alumnos de 15 años ya las han adquirido. En lugar de ello, se espera que sean capaces de demostrar su aptitud a la hora de obtener información, formarse una idea general y amplia del texto y reflexionar sobre su contenido, su forma y los rasgos que lo caracterizan.
• Las situaciones: Definen el uso para el que ha sido elaborado el texto. Por ejemplo, una novela, una carta personal o una biografía están destinadas a un uso privado; los documentos oficiales o los comunicados para un uso público; un manual o un informe para un uso profesional; y un libro de texto o una hoja de ejercicios para un uso educativo. Considerando que muy probablemente habrá grupos de alumnos cuyo rendimiento será mejor en una situación lectora que en otra, se procurará que los ejercicios de evaluación incluyan una gama muy variada de tipos de lectura. La competencia matemática (que se trata en el Capítulo 3) hace referencia a la capacidad de los alumnos para analizar, razonar y comunicar ideas de manera eficaz al plantear, formular, resolver e interpretar las soluciones a un problema matemático en una variedad de situaciones. La competencia matemática se evalúa en relación con:
• El contenido matemático: Se define fundamentalmente en función de cuatro ideas clave (cantidad, espacio y forma, cambio y relaciones, e incertidumbre) y solo de manera secundaria en relación con las «ramas curriculares» (como los números, el álgebra y la geometría).
• Los procesos matemáticos: Vienen definidos por las competencias generales propias de las matemáticas, que incluyen el empleo del lenguaje matemático, la creación de modelos y las habilidades relacionadas con la solución de problemas. Tales competencias no aparecen separadas en los distintos ejercicios de prueba, puesto que se asume que la ejecución de cualquier tarea matemática requiere la aplicación de varias de ellas. Por esa razón, las preguntas se organizan en función de unos «grupos de competencias concretas» que definen el tipo de habilidad mental requerido.
• Las situaciones: Representan los ámbitos en los que se utilizan las matemáticas y se organizan según
su grado de proximidad con respecto al alumno. El marco de la evaluación de PISA identifica cinco situaciones: personales, educativas, profesionales, públicas y científicas.
EVALUACIÓN E INFORME DE LOS RESULTADOS DE PISA 2006
Como ya ocurriera en las anteriores evaluaciones PISA, por razones de viabilidad, la evaluación de 2006 se realizará mediante una prueba escrita. Esta evaluación incluirá diversos tipos de preguntas. Algunas de ellas requieren que los alumnos escojan o produzcan respuestas simples que pueden ser cotejadas directamente con una única respuesta correcta, como sucede con los ejercicios de elección múltiple o los ejercicios de respuesta construida-cerrada. Estas preguntas tienen una respuesta correcta o incorrecta y suelen evaluar habilidades básicas. Otras preguntas, en cambio, poseen un carácter más creativo y requieren que los alumnos elaboren sus propias respuestas. A través de este tipo de preguntas se pueden medir unos constructos más amplios que los que suelen recoger los estudios de corte más tradicional, permitiendo a su vez una mayor gama de respuestas aceptables y el uso de un sistema de calificación más complejo que puede dar cabida a respuestas parcialmente correctas. Los estudiantes no tienen que responder a la totalidad de las preguntas de la evaluación. Las unidades de evaluación de PISA 2006 se estructuran en 13 grupos, cada uno de los cuales ha sido diseñado para ocupar 30 minutos del tiempo total de la prueba. Hay siete grupos de ciencias, dos de lectura y cuatro de matemáticas. Los grupos se reparten en 13 cuadernillos, en consonancia con el carácter rotatorio de la prueba. Cada uno de los cuadernillos contiene cuatro grupos y se asigna a cada alumno uno de estos cuadernillos, que deberá ser realizado en dos horas. Cada cuadernillo incluye al menos un grupo de Ciencias. PISA evalúa la competencia mediante unas unidades compuestas de un estímulo (por ejemplo, un texto, una tabla, un gráfico, figuras, etc.), al que siguen una serie de tareas asociadas a ese estímulo común. Este rasgo característico tiene su importancia, pues permite una profundización mayor de la que se obtendría si cada una de las preguntas introdujera un contexto completamente nuevo. De este modo, el estudiante dispone de más tiempo para asimilar un material que luego puede ser utilizado para evaluar diversos aspectos de su rendimiento. Los resultados de PISA vienen comunicándose por medio de unas escalas con una puntuación media de 500 y una desviación típica de 100 para las tres áreas de evaluación, lo que significa que las dos terceras partes de los alumnos de los países de la OCDE obtuvieron entre 400 y 600 puntos. Estas puntuaciones representan diversos grados de aptitud en un determinado aspecto de la competencia. Como la principal área de la evaluación de 2000 era la competencia lectora, las escalas de lectura se dividieron en cinco niveles de conocimientos y habilidades. La principal ventaja de este enfoque estriba en que permite describir lo que son capaces de hacer los alumnos, asociando las tareas con los distintos niveles de dificultad. Además de ello, los resultados se presentaron por medio de tres subescalas de lectura: obtención de información, interpretación de textos y reflexión y evaluación. En el informe de 2000 se ofrecía también una escala de aptitud para las competencias matemática y científica, aunque sin distintos niveles, lo cual reflejaba el carácter más limitado de los datos obtenidos en las áreas secundarias. PISA 2003 partió de este mismo enfoque, pero introdujo algunas novedades, como fue la especificación de seis niveles de aptitud para la escala de competencia matemática, siguiendo un modelo similar al empleado para la lectura. La competencia matemática comprendía cuatro subescalas: espacio y forma, cambio y relaciones, cantidad e incertidumbre. El informe sobre la competencia científica se estructurará de forma similar e incluirá también los resultados de las distintas áreas. Del mismo modo que PISA 2003 ofreció por primera vez la oportunidad de presentar resultados de tendencia para la competencia lectora, matemática y científica, los resultados de PISA 2006 suministrarán información adicional para este tipo de análisis.
LOS CUESTIONARIOS DE CONTEXTO Y SU UTILIZACIÓN
Con objeto de recabar información contextual, PISA pide a los alumnos y a los directores de los centros que respondan a un cuestionario de una duración aproximada de 30 minutos. Estos cuestionarios desempeñan un papel crucial, pues permiten analizar los resultados en función de las diversas características de los alumnos y de los centros de enseñanza. Los cuestionarios de PISA 2000 y 2003 se pueden consultar en la página web de PISA: www. pisa.oecd. org. A través de los cuestionarios se pretende obtener información sobre:
• los alumnos y su entorno familiar, incluyendo su capital económico, social y cultural; • diversos aspectos de la vida de los alumnos, como, por ejemplo, su actitud hacia el aprendizaje, sus hábitos y su vida en el entorno escolar y familiar;
• diversos aspectos sobre los centros de enseñanza, como, por ejemplo, la calidad de los recursos humanos y materiales de los centros, el carácter público o privado de su gestión y financiación, los procesos de toma de decisiones y las prácticas del personal docente;
• el contexto del aprendizaje, incluyendo el tipo y las estructuras de las instituciones, el tamaño de las clases y el grado de implicación de los padres;
• las estrategias de aprendizaje autorregulado, las preferencias motivacionales y la orientación hacia la consecución de los propios fines, los mecanismos cognitivos del yo, las estrategias de control de la acción, las preferencias por determinados tipos de situaciones de aprendizaje, los métodos de aprendizaje y las habilidades sociales necesarias para un aprendizaje de tipo cooperativo o competitivo;
• diversos aspectos del aprendizaje y la instrucción en ciencias, incluyendo la motivación, la implicación y el grado de confianza en las ciencias por parte de los alumnos, así como el impacto de las estrategias de aprendizaje en los logros relacionados con la enseñanza y aprendizaje de las ciencias. A escala internacional, se ofrecen asimismo dos cuestionarios adicionales:
• Un cuestionario sobre el grado de familiaridad con el uso de ordenadores, centrado en: i) la disponibilidad y utilización de las tecnologías de la información y comunicación (TIC), lo cual incluye el emplazamiento en que suelen usarse las TIC, así como el tipo de uso que se les da; ii) la desenvoltura en el uso de las TIC y las actitudes que generan, incluyendo la autoeficacia y las actitudes hacia los ordenadores; y iii) el contexto de aprendizaje de las TIC, que presta especial atención al lugar donde se ha aprendido a usar los ordenadores e Internet. En 2003, la OCDE publicó los resultados del análisis de este cuestionario en su informe Are Students Ready for a Technology – Rich World? What PISA Studies Tell Us (OCDE, 2005). (¿Están preparados los estudiantes para un mundo rico en tecnología?: Lo que nos dicen los estudios de PISA).
• Un cuestionario dirigido a los padres, que se centra en una serie de aspectos, entre los que se cuentan las actividades de carácter científico realizadas por los estudiantes en el pasado, el punto de vista de los padres acerca de los colegios de sus hijos, la opinión de los padres sobre el papel de la ciencia en los planes profesionales de sus hijos y sobre la importancia de los conocimientos
La información contextual recogida a través de los cuestionarios presentados a los alumnos y a los centros no representa más que una parte de la cantidad total de información de la que dispone PISA. Hace tiempo que la OCDE viene desarrollando y aplicando de forma regular una serie de indicadores que no solo describen la estructura general de los sistemas educativos (sus contextos demográficos y económicos: costes, matriculaciones, características de los centros y los docentes, así como algunos procedimientos utilizados para impartir las clases), sino también la repercusión que esta tiene en el mercado laboral.
EL CARÁCTER COOPERATIVO DE LA ELABORACIÓN DE PISA Y DE SUS MARCOS DE EVALUACIÓN PISA representa un esfuerzo de colaboración entre los gobiernos miembros de la OCDE cuyo objetivo es ofrecer de forma periódica un nuevo modelo de evaluación del rendimiento de los alumnos. Las evaluaciones se elaboran en un marco de cooperación, acordado entre los países participantes, y son llevadas a la práctica por las organizaciones nacionales. La cooperación constructiva de los alumnos, los profesores y los directores de los centros participantes viene siendo esencial para garantizar el éxito de PISA en todos los estadios de su desarrollo y aplicación. La Junta de Gobierno de PISA (PGB, siglas inglesas), que cuenta con una representación política de todas las naciones, determina, dentro del marco de los objetivos de la OCDE, las políticas prioritarias de PISA, a la vez que supervisa la adhesión a estas políticas durante la puesta en práctica del programa. Entre sus responsabilidades se incluye determinar las prioridades para el desarrollo de indicadores, para la elaboración de los instrumentos de evaluación y para la presentación de los resultados. Los expertos de los países participantes se integran en los grupos de trabajo, cuya tarea consiste en poner en conexión los objetivos de PISA en materia de políticas recurriendo para ello a los mejores conocimientos técnicos disponibles a escala internacional en las distintas áreas de evaluación. Mediante su participación en estos grupos de expertos, los países se aseguran de que los instrumentos elaborados tienen validez internacional y toman en consideración los contextos culturales y educativos de los países miembros de la OCDE. Igualmente, constatan que los materiales de evaluación constituyen poderosas herramientas de medición y hacen hincapié en la autenticidad y la validez educativa. Los países participantes ponen en práctica PISA a escala nacional a través de los Coordinadores Nacionales del Proyecto (NPM, siglas inglesas), según los procedimientos de gestión acordados. El papel de los Coordinadores Nacionales del Proyecto es fundamental, pues a la vez que garantizan la máxima calidad en la puesta en práctica del programa, se ocupan de verificar y evaluar los resultados de los distintos estudios, análisis, informes y publicaciones. El diseño y la ejecución de los estudios, dentro del marco establecido por la PGB, corresponde a un consorcio internacional presidido por el Australian Council for Educational Research [Consejo Australiano para la Investigación sobre Educación]. Otros organismos asociados a este consorcio son el Netherlands National Institute for Educational Measurement (CITO) [Instituto Nacional de los Países Bajos para la Medición Educativa], la empresa WESTAT y el Educational Testing Service (ETS) [Servicio de Evaluación Educativa] de Estados Unidos, y el National Institute for Educational Policy Research del Japón (NIER) [Instituto Nacional para la Investigación de la Política Educativa].
y las habilidades científicas en el mercado laboral, la opinión de los padres acerca de las ciencias y el medioambiente, los costes de los servicios educativos y, finalmente, la propia educación y categoría profesional de los padres.
El Secretariado de la OCDE ejerce el control ejecutivo global sobre el programa, supervisa el día a día de su realización, hace las funciones de secretariado de la PGB, acerca posturas entre los países y sirve de interlocutor entre la PGB y el consorcio internacional encargado de la aplicación del programa. Al Secretariado de la OCDE corresponde también la responsabilidad de la elaboración de indicadores, así como el análisis y la preparación de informes y publicaciones a escala internacional en cooperación con el consorcio PISA y en estrecho contacto con los países miembros tanto en el nivel político (PGB) como en el nivel ejecutivo (Coordinadores Nacionales del Proyecto). Desde que se inició el programa en 1997, la elaboración de los marcos de la evaluación de PISA ha sido un empeño constante, cuyo proceso puede describirse como una secuencia compuesta por los siguientes pasos:
• Elaboración de una definición de trabajo para el área de evaluación y descripción de los supuestos que sirven de base a dicha definición.
• Evaluación del modo en que han de organizarse las tareas para poder informar a los responsables políticos y a los investigadores sobre el rendimiento de los alumnos en cada una de las áreas e identificación de los rasgos clave que deben ser tenidos en cuenta a la hora de elaborar pruebas de evaluación adecuadas a un uso internacional.
• Determinación de la operatividad de los rasgos clave que se emplearán en la elaboración de las pruebas, recurriendo a definiciones basadas en la bibliografía existente y en la experiencia de otras evaluaciones a gran escala.
• Validación de las variables y evaluación de la contribución que hace cada una de ellas a la comprensión de la dificultad que pueden presentar las tareas en los distintos países participantes.
• Preparación de un esquema de interpretación de los resultados.
Aunque la principal ventaja de elaborar y validar un marco de evaluación para cada una de las áreas reside en la obtención de mejores herramientas de medición, existen además otras ventajas potenciales:
• Un marco de evaluación proporciona un lenguaje común y un vehículo para debatir cuáles son los objetivos de la evaluación y qué es lo que se pretende medir. Este debate, a su vez, fomenta el desarrollo de un consenso en torno al marco de la evaluación y los objetivos de la medición.
• Un análisis de los tipos de conocimientos y habilidades que se asocian a un rendimiento satisfactorio proporciona una base para establecer estándares o niveles de aptitud. A medida que va evolucionando la comprensión de lo que se está midiendo y la capacidad de interpretar las calificaciones según una determinada escala, se puede ir desarrollando una base empírica que permita comunicar un caudal de información más rico a los distintos sectores a los que se dirige el estudio.
• La identificación y comprensión de las variables concretas que subyacen a un rendimiento satisfactorio fomenta la capacidad de evaluar lo que se está midiendo y posibilita introducir cambios en la evaluación a lo largo del tiempo. Una mejor comprensión de lo que se está midiendo y de su conexión con lo que se dice acerca de los alumnos proporciona un importante vínculo entre las políticas públicas, la evaluación y la investigación, lo cual, a su vez, refuerza la utilidad de los datos recogidos.
miércoles, 9 de junio de 2010
Educación, mercado y evaluación
Ningún concepto es innocuo (sí hace daño). Ninguna palabra y ningún lenguaje son inocentes o neutrales. Todo concepto conlleva un significado y una intencionalidad. Por eso, el lenguaje ordena y clasifica componentes de la realidad humana, social o natural. Así, existen conceptos cuyo significado atrapa a los seres humanos, con la finalidad de controlarlos, de clasificarlos como los más competentes, los más dotados, los mejores. En ese sentido de ordenar, se está excluyendo y separando a algunos que no caben en el sistema educativo que proponen e imponen los organismos financieros como el Banco Mundial, o culturales como la UNESCO. Estas instituciones, desde su visión o concepción neoliberal del mundo, imponen determinados conceptos a las políticas educativas de los estados nacionales, para inscribir a los procesos educativos, de salud, o en general lo social, en el marco de los dogmas neoliberales: reducción del gasto público, las privatizaciones y las liberalizaciones.
Desde estas visiones y concepciones se construyen los sentidos o significados que orientan en la práctica a los conceptos de evaluación, de calidad en la educación, de exámenes estandarizados, que hoy se aplican en las políticas educativas implementadas por los estados nacionales, subordinados a las corporaciones internacionales y nacionales, citadas arriba. Veamos.
El concepto de evaluación, desde la óptica neoliberal y de las reglas del mercado, tiene la pretensión de ordenar y clasificar a los actores de los procesos educativos, no con la intención de captar información para mejorar al sistema educativo, mismo que hoy, en el caso mexicano, atraviesa por su peor crisis en todos los órdenes, y que algunos intelectuales lo visualizan como catástrofe silenciosa, sino para justificar la reducción del gasto público, privatizar la educación pública y desregular al sistema educativo, para ponerlo en manos de corporaciones económicas extranjeras y nacionales.
Con lo anterior se demuestra que la evaluación propuesta por organismos internacionales queda inscrita en las relaciones de poder (política) y en las relaciones de producción (economía); este hecho desenmascara el sentido de valoración que sus actores neoliberales pretenden buscar. Lo que verdaderamente conlleva la aplicación de dicha evaluación, es el sentido de medir, cuantificar y controlar, desde una óptica científico-técnica, con la finalidad, además de lo ya dicho, de clasificar a los mejores, los que se colocan en la astucia de la razón, el darwinismo social de los más dotados, y expulsar del sistema educativo, a todos los que el poder de dominación mantiene en la desigualdad social, realmente existente. Así, por ejemplo, en México sólo uno de cada 100 jóvenes de ascendencia indígena puede ingresar a las universidades del país.
Las pruebas estandarizadas como la famosa ENLACE o PISA, no son instrumentos neutrales, sino que ahondan la discriminación sobre los que han sido esclavizados y colocados en la marginación, la pobreza y la desigualdad. Lo estandarizado pretende ignorar la desigualdad social, y solamente selecciona a aquellos que están en la mejor posición social, los pocos y los muchos, son olvidados. Es más, tal proceso de evaluación mide la calidad de la educación, y desde este terreno premia a los mejores, poniendo en práctica una objetividad técnica, en donde el resultado de los exámenes se convierte en un valor absoluto.
El valor absoluto no contempla los procesos de formación simbólicos, los valores, el pensamiento reflexivo y critico, el desarrollo personal, los sentimientos, las emociones, el inconsciente, actitudes, la verdad. Desde la visión científico-técnica, o de las tecnologías políticas y de la racionalidad instrumental, lo que importa es colocar a la educación y sus actores, en el carro de los dogmas neoliberales y percibir a los seres humanos como medios, compitiendo en lo individual, y olvidando los procesos de colaboración y solidarios, necesarios éstos, para construir lo público, lo de todos, lo común. Como bien afirma Ángel Díaz Barriga: “Bajo el neologismo pedagógico “calidad” se promueve la realización de exámenes nacionales considerando que éstos aportan información para determinar la calidad del sistema”.
Tanto la evaluación como la medición de la calidad educativa responden a las tecnologías políticas, inscritas en el campo de un pensamiento neoconservador, que mantiene y sostiene el orden capitalista, cuya característica básica es continuar acumulando capital en pocos y destruyendo la condición humana y la naturaleza. Por eso afirmamos que la evaluación y la medición de la calidad son formas de política, es decir, relaciones de poder, desde donde unos grupos, los ricos, los poderosos, las corporaciones y los poderes fácticos, promueven sus intereses y valores sobre otros.
La calidad educativa y la evaluación, responden a un tipo de racionalidad; no son constructos, discursos ajenos a los valores, a significados en relación con el mundo, sino que a través de ellos se establece una relación de conocimiento frente a la realidad. Desde la óptica neoliberal dichos conceptos llegan a la educación, vía los exámenes nacionales e internacionales para evaluar el desempeño estudiantil e indirectamente el trabajo de docentes y de las instituciones educativas.
Decíamos anteriormente que la aplicación de los citados conceptos, no sólo es para captar información sobre las debilidades o fortalezas del sistema educativo, sino que llevan implícito una serie de controles burocráticos. Lo anterior como resultado de la concepción vertical del empleo de la evaluación. Estas técnicas aplicadas a la educación, desde lo externo, ignoran los aspectos fundamentales y complejos del trabajo académico, es decir, de la práctica docente. De ahí la adopción de formas o modelos productivistas de medir el trabajo de investigación: Número de publicaciones, extensión del trabajo, número de citas, etcétera.
Por otro lado, la aplicación de estos conceptos dejan de lado todo lo que sucede en el campo de la relación pedagógica, como uno de los bienes simbólicos, en donde lo que importa no es el resultado absoluto de un examen, sino que existe algo que no pueden medir, como la forma en que un alumno o estudiante se percibe a sí mismo, a los otros, a su mundo, su cultura y valores. Los procesos de “acreditación”, son mecanismos de evaluación externa que vienen a violentar, en el caso de las instituciones de educación superior, las propias autonomías. Además, quienes aceptan dichos procesos ignoran que aquellos responden a una racionalidad técnica, cuyo interés es cancelar oportunidades a los que viven en la desigualdad (reducir matrícula es un injusticia social). Otro mundo es posible.
Rafael Mendoza Castillo
Domingo 23 de Mayo de 2010
http://www.cambiodemichoacan.com.mx/editorial.php?id=3195
Suscribirse a:
Entradas (Atom)