viernes, 29 de marzo de 2013

¿Qué es lo que PISA intenta valorar realmente en las pruebas?

El concepto de "Calidad Educativa" es muy complejo, y las evaluaciones estandarizadas internacionales miden un aspecto, más relacioado con el rendimiento escolar. Las evaluaciones PISA han alcanzado un nivel planetario, una de ellas aborda el conocimiento científico ¿Qué idea de “competencia científica trae? ¿Qué se considera relevante en sus evaluaciones? ¿A qué aspectos no presta atención?
Aunque PISA se propone la medición de los tres tipos de capacidades relacionadas con lo que la OCDE define como “competencia científica” (identificación de cuestiones científicas, explicación científica de fenómenos y utilización de pruebas científicas), no parece prestar especial atención a los grupos de capacidades superiores o de segundo orden (‘transferencia’, ‘heurística’ y
‘argumentación’), quedándose en un concepto de competencia apegado casi de forma exclusiva al ‘saber’ como conocimiento y descuidando las áreas del ‘saber hacer’ y ‘saber decir’ (DeSeCo) en la evaluación de la competencia científica. Así pues, aunque en general PISA se desinteresa por el conocimiento científico entendido como mera reproducción de información de forma mecánica o memorística (lo que el grupo llama “reproducción”), encontramos que se deberían potenciar más las capacidades de segundo orden indicadas, tal y como establece el propio programa PISA en sus fundamentos teóricos.
En este sentido, cabe indicarse que PISA parece decantarse por las pruebas de elección múltiple que no admiten argumentación, una capacidad esencial, a nuestro juicio, en la competencia científica. Sólo en algunas actividades se incluye alguna pregunta abierta que requiere argumentación, pero el resto del problema sólo requiere elección entre respuestas múltiples. Además, cuando se utilizan preguntas abiertas, los criterios de corrección de las mismas son cerrados, valorando sólo como correctas un conjunto limitado de respuestas posibles, cuya valoración debería centrarse más en su adecuada justificación científica, capacidad mucho más relevante para la evaluación de un aprendizaje competente. Asimismo, consideramos que se debería favorecer más la creatividad del estudiante y la transferencia del conocimiento. Como hemos visto, en muy pocas ocasiones, se plantean problemas abiertos que den rienda suelta a la transferencia y mucho menos a la heurística.
Por último, se echa en falta actividades que evalúen la destreza de lectura/interpretación de imágenes gráficas (ej. esquemas, dibujos y diagramas de biología, geología, etc.), así como un mayor uso de la comunicación escrita (ej. redactar un informe, una valoración, etc.), habilidades cienficas tradicionalmente consideradas importantes en la enseñanza de las ciencias y ahora en el desarrollo de la competencia científica.
Relevancia del contenido de las pruebas
Respecto a la relevancia, recordemos que hace referencia al concepto de aprendizaje situado, que se considera más idóneo para potenciar el aprendizaje. Esto significa que las actividades deben conectar con los intereses o inquietudes del alumnado para permitir que se desarrolle dicho aprendizaje. Un aprendizaje competente es aquél que el alumno/a utiliza para interpretar y actuar sobre su entorno inmediato. Por lo tanto, se plantea una importante dificultad de PISA respecto a la relevancia del contenido: ¿Cómo lograr conectar con los intereses e inquietudes del alumnado mediante una prueba estandarizada que se pasa a una gran cantidad de sujetos? La única manera que existe de que el contenido sea relevante para el alumnado pasa por el conocimiento de las inquietudes e intereses del mismo, cosa imposible de tener en cuenta en una prueba de las características de PISA, en la que la propia condición de estandarización internacional hace difícil crear contextos relevantes para realidades socio-culturales a veces muy distintas. Con ello no queremos indicar que sea imposible en todos los casos, pues, por ejemplo, la utilización de pruebas basadas en sucesos o eventos de repercusión mundial, o de fuerte repercusión mediática, ofrece marcos significativos o relevantes para todos los estudiantes, dada la globalización informativa.
Así pues, aunque el contenido de los ítems es, sin duda, actualizado y sobre temas vigentes y en discusión, PISA tiende a plantearlos de una forma academicista, desperdiciando oportunidades para plantear dilemas éticos o conflictos de actualidad en el ámbito científico para centrarse en el contenido académico de los ítems (véase “Clonación”, PISA 2000-03).
Esto puede verse también en la tipología de respuestas que PISA contempla en sus cuestiones. De todos los ítems analizados, sólo un 37% permiten la posibilidad de respuestas abiertas mientras que a las respuestas cerradas y múltiples les corresponde un 63% (siendo más predominantes, en un 41%, las respuestas múltiples). De igual modo ocurre con las pautas de corrección: mientras que para el 81% de las preguntas sólo puede obtenerse el total de la puntuación asignada o cero puntos, el 19% pueden puntuar de una manera parcial. Está claro que PISA no contempla la variedad de perspectivas y el conflicto que representa la competencia en ciencias y presta más atención a la “comprobabilidad” del conocimiento académico.
PISA parte de la base de que, si el alumno/a conoce el tema en su entorno más inmediato, automáticamente pasa a ser un tema relevante para él/ella, lo cual resulta difícil de sostener, ya que todo nuestro entorno está rodeado de diferentes temáticas cercanas a nosotros y no por ello todas nos resultan igualmente relevantes o interesantes. De esta manera, preguntas como: “El ejercicio físico”, “El efecto invernadero”, “Fumar tabaco”, “Clonación”, “El cambio climático” y “Ozono”, podrían tener cierta relevancia por la preponderancia del tema en los medios de comunicación. Otras les pueden parecer interesantes por su temática cotidiana: “Apta para beber”, “Caries dental”, “La luz de las estrellas”, Brillo de labios”, “La masa del pan”, “Luz del día” o “El chocolate”. El resto de las preguntas, tales como “Lluvia ácida”, “Ultrasonido”, “El catalizador”, “La biodiversidad”, “La conducta del espinoso” y, específicamente, la referida a El Gran Cañón” (de El Colorado, que nos queda un poco lejos), creemos que es más difícil que resulten relevantes para niños y niñas de quince años en general, aunque algunos y algunas de ellos y ellas pudieran tener una afición especial por la ciencia o la naturaleza que hiciese que encontrasen la pregunta relevante. Lo que está claro es que esto no pueden ser más que apreciaciones sin ningún argumento sobre una “supuesta” relevancia, ya que es imposible determinar el grado de relevancia del contenido de las pruebas.
En síntesis, encontramos que es difícil plantear preguntas relevantes para el alumnado mediante una prueba estandarizada para un abanico tan variado de realidades socioculturales debido al desconocimiento o imposibilidad de conectar con las inquietudes e intereses de tan diversa población muestreada y, por tanto, con el conocimiento necesario para desarrollar una aprendizaje situado, significativo, relevante y/o competente.
Por otro lado, cabe destacarse que el esfuerzo por parte de PISA para presentar temas actuales y con repercusión mediática en sus ítems no parece ser más que una actualización del contenido y no una nueva manera de tratarlo, lo que termina por caer, en muchas ocasiones, en la búsqueda de un grado de conocimiento, en lugar de la competencia en un ámbito, tal y como se hace tradicionalmente en nuestras escuelas.
¿A qué no presta atención PISA?
Si bien no parece, por las evidencias encontradas en la investigación, que PISA esté valorando ‘competencias’ tal y como se plantean en DeSeCo (una cuestión importante a pensar puede ser si esto puede hacerse mediante pruebas estandarizadas), sí podemos esbozar, tras el análisis de las pruebas, un panorama general de aspectos a los que el Programa parece prestar menor atención.
Parece evidente, viendo los porcentajes anteriores de respuestas cerradas y abiertas presentados más arriba, que la argumentación y la comunicación no son capacidades que PISA intente valorar con interés en sus pruebas (esta capacidad no aparece en el 67.65% de los ítems analizados). Esto se debe quizás a la dificultad que plantearía de cara a la corrección de las pruebas, ligado a una preocupación por la búsqueda de la objetividad en la corrección, imposible de garantizar si la argumentación y la comunicación son muy predominantes.
Asimismo, como hemos visto, en muy pocas ocasiones, plantea problemas abiertos que den rienda suelta a la capacidad de crear o a la heurística (esta capacidad no aparece en el 87.22% de los ítems analizados). Al parecer, a PISA le interesa más el seguimiento de las leyes y teorías científicas (mediante preguntas cerradas) que el pensamiento divergente implícito en el espíritu creativo, fundamental en el avance de la ciencia.
Por otra parte, una de las capacidades que reclama PISA es la de ‘búsqueda de información científica y su selección’. Es una lástima que esta búsqueda se restrinja únicamente a la información que se proporciona en el enunciado. Para que el alumnado pueda desplegar al máximo su competencia (recordemos que no tiene que ver con el contenido) en cualquier aspecto, es imprescindible que tenga a su alcance todo tipo de información, incluido un portátil conectado a la red (como parece haberse propuesto en PISA 2009, con una aplicación ‘cerrada’).


Otro aspecto llamativo de las pruebas de PISA es la restricción de los problemas a temas puramente académicos, con escasa o nula conexión con temas transversales. Así, aunque algunas actividades plantean cuestiones de salud y medio ambiente (nunca sobre otros derechos humanos), no aparecen preguntas en las que aflore en profundidad la actitud del alumno/a; asimismo, tampoco reclaman reflexiones o dilemas éticos por parte del estudiante, cuestiones éstas que se supone están indefectiblemente ligadas a la actividad científica.
Relacionado con esto, llama también la atención la presencia de algunos ítems que se plantean únicamente para intentar valorar la actitud del alumno/a frente a las ciencias, aunque de un modo superficial. Curiosamente, no aparecen liberadas las pautas de corrección para dichos ítems, con lo cual entendemos que no cuentan para la puntuación de la prueba (véase pregunta 1.6 de “Apta para beber” del Marco de 2006).
Por otra parte, en relación con el contenido, podría plantearse quizás un posible sesgo cultural en la elección de los temas propuestos, propios de una clase social determinada, alejados de culturas locales y minoritarias.
La preocupación de los diseñadores de las pruebas por conseguir evitar cualquier sesgo tanto en el contenido de la pregunta como en la exactitud de las respuestas provoca que se eviten en las pruebas contenidos o temas problemáticos, huyendo de la “contaminación” de las opiniones. La ciencia, en la orientación más positivista, ha de respetar determinados procesos y los hallazgos obtenidos no admiten respuestas equívocas. Ese conocimiento exacto y asimilación de sus métodos puede generar un racionalismo exacerbado y una actitud/creencia hacia el conocimiento científico como un saber acrítico y falto de referentes históricos, sociales, etc., que expliquen los porqués de la deriva de la ciencia hacia focos de investigación determinados.
No se han observado en las pruebas temas de conocimiento sujetos al debate, que pudieran sembrar la duda en los estudiantes por las opciones a elegir o las respuestas requeridas. Ahora bien, ese alejamiento de temas ‘problemáticos’ presenta a la ciencia y al conocimiento científico como una metáfora de la verdad suprema que, para algunos, es la nueva religión. De ahí que, en la tipología de las pruebas, parece existir la estrategia de los evaluadores de eliminar el “ruido de fondo” en la medición, es decir, eliminar cualquier cosa que no sea un procedimiento científico estricto. Esto es coherente con la forma en que se compartimenta el conocimiento en todos los currículos educativos de la OCDE.
La inclusión de la dimensión “actitudes” en 2006 indica un avance en ámbitos como la salud y el medio ambiente, pero nada aparece relacionado con el juicio moral sobre la actividad científica.
En las pruebas analizadas, pues, parece haber una falta total de atención a las implicaciones sociales y/o morales de las cuestiones tratadas, por ejemplo, en aspectos relacionados con la salud, el medio ambiente o la investigación científica. En general, estas ausencias podemos encontrarlas en pruebas como: “El Gran Cañón”, “Fumar Tabaco”, “El ejercicio físico”, “Ozono”, “El cambio climático”, “El efecto invernadero”, “Clonación”. En las citadas pruebas, no se hace alusión a los impactos del turismo en el medio ambiente, los intereses de las multinacionales sobre determinadas enfermedades, la ética sobre la reproducción, etc., soslayando, como decimos, aquellos apartados que son causa de debates morales, políticos, ecológicos, etc.




Extraído de
Gallardo-Gil, Monsalud; Fernández-Navas, Manuel; Sepúlveda-Ruiz, María-Pilar; Serván, María-José; Yus, Rafael & Barquín, Javier (2010).
PISA y la competencia científica: Un análisis de las pruebas de PISA en el Área de Ciencias. RELIEVE, v. 16, n. 2, p. 1-17. http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm

martes, 19 de marzo de 2013

Evaluaciones PISA de Ciencias ¿Cumple con sus propósitos?

Las evaluaciones en Ciencias es una de las que desarrolla el programa PISA. En este artículo presentamos una opinión sobre estas pruebas ¿Puede una evaluación estandarizada ser adecuada, para cumplir con sus propósitos? ¿Mide Calidad Educativa o rendimiesto escolar? ¿Qué deberían hacer los países implicados?


PISA pretende establecer un marco común, internacional, de evaluación del rendimiento de los estudiantes de quince años, entendido como nivel de competencia. Bajo el concepto de ‘competencia’, PISA ha tratado de promover la valoración de la ‘utilidad’ y ‘aplicación’ del conocimiento sobre la reproducción en la formación de la competencia, analizando y especificando los conocimientos, capacidades y actitudes que intervienen en la formación de la competencia científica. Sin embargo, en nuestro análisis, encontramos bastantes limitaciones de cara la evaluación de la competencia científica en los términos que define el propio programa PISA –como un ‘saber hacer complejo’–. En este sentido, consideramos que se debería potenciar una aproximación más holística e interdisciplinar a las competencias, en tanto que encontramos una falta de correspondencia entre el concepto de competencia que plantea DeSeCo y la forma en que PISA las evalúa finalmente, fragmentándolas en disciplinas, capacidades, habilidades y destrezas; alejándose de las capacidades de orden superior como son la transferencia, la heurística y la argumentación; haciendo, en definitiva, que la competencia pierda su sentido. Es posible que la pretensión de someter a estas pruebas a un análisis estadístico convencional obligue a los diseñadores a demandar ejercicios de respuestas cerradas para facilitar la corrección de los mismos y evitar el componente de subjetividad que conlleva una valoración.


Por otra parte, consideramos que se debería aprovechar todo el potencial crítico de las preguntas, en tanto que un artificio llamativo de las pruebas de PISA parece ser la restricción de los problemas a temas puramente académicos, con escasa o nula conexión con los temas transversales y de la ‘vida real’. Es cierto que algunas actividades plantean cuestiones de salud y medio ambiente, pero no profundizan en ellas, no plantean preguntas que revelen en profundidad la actitud del alumno/a, ni plantean reflexiones o dilemas éticos ligados a la actividad científica.


En otro orden de cosas, consideramos que permitir el acceso a material de consulta para responder las preguntas debe ser un recurso imprescindible para la evaluación de competencias; el alumnado, desde este punto de vista, debería tener a su alcance todo tipo de información.


A modo de conclusión final, cabría preguntarse para futuras investigaciones si este modelo de evaluación de competencias que plantea PISA (mediante pruebas estandarizadas) es o debe ser el más adecuado para las finalidades que se proponen desde el propio Programa de evaluación. Algunas de las dificultades que hemos visto a lo largo de todo el artículo, podrían resultar insalvables para una prueba de estas características: la relevancia del contenido de las pruebas, la corrección objetiva de preguntas que pudieran plantear argumentación y/o heurística, etc. Por lo tanto, estamos en condiciones de esgrimir la necesidad de otros modelos más acordes para la evaluación de competencias educativas en sentido holístico, poniendo en duda, por tanto, si la solución a la evaluación de competencias está en el perfeccionamiento de la prueba PISA o en el modelo elegido para la evaluación de las mismas. Tal vez los países implicados debieran acudir a enfoques cualitativos que permitieran la observación del comportamiento de los adolescentes en situaciones naturales para matizar los resultados estadísticos globales, puesto que en el horizonte no se atisba una desaparición de estos análisis mundiales.



Extraído de
Gallardo-Gil, Monsalud; Fernández-Navas, Manuel; Sepúlveda-Ruiz, María-Pilar; Serván, María-José; Yus, Rafael & Barquín, Javier (2010).
PISA y la competencia científica: Un análisis de las pruebas de PISA en el Área de Ciencias. RELIEVE, v. 16, n. 2, p. 1-17. http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm

sábado, 9 de marzo de 2013

Perspectiva general del Programa para la Evaluación Internacional de Alumnos de la OCDE (PISA)


Las Evaluaciones Internacionales de Calidad Educativa PISA miden el rendimiento escolar de alumnos de 15 años, en algunas de las áreas. La idea de "Calidad Educativa" es mucho más completa. En los siguientes párrafos se transcribe una perspectiva general de estas evaluaciones estandarizadas, dada por los organizadores.





El Programa para la Evaluación Internacional de Alumnos de la OCDE (PISA) constituye un esfuerzo de colaboración acometido por todos los países miembros, así como por un buen número de países no miembros asociados, cuyo objetivo es medir hasta qué punto los alumnos de 15 años se encuentran preparados para afrontar los retos que les planteará su vida futura. Se ha elegido la edad de 15 años porque, en la mayoría de los países de la OCDE, los alumnos de esa edad se acercan ya al final del período de escolarización obligatoria y, por tanto, una evaluación realizada en ese momento permite obtener una idea bastante aproximada de los conocimientos, las habilidades y aptitudes que se han acumulado a lo largo de un período educativo de unos diez años. A la hora de evaluar los conocimientos, las habilidades y aptitudes de los alumnos, la evaluación PISA adopta un enfoque amplio que, si bien refleja los cambios más recientes en materia curricular, va más allá del enfoque centrado en la escuela para orientarse hacia la aplicación de los conocimientos a las tareas y los retos cotidianos. Las habilidades adquiridas por los alumnos reflejan su capacidad de seguir aprendiendo a lo largo de sus vidas mediante la aplicación de lo aprendido en la escuela a entornos extraescolares, la valoración de sus distintas opciones y la toma de decisiones. La evaluación, dirigida conjuntamente por los gobiernos participantes, aúna los intereses en materia política de los países mediante la aplicación de unos conocimientos científicos a escala nacional e internacional.



En PISA se combina la evaluación de áreas cognitivas de un campo específico, como son la lectura, las matemáticas y las ciencias, con una evaluación sobre el entorno doméstico de los alumnos, el enfoque que dan a su aprendizaje, la percepción que tienen del entorno de aprendizaje y su grado de familiaridad con el uso de ordenadores. Una de las máximas prioridades de PISA 2006 consiste en una innovadora evaluación de las actitudes de los alumnos hacia las ciencias, un aspecto que quedó recogido mediante una serie de preguntas contextualizadas dentro del apartado cognitivo de la prueba. Esta proximidad entre las preguntas de actitud y los ejercicios cognitivos permitió asimismo dirigir las preguntas a unas áreas específicas que se centraron en el interés por las ciencias y el respaldo que prestan los alumnos a la investigación científica. Los resultados obtenidos por los alumnos en la evaluación cognitiva se asocian luego a estos factores contextuales.



PISA utiliza:

i) mecanismos muy rigurosos de control de calidad de la traducción, el muestreo y la administración de las pruebas;

ii) medidas para conseguir la máxima amplitud cultural y lingüística en los materiales de evaluación, objetivo que se alcanza fundamentalmente mediante la implicación de los países en el proceso de elaboración y revisión de los ejercicios; y

iii) la aplicación de las tecnologías y metodologías más avanzadas para el proceso de datos. Mediante la conjunción de todas estas medidas se obtienen unas herramientas de gran calidad, así como unos resultados con un alto grado de validez y fiabilidad, que permiten comprender mejor el funcionamiento de los sistemas educativos y los conocimientos, las habilidades y actitudes de los alumnos.



PISA se basa en un modelo dinámico de aprendizaje en el que los nuevos conocimientos y las habilidades necesarios para adaptarse con éxito a un mundo cambiante se adquieren de forma continuada a lo largo de toda la vida. PISA se centra en todo aquello que los jóvenes de 15 años necesitarán en el futuro y se propone evaluar qué son capaces de hacer con lo que han aprendido. La evaluación toma en consideración el común denominador de los currículos nacionales, pero no se circunscribe a él.



Así, a la vez que evalúa los conocimientos adquiridos por los alumnos, PISA examina su capacidad para reflexionar y aplicar sus conocimientos y experiencias a los problemas que plantea la vida real. Por ejemplo, un adulto que pretenda comprender y valorar las recomendaciones científicas relativas a la seguridad de los alimentos no podrá limitarse a conocer algunos hechos básicos sobre la composición de los nutrientes, sino que deberá ser capaz de aplicar dicha información. El término «competencia» se emplea para condensar esta concepción más amplia de los conocimientos y las habilidades.



El proyecto PISA ha sido diseñado con objeto de recopilar información en ciclos trienales, presentar datos sobre la competencia lectora, matemática y científica de los alumnos, los centros de enseñanza y los países, proporcionar datos reveladores sobre los factores que influyen en el desarrollo de las habilidades y las actitudes, tanto en el entorno doméstico como en el escolar, y analizar cómo interactúan esos factores y cuáles son sus implicaciones para la adopción de pautas de actuación política.



En esta publicación, que presenta el marco conceptual que sirve de base a las evaluaciones PISA 2006, se incluye una reelaboración y ampliación del marco de la competencia científica y un aspecto innovador relativo a la evaluación de la actitud de los alumnos hacia las ciencias, así como los marcos de evaluación de lectura y matemáticas. Para cada área, el marco de la evaluación define los contenidos que los alumnos deben adquirir, los procesos que deben ser capaces de ejecutar y los contextos a los que deben aplicar sus conocimientos y habilidades. Finalmente, cada área, así como sus distintos aspectos, se ilustra con una serie de ejercicios de muestra.



Extraído de
PISA 2006
MARCO DE LA EVALUACIÓN
Conocimientos y habilidades en Ciencias, Matemáticas y Lectura

Related Posts Plugin for WordPress, Blogger...

Busca en mis sitios