Evaluar lo que se aprende

AL BE

RT

CA MP ILL

O

Reforma educativa / Evaluación / Evaluación del alumnado / Evaluación del profesorado / Evaluación del centro educativo / Evaluación del sistema educativo / Indicadores de la evaluación / Indicadores de rendimiento / Rendimiento escolar

Una reforma de la secundaria puede ser inviable si se pasa por alto la evaluación. Los autores repasan las tendencias recientes en políticas de exámenes, caracterizadas por pruebas nacionales e internacionales que se usan para rendir cuentas y no abordan algunas competencias clave. Al seguimiento en el aula, en cambio,

“Se luce en los exámenes; si no hubiera exámenes para que él pudiera lucirse, habría muy poco de especial en él. Los exámenes crean en él un estado de excitación y estremecimiento, durante el que escribe con rapidez y seguridad” (J.M. Coetzee, Boyhood, 1997, p. 130)

no se le presta aún demasiada atención.

JUAN MANUEL MORENO Y ERNESTO CUADRA 66 CUADERNOS DE PEDAGOGÍA. Nº347 JUNIO 2005 } Nº IDENTIFICADOR: 347.015

El papel de los exámenes nacionales es, posiblemente, la nota más característica y peculiar de la educación secundaria. En todo el mundo, para muchos estudiantes y sus familias, esta etapa se asocia a los exámenes nacionales, externos a la escuela, y que son “de alto riesgo”. En realidad, la dura-

tema del mes ción exacta de la educación secundaria en muchos países puede determinarse identificando el punto en el que los estudiantes hacen el examen de ingreso y el momento en el que se examinan para finalizar la escolaridad. En muchos países en desarrollo, la secundaria está pues custodiada por exámenes de ingreso y de graduación. Los exámenes constituyen una poderosa herramienta para influir y configurar el currículo de este nivel educativo. Su importancia política y económica es tan grande que sería imposible comprender el funcionamiento del sistema educativo en su conjunto sin mirarlo a través de la lente de estas pruebas. Este carácter central de los exámenes provoca consecuencias de muchos tipos. Para empezar, los responsables políticos tienen que reconocer que cualquier propuesta de reforma, en especial de reforma curricular, debe contar con los exámenes como los principales elementos de configuración de la educación secundaria. Es más, por una parte, puede que la expansión equitativa del acceso a la educación secundaria no sea viable a menos que se reformen por completo los exámenes de ingreso, se pospongan al punto de entrada a la educación secundaria superior o se eliminen sin más. Por otra parte, el examen de salida suele ser el mayor escollo a que se enfrentan las necesarias reformas curriculares y una importante fuente de descontento y malestar social en muchos países. De hecho, la ausencia de unas prácticas de evaluación transparentes y justas con relación al acceso a la educación superior (de las que el examen de finalización de la escuela secundaria es siempre un elemento clave) es, probablemente, el desencadenante número uno del fraude y la corrupción en los sistemas de educación en todo el mundo (Noah y Eckstein, 2001).

Los resultados obtenidos en los exámenes finales de la educación secundaria constituyen señales importantes para el mercado de trabajo y sirven de filtro de entrada a la educación superior. Así, la secundaria tiende a atraer una considerable atención social y se convierte en un asunto políticamente muy controvertido; la ansiedad familiar se incrementa y los riesgos de prácticas fraudulentas y corruptas en torno a los exámenes externos y públicos se generalizan. Un fenómeno importante que merece especial atención al analizar las consecuencias de los riesgos de los exámenes de secundaria es el aumento de las clases particulares, sobre todo en los países asiáticos (Bray, 1999, 2003; Kwok, 2004). Estos autores observan que las clases particulares y las academias de preparación de exámenes que tratan lo que Kwok llama “saber orientado a los exámenes” constituyen un completo sistema educativo “en la sombra”. En Corea del Sur, las familias gastan más en clases particulares de lo que gasta el Estado en la enseñanza pública. El 60% de los estudiantes japoneses de secundaria asiste a yuku (‘academias de tarde y noche’). La expresión infierno examinador, acuñada en Japón, también podría utilizarse con relación a países como China e India, donde las familias hacen un enorme esfuerzo económico para pagar clases particulares que incrementen las posibilidades de éxito de sus hijos (véase cuadro 1).

La nueva ola de estudios internacionales Los responsables políticos se han interesado considerablemente por los estudios internacionales del rendimiento de los estudiantes debido a su preocupación por la competitividad de

Cuadro 1

La escala de las clases particulares complementarias en diversos países seleccionados País

Escala

Brasil

Un estudio de las escuelas públicas de Río de Janeiro descubrió que más del 50% de los estudiantes recibía clase particular y lo consideraba como una forma de reducir la probabilidad de tener que repetir cursos.

Egipto

Un estudio puso de manifiesto que el 54% de 9.000 alumnos de 5.º grado (300 escuelas) y el 74% de 9.000 alumnos de 8.º grado (otras 300 escuelas) estaban recibiendo clases particulares. Otra encuesta de 4.729 hogares descubrió que el 65% de los niños urbanos de primaria y el 53% de los rurales habían recibido clases particulares.

Japón

Una encuesta descubrió que el 24% de los alumnos de escuela elemental y el 60% de los alumnos de secundaria asistían a yuku. Otro 4% recibía clases particulares en casa. Cerca del 70% de todos los estudiantes había recibido clases particulares al terminar la escuela media.

Corea del Sur

Una encuesta indicó que en Seúl el 82% de los alumnos de la escuela elemental, el 66% de la media y el 59% de bachillerato académico recibía clases particulares. En las zonas rurales, las proporciones eran 54, 46 y 12%.

Malta

Una encuesta a 2.129 alumnos descubrió que el 52% de los alumnos de primaria y el 83% de secundaria habían recibido clases particulares en algún momento de su escolaridad. En ese año, el 42% de 6.º grado y el 77% de 11.º grado recibían clases particulares.

Taiwán

Las estadísticas del gobierno indican que, en 1996, Taiwán tenía 4.266 centros de clases particulares, con 1.505.491 alumnos. Otros centros no están registrados y son ilegales. Una encuesta de 1998 descubrió que el 81% de 397 alumnos de secundaria superior recibía clases particulares.

Tanzania

Una encuesta de alumnos de 6.º grado de 3 escuelas urbanas y 4 rurales de la Tanzania continental descubrió que el 26% recibía clases particulares. En una escuela de Dar es Salaam, el 70% de los alumnos de 6.º grado recibía clases particulares. Una encuesta independiente de 2.286 alumnos de 6.º grado de Zanzíbar descubrió que el 44% recibía clases extra, aunque no todos los alumnos las pagaran.

Fuente: Bray (1999, 2003)

{ Nº 347 CUADERNOS DE PEDAGOGÍA.

67

la fuerza laboral –actual y futura– de sus países en el mercado global y por la medida en que sus ciudadanos son capaces de adaptarse a entornos en rápido cambio. Este interés se explica también, si se tiene en cuenta que los resultados de estos estudios saltan con facilidad a la primera plana de los periódicos y tienen una gran influencia en la formación de opinión sobre la educación en todo el mundo. El decenio de 1990 marcó el advenimiento de una nueva generación de iniciativas internacionales y regionales sobre evaluación del rendimiento de los estudiantes. Las más conocidas son dos estudios a gran escala: el Program on International Student Assessment (PISA) y el estudio Trends in International Mathematics and Science Study (TIMSS). Ambos se centran en aspectos diferentes del aprendizaje. TIMMS es una evaluación de matemáticas y ciencias, basada en el currículo, que trata de medir la capacidad del estudiante con respecto a: 1) lo que se pretende que se aprenda; 2) lo que se enseña en realidad, y 3) lo que se aprende en realidad. Además, intenta analizar los factores subyacentes que influ-

yen en los resultados del estudiante (Mullis et al., 2001). PISA –basado en la idea de que la alfabetización es un proceso que dura toda la vida– pretende medir las habilidades de la “vida real” con relación a tres áreas: lectura, matemáticas y ciencias, y competencias transversales (OCDE, 2003). Por ejemplo, en este programa la alfabetización científica se centra en temas cotidianos de salud, medio ambiente y tecnología. Dando por supuesto que las competencias clave identificadas por el proyecto DeSeCo, de la OCDE (véase cuadro 2), son resultado de un consenso generalizado, la cuestión es cuántas de esas competencias clave realmente se miden con esta generación de estudios comparativos internacionales del rendimiento de los estudiantes. Los estudios actuales no pasan de la tercera área: utilizar herramientas interactivamente. Teniendo en cuenta que la demanda de nuevas competencias sólo ha emergido en los últimos años, es comprensible que estos estudios no aborden muchas de las competencias clave (Rychen y Salganik, 2003). En condiciones ideales, estos estudios deberían permitir que los países pudieran tener datos fiables sobre la proporción de sus graduados de secundaria que llegan a la edad laboral con las competencias y habilidades que les equipen mínimamente para participar en una economía global. Los datos de las evaluaciones internacionales ayudan a analizar la relación entre las variables del sistema educativo y el rendimiento del estudiante. Utilizando los datos de TIMMS 1995, Wosseman (2001) estudia la relación entre instituciones educativas y rendimiento. Su modelo examina el efecto de tres conjuntos de factores (origen del estudiante, uso de materiales y características de la institución en la que tiene lugar el aprendizaje) sobre el rendimiento. Los resultados indican que el 75% de la variación entre países en matemáticas y el 60% en ciencias se explican por diferencias institucionales de los sistemas educativos. Más importante aún es el hecho de que los datos de PISA hayan proporcionado pruebas empíricas clave acerca de la relación entre los resultados estudiantiles y la distribución socioeconómica del rendimiento. Ciertos países, como Finlandia, Corea o Japón, son buenos ejemplos. Por una parte, muestran que los buenos resultados pueden alcanzarse a un coste razonable y, por otra, que es posible combinarlos con una distribución socialmente equitativa de las oportunidades de aprendizaje. En definitiva, PISA ha demostrado que se pueden lograr buenos resultados en cuanto al rendimiento de los estudiantes sin crear desigualdades (OCDE, 2004).

O PILL CAM ERT ALB

Cuadro 2

Competencias clave identificadas por DeSeCo Interactuar en grupos socialmente heterogéneos

Actuar autónomamente

Utilizar herramientas interactivamente

Relacionarse bien con los demás

Saber actuar en un marco general o con una visión global

Utilizar interactivamente el lenguaje, los símbolos y el texto (comunicación escrita y oral, destrezas matemáticas en situaciones múltiples )

Cooperar

Configurar y llevar a cabo planes de vida y proyectos personales

Utilizar interactivamente el conocimiento y la información

Controlar y resolver conflictos

Defender y afirmar los derechos, intereses, límites y necesidades propios

Utilizar interactivamente la tecnología (comprender el potencial de la tecnología y descubrir soluciones tecnológicas para los problemas)

Fuente: Rychen y Salganik, 2001.

68 CUADERNOS DE PEDAGOGÍA. Nº347 }

tema del mes

ALBERT CAMPILLO

Evaluaciones nacionales En el contexto de una creciente demanda de educación secundaria, los responsables políticos tienen que tomar decisiones informadas acerca de cómo invertir unos recursos públicos limitados para mejorar la calidad de la educación y obtener unos resultados eficaces con relación a su coste. Esto ha aumentado el interés de los responsables políticos y de la opinión pública en general por los resultados de la educación. Así, muchos países están poniendo en marcha sus propios estudios nacionales de rendimiento de los estudiantes. Estas pruebas nacionales difieren de los exámenes públicos. Aunque en ambos casos se evalúa la capacidad de los estudiantes, las primeras se centran sobre todo en el nivel del sistema, mientras que los segundos miden la capacidad de cada estudiante y se utilizan, normalmente, con fines selectivos. En el decenio de 1990, muchos países reformaron su currículo nacional y sus sistemas de evaluación en el marco de un plan renovado para la calidad de la educación. El uso de evaluaciones nacionales como herramientas para la rendición de cuentas de escuelas y profesores adquirió una gran relevancia, sobre todo en países como Estados Unidos, Australia, Canadá y el Reino Unido. El enfoque consiste en utilizar la evidencia empírica de los datos comparables a escala nacional sobre el rendimiento estudiantil para hacer responsables a los actores locales (consejos escolares, directores y profesores) tanto del éxito como del fracaso del alumnado con relación a unos estándares curriculares definidos con una gran precisión. Desde 2001, esta política se generalizó en Estados Unidos a través de la ley No Child Left Behind (‘Que ningún niño se quede atrás’). Aunque el National Assessment of Educational Progress (NAEP) lleva a cabo estudios de rendimiento a escala nacional, la mayoría de los estados ha desarrollado sistemas de evaluación estatales obligatorios para supervisar el rendimiento su alumnado. En varios momentos de la escolaridad, todos los estudiantes tienen que completar tests relativos a las compe-

tencias especificadas en los estándares estatales. Aunque hay grandes variaciones en las funciones de estos sistemas de evaluación, la norma es que los profesores, las escuelas y los distritos deben asumir la responsabilidad de sus resultados. Sin embargo, varios estados también hacen responsables a otros actores, incluidos los propios estudiantes (Kellaghan y Greaney, 2001). Los sindicatos docentes, los líderes de movimientos de renovación, los directores y los profesores suelen oponerse a las políticas que vinculan las evaluaciones con la rendición de cuentas. Y es que tales medidas tienen efectos perversos, como son la desnaturalización y reducción del currículo, la “enseñanza para el test” e incluso incentivos para que los profesores cometan fraude (Evers y Walberg, 2003). También hay evidencia de la existencia de exámenes externos, sobre todo exámenes “de alto riesgo”, que es una de las variables relacionadas con un mejor rendimiento de los estudiantes (Bishop, 1998; Phelps, 2001; Wossman, 2001). Bishop afirma que los estudiantes de los países con sistemas de exámenes finales de etapa, basados en el currículo, tenían puntuaciones considerablemente más altas en TIMSS que aquellos donde tales exámenes no existían. De nuevo, una variable que posiblemente explique estos resultados podría ser la influencia del creciente aumento de las clases particulares y academias preparatorias en estos países. Las evaluaciones sumativas a gran escala son inadecuadas para evaluar algunas de las competencias clave que demandan hoy los mercados de trabajo (por ejemplo, interactuar en grupos socialmente heterogéneos y actuar autónomamente). Esto sólo puede hacerse mediante unos sistemas de evaluación más serios y sofisticados, en el ámbito del aula. La evaluación y seguimiento del rendimiento del estudiante en el contexto del aula es una cuestión importante pero a la que aún no se le presta atención suficiente. Algunos investigadores lamentan el énfasis que se pone en la actualidad en las evaluaciones sumativas a gran escala e instan a los responsables políticos a que presten más atención a lo que ocurre en las aulas, si de verdad quieren elevar los niveles de rendimiento (Black y William, 1998). Según el National Research Council (NRC) –la organización que elaboró los National Science Education Standards en Estados Unidos–, los resultados de la investigación indican que las evaluaciones frecuentes en el aula tienen efectos positivos en el rendimiento del estudiante (Committee on Classroom Assessment and the National Science Education Standards, 2001). En consecuencia, el NRC sostiene que este tipo de evaluación debe alinearse con otras evaluaciones más formales, y debe formarse a los profesores para que la lleven a cabo adecuadamente. Además, esa capacitación puede ayudar a los docentes a recuperar el control de su práctica profesional.

{ Nº 347 CUADERNOS DE PEDAGOGÍA.

69

Examen local, nacional y global En el proceso de democratizar la educación secundaria y de mejorar su calidad no se puede ignorar el papel de los exámenes nacionales. La reforma de este nivel educativo puede resultar inviable si, desde el principio de los trabajos de este cambio, no se presta una gran atención a estos exámenes. En términos generales, las pruebas de ingreso a la secundaria están desapareciendo en todo el mundo en desarrollo o se están utilizando para fines distintos de la selección competitiva. Los exámenes se están desplazando al final de la fase obligatoria de la educación secundaria, es decir, la educación secundaria inferior. Y sus resultados se están utilizando cada vez más como herramienta de orientación y como criterio de agrupamiento de los estudiantes en diferentes itinerarios o vías de acceso al nivel superior de la etapa. El abandono de la uniformidad para orientarse a la diversidad en la educación secundaria está bien ilustrado por los cambios de la política de evaluación a lo largo del tiempo. Los exámenes que antes sólo afectaban a una pequeña fracción de la población ahora interesan a un público mucho más amplio. En algunos casos, los sistemas de exámenes han demostrado una gran adaptabilidad a las circunstancias cambiantes, asumiendo que la calidad de las reformas curriculares no puede garantizarse sin unos métodos de evaluación igualmente buenos. Dado que los empleos requieren competencias y habilidades técnicas cada vez más sofisticadas, los currículos y los exámenes escolares han ido incorporando elementos aplicados y profesionales en asignaturas que eran exclusivamente académicas y abstractas. Para evitar acusaciones de subjetividad e injusticia (o, simplemente, de fraude), los organismos encargados de los exámenes nacionales han tendido a elaborar tests estandarizados supuestamente objetivos.

Además, reforzando la tendencia a reemplazar la evaluación referida, normativa, por la criterial, existe una tendencia importante a evitar los exámenes y tests únicos y aislados en el tiempo, y a utilizar en la evaluación del alumnado de secundaria unas herramientas que no tienen carácter de exámenes, como los portafolios personales, los perfiles y los registros escolares. Estas líneas de reforma simbolizan el avance en la construcción de una nueva cultura de evaluación educativa a la vez técnicamente sofisticada y socialmente inclusiva. En cuanto a la comparación global, la utilización de diversos tipos de sistemas de evaluación y seguimiento parece ser el enfoque óptimo y equilibrado para reforzar su papel en la mejora de la calidad y la relevancia educativas. Los estudios internacionales como –PISA o TIMSS– miden aspectos muy diferentes y de maneras muy distintas. Los responsables políticos deben tener muy claras cuáles son sus necesidades en materia de evaluación y decidir qué estudios internacionales son los más apropiados para satisfacerlas. Las evaluaciones nacionales a gran escala pueden tener una influencia directa en el rendimiento de los estudiantes, sobre todo cuando sus resultados se utilizan como único elemento de información disponible sobre la calidad de la educación. Igualmente, los responsables políticos deben ser conscientes de los posibles riesgos e implicaciones del uso de sistemas nacionales de evaluación como instrumentos para la rendición de cuentas de profesores y escuelas. Por su parte, el potencial de la evaluación del rendimiento del alumno en el aula para mejorar la calidad educativa es enorme. Sin embargo, es más cara y su ejecución lleva más tiempo, porque requiere que se forme a los profesores y que los estándares curriculares se reformulen en consecuencia.