SIMCE: LECCIONES DESDE LA EXPERIENCIA CHILENA EN EVALUACIÓN NACIONAL DE RESULTADOS DE APRENDIZAJE Lorena Meckes Rafael Carrasco

Trabajo presentado en la Conferencia

Lecciones Latinoamericanas para Promover la Educación para Todos Cartagena de Indias, Colombia, Octubre 9-11, 2006.

Instituto del Banco Mundial Bando Interamericano de Desarrollo PREAL, Programa de Promoción de la Reforma Educativa en América Latina y El Caribe

1

Contenido 1.

RESUMEN EJECUTIVO ............................................................................................................ 3

2.

SIMCE: DESCRIPCIÓN GENERAL Y PROCESO DE IMPLEMENTACIÓN ...................................... 4 2.1. 2.2. 2.3.

3.

SIMCE: Relaciones con otras organizaciones e instituciones ..................................... 6 El proceso de implementación: contexto y cambios políticos ...................................... 6 Principales cambios a través de tiempo ....................................................................... 8

ANÁLISIS DE IMPACTO .......................................................................................................... 9 3.1. El uso del SIMCE para políticas educacionales......................................................... 10 3.2. El uso de los datos del SIMCE por los docentes y las escuelas para informar sus prácticas................................................................................................................................ 14 3.3. Medida en la cual el SIMCE ayuda a involucrar a los padres y a aportar información para sus decisiones ............................................................................................................... 15 3.4. El uso del SIMCE para fomentar la responsabilidad por los resultados en diferentes niveles del sistema................................................................................................................. 15 3.5. El impacto del SIMCE en la promoción de políticas que aumenten la equidad ........ 16 3.6. Riesgos y consecuencias no deseadas......................................................................... 16

4.

FACTORES FACILITADORES ................................................................................................. 17 4.1. 4.2. 4.3.

Economía política para la implementación y consolidación del SIMCE ................... 17 Factores institucionales de la implementación y consolidación del SIMCE.............. 20 Factores que han influido en el aprendizaje y la experimentación ............................ 22

5.

LECCIONES .......................................................................................................................... 23

6.

REFERENCIAS ...................................................................................................................... 32

2

1.

Resumen ejecutivo El Sistema de Medición de la Calidad de la Educación (SIMCE) es el sistema nacional de

evaluación de los resultados de aprendizaje de Chile. Su propósito es contribuir al mejoramiento de la calidad y la equidad de la educación mediante la entrega de información con respecto a los resultados de aprendizaje a nivel nacional y de cada escuela con el fin de (a) monitorear los resultados e informar las políticas educacionales, (b) proveer retroalimentación con respecto a las prácticas de las escuelas y los docentes y (c) promover el compromiso y responsabilidad de los padres en el proceso de aprendizaje. El SIMCE aplica evaluaciones de carácter censal y publica los resultados tanto a nivel nacional como de las escuelas. La evaluación censal se complementa por medio de estudios internacionales de carácter muestral de los resultados de aprendizaje, tales como PISA (OCDE), TIMSS, CIVED e ICCES (IEA) y SERCE (UNESCO). El SIMCE fue creado en 1988 bajo el régimen militar y se desarrolló y consolidó a partir de 1991 bajo los gobiernos democráticos.

Desde entonces, ha sido ampliamente utilizado para desarrollar

políticas educacionales con propósitos de diagnóstico y monitoreo, para focalizar los programas de intervención en las escuelas con bajos resultados, para diseñar y evaluar las políticas, para desarrollar incentivos y establecer metas de mejoramiento. Sin embargo, el uso de la información provista por el SIMCE ha sido algo más limitado entre los docentes, las escuelas y los padres. Entre las principales lecciones extraídas después de más de quince años de implementación, se incluyen las siguientes: un sistema de evaluación de carácter censal involucra a todos, los resultados publicados permiten responsabilizar a los actores relevantes en diversos niveles y estos dos elementos contribuyen al desarrollo de una cultura de evaluación. También tiene beneficios para el desarrollo de las políticas publicas y para la implementación de intervenciones focalizadas ya que un sistema censal de este tipo, permite identificar las escuelas específicas con mayor necesidad de apoyo. No obstante, es importante considerar que existen conflictos asociados a la publicación de los resultados. Lo anterior es especialmente válido en contextos de grandes desigualdades sociales y en sistemas educacionales segregados desde el punto de vista socioeconómico, como el chileno. En este sentido, es importante garantizar la coherencia entre el sistema de evaluación y la política educacional en su conjunto, con el fin de establecer compensaciones para contextos desfavorecidos y prevenir así posibles consecuencias no deseadas. Otra de las lecciones aprendidas a partir del SIMCE es que, si se pretende que la información entregada por un sistema de evaluación nacional sea utilizada por los docentes, no basta con ofrecer información sobre los resultados de aprendizaje a nivel de cada escuela. Es preciso emprender iniciativas especiales destinadas a promover el análisis colectivo de los datos al interior de ellas, desarrollar vínculos

3

entre la evaluación externa y la evaluación interna desarrollada al interior de las escuelas, e involucrar a las instituciones de formación docente. También se ha demostrado que es importante tomar en consideración aquellas variables que contribuyen a la sustentabilidad y credibilidad del sistema de evaluación. Se requiere un marco legal e institucional que garantice la continuidad y sustentabilidad del programa. También es preciso involucrar actores claves en la definición de los objetivos, las características básicas y las prioridades del sistema, para que puedan contribuir a su legitimación. En el caso de Chile, esto no ocurrió inicialmente. La aplicación ininterrumpida de las pruebas y el compromiso de las autoridades con la transparencia en la publicación de los resultados han resultado también claves para la credibilidad del sistema de evaluación.

2.

SIMCE: Descripción general y proceso de implementación El SIMCE es el sistema de evaluación de los resultados de aprendizaje del Ministerio de

Educación de Chile. Su propósito es mejorar la calidad y la equidad de la educación mediante la entrega de información con respecto a los resultados de aprendizaje a nivel nacional y de cada escuela, haciendo posible lo siguiente: -

Monitorear y aportar información para la toma de decisiones en lo que respecta a las políticas educacionales.

-

Proveer retroalimentación a las escuelas con el propósito de promover mejores prácticas docentes.

-

Promover el compromiso de los padres y las comunidades escolares, destacando su papel en el proceso de aprendizaje.

Actualmente, la Unidad SIMCE es la encargada de las evaluaciones nacionales y los estudios educacionales internacionales en los cuales Chile participa.

Las evaluaciones nacionales entregan

información acerca del desempeño de los estudiantes en relación con el marco curricular nacional del país. Los estudios internacionales complementan esta información proporcionando datos acerca del rendimiento de los estudiantes chilenos en comparación con el rendimiento de los estudiantes de otros países y en relación con las habilidades y contenidos que se consideran relevantes a nivel internacional. Las pruebas nacionales tienen carácter censal. En el cuadro siguiente, se muestran sus principales características:

4

Cuadro 2.1: Principales características características del SIMCE: la evaluación nacional censal Foco de la evaluación Grados evaluados Frecuencia Asignaturas evaluadas Cuestionarios de contexto Cobertura

Resultados de aprendizaje en relación con el Currículum Nacional

Información entregada y grupos objetivo

Audiencia

4°, 8° y 10° 4° grado: todos los años / 8° y 10° grado: cada dos años (alternadamente) Lenguaje (lectura y expresión escrita) y Matemáticas en 4°, 8° y 10° grado / Ciencias Naturales y Sociales en 4° y 8° grado Padres, directivos y docentes1 4° grado de educación básica: 96% de los estudiantes y 90% de las escuelas (*) / 8° grado de educación básica y 10° de educación media: 97% de los estudiantes y 99% de las escuelas

Información entregada

Tipo de informe

Docentes y directivos

Resultados a nivel nacional, municipal y de las escuelas, comparados Informe para la con los de años anteriores, escuelas similares, y resultados regionales escuela y nacionales (**) Padres Resultados de las escuelas comparados con los de años anteriores, Informe para los escuelas similares, y resultados regionales y nacionales padres Opinión pública Resultados a nivel nacional que consideran información contextual (es Conferencia de decir, resultados de acuerdo a las prácticas de selección de alumnos prensa, medios de de las escuelas, las expectativas de los docentes, etc.) comunicación Resultados a nivel nacional, municipal y de las escuelas; resultados de Periódicos, página las escuelas comparados con los de años anteriores, escuelas web (www.simce.cl) similares, y datos regionales y nacionales Base de datos con propósitos de investigación Investigadores (*) En lo que respecta a la evaluación del 4° grado, el 10% de las escuelas que no rinden la prueba está compuesto por escuelas muy pequeñas, rurales y aisladas, que representan entre el 3 y el 4% de los estudiantes matriculados. La mayoría de estas escuelas sólo ofrecen los grados 1° a 4° o 6°. (**) A partir de 2006, los resultados para 4° grado estarán referidos a estándares de desempeño.

El SIMCE complementa sus pruebas de carácter censal por medio de estudios muestrales. Éste es el caso de la prueba de diagnóstico nacional del desempeño de los estudiantes en inglés como segunda lengua que se aplicó en 2004. Los estudios internacionales en los cuales Chile participa también son de carácter muestral. Chile ha participado en TIMSS (1999 y 2003) y CIVED (1999 y 2000) del IEA, en PISA de la OCDE (2000 y 2006) y en dos estudios comparativos latinoamericanos dirigidos por UNESCO (LLECE 1997 y SERCE 2006). Los objetivos de su participación en estos estudios son (a) evaluar el desempeño de los estudiantes chilenos en un contexto internacional, (b) contribuir al desarrollo curricular aportando información sobre tendencias internacionales en este ámbito, (c) comparar los resultados en el contexto de

1

Los padres responden cuestionarios todos los años, pero los docentes y los directores de las escuelas lo hacen con menor frecuencia.

5

diferentes políticas y estrategias educacionales, (d) monitorear las tendencias de los resultados de aprendizaje a nivel nacional y confirmar simultáneamente las tendencias informadas por las evaluaciones nacionales y (e) mejorar las capacidades técnicas nacionales en el ámbito de la medición de aprendizajes (Ministerio de Educación 2004 b).

SIMCE: Relaciones con otras organizaciones e instituciones La Unidad SIMCE es parte del Ministerio de Educación. Las principales instituciones con las cuales trabaja son el Consejo Superior de Educación2 (una de cuyas funciones es aprobar el sistema nacional de medición), las divisiones regionales del Ministerio de Educación, las universidades y las organizaciones internacionales responsables de los estudios internacionales con respecto al rendimiento de los estudiantes. En el Ministerio de Educación, la Unidad SIMCE está estrechamente ligada a la Unidad de Curriculum, ambas forman parte de la División de Curriculum y Evaluación. Este nexo organizacional tiene por objeto garantizar la armonización de las evaluaciones nacionales con el marco curricular nacional y enriquecer el proceso de desarrollo de este último, aportando información sobre el desempeño real de los estudiantes. Asimismo, diferentes divisiones del Ministerio de Educación utilizan los datos del SIMCE para seleccionar las escuelas que recibirán apoyo focalizado y también las que recibirán beneficios del programa de incentivos de remuneración docente según desempeño (SNED). El SIMCE también requiere, para su funcionamiento, del apoyo de las divisiones provinciales del Ministerio de Educación en lo que respecta a la aplicación de las evaluaciones nacionales y a la supervisión de las actividades desarrolladas para el análisis de los resultados del SIMCE en cada escuela. El desarrollo de las pruebas, la aplicación de los estudios internacionales, la corrección de las preguntas abiertas y el análisis de los datos frecuentemente se realizan en asociación con universidades nacionales.

Por otra parte, la participación de Chile en los estudios internacionales ha permitido

desarrollar vínculos entre el SIMCE y las asociaciones y organismos de evaluación internacionales, tales como IEA, Boston College, ACER y ETS.

El proceso de implementación: contexto y cambios políticos En Chile, el programa de evaluaciones nacionales se originó durante el gobierno militar en el contexto de grandes transformaciones sociales y económicas ocurridas durante la década de los ochenta. Entre otros cambios, la reforma educacional incluyó la descentralización de las escuelas públicas desde el 2

Esta es una institución pública autónoma, cuya función principal es supervisar la calidad de la educación superior y evaluar el currículum nacional.

6

gobierno central a los gobiernos locales (municipalidades), introduciendo instrumentos de financiamiento basados en la subvención a la demanda y permitiendo la participación de privados en la administración de escuelas bajo el mismo mecanismo de financiamiento (Delannoy 2000; Cox 2003). Este mecanismo de financiamiento implicó que el aporte económico a las escuelas variara en proporción directa a sus tasas de asistencia y matrícula. A través de estas reformas, se buscaba tanto aumentar la participación del sector privado como modificar el rol del gobierno en la educación. En este contexto, la creación del SIMCE en 1988 tuvo dos propósitos principales: aportar información para las decisiones de mercado (la elección por parte de los padres de las escuelas para sus hijos) y permitir el control de la calidad de la educación a nivel nacional y, especialmente, de las escuelas3. Durante la década de los noventa, las nuevas administraciones democráticas mantuvieron las transformaciones previas que pudieran ser beneficiosas para las políticas sociales e implementaron cambios graduales basándose en una política de consensos como estrategia para asegurar que dichos cambios fueran sostenibles en el tiempo. El gasto público en educación casi se triplicó entre 1990 y 2001 (OCDE 2004) en un contexto de consenso político respecto de la función estratégica de la educación para el desarrollo del país. Asimismo, las autoridades democráticas decidieron no revertir el proceso de “descentralización” ni modificar el mecanismo de financiamiento, sino que, por el contrario, optaron por complementar la función subsidiaria del gobierno, mediante un enfoque proactivo y compensatorio para enfrentar los aspectos de equidad y calidad.

Esto se tradujo en la implementación de programas

universales y otros de intervención focalizada destinados a mejorar las experiencias y resultados de aprendizaje, “inclinando la balanza a favor del estado sin abandonar el mercado” (Cox 2006: p. 4). En este contexto, el uso de los datos aportados por el SIMCE también estuvo marcado por un enfoque dual con respecto a las políticas educacionales. Por ejemplo, la publicación de información con respecto a los resultados de cada una de las escuelas fue complementada por el uso de los datos para focalizar las intervenciones hacia las escuelas más desfavorecidas. El SIMCE también se utilizó para reforzar la implementación de la reforma curricular desarrollada durante la segunda mitad de la década de los noventa por medio de su influencia como una evaluación “de altas consecuencias” (high-stakes assessment)4 de las prácticas de las escuelas y los docentes.

3

Sin embargo, la información con propósitos de orientación de mercado y de responsabilización de las escuelas no se implementaron sino hasta 1995, bajo un gobierno democrático, cuando se divulgó la información relativa a los resultados de aprendizaje para cada una de las escuelas (Cox 2003). 4 El SIMCE puede considerarse como un programa de evaluación “de altas consecuencias”, debido a la publicación de los resultados de cada escuela y a los incentivos y consecuencias asociados a dichos resultados.

7

Principales cambios a través de tiempo Las principales transformaciones que ha experimentado el SIMCE a través del tiempo son (a) cambios en su dependencia institucional, (b) mejoramientos metodológicos para el monitoreo de los resultados a lo largo del tiempo, (c) contextualización de los resultados de aprendizaje de los estudiantes chilenos en relación a parámetros internacionales, (d) intensificación del programa (en la frecuencia y cobertura de los grados y las asignaturas evaluadas) y (e) la transición desde una evaluación referida a normas hacia una evaluación referida a criterios. (a) En 1988, durante el régimen militar, el Ministerio de Educación solicitó a la Universidad Católica de Chile que desarrollara el SIMCE. Este fue el mismo equipo que con anterioridad había desarrollado el PER (Programa de Evaluación del Rendimiento Académico) en la Universidad Católica entre 1981 y 1984. En concordancia con lo establecido por la ley constitucional de 1990 que prescribió el SIMCE, éste fue transferido al Ministerio de Educación en 1991 bajo el nuevo gobierno democrático (Schiefelbein, 1992). En 1997, la Unidad SIMCE se fusionó con la Unidad de Curriculum, dando origen a la División de Currículum y Evaluación del Ministerio de Educación. (b) En 1998 se reemplazó el Modelo Clásico de medición por la Teoría de Respuesta al Item y se introdujo una nueva escala con el fin de establecer puntajes comparables a través del tiempo. El principal propósito de este cambio fue complementar el objetivo original de proveer información comparativa acerca del rendimiento de las escuelas para cada año evaluado con el monitoreo confiable de las tendencias a través del tiempo. También se introdujeron modificaciones en los procedimientos para incrementar la validez de la prueba5. (c) La participación en estudios internacionales desde 1997 ha sido uno de los cambios más importantes en el programa de evaluación. Esto ha permitido situar el rendimiento de los estudiantes chilenos en un contexto internacional, con el consiguiente impacto en la percepción pública acerca de los resultados nacionales de aprendizaje. (d) A través de los años, el SIMCE ha incorporado progresivamente nuevos grados y asignaturas al programa de evaluación. El 4° grado de la educación básica se evalúa desde 1988 en adelante y la evaluación del 8° grado de la educación básica se inició en 1989. A contar de 1996, se incluyó también el 10° grado en las pruebas nacionales. La evaluación censal de las asignaturas de lenguaje (lectura y expresión escrita) y matemáticas se realiza desde los inicios del programa. Progresivamente, se agregaron las asignaturas de ciencias naturales y sociales para el 4° y 8 grado, inicialmente de carácter muestral, lo que se amplió a una modalidad censal a mediados de la década de los noventa. Con respecto a la 5

Antes de la implementación de estos cambios en los procedimientos, la validez de las preguntas publicadas de la prueba SIMCE 1997 había recibido duras críticas (Eyzaguirre et al. 1999).

8

frecuencia, hasta 1996 se evaluó un grado por año (ya sea 4°, 8° ó 10°)6. A contar de 2006, se evaluarán dos grados por año: 4° grado anualmente, junto con 8° o 10° grado, alternadamente. (e) Finalmente, la definición de los estándares de desempeño y su medición a través de las evaluaciones nacionales constituye el principal avance del SIMCE realizado durante el último tiempo. Así, la prueba de 4° grado de 2006 informará, para cada escuela, la proporción de estudiantes cuyo rendimiento se ubica en cada una de las tres categorías de rendimiento definidas para este propósito.

3.

Análisis de impacto En esta sección, se analiza la efectividad y los resultados finales del SIMCE en términos de la

medida en la cual se han cumplido los objetivos y otros propósitos del programa. Para ello, analizamos lo siguiente: (a) el aporte del SIMCE a la evaluación y definición de las políticas educacionales, (b) su uso por parte de los docentes y las escuelas para informar sus prácticas y (c) la medida en la cual ha ayudado a involucrar a los padres junto con (d) promover el compromiso responsable en los distintos niveles del sistema que tienen incidencia directa en los resultados educacionales. Para contextualizar este análisis, se requiere información con respecto a los recursos involucrados. Chile invierte casi el 7% de su PIB en educación. Este gasto es compartido por el sector público (54%) y el sector privado (46%). La inversión pública corresponde aproximadamente a US$ 3 mil millones7 (Ministerio de Hacienda 2005 a). El presupuesto para la educación preescolar, básica y media en conjunto corresponde aproximadamente al 85% del presupuesto público total para educación (Ministerio de Hacienda 2005 b). El presupuesto del SIMCE (incluyendo las evaluaciones nacionales e internacionales) corresponde aproximadamente al 0,1% de este 85%, una cifra similar al presupuesto promedio asignado a cada uno de los programas de intervención focalizada del Ministerio de Educación8 (tales como “P900”, el “Programa de Escuelas Rurales” y “Liceo para Todos”9, entre otros). Los costos varían de acuerdo al grado evaluado, debido al número de alumnos participantes y a las áreas curriculares consideradas.

Tomando la prueba de 8º grado10 como referencia (con una

participación de alrededor de 300.000 estudiantes y casi 6.500 escuelas y la evaluación de cuatro áreas curriculares), el costo de desarrollo de la prueba corresponde a US$ 314.000 (incluyendo la elaboración de las preguntas, el estudio piloto con una muestra de 3.000 estudiantes por cada pregunta experimentada 6

La excepción fue 1996, año en que se aplicó la prueba al 4° y 10° grado.

7

En este informe los costos se estiman de acuerdo al dólar norteamericano de 2005. Esta proporción considera el presupuesto para 2003. Los dos últimos años (2005 y 2006), el presupuesto del SIMCE ha aumentado considerablemente, debido a la intensificación de la frecuencia de las evaluaciones, el desarrollo de estándares de desempeño, la participación en estudios internacionales y los mayores costos asociados a las demandas de divulgación de los resultados. 9 Programa de apoyo en escuelas secundarias. 10 Sobre la base de la prueba de 2004. 8

9

y el análisis sicométrico); los costos de la aplicación de la prueba final corresponden aproximadamente a US$ 1.409.000, el procesamiento de los datos (incluyendo el ingreso digital de ellos, el escaneo de las respuestas de desarrollo y la corrección electrónica de éstas) corresponde a US$ 463.000. El costo del análisis y la información de los resultados (incluyendo el diseño, impresión y distribución de los informes personalizados para cada escuela y para los padres, la publicación en los medios de comunicación y el sitio web del SIMCE) corresponde aproximadamente a US$ 121.000. Finalmente, el costo total de la medición, incluyendo costos fijos de personal y otros costos de operación, corresponde aproximadamente a US$ 3,4 millones11. Esto significa que el costo por alumno evaluado en 8º grado corresponde a alrededor de US$ 11, considerando cuatro asignaturas. Sin embargo, si se evaluaran dos asignaturas, los costos no disminuirían proporcionalmente. Basándose en la diferencia de costos para 4º, 8º y 10º grado, es posible estimar un promedio de US$8 a US$9 por alumno para la evaluación de dos áreas curriculares.

El uso del SIMCE para políticas educacionales El SIMCE ha sido utilizado ampliamente en el desarrollo de políticas educacionales. Los datos del SIMCE se han utilizado con propósitos de diagnóstico y monitoreo, para focalizar los programas de intervención en las escuelas con bajos resultados, para diseñar y evaluar políticas específicas y generales y para establecer incentivos y metas de mejoramiento. Además, las conclusiones generadas a partir de los estudios internacionales han tenido impacto en el diseño de políticas, especialmente en el ámbito del desarrollo curricular y para validar políticas específicas.

a.

El uso de los datos del SIMCE para orientar los programas de intervención focalizada Los datos entregados por el SIMCE han posibilitado la canalización del apoyo técnico y

económico por parte del gobierno a las poblaciones más desfavorecidas según sus necesidades educativas, definidas fundamentalmente por los resultados de aprendizaje. Desde comienzos de la década de los noventa, el SIMCE ha sido utilizado como criterio para el desarrollo de políticas focalizadas por parte del Ministerio de Educación. Así, los principales programas focalizados para el mejoramiento de la calidad y la equidad de la educación usan o han usado los indicadores del SIMCE para seleccionar sus escuelas objetivo, tal como se muestra en las tablas siguientes:

11

Los costos fijos (personal y otros) abarcan el desarrollo de otras tareas tales como las requeridas para los estudios internacionales y para el desarrollo de los estándares de desempeño.

10

Cuadro 3.1: Programas de intervención focalizada para la educación básica Programas de mejoramiento de la calidad y la equidad de la educación básica

Período

Programa de las 900 Escuelas13 Educación Rural Escuelas Prioritarias14

1990-a la fecha 1992-a la fecha 2002-a la fecha

% de la matrícula en la educación básica 11% 6% 1%

Utiliza los resultados Presupuesto anual del SIMCE para (millones)12 seleccionar las escuelas objetivo Sí No Sí

US$ 5,3 US$ 3,5 US$ 1,3

Cuadro 3.2: Programas de intervención focalizada focalizada para la educación secundaria Programas focalizados para la educación secundaria

Período

Montegrande Liceo16 para Todos Liceos Prioritarios17

1997-2000 2000-a la fecha 2007

% de la matrícula en la educación secundaria 5% 33% 5%

Utiliza los resultados Presupuesto anual del SIMCE para (millones) seleccionar las escuelas objetivo Sí15 Sí Sí

US$ 6,0 US$ 3,9 US$ 2,2

La fuente de los costos del Programa 900 Escuelas, Educación Rural, Montegrande y Educación Secundaria para Todos es OCDE (2004). Los costos de las Escuelas y Liceos Prioritarios fueron informados por la Dirección General de Educación, Ministerio de Educación.

Adicionalmente, los datos del SIMCE se han utilizado en programas universales de implementación gradual con el fin de comenzar con aquellas escuelas que exhiben las mayores necesidades educacionales. Este fue el caso de la implementación de los programas MECE durante la década de los noventa. Por otra parte, la JUNAEB, la institución a cargo de la alimentación escolar gratuita y otros tipos de asistencia para los estudiantes de escasos recursos, también utiliza los datos del SIMCE para estimar los indicadores de riesgo educacional y focalizar los recursos a estudiantes específicos. La JUNAEB 12

Dólares norteamericanos de 2005. El programa mantuvo su nombre a pesar del hecho de que se expandió a 1.443 escuelas y 641.316 estudiantes en 2001 (Ministerio de Educación 2003). 14 Este programa fue focalizado a 60 escuelas de Santiago entre 2002 y 2005 y cubrirá 100 escuelas en cuatro regiones en 2006. Consiste en la entrega de asistencia técnica por parte de instituciones privadas (universidades, ONG) bajo la supervisión del Ministerio de Educación. 15 Montegrande utilizó los datos del SIMCE no como un criterio para focalizar el programa, sino para seleccionar a las escuelas que exhibían diversidad en sus resultados de aprendizaje. 16 “Liceo” denomina una escuela que imparte educación secundaria. 17 En 2006, este programa comenzará con 50 escuelas secundarias y se expandirá con el fin de cubrir 120 escuelas secundarias en 2007. El presupuesto total estimado considera la cobertura que tendrá el programa en 2007. 13

11

orienta sus esfuerzos hacia el 40% de los estudiantes de la educación básica (JUNAEB, 2005) y su presupuesto corresponde aproximadamente al 5% del presupuesto total de educación para el sector público18.

b.

El SIMCE como herramienta para el diseño de las políticas educacionales Recientemente, el gobierno presentó un proyecto de ley destinado a modificar la estructura del

sistema de financiamiento escolar.

El propósito del proyecto de ley, conocido como “Subvención

Preferencial”, es aumentar los recursos financieros proporcionados a las escuelas básicas que atienden a los alumnos más desfavorecidos. Actualmente, en Chile, aproximadamente el 70% del presupuesto para la educación básica y media se entrega directamente a los administradores de las escuelas, a través de una cantidad determinada (una subvención o voucher) calculada sobre la base del número de alumnos y su asistencia. En la primera etapa de la implementación del proyecto, se estima que la subvención aumentará en un 50% para el 30% de los estudiantes más pobres de educación preescolar a 4º grado (Ministerio de Educación 2005 a). Esta reforma del sistema de financiamiento se basó en la evidencia entregada por el SIMCE, que reveló que las escuelas con una alta proporción de alumnos desfavorecidos desde el punto de vista social obtenían peores resultados de aprendizaje. El diseño del proyecto también consideró los datos del SIMCE en el cálculo de la cantidad de recursos requeridos para compensar las desventajas socioeconómicas de estos alumnos y, por lo tanto, permitirles lograr resultados de aprendizaje comparables a los de los estudiantes de mayor nivel socioeconómico (González et al. 2002).

c.

El uso de los datos del SIMCE para la evaluación de las políticas educacionales Desde comienzos de la década de los noventa, los datos del SIMCE se han utilizado como un

importante indicador para la evaluación de políticas y programas específicos, tales como P900, Escuelas Prioritarias y la Jornada Escolar Completa (JEC)19, entre otros (Ministerio de Educación 2000, Ministerio de Hacienda 2001, Raczynski 2004, Kenneth et al. 2003). Estas evaluaciones se han utilizado para tomar decisiones con respecto a la cobertura y continuación de estos programas, de acuerdo con su aporte al mejoramiento de los puntajes de las pruebas (OCDE 2004). En el caso de P900, por ejemplo, el propósito del programa fue explícitamente “mejorar los puntajes obtenidos en el SIMCE por las escuelas con menores puntajes y alta vulnerabilidad social y contribuir a los objetivos de mayor calidad y equidad de los resultados de aprendizaje” (Raczynski 2004, p. 122). La publicación anual en los medios de comunicación de los resultados de las evaluaciones nacionales e internacionales también genera una evaluación pública de las políticas educacionales en su 18 19

Ministerio de Hacienda (2005). Corresponde al programa para la extensión de la jornada escolar.

12

conjunto. Se ha señalado frecuentemente que el SIMCE es considerado por la opinión pública como el “termómetro” de la calidad educacional, que indica ya sea el “fracaso” o el “éxito” de la reforma nacional en educación.

d.

El uso de los datos del SIMCE para el desarrollo de incentivos y el establecimiento de metas nacionales El principal programa de incentivos que utiliza los datos del SIMCE es el SNED, un sistema de

incremento de las remuneraciones de los docentes ligado a su desempeño. Este sistema mejora los sueldos de los docentes en las escuelas con mejores resultados y procesos educacionales. Beneficia a un número aproximado de 34.000 docentes de 1.800 escuelas, con un presupuesto anual de US$21,2 millones20. El cálculo utilizado para seleccionar a las escuelas que reciben recursos adicionales se basa en un 65% en los resultados del SIMCE (Ministerio de Educación 2005 b). En 2000, después de la publicación de los resultados de 1999, se estableció una meta nacional basada en el SIMCE para los estudiantes de 4° grado en 2005. La meta propuesta consistía en reducir el número de alumnos dentro de la categoría de desempeño más baja en un 50%.

e.

El uso de los datos del SIMCE para la investigación y el análisis de las políticas Una parte importante de la reflexión y las investigaciones tanto nacionales como internacionales

con respecto a la educación en Chile se basa en la información provista por el SIMCE. Una de las razones por las cuales las políticas educacionales de Chile se estudian a nivel internacional es la existencia de información que posibilita la observación de los efectos de diferentes iniciativas en los resultados de aprendizaje. Las investigaciones que buscan comparar los diferentes modelos de administración o los efectos de la elección de las escuelas y los vouchers utilizan los datos del SIMCE como su indicador de resultados (casi) exclusivo. Belleï (2005) presenta un resumen de los principales estudios que comparan las escuelas públicas y privadas de Chile: todos utilizan los datos del SIMCE para medir la efectividad.

f.

La contribución de las evaluaciones internacionales al diseño de las políticas Los resultados de las evaluaciones internacionales han tenido impacto en el desarrollo de las

políticas.

Por ejemplo, la propuesta actual para el desarrollo curricular recibió la influencia de la

información con respecto a las brechas identificadas entre el currículum chileno y el consenso internacional, según lo mostrado por las preguntas seleccionadas para TIMSS. Además, los resultados y la información comparativa se han utilizado para confirmar y legitimar políticas específicas, algunas de

20

Dólares norteamericanos de 2005.

13

las cuales ya han sido implementadas. Por ejemplo, la información comparativa con respecto a la capacitación y certificación de los docentes proporcionada por TIMSS 2003 ha apoyado las políticas que refuerzan la formación docente inicial y el perfeccionamiento para los docentes en matemáticas y ciencias. La evidencia con respecto al desempeño de los estudiantes chilenos también ha sido utilizada sistemáticamente en el desarrollo de los estándares de desempeño nacionales que se evaluarán en 2006. Es demasiado temprano aun para apreciar el uso de los resultados de las evaluaciones internacionales con propósitos de monitoreo, considerando que Chile ha participado en dos mediciones de un mismo estudio sólo en el caso de TIMSS (1999 y 2003) y, por lo tanto, podría analizar las tendencias de los resultados de aprendizaje en este único caso21.

El uso de los datos del SIMCE por los docentes y las escuelas para informar sus prácticas De acuerdo a CIDE (2003), sólo el 15% de los docentes y directores de las escuelas consideraron los datos del SIMCE “poco importantes o sin ninguna importancia”. La misma pregunta planteada un año antes indicó que el 40% de los docentes concordaban con esta afirmación (García Huidobro 2002). Información recientemente recopilada a través de encuestas a docentes sugiere que aproximadamente el 80% de ellos afirmó que sus escuelas habían desarrollado actividades destinadas a analizar los resultados de la prueba 2003 (cuestionario SIMCE para docentes, 2004) y entre el 90% y el 95% respondieron que habían utilizado los materiales que el SIMCE les entregó para comprender mejor la prueba del año en cuestión y que habían utilizado modelos de la prueba para diagnosticar el nivel de aprendizaje de sus alumnos (cuestionario SIMCE para docentes, 2005). A pesar de la evidencia mostrada anteriormente, es necesario recalcar que diversos factores han incidido en que el análisis y uso por parte de los docentes no haya sido mayor. En primer lugar, y especialmente en un comienzo, los docentes percibieron al SIMCE como una herramienta de control externo. Adicionalmente, como lo sugirió la revisión de la OCDE (OCDE 2004), los informes no resultaban suficientemente fáciles de comprender y se requerían estándares de desempeño para aclarar el significado de los puntajes. Sin embargo, es necesario señalar que no es claro en qué medida el conocimientos y análisis de los datos del SIMCE que declaran los docentes, tiene un impacto en sus prácticas escolares.

21

En 2006, se aplican dos pruebas internacionales adicionales: PISA 2006 y SERCE. PISA 2006 dará la oportunidad de comparar los resultados con PISA 2000.

14

Medida en la cual el SIMCE ayuda a involucrar a los padres y a aportar información para sus decisiones De acuerdo con los datos recopilados a través de las encuestas SIMCE, los padres han aumentado su conocimiento de los resultados de las escuelas de sus hijos. El 21% de los padres de alumnos de 10º grado respondieron que conocían los resultados del SIMCE 2001 y el 26% afirmaron lo mismo con respecto a la prueba de 2003. Por otra parte, el 41% de los padres de alumnos de 8º grado afirmaron que conocían los resultados del SIMCE (cuestionario SIMCE para padres, 2004). En lo que respecta al uso de los datos del SIMCE para seleccionar las escuelas para sus hijos, la evidencia muestra que no es el principal criterio usado por los padres. De acuerdo a Elacqua (2004), menos del 1% consideraba los puntajes del SIMCE como el principal indicador para elegir la escuela básica para sus hijos, lo cual resulta congruente con los datos del SIMCE (cuestionario SIMCE para padres, 2005). En el caso de los padres de alumnos de educación secundaria, los datos indican que ellos dan una importancia similar a la información SIMCE en lo que respecta a la selección de escuela para sus hijos: alrededor del 5% consideraba los puntajes del SIMCE como uno de los tres principales indicadores para elegir la escuela para sus hijos en 2003. Sin embargo, la última encuesta del CEP (CEP 2006) muestra que el 11% de los padres consideran los resultados del SIMCE como el principal criterio de elección de las escuelas. Finalmente, es necesario recalcar que el conocimiento que tienen los padres de los datos del SIMCE varía dependiendo de su nivel socioeconómico, siendo mayor en el caso de las familias de niveles socioeconómicos más altos (Ministerio de Educación, 2003).

El uso del SIMCE para fomentar la responsabilidad por los resultados en diferentes niveles del sistema Cada año, los resultados a nivel nacional generan un debate público con respecto al conjunto de las políticas educacionales y se exige al gobierno que responda por los resultados. Como ejemplo, después de la publicación de los resultados del SIMCE correspondientes al año 2005, en marzo de 2006, el congreso chileno solicitó al nuevo ministro de educación que justificara y diera cuenta de los resultados y de lo que fue considerado como un escaso mejoramiento de los puntajes en las pruebas. A través de los años, la demanda de mejoramientos de los puntajes se ha incrementado. De acuerdo a una encuesta reciente, el 74% de los entrevistados considera que “no es natural que no mejoren los puntajes del SIMCE al compararse una prueba con la del año anterior y deben tomarse todas las medidas posibles para mejorar los resultados” (CEP 2006).

15

También se evalúa a las autoridades locales en términos del mejoramiento en el SIMCE en sus respectivas zonas geográficas. Por ejemplo, se ha utilizado la comparación entre regiones como una forma de responsabilización y evaluación del éxito de las autoridades regionales. A nivel de las escuelas, cuando los puntajes son buenos, los docentes y directivos los utilizan para promover sus escuelas ante los padres. Sin embargo, en el caso de las escuelas que obtienen bajos puntajes, la responsabilidad por los resultados ante la comunidad se ve limitada por el menor acceso de los padres a los puntajes del SIMCE obtenidos por las escuelas de sus hijos.

El impacto del SIMCE en la promoción de políticas para mejorar equidad A pesar de los esfuerzos y el mejoramiento en la reducción de los niveles de pobreza, los problemas de equidad siguen siendo un desafío para Chile. En este contexto, existe un amplio consenso en la sociedad chilena con respecto a la importancia de una educación de buena calidad como una condición necesaria para el desarrollo social y económico. Como se señaló previamente, a consecuencia de la publicación anual de los resultados de las pruebas, la educación se ha convertido en un tema insoslayable en la agenda pública. Además, los datos del SIMCE (y, anteriormente, los resultados del PER), han aportado y dado a conocer evidencia acerca de la estrecha relación entre las desigualdades socioeconómicas y las brechas en el aprendizaje. Esta información sirvió como base para las políticas centradas en la equidad durante la década de los noventa y su publicación ha aumentado la demanda social de equidad en el acceso a una educación de calidad. Es revelador que el máximo dirigente nacional del gremio docente, miembro del Partido Comunista, haya resaltado los datos del SIMCE como un indicador de equidad: “los resultados del SIMCE nos llaman a reflexionar profundamente acerca de la educación chilena. Tenemos graves problemas de calidad y equidad”.22

Riesgos y consecuencias no deseadas Entre las consecuencias no deseadas de un programa de evaluaciones de altas consecuencias que se mencionan con mayor frecuencia, se encuentran: la enseñanza orientada exclusivamente en función de la prueba, el estrechamiento del currículum que se está implementando, el rechazo o expulsión de alumnos por parte de las escuelas con el fin de mejorar los resultados y la estigmatización de las escuelas con bajo desempeño, entre otras. En el caso del SIMCE, no existe evidencia sistemática de estos efectos. 22

“Enfrentando los resultados del SIMCE” (2006). http://www.colegiodeprofesores.cl/noticiero/declaraciones_publicas.htm

16

Sin embargo, es importante mencionar que una década (1990 a 2000) de publicación de los resultados del SIMCE comparando directamente el desempeño de las escuelas públicas (municipales) con las escuelas privadas subvencionadas, sin considerar los antecedentes socioeconómicos de sus alumnos, ha impactado la percepción general con respecto a las escuelas municipales y ha reforzado la creencia generalizada de que “los servicios privados son mejores que los públicos”. En efecto, en 1988, el 50% de los padres señalaba que preferiría una escuela privada subvencionada en lugar de una escuela pública (municipal). En 2006, en cambio, el 69% de los padres concordó con la misma afirmación (CEP 2006). Finalmente, las expectativas públicas de un rápido mejoramiento pueden desmotivar políticas en curso que podrían ser efectivas en el largo plazo. Del mismo modo, establecer metas nacionales sin suficiente evidencia respecto del mejoramiento que razonablemente puede esperarse, dados los recursos invertidos y las estrategias desarrolladas, podría desacreditar las iniciativas públicas en el ámbito de la educación.

4.

Factores facilitadores En esta sección se analizan los factores políticos, institucionales y externos que han facilitado la

implementación, continuidad y desarrollo del SIMCE junto con los factores de experimentación e innovación que han facilitado el cambio.

Economía política para la implementación y consolidación del SIMCE a.

Inicios del SIMCE en el régimen militar: implementación sin obstáculos y legitimidad debilitada Como se mencionó anteriormente, el PER (1981-1984) y, posteriormente, el SIMCE se iniciaron

durante el régimen militar. En efecto, fue el gobierno el que encargó a la Universidad Católica el diseño y desarrollo del sistema de evaluación. Las autoridades no consultaron ni negociaron con los docentes. Esta estrategia facilitó la implementación del sistema, pero limitó su legitimidad. El enfoque dominante de planificadores y gestores de políticas durante dicho período, consideraba esencial contar con un sistema de evaluación para entregar información comparativa de las escuelas e informar la elección de éstas por parte de los padres, garantizando así el funcionamiento de un sistema basado en vouchers. La continuidad del SIMCE fue asegurada por el gobierno militar a través de una ley constitucional aprobada en 1990, un día antes de que el gobierno democrático asumiera el poder. La ley también garantizaba la inclusión del programa en el presupuesto nacional: Corresponderá al Ministerio de Educación diseñar los instrumentos que permitan el establecimiento de un sistema nacional para la evaluación periódica, tanto en la educación básica como en la educación

17

media, del cumplimiento de los objetivos fundamentales y de los contenidos mínimos de esos niveles. Previa aprobación del Consejo Superior de Educación, dicho Ministerio procederá a establecer la aplicación periódica del sistema de evaluación a que se refiere el inciso anterior, debiendo en todo caso, efectuar pruebas de evaluación, a lo menos, al término de la educación básica y de la educación media. El Ministerio de Educación deberá elaborar estadísticas de sus resultados, por región y por establecimientos educacionales, los que deberán publicarse en alguno de los diarios de circulación nacional o regional y además fijarse en lugares visibles en cada establecimiento evaluado. En caso alguno la publicación incluirá la individualización de los alumnos. (LOCE 1990)

b.

Legitimización del SIMCE: continuidad, medición de bajas consecuencias y amplio uso de los datos para propósitos de equidad y mejoramiento Los programas de evaluación anteriores (el PER y la fase inicial del SIMCE) ya habían

desarrollado una tradición de evaluaciones nacionales antes de que el sistema de evaluación fuese administrado por el Ministerio de Educación (a partir de 1991). Durante los cinco primeros años de gobierno democrático, la ley mencionada no se cumplió a cabalidad, ya que no se publicaron los resultados a nivel de las escuelas sino hasta 1995. Por consiguiente, la etapa inicial del SIMCE, podría describirse como una evaluación “de bajas consecuencias” para docentes y escuelas.

La confidencialidad de los resultados de las escuelas durante este período

probablemente reflejó el énfasis de los gobiernos democráticos de comienzos de la década de los noventa en el uso de datos para propósitos de mejoramiento, por sobre el uso para efectos de responsabilización de las escuelas por sus resultados. Este uso de la información favoreció la valoración del sistema de evaluación por parte de las autoridades democráticas y probablemente mitigó eventuales reacciones de resistencia por parte de las escuelas. De esta manera, la operación ininterrumpida del sistema de evaluación junto con la confidencialidad inicial de los resultados a nivel de las escuelas y el uso de los datos para focalizar estrategias de apoyo para ellas, fueron factores que ayudaron a desarrollar una tradición de evaluaciones nacionales y a legitimar el programa.

c.

Publicación de los resultados a nivel de las escuelas Desde que los resultados a nivel de las escuelas comenzaron a divulgarse en forma pública, el uso

de estos datos en intervenciones diseñadas a nivel nacional comenzó a complementarse a través del objetivo de responsabilidad pública por los resultados a nivel de las escuelas. La publicación de los resultados generó desconfianza entre los docentes, especialmente entre quienes trabajaban en contextos sociales desfavorecidos, debido a que sus bajos puntajes fueron interpretados en forma simplista por la opinión pública como una consecuencia del mal desempeño de sus escuelas23. Se consideraba que el SIMCE era esencialmente una herramienta de control externo (Ministerio de Educación 2003). Esta 23

Esto fue claramente perjudicial para las escuelas municipales, dado que concentran un mayor porcentaje de estudiantes de menor nivel socioeconómico.

18

percepción, junto con la falta de legitimidad de sus orígenes, probablemente influyó en el hecho de que los docentes no utilizaran efectivamente los resultados de las pruebas. A partir del año 2000, los resultados del SIMCE a nivel nacional recibieron una creciente atención de los medios de comunicación y la estabilidad de los resultados fue interpretada por ellos como resultante de una “falta de impacto” de las políticas. A partir de esto, grupos académicos y algunos gestores de políticas educativas comenzaron a cuestionar la utilidad de un sistema de evaluación cuya difusión de resultados, de acuerdo a esta visión, contribuía al deterioro de la autoestima de los docentes y del sistema educacional en su conjunto.

d.

Reevaluación y consolidación del SIMCE: participación de actores claves en una Comisión Nacional En 2003, el Ministro de Educación convocó una comisión nacional para revisar y entregar

recomendaciones con respecto al SIMCE.

Su composición era diversa e incluía representantes de

distintos sectores (centros de investigación y grupos de expertos tanto afines al gobierno como a la oposición, administradores de escuelas, autoridades educacionales y el gremio docente). Adicionalmente, la comisión recogió testimonios de otras entidades. Después de cinco meses de análisis, la comisión concluyó que el SIMCE ya era considerado por la opinión pública como una institución consolidada y que sus principales características debían ser preservadas. Por ejemplo, no todos los miembros del comité estaban a favor de la publicación de los resultados a nivel de las escuelas debido a su impacto en aquellas con resultados más bajos. Sin embargo, finalmente se recomendó no revertir esta política, tanto por razones legales y consideraciones políticas (la decisión de no publicar los resultados podría ser percibida como falta de transparencia), como por su aporte a una cultura de responsabilidad por los resultados. Las recomendaciones reflejaron una síntesis de dos visiones diferentes, combinando recomendaciones para desarrollar el SIMCE como instrumento para fomentar la responsabilidad por los resultados con recomendaciones para su desarrollo como instrumento de apoyo a las prácticas docentes. Es así como se recomendó que el SIMCE aumentara la frecuencia de aplicación de las pruebas y desarrollara indicadores con valor agregado con el fin de mejorar el uso de los datos para propósitos de responsabilidad por los resultados.

Por otra parte, para lograr propósitos de retroalimentación de las

prácticas docentes, se recomendó que los datos publicados incorporaran estándares de desempeño para entregar a los docentes información más fácil de entender y, por consiguiente, más útil. De esta manera, las conclusiones de una comisión de composición diversa, contribuyeron a la legitimidad del SIMCE. Como respuesta, el gobierno presentó una estrategia de desarrollo para el SIMCE tomando en consideración sus recomendaciones dando énfasis al uso del SIMCE para mejorar las prácticas docentes.

19

e.

Mirando hacia el futuro: demanda política por más evaluación En el caso chileno, una vez consolidado el sistema de evaluación, la tendencia ha sido un

aumento de la demanda de evaluaciones, y no a reducirlas. Esta demanda se ve probablemente reforzada por el sostenido aumento de las evaluaciones que se ha observado a nivel internacional, como por ejemplo en Estados Unidos, el Reino Unido y por el hecho de que cualquier retroceso probablemente sería presentado por los medios de comunicación y juzgado por la opinión pública como una pérdida de transparencia o una estrategia de las autoridades educacionales de disminuir el impacto de posibles malos resultados tanto en las escuelas como para el gobierno mismo. A modo de ilustración, el Ministerio de Educación chileno decidió alternar su participación en PISA y TIMSS, omitiendo PISA 2003 y TIMSS 200724. Los medios presentaron esta decisión como un intento del gobierno de evitar las consecuencias políticas de puntajes eventualmente bajos y el congreso solicitó que el ministerio reconsiderara esa decisión. Considerando que “lo que se evalúa se valora”, se ha producido una demanda de incluir nuevas asignaturas como una estrategia para aumentar su relevancia. Este ha sido el caso del inglés como segunda lengua, de la educación física y de otras asignaturas. Los costos políticos de retroceder probablemente sean cada vez mayores y, de manera inversa, la intensificación de la función de las evaluaciones probablemente se convierta en una estrategia cada vez más popular para impulsar reformas educacionales.

Factores institucionales de la implementación y consolidación del SIMCE

En esta sección, se analizan las principales variables, aparte de los factores políticos y sociales institucionales, que han influido en la implementación y desarrollo del SIMCE.

a.

Marco institucional para el logro de la estabilidad, la credibilidad y la calidad técnica La interrogante en lo que respecta al mejor marco institucional para un sistema de evaluación y al

grado óptimo de dependencia del gobierno central ha sido un tema de discusión no sólo en Chile25, sino en el resto de América Latina. Si bien la estabilidad, la relevancia política y el uso de los resultados parecen más factibles cuando el sistema de evaluación tiene vínculos institucionales más estrechos con el ministerio, suele ser más fácil para instituciones autónomas gozar de credibilidad pública y atraer recursos humanos de alta calidad técnica (Ferrer 2006). 24

La decisión se tomó por anticipado a la luz de la necesidad de concentrar recursos humanos y técnicos limitados en el desarrollo de estándares de desempeño y en la intensificación de la evaluación preservando su calidad. 25 Este fue uno de los temas analizados por la Comisión Nacional para el desarrollo del SIMCE en el año 2003.

20

La primera etapa de aplicación del SIMCE, a cargo de la Universidad Católica, se realizó en un ambiente de investigación que facilitó la creación del programa y favoreció tanto su calidad técnica como su independencia. Sin embargo, ya se había hecho evidente que este marco institucional era frágil para resistir cambios políticos. Esto fue lo que ocurrió con el PER (el “predecesor” del SIMCE), que fue descontinuado en 1984 como consecuencia de la decisión del ministro de la época, de poner término a su financiamiento. Durante 1990, el SIMCE fue transferido al Ministerio de Educación, en virtud de una ley constitucional. Esto garantizó la estabilidad y continuidad del programa. Sin embargo, en este contexto, la calidad técnica y la credibilidad estaban más condicionadas a las prioridades de las autoridades gubernamentales. Por ejemplo, durante los cinco o seis primeros años en los cuales el SIMCE fue parte del ministerio, la evaluación nacional se implementó y se transformó en una tradición, pero las prioridades de las autoridades educacionales no estaban centradas en su desarrollo continuo ni en su actualización permanente.

Posteriormente, la reforma del currículum nacional chileno evidenció la

necesidad de armonizar la evaluación nacional con los nuevos énfasis curriculares. Esto se tradujo en una decisión de política de impulsar el desarrollo de la unidad de medición: expandirla, reforzar sus equipos y participar en estudios internacionales. En el caso de Chile, la transparencia en la publicación y divulgación continua de los resultados de las evaluaciones nacionales e internacionales por parte del Ministerio de Educación –independientemente de si estos resultados son buenos o malos– ha sido un factor clave para mantener la credibilidad del SIMCE ante la opinión pública. Esto ha permitido que dicha credibilidad no se haya visto afectada, a pesar de que el programa sea administrado por el Ministerio de Educación, que es responsable de políticas que se evalúan – precisamente – usando datos generados por el SIMCE. En resumen, la continuidad del programa se ha visto favorecida por una ley constitucional y por su administración por parte del Ministerio de Educación. La credibilidad del sistema se ha visto favorecida por prácticas de transparencia de la información generada, mientras que el desarrollo técnico ha sido consecuencia de la prioridad asignada por las autoridades educacionales, que se ha traducido en asignación de recursos y construcción de capacidades.

b.

Mecanismo institucional para la regulación externa En Chile, el Ministerio de Educación es quien toma las decisiones finales con respecto a los

estudios internacionales, la cronología de las pruebas y la evaluación de las nuevas áreas curriculares. Sin embargo, estas definiciones deben ser informadas al Consejo Superior de Educación, que tiene, entre otras tareas, la misión de aprobar tanto el currículum nacional como el sistema de evaluación. Por

21

ejemplo, las modificaciones del SIMCE derivadas de la reforma curricular y las recomendaciones del comité 2003 fueron informadas y aprobadas por este Consejo.

c.

Asociaciones estratégicas y composición del equipo A nivel micro-organizacional y de gestión, dos factores han sido importantes en la

implementación y desarrollo del SIMCE: la composición interdisciplinaria de su equipo profesional y el equilibrio entre tareas desarrolladas internamente y la externalización de algunas etapas del proceso. En la actualidad, el equipo nacional está compuesto por economistas (10%), ingenieros (25%, algunos de los cuales tienen experiencia en el sector privado), expertos en programas computacionales, sicólogos (30%) y docentes (30%). Un tercio del equipo tiene calificaciones a nivel de postgrado. La introducción temprana de un sistema de corrección computarizado (2001) y, más recientemente, un banco de preguntas, junto con la contratación de compañías privadas especializadas en la impresión y distribución segura de productos, han sido consecuencia de una u otra manera de la composición del equipo y de la diversidad de ámbitos de proveniencia de sus miembros. El trabajo con socios externos (tales como empresas privadas y universidades de prestigio) ha permitido ampliar las capacidades de la institución y ha sido una fuente de innovación y desarrollo.

Factores que han influido en el aprendizaje y la experimentación En esta sección, se analizan los principales factores que han influido en el aprendizaje y en el desarrollo de prácticas de experimentación. La participación del programa en los estudios internacionales ha sido una fuente importante de aprendizaje y mejoramiento de la medición nacional, constituyendo además, un referente de calidad para ella. La implementación de metodologías para un riguroso estudio de las tendencias longitudinales (equiparación o equating), el uso de modelos de corrección para preguntas de respuesta abierta, el avance en el control de calidad de los instrumentos y de datos, así como el mejoramiento de los cuestionarios de contexto, son consecuencias de la participación en los estudios internacionales. Adicionalmente, la modalidad de información de resultados que utilizan los estudios internacionales en que Chile participa, ha ofrecido tanto a los expertos, como también a la opinión pública en general un modelo con el cual pueden comparar los informes de resultados del SIMCE generando demandas de más y mejor información. La clasificación del desempeño en niveles que describen los conocimientos de los estudiantes y su rendimiento en las pruebas, ha sido un antecedente para expectativas de resultados nacionales según estándares de desempeño.

22

Otro factor que ha resultado influyente, ha sido la mayor disponibilidad de análisis de política comparada respecto de sistemas de evaluación y su función en la agenda de políticas de diferentes países. La referencia a experiencias de otros países, a la frecuencia de sus evaluaciones, a las asignaturas y grados evaluados y a los grupos objetivo que reciben información, son comunes en el debate sobre políticas educacionales. De este modo, estas referencias se utilizan como parámetros para evaluar el SIMCE e impulsan cambios e innovaciones. El compromiso de autoridades políticas con la generación de cambios planificados y experimentados previamente también ha facilitado el desarrollo del programa. Por ejemplo, si bien la pronta implementación de una medición referida a estándares de desempeño es una de las prioridades para el desarrollo del SIMCE, se ha asignado tiempo y recursos necesarios para consultar a expertos internacionales con el fin de garantizar calidad aun cuando ello signifique mayores plazos. Esto ha dado la oportunidad de debatir las ventajas y desventajas de los cambios y de restringir la implementación rápida de soluciones que no están lo suficientemente bien desarrolladas. Probablemente, un factor que ha facilitado esta coincidencia entre la agenda políticas y la técnica ha sido la experiencia del riesgo político asociado a errores en una evaluación con tanto impacto público.

5.

Lecciones

LECCIÓN 1: Un sistema de evaluación de carácter censal involucra a todos y permite la focalización de políticas de apoyo para las escuelas con mayor necesidad y ambos factores ayudan a desarrollar una cultura de evaluación. La evaluación puede considerarse un canal de comunicación entre el campo de la educación y la sociedad en su conjunto. Esta comunicación se ve enormemente potenciada cuando todas las escuelas se ven involucradas y los temas relevados a nivel nacional tienen una contraparte a nivel local. Un sistema de evaluación de carácter censal que publica los resultados en forma regular para cada escuela tiene el poder de atraer la atención de la opinión pública hacia los resultados de aprendizaje de una forma que no pueden hacerlo las evaluaciones muestrales. Al menos en Chile, el impacto público de los resultados de la prueba nacional SIMCE es evidentemente mayor que la atención prestada a los resultados de los estudios internacionales que se basan en muestras de alumnos26.

26

En el caso de los estudios internacionales, es necesario emprender iniciativas especiales adicionales destinadas a que las escuelas se informen de los resultados. Un ejemplo de esto en Chile fue la publicación de una guía especial para docentes en la que se analizan los resultados de CIVED 1999 (IEA) a nivel nacional y su relación con las prácticas curriculares y docentes.

23

La entrega de los resultados a diferentes niveles –nacional, regional, según el tipo de entidad que administran las escuelas, y de las escuelas mismas– también destaca la responsabilidad que tiene cada nivel del sistema por los resultados obtenidos27. El escrutinio público de los resultados nacionales y las políticas gubernamentales tienen su contraparte en la exposición de cada una de las escuelas y sus resultados.

LECCIÓN 2: Se debe procurar la coherencia entre el sistema de evaluación y la política educacional. El impacto y las características del SIMCE exigen la armonización y coherencia entre el sistema de evaluación y: (a) el currículum nacional, (b) las estrategias de intervención orientadas al mejoramiento, (c) los incentivos vinculados al desempeño y (d) las demandas sociales y políticas de responsabilidad por los resultados. Un sistema de evaluación de carácter censal con resultados públicos ofrece la oportunidad de informar y coordinar diversas estrategias de política. a) Armonización con el currículum nacional. En Chile, el SIMCE se ha utilizado para apoyar la implementación del nuevo currículum a través de la armonización de las pruebas con respecto al mismo. Sin embargo, el alineamiento de las preguntas de las pruebas con el nuevo currículum no basta por sí sola para comunicar a los docentes que existe coherencia entre el SIMCE y los objetivos de la reforma curricular. La información de los resultados, que hasta 2005 se ha centrado en los puntajes, ha resultado insuficiente para comunicar qué tan buenos o insuficientes son los resultados en términos de las competencias enfatizadas por la reforma curricular.

b) El SIMCE y la focalización de estrategias orientadas al mejoramiento. El uso de los datos de las evaluaciones de las escuelas para orientar la formulación de las políticas tiene la potencialidad de incrementar la efectividad de los programas de intervención. Un ejemplo de esto es el énfasis que se ha dado en Chile a los programas de mejoramiento en las escuelas con más bajos resultados y el uso de los datos para evaluar estos programas. Sin embargo, esto demanda que el sistema de evaluación entregue criterios explícitos para interpretar adecuadamente los datos junto con advertir sobre sus limitaciones, indicando, por ejemplo, en qué casos el mejoramiento de los puntajes puede considerarse significativo. c) La vinculación de incentivos y consecuencias con el desempeño. Al vincular consecuencias o incentivos a los resultados de las evaluaciones con el fin de promover el mejoramiento, es necesario cerciorarse de que las inferencias respecto a las causas de las variaciones de los puntajes sean válidas. 27

La relación entre la responsabilización del gobierno central y de las entidades locales a través de la evaluación puede ser conflictiva y refleja la concepción predominante de la función que le cabe al estado en la educación (Benveniste, 2004).

24

Por ejemplo, el SNED28 considera los antecedentes socioeconómicos de los estudiantes antes de atribuir los resultados a un efecto de la escuela29. También es necesario cerciorarse de que los incentivos promueven realmente las acciones que se busca estimular y no generan efectos indeseados producto de dichos incentivos30. La publicación de los resultados puede ser considerada como una consecuencia directa para las escuelas. Por este motivo, a partir de 2000, la publicación de los resultados de las pruebas en la prensa ha incorporado la comparación entre escuelas similares, tomando en consideración los factores socioeconómicos. Además de estas consideraciones relativas a promover una interpretación válida de los resultados, una política que asocie consecuencias con los resultados de las escuelas, debe garantizar y no sólo suponer, que las escuelas cuentan con los recursos y capacidades para afectar o controlar dichos resultados.

d) El SIMCE y las demandas sociales y políticas de responsabilidad por los resultados. La publicación de los resultados atrae la atención de la opinión pública hacia aspectos como la equidad, el ritmo de mejoramiento y la efectividad de las intervenciones de política. Por consiguiente, tiene la potencialidad de generar nuevas demandas sociales, más y mejor informadas.

Esto tiene varias

consecuencias. La política educacional debe balancear la existencia e intensificación de la evaluación de resultados de aprendizaje con estrategias de magnitud comparable, destinadas al desarrollo de capacidades y acciones de mejoramiento. Si bien existen puntos de vista diferentes con respecto a este tema, es claro que la sola existencia de un sistema de evaluación que entrega resultados públicos a nivel de las escuelas no es suficiente por sí sola para generar un mejoramiento.

LECCIÓN 3: Se debe evitar la definición de metas de aprendizaje que no estén basadas en evidencia, tanto a nivel nacional como de las escuelas. En la formulación de las políticas educacionales es importante tener y comunicar expectativas de mejoramiento a nivel del sistema y a nivel local bien fundamentadas, basadas en evidencia empírica y que tomen en cuenta los recursos y las capacidades disponibles. En el caso de Chile, los resultados del SIMCE 2000 fueron utilizados para establecer metas nacionales de mejoramiento para el 2005, sin contar con la evidencia suficiente para ello31. El gobierno prometió que en cinco años se reduciría en un 50% el 28

Un programa de incentivos que consistente en un bono salarial para los docentes que trabajan en las escuelas que demuestran efectividad y mejoramiento en los resultados de aprendizaje de sus estudiantes. 29 Mizala y Romaguera (2002). 30 Carnoy et al. (2005) analizan los incentivos docentes y escolares relacionados con el índice SNED. 31 Chile no está solo en este desafío. También podría considerarse que las metas establecidas por NCLB para 2013 carecen de evidencia suficiente que las respalde.

25

número de estudiantes ubicados dentro de la categoría de más bajo rendimiento. Este objetivo resultó ser demasiado ambicioso y, por lo tanto, tuvo costos políticos, lo que podría llevar a la renuencia a establecer nuevos objetivos a nivel nacional.

LECCIÓN 4: No se debe dejar de enfrentar las consecuencias indeseadas de los sistemas de evaluación nacionales. Es muy importante evitar efectos negativos no buscados, que puedan derivar en que los miembros de la sociedad perciban que tanto el sistema de evaluación como el diseño de las políticas actúan en su contra. De otro modo, el sistema pierde legitimidad y se reduce su uso potencial. Si bien no existe ningún estudio sistemático acerca de la magnitud de las probables consecuencias negativas no deseadas del SIMCE, la mera evidencia anecdótica resulta suficiente para afectar su imagen pública, y por ende, su uso. Por lo tanto, incluso sin tener datos con respecto a su impacto, es importante evitar consecuencias negativas no deseadas cuando se las pueda prever, por ejemplo a partir de la experiencia de otros países en áreas tales como la selección de los alumnos, el estrechamiento del currículum implementado o la inducción a los alumnos de bajo rendimiento a ausentarse el día de la prueba con el fin de obtener mejores resultados. En el caso del SIMCE, podemos citar dos ejemplos de los esfuerzos realizados para evitar efectos negativos: se identifican los estudiantes que tienen necesidades educacionales especiales y sus puntajes no se consideran en el promedio publicado para la escuela. De esta manera, las escuelas no se ven en desventaja debido a sus políticas de integración. Además, se motiva a los padres a denunciar los casos en que se ha inducido a alumnos a ausentarse el día de la prueba (y en efecto los padres han jugado un papel en este sentido). Para este mismo propósito, el proceso de asignación de puntajes contempla un análisis comparativo de las calificaciones de los alumnos ausentes el día de la prueba. Sin embargo, las iniciativas del sistema de evaluación por sí solas no son suficientes; requieren una estrategia global de formulación de políticas que sea coherente. Un buen ejemplo de lo anterior es el proyecto de ley que busca introducir vouchers diferenciados para los estudiantes en desventaja social y que restringe la selección de alumnos por motivos académicos para las escuelas que hacen uso de este sistema.

LECCIÓN 5: Se debe involucrar a los actores claves en la definición de los objetivos, las características centrales y las prioridades del sistema. La literatura con respecto a los sistemas de evaluación suele recalcar la necesidad de definir claramente los objetivos y la dificultad para conciliar objetivos contradictorios, enfatizando los problemas

26

que surgen de combinar la responsabilización por los resultados con objetivos de monitoreo y de mejoramiento (Forster 2001). Los diferentes actores plantean necesidades diferentes y con frecuencia contradictorias. De acuerdo a la experiencia chilena, el nombramiento de una comisión integrada por personas con distintas visiones de la educación y de la función que debe desempeñar el sistema de evaluación, ha sido crucial para analizar sus propósitos en forma rigurosa y llegar a un acuerdo con respecto a las prioridades en el desarrollo futuro del SIMCE. Por ejemplo, se acordó que el objetivo central del SIMCE sería evaluar los resultados de aprendizaje y no entregar un informe completo de los indicadores de educación y calidad, ni tampoco evaluar los programas de intervención32. También se acordó que la primera prioridad en el desarrollo del SIMCE sería formular y evaluar estándares de desempeño, de manera de darle un sentido a los resultados y hacerlos más significativos para los docentes, las autoridades educacionales y el público en general. Este acuerdo no sólo hizo posible el diseño de un plan de desarrollo focalizado, sino que también ha facilitado su apoyo público por parte de diferentes actores33.

LECCIÓN 6: Existe un potencial conflicto entre la publicación de los resultados para efectos de responsabilización y su uso por parte de los docentes. En un sistema de educación tan segmentado desde el punto de vista social como el chileno (OCDE 2004), se da un potencial conflicto –si no una contradicción– entre la publicación de los resultados de aprendizaje de cada escuela y la utilización de la información generada por parte de los docentes. Este es especialmente el caso de aquellos que enseñan en áreas de menores ingresos, ya que perciben e interpretan esta publicación de resultados como fundamentalmente injusta (a pesar de los esfuerzos del SIMCE en una dirección opuesta). Aquí la contradicción se produce entre la utilización del SIMCE por parte de la opinión pública y las autoridades educacionales y su utilización por parte de los docentes: mientras más exigen los primeros una ‘divulgación orientada a la responsabilización’, menos propensión muestran los segundos a informarse y a utilizar la información y las lecciones entregadas por las evaluaciones anuales del SIMCE para planificar y para el mejoramiento de sus propias prácticas. La lección en este caso puede ser que, en contextos de grandes desigualdades estructurales, la publicación para efectos de responsabilización de la información relativa al aprendizaje de los alumnos tiene una prioridad secundaria comparada con el uso de esta información por parte de los docentes. Este es especialmente el caso si la responsabilización de las escuelas de más bajos resultados no se equilibra 32

Aunque se acordó que el sistema de evaluación debería proveer datos para la evaluación posterior de los programas de intervención. 33 Los temas analizados dan una buena idea de los principales dilemas que debe resolver cualquier sistema de evaluación. Véase Evaluación de Aprendizajes para una Educación de Calidad, Ministerio de Educación de Chile, 2003.

27

adecuadamente por medio de recursos suficientes y estrategias efectivas de mejoramiento de los resultados que compensen los contextos adversos.

LECCIÓN 7: Construir un vínculo (firme) entre la evaluación externa y la evaluación desarrollada al interior de las escuelas. Si se pretende que los datos entregados por el sistema de evaluación sirvan para apoyar las prácticas docentes y contribuyan a su mejoramiento, es preciso desarrollar un estrecho vínculo entre esta información y la evaluación a nivel de las escuelas (National Research Council 2003). La publicación de los resultados y su entrega a cada escuela no es suficiente para asegurar que sean utilizados por las escuelas y los docentes.

Recientemente, el Ministerio de Educación ha

desarrollado una estrategia nacional para el análisis de los resultados del SIMCE. Desde el año 2003, el Ministerio ha requerido que las escuelas concentren sus equipos en dicho análisis durante un día en el año. Sin embargo, las escuelas y los docentes obtendrían aun mayores beneficios de la información entregada por el SIMCE si se hiciera más explícita la relación entre la medición y las evaluaciones que ellos mismos desarrollan así como con el currículum que imparten. Para fortalecer dicha relación, es importante estimular el análisis de las preguntas de las pruebas y de las habilidades valoradas por el currículum nacional y que son necesarias para responderlas, desarrollar un marco común para los estándares de desempeño medidos por el SIMCE y las evaluaciones desarrolladas al interior de las escuelas y divulgar prácticas escolares exitosas, entre otras. Más aun “un programa de capacitación exhaustivo destinado al mejoramiento de la comprensión por parte de los maestros de lo que mide el SIMCE (…),” como recomienda una publicación de la OCDE (2004), vincularía esta comprensión con el desarrollo de las competencias de los docentes en el área de la evaluación dentro del aula, especialmente considerando que ésta fue el área identificada como la más débil en la última evaluación del desempeño docente en Chile. El hecho de contar con un sistema de evaluación censal evidentemente ofrece la oportunidad de contribuir significativamente a las prácticas de las escuelas por medio de la entrega de información valiosa. Sin embargo, esta retroalimentación no se produce espontáneamente y se deben hacer esfuerzos especiales para facilitar el uso de la información y desarrollar un vínculo significativo entre las prácticas de evaluación por parte de las escuelas y de los docentes, por un lado, y los aspectos evaluados por el sistema de medición, por el otro. Un ejemplo de esto sería combinar, desde el principio, la evaluación externa con materiales para la evaluación desarrollada por los docentes, que cubrieran una amplia diversidad de áreas curriculares para diferentes grados, junto con la capacitación adecuada destinada a promover el uso de las evaluaciones para apoyar el aprendizaje.

28

LECCIÓN 8: Considerar la formación inicial de los docentes en el área de las evaluaciones para aumentar el impacto en las prácticas docentes. En el contexto chileno, es fundamental trabajar en pos de la transformación de la relación entre las instituciones de formación docente y el SIMCE. Estas instituciones son cruciales para formar los criterios profesionales de los docentes, aunque a veces suelan oponerse ideológicamente a sistemas nacionales de evaluación como el SIMCE. La lección en este caso, es que se requiere que los docentes sientan los sistemas de evaluación como propios y esto debe comenzar por su formación inicial. Es aconsejable promover una nueva cultura de evaluación entre los docentes como parte de un esfuerzo más amplio que involucre al ministerio de educación, a las instituciones de formación docente y de perfeccionamiento.

LECCIÓN 9: La comunicación de los resultados es tan importante como su generación. La comunicación de los resultados debe tomar en cuenta que (a) el acceso a la información es crucial, (b) la presentación de los datos comunica mensajes implícitos y puede facilitar o impedir la comprensión, (c) los planes de comunicación deben considerar el efecto de los medios, (d) siempre existen conflictos entre la transparencia y la confidencialidad y (e) es importante monitorear el impacto de las estrategias de comunicación. (a) La entrega de informes a las escuelas, los padres y los docentes no garantiza que la información llegue a su audiencia objetivo.

El acceso a la información debe ser monitoreado y

optimizado a través de la selección de un medio o canal de comunicación apropiado. El SIMCE envía informes para los padres a las escuelas, las que están a cargo de su distribución. Existe alguna evidencia de que las escuelas entregan esta información cuando los resultados son suficientemente buenos y restringen el acceso a ella cuando son deficientes. Así, los padres también pueden acceder a la información a través de una página web y los resultados ya no se publican en un periódico de baja circulación, sino que en medios de mayor cobertura, a pesar de los mayores costos que esto conlleva. (b) La manera en la cual se comunican los resultados influye marcadamente en su interpretación y usos sugeridos. Incluso la selección del nivel de desagregación de los datos tiene impacto, puesto que sugiere una determinada atribución de responsabilidad. Los datos nacionales sugieren responsabilidad central, los datos a nivel de las escuelas sugieren responsabilidad de las escuelas y los datos a nivel del aula apuntan a la responsabilidad de los docentes. La entrega y atención a la información contextual, como los factores socioeconómicos, tanto a nivel de las escuelas como a nivel nacional, también tienen impacto en la percepción del control y la responsabilidad por los resultados de aprendizaje. Sin embargo,

29

sería ingenuo suponer que cuidar el modo en que se entrega la información garantiza su comprensión y uso apropiado, especialmente si no se explicita claramente la interpretación correcta de la información. (c) Debe considerarse a los medios de comunicación como una de las audiencias objetivo. Los medios pueden destacar algunos mensajes con gran énfasis mientras desestiman otros. A pesar de que la mayoría de las decisiones de los medios se basan en las políticas editoriales, es importante asegurar que no se produzcan interpretaciones erróneas por efecto de omisiones en la información. Por ejemplo, la prensa seleccionan a las escuelas con mejores puntajes en su listado de “mejores escuelas”. A pesar de que no es posible prohibir este tipo de clasificaciones, es posible influir en la manera en que la prensa las presenta. En la actualidad, el SIMCE facilita los datos con respecto a los mejores resultados de acuerdo con los antecedentes socioeconómicos de los estudiantes de cada escuela. La entrega de interpretaciones explícitas de los resultados considerando la información contextual se traduce en evaluaciones más justas en todos los niveles y, por ende, tiene impacto en la legitimidad del sistema de evaluación y la información que proporciona. Las escuelas estarán mucho más dispuestas a trabajar y a utilizar los datos derivados de un sistema que toma en cuenta las variables contextuales que influyen en sus resultados. (d) Las decisiones con respecto a la divulgación de la información siempre deben tomar en cuenta los aspectos de confidencialidad y deben lograr el equilibrio adecuado entre el compromiso de informar y el compromiso de proteger la información que podría ser interpretada o utilizada en forma inapropiada. En el caso de Chile, por ejemplo, la Comisión Nacional para el desarrollo del SIMCE (2003) recomendó mantener la confidencialidad de los puntajes de estudiantes individuales hasta la implementación efectiva de políticas que garantizaran el derecho de cada estudiante a acceder a cualquier escuela independientemente de sus aptitudes académicas34. (e) Finalmente, el monitoreo periódico de la forma en que se utilizan e interpretan realmente los resultados constituye un factor importante en el desarrollo del sistema de evaluación35.

LECCIÓN 10: Es preciso tomar en cuenta las variables que contribuyen a la sustentabilidad y la credibilidad. Inicialmente, las principales variables que contribuyeron a la sustentabilidad y credibilidad del SIMCE fueron legales e institucionales (véase la sección relativa a los factores facilitadores). Estas

34

En Chile, las escuelas privadas subvencionadas (financiadas por el gobierno) pueden seleccionar o rechazar a los estudiantes basándose en criterios académicos, la religión de sus padres y otros factores. También pueden expulsar a los alumnos debido a su bajo rendimiento académico y problemas conductuales. 35 Se han realizado dos evaluaciones con respecto a la comprensión y uso de los resultados del SIMCE por los diferentes grupos objetivo desde 2000. Además, los cuestionarios aplicados a los docentes y los padres frecuentemente les preguntan acerca del uso que dan a los datos del SIMCE.

30

variables se han visto complementadas por más de quince años de aplicación sostenida de pruebas anuales y la entrega de la información en forma oportuna. La naturaleza incremental (probablemente no planificada) de la implementación del SIMCE también ha contribuido a su instalación en el sistema escolar: el SIMCE comenzó manteniendo en forma confidencial los datos a nivel de las escuelas y evaluando dos áreas del aprendizaje y dos grados. Posteriormente, se expandió, incluyendo la educación media, se agregaron dos asignaturas adicionales y se dio inicio a la publicación de los resultados de las escuelas. El amplio uso de los indicadores provistos por el SIMCE a nivel de las escuelas para diversas políticas educacionales ha reforzado aun más la demanda de estos datos y, en consecuencia, ha fortalecido el apoyo con respecto al mantenimiento del sistema de evaluación. Finalmente, la participación de los actores claves en un proceso de consultas ha desempeñado una función importante en la sustentabilidad del SIMCE.

31

6.

Referencias

Belleï, C. (2005) The Private-Public School Controversy: The Case of Chile. Kennedy School of Government, Harvard University. Benveniste, L. (2004): La Evaluación Estudiantil como Reflejo de la Relación Estado – Sociedad, en Carnoy M. (ed.) Las Reformas Educativas en la Década de 1990: Un estudio comparado de Argentina, Chile y Uruguay, Proyecto alcance y resultados de las reformas educativas en Argentina, Chile y Uruguay, Banco Interamericano de Desarrollo, Ministerios de Educación de Chile, Argentina y Uruguay, Grupo Asesor de la Universidad de Stanford. Carnoy, M. Brodziak, I. Molina, A., Socías, M. Do Teachers’ Pay Incentive Programs Improve Student Achievement Gains? The case of Chile’s SNED, no publicado. CEP (2006) Estudio Nacional de Opinión Pública Nº 52. Junio-julio 2006, Centro de Estudios Públicos. CIDE (2003) IV Encuesta a actores del sistema educativo. CIDE, Santiago. Cox, C. (2003) Las Políticas Educacionales de Chile en las Últimas Dos Décadas del Siglo XX, en Cox (ed.) Políticas Educacionales en el Cambio de Siglo, Editorial Universitaria. Cox, C. (2006) Policy Formation and Implementation in Secondary Education Reform: the Case of Chile at the Turn of the Century. Education.Working Paper Series, Number 3, Banco Mundial. Delannoy, F. (2000) Education Reforms in Chile, 1980-98, A lesson in Pragmatism, Country Studies, Education Reform and Management Publication Series, Vol I. Nº 1, Junio. Elacqua G. y Fábrega R., (2004) El consumidor de la educación: el actor olvidado de la libre elección de colegios en Chile. Escuela de Gobierno, Universidad Adolfo Ibáñez. Ferrer, G (2006) Sistemas de Evaluación de Aprendizajes en América Latina, Balance y Desafíos, PREAL. Forster, M. (2001) A Policymakers Guide to Systemwide Assessment Programs, ACER, Melbourne. Eyzaguirre, B and Fontaine, L (1999) ¿Qué mide realmente el SIMCE? Estudios Públicos 75, 107-161. Garcia Huidobro, J. et al. (2002) El programa de las 900 escuelas: Trayectoria de una década, Gobierno de Chile, Ministerio de Educación. García Huidobro, J.E. (2002) Usos y abusos del SIMCE. Mimeo (no publicado). González, P., et al. (2002) Recursos Diferenciados a la educación subvencionada en Chile. Serie Economía N° 150. Centro de Economía Aplicada, Departamento de Ingeniería Industrial, Facultad de Ciencias Físicas y Matemáticas, Universidad de Chile. JUNAEB (2005) SINAE: Sistema Nacional de asignación con equidad para becas JUNAEB, Gobierno de Chile, JUNAEB. Kenneth, Y., McEwan P. y Urquiola, M. (2003) The Central Role of Noise in Evaluating Interventions

32

that Use Test Scores to Rank Schools, NBER Working Paper No. 10118, Noviembre 2003, JEL No. I2. Ministerio de Educación (2005a) Todos Pueden, Santiago, Chile. Ministerio de Educación (2005b) Hacia la Excelencia Académica, SNED 2004-2005. Santiago, Chile. Ministerio de Educación (2004a) Competencias para la Vida: resultados de los estudiantes chilenos en PISA 2000, Unidad de Currículum y Evaluación, Santiago, Chile. Ministerio de Educación (2004b) Chile y el Aprendizaje de Matemáticas y Ciencias según TIMSS 2003, Unidad de Currículum y Evaluación, Santiago, Chile. Ministerio de Educación (2003) Evaluación de Aprendizajes para una Educación de Calidad, Informe de la Comisión para el desarrollo y uso del Sistema de Medición de la Calidad de la Educación convocada por el Ministro de Educación. Ministerio de Educación (2003) Estadísticas de la Educación 2002, Departamento de Estudios y Estadísticas, División de Planificación y Presupuesto. Ministerio de Educación (2000) Evaluación del Programa de las 900 Escuelas. Ministerio de Hacienda (2005a) Proyecto de ley de Presupuestos del sector público para el año 2006, Dirección de Presupuestos. Ministerio de Hacienda (2005b) Estudio de Finanzas Públicas, Marcel, M. y Tokman, C., Dirección de Presupuesto. Ministerio de Hacienda (2001) Programa del las 900 escuelas, informe final, Dirección de Presupuesto, Programa de Evaluación de proyectos gubernamentales. Mizala, A. y Romaguera, P. (2002) Evaluación del Desempeño e Incentivos en la Educación Chilena, Cuadernos de Economía, año 39, nº 118, (353). Molina, S. (2005) La Equidad de la Educación en Chile, en García Huidobro, J.E. (ed.) Políticas Educativas y Equidad, p.205. National Research Council (2003) Assessment in support of instruction and learning: Bridging the gap between large-scale and classroom assessment. Washington, DC: The National Academy Press. OCDE (2004) Chile: Reviews of National Policies for Education, Centre for Co-operation with non members, París. Raczynksi, D. y Muñoz, G. (2006) Reforma Educacional Chilena: el difícil equilibrio entre la macro y la micro- política. CIEPLAN. Raczynski, D. (2004) Una experiencia de acción afirmativa: el programa de las 900 escuelas (Chile). en García Huidobro, J.E. (ed.) Políticas Educativas y Equidad, p.121. Schiefelbein, E. (1992) ‘Análisis del SIMCE y sugerencias para mejorar su impacto en la calidad’ en Gómez, S. (Ed.) La Realidad en Cifras, Estadísticas Sociales, Santiago, FLACSO, INE, UNRISD, pp. 241-280.

33