sábado, 29 de septiembre de 2012

MEJORAS NECESARIAS EN LAS EVALUACIONES INTERNACIONALES


La participación en evaluaciones internacionales ha representado una gran oportunidad para conocer la calidad del sistema educativo mexicano en relación a otros países, a partir de instrumentos rigurosos. También ha sido útil para mejorar las capacidades nacionales de evaluación. Sin embargo, participar en estas iniciativas no siempre garantiza una evaluación de calidad óptima habiéndose presentado ciertos problemas que es necesario señalar. En términos generales, debe enfatizarse el bajo aprovechamiento de que ha sido objeto la información obtenida en el conjunto de estas pruebas: prácticamente no se han elaborado análisis complejos de los datos para México. También se han presentado fallas en la aplicación de los instrumentos y en la difusión de resultados.

• En relación al TIMSS, la falla más evidente en la experiencia mexicana de 1995 fue la decisión de no difundir los resultados, lo cual impidió aprovechar un esfuerzo tan importante. Esta decisión fue el producto de un ambiente político e institucional que, transcurrida una década, se ha revertido considerablemente en el ámbito federal. No obstante, el sistema de evaluación nacional deberá estar alerta para evitar que los juicios negativos sobre los resultados sean un motivo para entorpecer su difusión. La evaluación debe ser entendida como un recurso para mejorar la calidad, y no para juzgar o castigar a determinados actores.
• Con respecto a la aplicación de las pruebas, es interesante destacar que el INEE realizó en 2003 un estudio de las características de la traducción de los reactivos utilizados en TIMSS (Solano y Backhoff 2003), en el cual se detectó que un 36% presentaban errores serios de traducción. Esto constituye un llamado de atención y un incentivo a la participación activa de los países en la redacción y control de los reactivos, como forma de evitar sesgos.
• El carácter pionero a nivel regional del LLECE derivó, lógicamente, en que la experiencia de 1997 no fuera enteramente satisfactoria. En el caso específico de México, la aplicación del LLECE presentó fallas en el nivel estatal, las cuales limitaron las posibilidades de análisis. Esto tal vez explique la escasez de investigaciones que examinen esos datos en particular. 

Algunas de estas dificultades fueron: la no disponibilidad de los cuestionarios de contexto en algunos estados; la no aplicación de la totalidad de los instrumentos en un porcentaje significativo de escuelas; y errores en la codificación de los datos.
En parte, estas fallas pueden deberse a la complejidad en el diseño del estudio, dado que además de la muestra nacional se aplicaron pruebas en 13 muestras estatales, lo cual requirió de un gran esfuerzo de coordinación.

Un aspecto a mejorar en todas las evaluaciones: la difusión y el uso de los resultados
• Si bien es destacable el esfuerzo realizado en los últimos años respecto de la difusión de resultados (tanto de las evaluaciones nacionales como de las internacionales) es evidente que debe fomentarse un flujo más regular y adecuado de la información, tanto hacia los actores educativos como al resto de la sociedad. Actualmente esta información está disponible en forma muy heterogénea: las autoridades educativas son informadas por los institutos encargados de la evaluación, a través de instancias de presentación y discusión de resultados, pero a medida que se desciende en la pirámide jerárquica el flujo de la información se vuelve escaso, irregular, fragmentario y posiblemente descontextualizado.
• Esta situación obedece, en parte, a la ausencia relativa de normas y mecanismos institucionales para la difusión. No se cuenta, por lo tanto, con criterios claros para capacitar a los actores interesados en formas de interpretación y aprovechamiento.
El resultado es la persistencia de un cierto extrañamiento respecto de los resultados, particularmente en los niveles de base. Cuando la información se difunde a nivel nacional o estatal, los datos pueden no ser significativos para las necesidades concretas de las escuelas de un municipio.
• Finalmente, el aprovechamiento de la información es aún insufi ciente. La toma de decisiones por parte de las autoridades educativas, así como la práctica educativa a nivel de base, podrían aprovechar de múltiples formas los resultados e instrumentos de la evaluación, y esto sucede raramente. Tampoco existe un uso exhaustivo de la información por parte de los actores académicos, lo cual es llamativo si se tiene en cuenta el enorme conjunto de problemas educativos que necesitan ser investigados. Aunque se trata de un insumo imprescindible, para conocer y solucionar estos problemas no es suficiente la elaboración de reportes anuales por parte de los organismos evaluadores.
Avances y aciertos de la evaluación
Los puntos señalados no deben ocultar el hecho de que, desde comienzos de la década de los 90 son notorios los progresos en el campo de la evaluación educativa mexicana. El recuadro 5.2 resume los aspectos destacables que deben considerarse progresos significativos hacia el desarrollo de una cultura de la evaluación caracterizada no solamente por la buena calidad de sus métodos, sino también por amplios niveles de participación, y por la transparencia y amplitud en la difusión de los resultados.

En primer lugar, el alcance de las evaluaciones se ha extendido significativamente.
Actualmente se realizan evaluaciones en todos los niveles educativos, si bien su calidad y sistematicidad son heterogéneas. Son evaluados, además, el funcionamiento y los resultados de programas fundamentales como los del Conafe o el Programa Escuelas de Calidad. Esto ha supuesto un incremento en el conocimiento general del estado de la educación mexicana, así como en la capacidad para tomar decisiones más eficaces respecto de los programas educativos.
• Otro punto positivo es la diversidad de aspectos evaluados. No sólo se atiende a los indicadores básicos del funcionamiento del sistema (tasas de repetición, deserción, aprobación, eficiencia terminal), sino que además existe una cobertura creciente de la calidad y la equidad de los aprendizajes en diversos dominios, ciertos procesos educativos, y el contexto en el que éstos tienen lugar.
• También es destacable la regularidad con que la información es recabada, particularmente en educación básica. Esto es particularmente en el área de las evaluaciones nacionales de aprendizajes. Debe, asimismo, resaltarse la participación en las evaluaciones internacionales de aprendizaje, en especial en el PISA, dado que para 2006 se habrán realizado en México tres aplicaciones ininterrumpidas. Todo esto evidencia la considerable estabilidad, sistematización, e independencia que ha alcanzado la evaluación en México, lo que constituye una base sólida sobre la cual apuntar a una mayor eficacia e integración del sistema nacional de evaluación.
• Otro aspecto positivo es el carácter plural de la evaluación, debido a que la complejidad de los aspectos evaluados y la diversidad de necesidades vinculadas a esta tarea no hacen factible ni deseable la centralización del proceso en una única instancia. Actualmente, en la evaluación participan organismos de nivel nacional (DGEP, SEB, INEE), instituciones estatales (las AEE); instituciones civiles (como el Ceneval, el Copaes, los CIEES) y universitarias (como la UNAM).
• También se han producido avances importantes en la profesionalización y capacitación de los equipos de evaluación en el nivel nacional, destacándose la participación de expertos que realizan aportaciones críticas. Numerosos especialistas nacionales y extranjeros son convocados, además, para realizar investigaciones utilizando los resultados de las pruebas. Si bien a nivel de las entidades este desarrollo es menor, se observa en algunos casos una mejora progresiva en sus competencias,
a medida que las autoridades estatales comprenden la necesidad de contar con equipos de evaluación profesionales y estables.
• Consecuencia directa de lo anterior, así como de la recepción de las experiencias internacionales de más alto nivel, es la mejora de la calidad conceptual y técnica de las evaluaciones. Si comparamos la situación actual con la que prevalecía hace 15 años, es evidente que la evaluación cuenta hoy con herramientas teóricas, metodológicas y estadísticas más complejas, confiables y válidas. Esto ha incrementado notoriamente la posibilidad de comprender las condiciones en que operan las escuelas, y los procesos a través de los cuales ocurren los aprendizajes.
• Asimismo, el trabajo de las instituciones nacionales encargadas de la evaluación ha permitido avanzar en la construcción de un sistema de indicadores educativos que reflejan conceptos sustantivos para evaluar al sistema. El diseño de tales indicadores es un proceso complejo, tanto en los aspectos teóricos como en la depuración de los datos, que nunca puede considerarse finalizado sino que debe ser pensado en forma dinámica, de acuerdo con los retos que la educación enfrenta
en cada momento.
• Se han producido, además, avances sensibles en materia de difusión. En la última década, los resultados de las evaluaciones han comenzado a conocerse entre los actores educativos y en el conjunto de la sociedad, a través de múltiples publicaciones. La posibilidad de colocar información en internet ha supuesto, por otra parte, una ampliación considerable de las formas de difusión. De esta forma, pueden consultarse las tabulaciones básicas de las evaluaciones realizadas por la
DGEP, el INEE, el Ceneval o el Conafe.
• Finalmente, son destacables los avances realizados en la participación de México en las evaluaciones internacionales de aprendizajes. En particular, la regularidad en la aplicación del PISA ha permitido a México corregir progresivamente algunas de las carencias de la primera experiencia en 2000. 


AVANCES DE LA PARTICIPACIÓN EN PRUEBAS INTERNACIONALES.
PISA 2000
Participación mínima (restringida a la aplicación de pruebas):
No se participó en la redacción de ítems
Traducción de ítems no controlada
Aplicación se limitó a una muestra nacional
Difusión de resultados escasa, e inadecuadamente interpretada
No se realizaron análisis de la información
PISA 2003
Ampliación en la participación:
No se participó en la redacción de ítems
Traducción de ítems no controlada
Aplicación incluyó, además de la muestra nacional, muestras representativas de cada una de
las entidades federativas
Difusión buscó contextualizar los resultados para una mejor interpretación
Se utilizaron en forma limitada los resultados para tomar decisiones de política educativa
Se realizaron análisis básicos de la información, difundidos simultáneamente con los
resultados internacionales.
PISA 2006
Participación plena:
Se incluirán nuevamente muestras representativas de las entidades
Se participa en la redacción de ítems
Traducción completa de ítems a cargo del INEE
Se participa en el pilotaje y corrección de los instrumentos
Difusión de resultados buscará tener la máxima amplitud, e incidir en la toma de decisiones
en todos los niveles del sistema educativo
Se realizará un complejo análisis de resultados, aprovechando al máximo los datos disponibles





1 comentario:

  1. Joaquín:
    Este tema de la evaluación da para mucho , ya lo vimos en nuestras sesiones de clase,es un problema y una necesidad que actualmente esta recibiendo mucha atención puesto que no se puede hablar de evaluación sin abordar el tema de la calidad y la excelencia ,ya d epor si representativo de los tiempos actuales. En nuestro país, para variar, llegó un poco tarde, pues ya estaba vigente en muchos otros paises.Han surgido instituciones modelos pruebas y políticas públicas y educativas que actualmente orientan el trabajo y sus resultados en empresas e instituciones.la evaluación es un factor importante entre los cambios de paradigamas que caracterizan a nuestros tiempos y el que no se contagie de llo se quedara en el pasado. Buen trabajo, gracias.

    ResponderEliminar