Evaluación de la Calidad Educativa en Guatemala

La Evaluación de la Calidad Educativa en Guatemala.

Si bien ya en la década de 1960, el MINEDUC diseñaba instrumentos para evaluar las diferentes áreas del programa educativo y organizaba administraciones a nivel nacional y censal, fue hace dos décadas que la evaluación estandarizada basada en principios psicométricos se ha implementado de manera sistemática y hace 10 años que toma un papel central en los procesos de rendición de cuentas al nivel de los centros educativos. En esta sección describimos la evolución de la evaluación desde estos primeros esfuerzos hasta el progreso alcanzado en la última década.

En la década de 1960, se realizaron esfuerzos de evaluación masiva. Los docentes eran los encargados de administrar los instrumentos de evaluación, aunque no en la misma escuela en la cual laboraban regularmente. Después de la administración de los instrumentos, los docentes corregían las pruebas y estimaban la puntuación de cada uno de los estudiantes. Los resultados eran utilizados para determinar la promoción de cada estudiante (i.e., las evaluaciones eran sumativas y se “vinculaban” a la decisión de promoción). No hay evidencia que las evaluaciones fueran sometidas a análisis de validez o que los datos fueran consolidados en bases de datos para generar indicadores. La evaluación era utilizada como un “marcador” de logro del estudiante y no como una fuente de información más amplia. Estas evaluaciones cesaron en la primer mitad de la década de 1970.

Durante las siguientes dos décadas el proceso de evaluación fue exclusivamente responsabilidad del docente. No se intentó crear evaluaciones estandarizadas sino hasta la década de 1990. El Sistema Nacional para el Mejoramiento de los Recursos Humanos y Adecuación Curricular (SIMAC) realizaba acompañamiento pedagógico en un grupo de escuelas y para verificar el impacto de este acompañamiento en la calidad educativa, encomendó al Centro Nacional de Pruebas (CENPRE) el diseño y administración de evaluaciones de Lectura y Matemática. El Programa Nacional de Evaluación Bilingüe Intercultural (PRONEBI) hacía lo mismo con escuelas bilingües.

El objetivo de este primer ejercicio de evaluación estandarizada era bastante concreto: Determinar el impacto de las acciones de SIMAC y PRONEBI. Esos primeros esfuerzos eran un intento de sistematizar la evaluación estandarizada externa, aunque aún no era explícito el esfuerzo por crear las dependencias y procesos que institucionalizarían dicho sistema para generar indicadores del logro de los aprendizajes con representatividad nacional y local. Por otra parte, este esfuerzo era ya un cambio cualitativo con respecto a la experiencia de la década de 1960.

Estas evaluaciones no se vinculaban a la promoción del estudiante, mas intentaban proporcionar información sobre el logro general de las intervenciones. Estas evaluaciones enfatizaban la producción de información general en lugar de priorizar la clasificación del logro de los individuos. En 1996, el MINEDUC inició procedimientos para trasladar el CENPRE a la Universidad del Valle de Guatemala, entidad que mediante un convenio con el MINEDUC creó el Programa Nacional de Evaluación del Rendimiento Escolar (PRONERE) de la Universidad del Valle de Guatemala.

En este año PRONERE preparó y realizó pilotos de nuevos instrumentos que fueron utilizados en los años posteriores. Las evaluaciones nacionales de Lectura y Matemática en Español, K’iche’, Kaqchikel, Q’eqchi’ y Mam se iniciaron en 1997, en muestras representativas a nivel nacional y departamental. Este fue el primer esfuerzo por crear un sistema de evaluación cuyo eje fuese la medición de logros por medio de evaluación estandarizada, que abarcara la globalidad del sistema y que pudiera utilizarse para elaborar indicadores nacionales y departamentales. Se enfatizó la rigurosidad técnica y se recolectaba información de factores asociados al rendimiento, tal como características de las escuelas y los docentes. PRONERE recolectó datos de manera continua desde 1996 hasta 2001.

Por su parte, la Dirección General de Evaluación Bilingüe Intercultural (DIGEBI) elaboró instrumentos en los cuatro idiomas Maya mayoritarios (K’iche’, Q’eqchi’, Kaqchikel y Mam) para evaluar estudiantes del Tercer grado del nivel Primario. Hubo administraciones en los años 2001, 2002 y 2003 a través de las Jefaturas Departamentales de Educación Bilingüe Intercultural (JEDEBI). Nuevamente, las evaluaciones se diseñaron para evaluar el impacto del acompañamiento pedagógico y no se vinculaban a la promoción de los estudiantes.

El año 2004, fue particularmente dinámico para la evaluación estandarizada en Guatemala. En ese año PRONERE nuevamente evaluó muestras representativas al nivel nacional y departamental de estudiantes de Tercero y Sexto grados. En simultáneo, el Ministerio de Educación realizó la primera evaluación de estudiantes del último año del Ciclo Diversificado del nivel Medio (Evaluación de Graduandos) con apoyo de la Universidad de San Carlos de Guatemala. En el año 2005, PRONERE evaluó una muestra de estudiantes del Tercer año del Ciclo Básico del nivel Medio. Ese mismo año la evaluación estandarizada del nivel Primario se trasladó al Ministerio de Educación y los estudiantes graduandos fueron nuevamente evaluados con apoyo de la Universidad de San Carlos de Guatemala bajo la figura del Sistema Nacional de Evaluación e Investigación Educativa (SINEIE), ente en proceso de constitución legal. En el 2006, SINEIE se institucionalizó y transformó en la Dirección General de Evaluación e Investigación Educativa (DIGEDUCA), la cual absorbió la evaluación estandarizada de todos los niveles.

A partir del 2005, se operó también otro cambio; Guatemala agilizó su participación a nivel internacional: 1) El país es signatario del Decálogo Educativo 2021 para Centroamérica, Panamá y República Dominicana, en el cual se plantea como eje de acción la efectividad y calidad de la educación. Dentro de las actividades propuestas se encuentra desarrollar pruebas de logro y participar en estudios comparativos internacionales. 2) Guatemala también se comprometió con los Objetivos de Desarrollo del Milenio. El objetivo 6 indica la necesidad de contar con resultados de aprendizaje reconocidos y mensurables. 3) Guatemala se tornó más activa en el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE) y participó en el Segundo Estudio Regional Comparativo y Explicativo (SERCE). 4) DIGEDUCA amplió aún más la participación internacional al sumarse a los países del Estudio Internacional de Educación Cívica y Valores (ICCS) el cual incluye países fuera de la región latinoamericana.

En el ámbito técnico se dieron cambios importantes en el desarrollo de las evaluaciones. Destacan los siguientes: • Se inició la construcción de instrumentos referidos al criterio 7, que reemplazaron los instrumentos referidos a la norma8 utilizados en el pasado. • Se introdujo la Teoría de la Respuesta al Ítem9 para reemplazar la Teoría Clásica10 utilizada previamente. • Se agregaron evaluaciones del nivel Secundario Básico y Diversificado con contenidos alineados a las expectativas curriculares del nivel. • Se inició la experimentación con instrumentos que además de respuestas de selección múltiple11, incluyen preguntas de respuesta abierta12. • En lugar de traducciones de instrumentos en español para la evaluación de estudiantes bilingües, se desarrollaron evaluaciones “desde el idioma” y evaluaciones contextualizadas13.

La evaluación de estudiantes graduandos fue censal y reavivó la discusión sobre la vinculación de las evaluaciones a la promoción de los estudiantes y la aprobación de funcionamiento de establecimientos privados. Una diferencia con respecto a la evaluación de la década de 1960, fue la demanda generalizada por demostrar la validez de los instrumentos e investigar los factores asociados al desempeño que pudieran ser incorporados a una política de calidad educativa. Dicho debate, sobre la vinculación de las evaluaciones a la promoción de los estudiantes o la aprobación para el funcionamiento de los establecimientos, aún no ha concluido.

Otro debate que se generó y aún continúa es la ubicación idónea de DIGEDUCA. En ningún momento se negó la necesidad de asegurar la interacción entre el MINEDUC y DIGEDUCA o la necesidad de asegurar que los procesos de DIGEDUCA se ligaran a los procesos del MINEDUC. La discusión se dio en torno a DIGEDUCA como dependencia o instituto, no al sistema de evaluación como el modelo que relacionaba el proceso de evaluar con las acciones que de los resultados se desprendían. Por un lado, se proponía a DIGEDUCA como un ente externo al MINEDUC y por otro como una dependencia del MINEDUC.

Los argumentos a favor de que DIGEDUCA se ubicara fuera del MINEDUC se asociaban al modelo de calidad propuesto por el MINEDUC (ver Figura 2), en el cual la evaluación era principalmente una pieza del aseguramiento de la calidad para que gestores, padres de familia y estudiantes juzgaran el impacto de los establecimientos educativos y los programas que les ofrecían acompañamiento pedagógico. La premisa era que la ubicación de DIGEDUCA como ente externo aseguraría la objetividad de los resultados de las evaluaciones. Se consideraba que al estar fuera del MINEDUC, DIGEDUCA tendría la independencia y seguridad necesarias para garantizar su sostenibilidad financiera, autonomía política y calidad técnica.

Es notorio que la perspectiva de la década de 1960, se basaba en las evaluaciones como una herramienta para asegurar el cumplimiento de ciertas metas. La evaluación era uno de los requisitos para la promoción, y el énfasis estaba en esta característica como “marcador” de logro. En lugar de esto, la década de 1990, inició con un interés principal en el desarrollo de instrumentos que dieran información para elaborar planes de mejora y ajustar las políticas educativas. 

En el presente ambos intereses están vigentes, aunque el énfasis difiere respecto al nivel evaluado. La Primaria es evaluada para obtener información general del desempeño y características del sistema, mientras que el Diversificado es evaluado para establecer dichas “marcas” de logro. Será necesario hacer dichas diferencias explícitas para tener una visión más clara de la razón por la cual se evalúa el nivel y el uso que se puede dar a la información producida para cada nivel.