EVALUACIÓN ENCICLOMEDIA

En el año 2004 y a petición de la Secretaría de Educación Pública (SEP), el CEE inició el proyecto “Diálogos informados con base en la investigación educativa para el mejoramiento del Programa Enciclomedia (EM)” con el propósito de contribuir, mediante conversatorios basados en un sistema de acompañamiento académico desde la investigación educativa, a que EM fuera un recurso equitativo y adecuado a la práctica docente orientada a promover el aprendizaje de los alumnos, y con la capacidad de instalar una gestión de mejora continua. Se utilizó el procedimiento de “diálogos informados” actividad constante en la que los interlocutores conversan acerca de posibles decisiones sustentadas en la información que la investigación provee como una estrategia adecuada para el acercamiento y comprensión recíprocos, necesarios para la toma de decisiones en busca de mejorar el Programa.Tres propósitos de la evaluación:

Identificar el nivel del logro académico

1) de los alumnos de quinto y sexto grados en las asignaturas de español, matemáticas, ciencias naturales, historia, geografía y educación cívica.

2) Caracterizar la práctica pedagógica, la gestión escolar y la participación social en las escuelas con aulas EM.
3) Describir aquellas prácticas con mejores resultados a fin de retroalimentar al Programa en el logro de sus objetivos.

Se ha obtenido información mediante la participación de alumnos de 5º y 6º de educación primaria con aulas EM, sus docentes y los directores de esas escuelas.

El plan de levantamientos de información se diseñó considerando las mediciones del estudio tratando de integrar un estudio cuantitativo y cualitativo. El primer levantamiento de datos cuantitativos se llevó a cabo al inicio del ciclo escolar 2005-2006, y la información obtenida en él sirvió para conformar una línea de base que identificara la situación de las escuelas y de los alumnos al inicio del funcionamiento del Programa.
Los instrumentos que se utilizaron para llevara acabo fue:

·         Pruebas dirigidas a los estudiantes  de quinto y sexto grados en las asignaturas de español, matemáticas, ciencias naturales, historia, geografía y educación cívica.

·         Cuestionarios dirigidos a directores, docentes y alumnos de quinto y sexto grados de cada escuela de la muestra.

Los resultados del cuarto levantamiento de datos  se presentan en dos grandes bloques: logro educativo y factores que se asocian con altos y bajos logros educativos. El logro educativo que se observa en quinto y sexto grados al final del ciclo escolar 2008-2009 es, en general, estadísticamente mayor que el registrado en la línea de base.

Las evaluaciones se llevan a cabo en tres diferentes:

1) Muestra de escuelas EM (escuelas que utilizan el programa desde el inicio de la evaluación, en noviembre de 2005).
2) Muestra de escuelas EM2 (escuelas que utilizan el programa a partir del 2006).
3) Muestra de escuelas EM3 (escuelas que utilizan el programa a partir del 2007).

En la primera hacemos una comparación del logro educativo del final del ciclo escolar 2008-2009 en escuelas EM, EM2 y EM3, en la segunda incluimos la información captada a través de los alumnos, los docentes y los directores, además de exponer las principales características de cada uno de los actores de interés. También presentamos el análisis de las principales variables que se relacionan con el logro de los alumnos para cada uno de los informantes correspondientes al cuarto levantamiento.

Los resultados del cuarto levantamiento de datos1 se presentan en dos grandes bloques: logro educativo y factores que se asocian con altos y bajos logros educativos.

El logro educativo que se observa en quinto y sexto grados al final del ciclo escolar 2008- 2009 es, en general, estadísticamente mayor que el registrado en la línea de base. La diferencia en los puntajes entre la línea de base y la última medición es mayor que en los otros dos grupos de escuelas, al menos en quinto grado. Si bien estadísticamente las diferencias  no son significativas es un dato interesante, pues las escuelas EM3 recibieron los equipos EM en 2007, o bien al final del ciclo escolar 2006-2007 o al inicio del ciclo 2007-2008.

Es necesario mencionar especialmente el logro en historia y educación cívica en ambos grados, y en ciencias naturales y geografía en sexto, donde todos los tipos de escuela presentan logros semejantes. Las escuelas EM3, sin mostrar diferencias significativas estadísticamente, quedan en el tercer lugar en la lista. Aquí es otro el patrón de logro por tipo de escuela que se había encontrado a lo largo de los cuatro levantamientos de datos. Otra línea de análisis tiene que ver con el tipo de aula EM, pues actualmente existen dos: el Modelo Multianual de Servicios (MMS) y las Aulas Solamente Administradas (ASA).3 Casi todas las escuelas EM cuentan con aulas ASA, mientras que tres de cada diez tienen aulas MMS. En las escuelas EM2 y EM3 se cuenta con aulas MMS en ocho de cada diez escuelas.

Al explorar el logro de las escuelas que reportan el uso de aulas MMS no encontramos diferencias significativas que indiquen un mayor logro educativo en ellas. Los análisis por tipo de escuela mostraron que existe un comportamiento similar en las escuelas EM y EM2. Cabe señalar que ninguna escuela EM3 opera con aulas ASA.

Como un factor de contraste en el análisis consideramos la versión del Programa que opera en cada escuela. Preguntamos a los directores con qué versión están trabajando, y si en quinto y sexto grados tienen la misma o si utilizan una versión diferente. En tanto, en las escuelas que reportan una versión diferente y la carencia de equipo de EM en alguno de los dos grados, observamos, en general, algunas diferencias significativas en el logro de los alumnos. Las que no cuentan con equipo de EM presentan los logros más bajos y significativamente diferentes de las que trabajan con la Versión 1.2 en español y matemáticas de quinto y sexto grados y en ciencias naturales y geografía de quinto grado.

En español y matemáticas de sexto grado el logro de las escuelas que no tienen equipo de EM es semejante al de las que trabajan con la Versión 1.0. Por otro lado, el logro de las escuelas que cuentan con las diferentes versiones de EM es semejante, con excepción de sexto grado en las asignaturas de historia y educación cívica, donde las escuelas que trabajan con la Versión 2.0 tienen un logro menor que el resto.

Conocer las características de los principales actores del proceso educativo es fundamental para entender cómo se enfrentan y se desarrollan las dinámicas en los centros escolares con alto y bajo logro escolar. A fin de averiguar qué factores forman parte del entorno de los alumnos con logro alto y bajo que han trabajado con EM, construimos un esquema de análisis considerando la medición actual (2009) y los datos de los estudiantes obtenidos en el cuestionario, incluyendo los índices generados.

El alumno que ha estado expuesto a EM, por lo general, reporta una mejor calidad de interacción con el maestro, usa más apoyos para hacer la tarea, tiene padres con mayor escolaridad, mejores condiciones básicas de aprendizaje, percibe mayor claridad en la comunicación dentro del salón de clases, tiene mayor disponibilidad para el uso de una computadora, mejor actitud hacia el maestro, considera que es más efectivo trabajar con EM, y tiene menos problemas para trabajar con el programa y con el equipo de EM. Sólo en el aspecto de actividad-pasividad en el salón no hubo diferencias.

Los aspectos que tienen un mayor impacto son: la escolaridad de los padres; los problemas en la efectividad y operación de EM y la calidad de la interacción con los docentes. Los logros dependerán mucho del entorno y en cada grado se aplica de diferente manera como se enuncia a continuación.

Los factores que parecen ayudar más a identificar entre los grupos de alto y bajo logro educativo en quinto grado, son:
·         La cantidad de días a la semana  que se tienen clases con el equipo de EM.
·         Si el maestro ha enseñado a usar el equipo de EM.
·         Cuando le gusta que su maestro trabaje con EM.
·         Si al alumno le gusta que se use EM para la clase de matemáticas.
·         Si al alumno le gusta que se use EM para la clase de historia
·         Si al alumno le gusta que se use EM para la clase de educación cívica.
·         Cuando percibe que han mejorado sus calificaciones.
·          Cuando al alumno le parece más complicada la clase con EM.
·         Cuando al alumno le parece igual que antes la clase con EM.
·         Cuando siente que es más difícil entender las lecciones y tiene que esforzarse más.
·         Cuando el alumno reporta que no se localiza el material del tema a tratar.

En sexto grado, además de los factores anteriores, se suman los siguientes:

·         Si al alumno le parecen más divertidas las clases con EM.

·         Considera que con EM le gusta más estar en la escuela.

·         Si al alumno le parecen más aburridas las clases con EM.

De los análisis realizados en 2007 acerca de la habilidad y el uso de la computadora, identificamos que los alumnos se agrupan en dos niveles: básico y avanzado.

La diferencia en el logro en todas las asignaturas consideradas es estadísticamente significativa, y el menor impacto se registra en ciencias naturales y geografía. Se confirma, por tanto, la relación entre el nivel de habilidad en el uso de la computadora y el logro. En cuanto al sexo de los alumnos y su relación con la habilidad y el uso de la computadora, vemos que en quinto grado hay una pequeña diferencia que da ventaja a los niños en el uso de la computadora, situación que se invierte al revisar los resultados de sexto grado.

Los alumnos con mayores logros en español y en matemáticas son atendidos por maestros que consideran que su desempeño docente ha mejorado a partir de trabajar con EM y que reportan una escuela limpia y bien cuidada. Por otro lado, después de cinco ciclos escolares de haber iniciado EM, la percepción de los docentes ha cambiado. En los primeros levantamientos de datos, su opinión no marcaba tendencia alguna, y los modelos estadísticos usados explicaban muy poco de la varianza, a tal grado de que en muchos casos ni siquiera fueron significativos, y por lo tanto no pudieron ser utilizados para detectar factores explicativos.

La habilidad y el uso frecuente de la computadora en el caso de los maestros dejó de ser parte de las condiciones que hacen la diferencia entre los mayores y menores logros educativos, salvo en el grupo de “baja utilización y habilidad”. Los maestros que cuentan con licenciatura y maestría se ubican con menor proporción en el grupo de “baja utilización y habilidad”. En cuanto a la edad, y como era de esperar, los docentes que tienen menos de 40 años se concentran en una proporción menor en el grupo de “baja utilización y habilidad” y, por lo tanto, a mayor edad es menor la habilidad y el uso de la computadora.

En cuanto al gusto por utilizar el equipo de EM, en la mayoría de los niveles de utilización y habilidad casi el 100% de los docentes opina que está a favor. Vuelve a sobresalir la mayor proporción de los maestros del nivel bajo que dicen estar a disgusto por utilizar el equipo de EM. A partir de las respuestas de los directores construimos índices con la intención de identificar variables “predictivas” de logros educativos en los alumnos.

De acuerdo con las opiniones de los directores, las escuelas con mayores logros en matemáticas, tanto en quinto como en sexto grado, tienen padres familia preocupados por la educación de sus hijos y colaboran en las actividades escolares. Si consideramos el sexo, tanto en quinto como en sexto grado, las escuelas de los alumnos con mayores logros son dirigidas, en un mayor porcentaje, por mujeres.

Los directores que no cuentan con computadora, ni con Internet en casa, en un mayor porcentaje, dirigen escuelas con logros bajos. De igual manera ocurre con el papel de los alumnos en las escuelas. Los directores de las escuelas que concentran el mayor porcentaje de alumnos con logros bajos no promueven estrategias de apoyo y estímulo para incrementar los logros educativos, tales como estimular a los alumnos para que sigan sus estudios o promover la regularización de alumnos con problemas de bajos niveles de aprendizaje.

Aun cuando las escuelas equipadas a partir de 2007 se mantienen con los menores logros en los cuatro levantamientos de datos, la diferencia de puntajes entre la línea de base y la última medición es mayor que en los otros dos grupos de escuelas, al menos en quinto grado. Esto podría sugerir una posible tendencia hacia el aumento del logro educativo a partir de la incorporación de estas escuelas al Programa EM.  En el cuarto levantamiento de datos, estas escuelas se comportan, en cuanto al logro de los alumnos, con niveles de desempeño similares al de aquéllas equipadas durante el año 2006, con excepción del logro en matemáticas de sexto grado, donde estas últimas obtuvieron mayores niveles. En el tercer levantamiento de datos encontramos evidencia de que en las escuelas que llevaban más tiempo trabajando con el equipo de EM, el logro era significativamente mayor con referencia a la medición de la línea de base. En los resultados de fin del ciclo escolar 2008-2009, el efecto de tiempo de uso es muy pequeño, aunque se mantiene la diferencia significativa entre las escuelas equipadas que utilizan el Programa a partir de noviembre de 2005 y las que lo utilizan a partir de 2007.  Al menos en español y matemáticas, en ambos grados identificamos que los alumnos que aprenden con la Versión 1.2 del Programa tienen un logro mayor que los que no utilizan EM.

A los alumnos de alto y bajo logro por igual les gusta más cómo trabaja su maestro con EM, consideran que enseña mejor, que dedican más tiempo a cada tema y que ha mejorado la disciplina del grupo. Existe una gran relación entre el gusto que sienten los alumnos por la manera como usa el equipo de EM el maestro y lo atractivo que les resultan las clases. Una mayor proporción de alumnos con logro bajo opinan respecto a las dificultades que representa EM en el aula.

Además de lo anterior, el uso frecuente de aplicaciones computacionales por parte de los docentes, así como su grado de habilidad en el uso de una computadora se vincula al logro de los alumnos en ciencias naturales y geografía. Después de cinco ciclos escolares de  haber iniciado el Programa, la percepción de los docentes ha cambiado. En los primeros levantamientos de datos, su opinión no marcaba tendencia alguna. Pero a partir del ciclo 2006-2007 los maestros comenzaron a identificar la importancia que estaba teniendo para ellos el programa. En el cuarto levantamiento de datos observamos, con un mayor efecto en el logro, la percepción de que EM ha impactado en el propio desempeño de los docentes. Los maestros que consideran haber probado nuevas estrategias didácticas en clase gracias al Programa, que no se han capacitado por su cuenta para manejar EM y que usan la Versión1.2, son los que atienden a los alumnos con mayores logros educativos.

Los directores de escuelas cuyos alumnos presentan menores logros educativos no promueven estrategias de apoyo o estímulo para incrementarlos, ni promueven la intervención de los padres de familia.

Los directores de las escuelas que obtienen  los más bajos niveles de logro informan que los profesores no empezaron a utilizar el Programa EM desde que lo instalaron, principalmente porque fallaba mucho o no se sentían seguros al usarlo. En 6º grado, hay más directores que no tienen opinión respecto a si el uso de EM facilita el trabajo docente en el quintil de bajo desempeño.

Por lo cual es de suma importancia establecer criterios pedagógicos para el diseño de vínculos pertinentes y de calidad en el Programa. Como también Incluir más interactivos y software abierto para que los docentes continúen transformando su práctica en el aula y adquieran nuevas habilidades digitales.