A quien nos lee,
si quieres apoyar nuestro trabajo te invitamos a suscribirte a la edición impresa.

SUSCRÍBETE

Como padres queremos el mejor futuro para nuestros hijos. Queremos que terminen la preparatoria y vayan a la universidad, que tengan una vida llena de oportunidades y que cuenten con las herramientas para construir su proyecto de vida. Como sociedad buscamos formar ciudadanos que respeten el marco legal y estén comprometidos con las instituciones democráticas. Desde Aristóteles hasta Rawls se ha identificado a la educación como un medio fundamental para formar ciudadanos éticos y generar las condiciones de igualdad de oportunidades que fomenten la movilidad social. Éste es uno de los principales objetivos de la educación.

Por esta razón es de vital importancia medir la calidad de la educación que reciben los estudiantes, monitorear su desempeño e identificar la incidencia de las políticas educativas sobre los procesos de mejora. El indicador más relevante para medir la calidad de la educación son los aprendizajes. Los aprendizajes son el vínculo entre la educación presente y el bienestar futuro.

Uno de los resultados más robustos de la investigación en economía de la educación es que los docentes son el actor más importante dentro del sistema educativo para generar aprendizajes. Por ejemplo, en Estados Unidos se ha documentado que los estudiantes de preescolar en un salón de clases con un mejor maestro (medido como aquellos docentes más experimentados), tienen una mayor probabilidad de asistir a la universidad y mayores ingresos a los 27 años.1 ¡Más de 20 años después de que les dio clases, un profesor de preescolar sigue teniendo un efecto significativo en la vida de sus estudiantes! Un segundo estudio2 —también en Estados Unidos— estima el “valor agregado” de un maestro de una forma intuitiva: compara el desempeño en la prueba estandarizada de los alumnos asignados a cada maestro al comienzo versus al final del año escolar. Usando esta medida, los autores del estudio muestran que ser asignado a un docente con alto valor agregado (una desviación estándar por encima de la media) en cuarto de primaria incrementa, en promedio, el ingreso futuro de cada uno de esos niños en 39 000 dólares a lo largo de su vida adulta.

En este ensayo presentamos evidencia sobre el inmenso valor que tiene para la sociedad el contar con pruebas estandarizadas censales (para todos los estudiantes), que se apliquen regularmente y en varios niveles educativos (primaria, secundaria y preparatoria) con la posibilidad de seguir el progreso de un mismo alumno durante su trayectoria educativa.

Una prueba con características similares ya existió en México. Entre 2006 y 2013, año con año, la Secretaría de Educación Pública aplicó la prueba estandarizada Enlace a todos los alumnos desde tercero de primaria hasta tercero de secundaria, y en el último año de media superior a partir de 2008. La prueba medía el desempeño en matemáticas y lectura, con el diseño psicométrico para garantizar la comparabilidad a lo largo de todo el territorio nacional y en el tiempo. Como sucede con cualquier instrumento que promueve la transparencia y rendición de cuentas, hubo resistencia a la aplicación de la prueba Enlace. La resistencia se manifestó de varias formas: desde la burda negativa a implementar dichas pruebas en ciertas escuelas en entidades federativas en el sur del país hasta la crítica al argumentar que “ya sabemos que los alumnos salen mal”, “estamos sobrediagnosticados”, o que la prueba arroja resultados limitados pues mide sólo ciertas áreas del conocimiento en detrimento de otras y que, por lo tanto, no se relaciona con ningún resultado de bienestar futuro.

Ilustración: Víctor Solís

Un punto de contención fue que, a partir de 2008, se usaron los resultados de la prueba Enlace para asignar bonos monetarios a los profesores en el marco del programa Carrera Magisterial. Al no contar con los controles necesarios, se generaron incentivos para llevar a cabo prácticas deshonestas que resultaron en inflación de resultados o mejoras ficticias. Existen argumentos teóricos y empíricos para señalar que los resultados de las pruebas estandarizadas no deben usarse para premiar o castigar a los maestros o escuelas, ya que pueden generar incentivos a hacer trampa.3 Creemos que, si se hubiera mantenido la prueba Enlace como una herramienta diagnóstica en vez de atarse a incentivos, la inflación de resultados no se hubiera dado y la prueba seguiría aplicándose.

Una prueba como Enlace cuyos resultados se hacían públicos a nivel individual, salón y escuela, permitía a los padres y autoridad educativa contar con más información para la toma de decisiones. ¿A dónde mandar a sus hijos a la escuela? ¿En qué escuelas primarias mejoran más los niños entre su año de ingreso y el año de egreso? ¿Vale la pena pagar una escuela privada? ¿Cuáles son las áreas del currículo que deben fortalecerse? ¿Qué prácticas pedagógicas son más efectivas? ¿Cuál es el efecto de ciertas intervenciones sobre los aprendizajes? Entre otras.

 

La prueba Enlace nos permite seguir a más de 21 millones de alumnos que cursaron 3.º, 4.º, 5.º o 6.º de primaria entre 2007 y 2013. Un estudio reciente utiliza una submuestra del pánel de Enlace, siguiendo a la misma cohorte que en 2007, 2010 y 2013 terminó primaria, secundaria y media superior, respectivamente, para demostrar que los resultados Enlace de primaria son un predictor importante de la probabilidad de concluir la educación media superior; y los resultados de Enlace media superior se correlacionan fuertemente con la probabilidad de entrar a la universidad y con los salarios futuros.4

En un estudio en curso, González Navarro, Romero, Sánchez y Seira (2019) ligan a nivel individual, con un procedimiento anonimizado, los resultados de Enlace con información del Instituto Nacional Electoral (INE).5 Los autores encuentran que, comparando a los estudiantes con mejores y peores resultados en Enlace primaria dentro de una misma escuela, se asocia con siguientes efectos en variables de bienestar futuro.

1. Un aumento del 17 % al 40 % en la probabilidad de haber terminado la preparatoria.

2. Entre mujeres de 18 a 24 años, un aumento de 30 puntos porcentuales en la probabilidad de estar estudiando (proxy por acceso a educación superior).

3. Una reducción del 80 % en la probabilidad de haber sido convicto criminal.

4. Un aumento en la probabilidad de votar de 10 puntos porcentuales.

Los resultados 1 y 2 pueden verse como retornos privados, pero los resultados 3 y 4 definitivamente se pueden clasificar como retornos sociales. Estos resultados son sorprendentes. Que una prueba estandarizada a tan temprana edad tenga tanto valor predictivo para el bienestar futuro demuestra su gran utilidad para la toma de decisiones de las familias y la autoridad educativa y por su magnitud sugieren —aunque no demuestran—6 que aumentar la calidad de la educación podría ser la mejor herramienta del combate al crimen y una forma efectiva de generar ciudadanos más comprometidos con los procesos democráticos.

Estos resultados refutan la hipótesis de que Enlace carecía de valor porque sus resultados estaban totalmente manipulados. Aun con manipulación de resultados y copia en algunos casos, Enlace es altamente predictiva del bienestar futuro. Al mismo tiempo nuestros resultados refutan el argumento de que lo que mide Enlace es reduccionista pues no captura habilidades vinculadas con el bienestar futuro: Enlace se relaciona con resultados personales y sociales que son de interés general. Por lo tanto, el gobierno y la sociedad en su conjunto tienen un interés legítimo en financiar el diseño, aplicación y la difusión de los resultados de una prueba como la extinta Enlace, no sólo para fines predictivos sino, quizá más importante, para poder identificar a los alumnos en rezago de aprendizajes e implementar acciones remediales.

 

La evidencia para México7 y otros países de la región8 muestra que cuando las pruebas estandarizadas son utilizadas como un instrumento formativo, pueden mejorar los aprendizajes de los alumnos. Para que esto ocurra, es necesario que el diseño y uso de resultados de las pruebas cumplan con los siguientes criterios:

1. El contenido de la prueba tiene que estar ligado al currículo nacional.

2. La aplicación de la prueba tiene que ser censal en ciertos grados. 

3. La prueba se tiene que aplicar con cierta periodicidad.

4. Las escuelas deben recibir un reporte de resultados claro y oportuno.

5. Las escuelas, sobre todo las más marginadas, deben recibir asistencia técnica para transformar su reporte de resultados en una estrategia de mejora.

En 2013, en el marco de una reforma que dotó de autonomía constitucional al Instituto Nacional de Evaluación para la Educación (INEE), la Secretaría de Educación Pública (SEP) decidió eliminar la prueba Enlace, un gran desacierto. Enlace fue reemplazada con la prueba Planea, la cual se aplica sólo en grados terminales (6.º, 9.º y 12.º) a todos los alumnos en escuelas de menos de 60 alumnos y a una muestra de alumnos en escuelas con más de 60 alumnos. Debido a recortes presupuestales —a pesar de que el INEE estaba dotado de autonomía presupuestal— la aplicación de Planea ha sido altamente irregular y ha modificado en varias ocasiones la agenda de implementación diseñada por el propio Instituto.

Muchas de las características positivas de la prueba Enlace (el carácter censal, la periodicidad anual y lo oportuno en la devolución de resultados) no fueron incorporados a la prueba Planea: le restaron relevancia y desaprovecharon su potencial para identificar a alumnos en riesgo, poner en marcha estrategias remediales y promover, de esta forma, la equidad que tanto requiere nuestro sistema educativo. Mientras que los padres de familia podían revisar los resultados de la prueba Enlace de sus hijos e identificar en qué áreas del conocimiento tenían debilidades, Planea fue menos exitosa para centrar el debate educativo en torno a los aprendizajes. Quizá todavía más importante: no se priorizó el uso formativo de los resultados de Planea con reportes de resultados poco informativos que llegaban seis o hasta nueve meses después de haber tomado la prueba, sin proveer a las escuelas con la asistencia técnica necesaria para asegurar su uso adecuado e incidir en los aprendizajes. Todo esto ha significado que los resultados de Planea tengan mucho menos relevancia para provocar procesos de mejora en los centros educativos u orientar la política educativa en México.

 

México requiere de una prueba que incluya a todos los alumnos en grados terminales y de aplicación regular (anualmente o cada dos años), que permita identificar a los niños con rezagos en aprendizajes básicos, y que favorezca estrategias remediales, adaptadas a las necesidades de estos estudiantes. Sin un instrumento así estaremos ciegos, será imposible saber a qué estudiantes no estamos respetando su derecho a aprender y, por lo tanto, los estaremos condenando a un futuro sin oportunidades. Medir no es equivalente a castigar, las evaluaciones no tienen por qué ser punitivas, al contrario, el mejor uso que les podemos dar a las evaluaciones es formativo.

Las experiencias de Enlace y Planea son muy valiosas y deben ser el punto de partida para mejorar lo que ya tenemos en vez de destruir lo ya construido. Los resultados de Planea muestran que más de la mitad de los estudiantes en el sistema educativo mexicano no adquieren las habilidades mínimas necesarias. En veinte o treinta años esta falta de aprendizajes será una barrera importante para la construcción del proyecto de vida de la mitad de la población adulta. No condenemos el futuro de los más desfavorecidos escondiendo la realidad. Tenemos la responsabilidad de mejorar la educación y ayudar a los más desaventajados. Tenemos que empezar por diagnosticar en dónde hay problemas, dónde hay aciertos, qué está funcionando y en dónde es necesario cambiar la estrategia. Las pruebas estandarizadas son la base de un diálogo constructivo y permanente para la mejora continua de la educación en México.

 

Rafael de Hoyos
Profesor de economía de la educación en el ITAM y socio fundador de XABER, educando con evidencia.

Marco González Navarro
Profesor de economía agrícola en la Universidad de California-Berkeley.

Enrique Seira Bejarano
Profesor de economía en el ITAM.


1 Chetty; Friedman; Hilger; Saez; Schanzenbach, y Yagan (2011). “How Does Your Kindergarten Classroom Affect Your Earnings? Evidence from Project Star”. Quarterly Journal of Economics, vol. 126, núm. 4, p. 1593–1660.

2 Chetty; Friedman, y Rockoff (2014). “Measuring the Impacts of Teachers II: Teacher Value-Added and Student Outcomes in Adulthood”. American Economic Review, vol. 104, núm. 9, p. 2633-2679.

3 Barlevy y Neal (2012). “Pay for Percentile”. American Economic Review, vol. 102, núm. 5, p. 1805-1831.

4 De Hoyos, R., Estrada, R., y Vargas, M. (2018). “Predicting Individual Wellbeing through Test Scores: Evidence from a National Assessment in Mexico”. Policy Research Working Paper Series 8459, Banco Mundial.

5 El pánel de Enlace primaria incluye más de 21 millones de alumnos en 3.º, 4.º, 5.º o 6.º de primaria entre 2007 y 2013. En 2015, los alumnos en el pánel de Enlace primaria tenían entre 10 y 20 años y entre 13 y 23 años en 2018, medimos las variables de bienestar en los dos puntos en el tiempo.

6 De Hoyos; García, y Patrinos (2017). “The Impact of an Accountability Intervention with Diagnostic Feedback: Evidence from Mexico”. Economics of Education Review, Elsevier, vol. 58(C), p. 123-140.

7 De Hoyos; García, y Patrinos (2017). “The Impact of an Accountability Intervention with Diagnostic Feedback: Evidence from Mexico”. Economics of Education Review, Elsevier, vol. 58 (C), p. 123-140.

8 De Hoyos; Ganimian, y Holland (2017). “Teaching with the Test: Experimental Evidence on Diagnostic Feedback and Capacity Building for Public Schools in Argentina”. Policy Research Working Paper Series 8261, Banco Mundial.

 

Un comentario en “La prueba Enlace y el futuro

  1. La prueba tiene grandes aciertos pero debe verificarse en el mes de enero para el caso de la educación media superior, y los resultados deben publicarse a más tardar un mes después. Éste resultado debe de ser aplicado para la evaluación final del alumno. Resulta evidente que el alumno al salir de la escuela graduado y con la beca ya integra ya pagada, el alumno con esto pues le vale contestar bien o mal, además en muchos casos los alumnos responden mal como venganzahacia la escuela, ya me voy, me cayeron mal los profesores y la escuela respondo mal para que se acuerden de mí.