Entre 2009 y 2013, en las escuelas cercanas a los centros RIA el porcentaje de niños con excelencia en la prueba Enlace creció menos que en el resto del Edomex; al tiempo que el porcentaje de estudiantes por debajo del nivel de suficiencia decreció menos.
En el mes de julio, Andrés Lajous y Paris Martínez dieron a conocer el monto que ha recibido la fundación Proacceso ECO y la empresa ENOVA por parte de diversas instituciones de gobierno, como CONACYT, CONACULTA, SCT y el Gobierno del Estado de México. La fundación presume que mediante una técnica que ellos llaman «acupuntura urbana», colocando centros tecnológicos estratégicamente en zonas de bajos recursos, acercan a los niños a recursos educativos de calidad, que mejoran su desempeño escolar.
Este punto sobre la mejor del desempeño escolar es clave, pues después a la publicación del reportaje el Presidente del Consejo Directivo de la Fundación Proacceso ECO, Aleph Molinari, insinuó que el objetivo de los centros RIA y el dinero gastado en ellos no era mejorar el desempeño de las niñas y niños en la prueba Enlace, al señalar:
«Cabe mencionar que el artículo atribuye a la Fundación Proacceso responsabilidades en temas como la prueba Enlace y materias que competen al sector educativo público, a pesar que estos objetivos no son parte de los convenios que hemos celebrado».
En su respuesta a esta carta, Lajous y Martínez respondieron que en las páginas de internet de la fundación y de la empresa se menciona la prueba ENLACE como un instrumento para medir de su éxito. En palabras de Lajous y Martínez:
«[…] resulta contradictorio que por un lado, Proacceso ECO A.C. niegue que la prueba Enlace sirva para medir sus resultados, y por el otro en la página de internet de la Red de Innovación y Aprendizaje (RIA) y de Enova se señale que emplean los resultados de la prueba Enlace como parámetro de los pretendidos beneficios del proyecto».
El uso de los resultados de la prueba ENLACE por parte de Proacceso y Enova es producto del documento de evaluación elaborado por la consultoría C230. Es curioso que hayan contratado a una consultoría para hacer una evaluación sobre el impacto en la prueba ENLACE si ése no es el propósito de la Red de Innovación y Aprendizaje (RIA).
En el reporte de C230 eligieron aleatoriamente a 1,087 niños a quienes les ofrecieron una beca para ingresar a los centros RIA, y compararon calificaciones en la prueba ENLACE 2011 con un grupo de 288 estudiantes, quienes solicitaron una beca pero no la recibieron.
La evaluación de C230, que sin duda es transparente y clara en sus resultados, encuentra que existe un efecto positivo en los puntajes totales de los estudiantes que atendieron un centro RIA respecto a estudiantes que no, pero únicamente para los alumnos de 4º de primaria cuando se utiliza el promedio total de la prueba (significativo al 12%). Son claros al mencionar que no se encontraron efectos para alumnos de 3º, 5º ni 6º. Cabe mencionar que C230 optó por comparar puntajes totales de los estudiantes en su medición, pues comparan resultados individuales de una misma prueba. Sin embargo vale la pena recordar que comparar resultados de ENLACE en el tiempo no es posible. Como explica la SEP, los resultados de diferentes materias o años no son comparables entre sí.
Entonces, ¿cuál es el sustento para entregarles tanto dinero?
En este texto mostramos los resultados de una prueba del efecto de los centros RIA en la educación utilizando los resultados de la misma prueba ENLACE por cada escuela durante los años 2009 y 2013. En este caso, como ya mencionamos, no utilizaremos puntajes totales o promedio, sino el porcentaje de estudiantes con niveles de excelencia e insuficiencia en las pruebas de español y matemáticas desde 3º hasta 6º grado. La razón para hacerlo de este modo es que se trata de una comparación espacial (escuelas dentro del radio geográfico de influencia de la RIA, declarado por Proacceso), pero también de una comparación temporal, entre los años 2009 y 2013. También vale la pena aclarar que nuestro análisis está basado en información pública.
En el Estado de México, la prueba ENLACE se aplicó en el 2013 a más de 1 millón 200 mil alumnos en 7,775 escuelas primarias. Entre ellas, poco más de mil 200 escuelas se encuentran a menos de un kilómetro de distancia de uno de los centros RIA, 2 mil 351 a menos de dos kilómetros y 3 mil 927 a menos de cinco kilómetros. De acuerdo a ENOVA, los centros, con cinco mil usuarios al año, benefician a las escuelas dentro de un radio de dos kilómetros. En el mapa se muestran en azul todas la escuelas en el Estado de México y en rojo los centros RIA. Alrededor de cada centro RIA hay círculos mostrando radios de uno, dos y cinco kilómetros.
Un comparativo sencillo
Para nuestro análisis omitimos 669 escuelas de 2013 en donde más del 10% de los alumnos obtuvieron un resultado «poco confiable».1 Además, se omitieron 88 escuelas que no se encuentran georeferenciadas correctamente.
Haciendo un comparativo sencillo, en la mayoría de las escuelas el porcentaje de alumnos con nivel insuficiente disminuyó para todos los años escolares entre 2009 y 2013. Sí, pero la disminución es en promedio menor en las escuelas cercanas a un centro RIA.
Tomemos el caso de tercero de primaria: en promedio, 15.13% de los alumnos del Estado de México tuvieron un desempeño «insuficiente» en la prueba ENLACE de matemáticas de 2009, porcentaje que se redujo a 9.6% para 2013. Sin embargo, cuando comparamos este mismo porcentaje entre las escuelas dentro del «Radio RIA» (es decir, a dos kilómetros o menos de uno de los centros), las diferencias son sorprendentes. Si bien en ambos casos se reduce la cantidad de alumnos con nivel insuficiente, la reducción es de apenas 3.5 puntos porcentuales para las «escuelas de influencia RIA», y de 7 puntos porcentuales para el resto.
La mayor diferencia ocurre en el porcentaje de niños con nivel insuficiente de cuarto de primaria. Mientras que en las escuelas a menos de dos kilómetros se redujo el porcentaje de niños con nivel insuficiente en apenas 6.6%, en el resto de las escuelas del Estado de México se redujo en 10.6%. En la gráfica 1 se pueden ver en la columna izquierda los resultados en escuelas dentro de los radios de distancia en los que los centros RIA pretende tener impacto. En la columna derecha los resultados en escuelas que quedarían fuera de cada uno de estos radios de distancia. Las cifras en negro muestran los resultados para el año 2009 y las cifras en amarillo los resultados para el año 2013.
Algo similar, aunque en mucho menor medida, ocurre cuando analizamos el porcentaje de alumnos con nivel excelente. Entre todas las escuelas del Estado de México, el porcentaje de alumnos con nivel excelente de tercero de primaria incrementó de 7.8% a 25.3% en matemáticas y de 6.3% a 6.8% en español entre 2009 y 2013. Ojo, este incremento puede deberse a diversos factores: la prueba fue más sencilla, los niños tuvieron más material para estudiar, entre otros. Cierto, pero también es cierto que el incremento fue menor en las escuelas cercanas a un centro RIA.
La diferencia entre las escuelas que están cerca de un centro RIA y las escuelas que no lo están, no parecer ser aleatoria. De hecho, como se puede ver en la gráfica 2, en todos los niveles escolares, salvo para tercero de primaria, el incremento en el porcentaje de alumnos con nivel excelente, tanto en español como matemáticas, es mayor entre aquellas escuelas alejadas de un centro RIA que entre aquellas a menos de dos kilómetros de éstos.
Complicando la comparación
Para hacer este análisis más robusto, decidimos comparar la diferencia entre los años 2013 y 2009 entre aquellas escuelas cerca de un centro RIA y aquellas escuelas que no lo están, mediante un método de regresión lineal de diferencias en diferencias: estimar la diferencia en el porcentaje promedio de estudiantes en niveles de insuficiencia o excelencia antes y después de la presencia de un centro RIA, respecto al porcentaje promedio de estudiantes en niveles de insuficiencia o excelencia para el mismo periodo de tiempo en donde no hubo un centro RIA.
Esto nos permite identificar los efectos diferenciados de 2009 a 2013 entre las escuelas cercanas a un centro RIA y aquellas que no lo están; incluyendo en el análisis otros factores que, se sabe, afectan el desempeño de los estudiantes. En específico, en nuestro modelo estadístico incluimos: el porcentaje de viviendas con acceso a internet en la zona en la que se encuentra la escuela, el porcentaje de personas de tres años y más que habla alguna lengua indígena y el porcentaje de personas afiliadas al IMSS. También se incluyeron atributos de la escuela como si la escuela es particular, general o si es de turno matutino.
Por supuesto, los resultados del análisis dependen de la especificación del modelo y las variables incluidas. Se trata de resultados robustos y que se mantienen ante varias especificaciones (en distancias, grados escolares y variables de control). Sí, pero creemos en la transparencia y la replicación: al final del texto hay un vínculo a los datos y los detalles del modelo para que quien lo crea pertinente pueda replicar nuestros resultados y, en su caso, mejorarlos.
El modelo respalda los resultados descriptivos: para todas las escuelas, el porcentaje de alumnos con nivel de insuficiencia en español y matemáticas disminuye menos en aquellas escuelas cerca de un centro RIA que en el resto de las escuelas del Estado de México, y el resultado se mantiene cuando usamos distintas distancias: uno, dos y cinco kilómetros. Esto se puede ver en las gráficas 3 y 4, donde se muestra en amarillo la diferencia en resultados entre 2009 y 2013 para escuelas dentro de los radios de impacto de la RIA y en negro la diferencia en resultados para las escuelas fuera de estos radios de impacto.
Por ejemplo, en aquellas escuelas que se encuentran dentro de un radio de dos kilómetros de cualquier centro RIA, el porcentaje de alumnos con nivel de insuficiencia creció 6.1% para los alumnos de 3º de primaria respecto a aquellas escuelas que se encuentran afuera de este radio entre 2009 y 2013. Además, el crecimiento permanece entre niveles escolares: 7% para 4º, 4.8% para 5º y 4.4% para los alumnos de 6º de primaria.
Los resultados son similares, aunque en menor proporción, en los resultados de la prueba ENLACE de español. Por ejemplo, entre las escuelas que se encuentran a menos de dos kilómetros de distancia, la reducción en el porcentaje de alumnos con nivel insuficiente es 5.2 puntos porcentuales menor respecto al decrecimiento del resto del Estado de México. Tanto en español como matemáticas y para todos los grados escolares, los resultados son significativos (al 1%).
Esto significaría que de no haber estado los centros RIA en estas zonas, 49,413 estudiantes hubiesen logrado superar el nivel de insuficiencia en matemáticas y 31,570 el nivel de insuficiencia en español. Un total de casi 81 mil de pruebas con insuficiencia a nivel primaria que no hubiesen ocurrido si las escuelas cercanas a centros RIA hubiesen abatido insuficiencia al mismo nivel que las escuelas fuera de los efectos de la llamada «acupuntura urbana».
Los resultados para el porcentaje de alumnos con nivel excelente son menos robustos. Salvo para tercero de primaria, en la prueba de matemáticas no hay un efecto significativo entre las escuelas cerca de un centro RIA para ninguna de las distancias consideradas.
Sin embargo, como se puede ver en las gráficas 5 y 6, respectivamente, las escuelas lejos de un centro RIA si tuvieron un crecimiento significativo en el porcentaje de niños con nivel excelente, sobre todo para los alumnos de 3º de primaria en la prueba ENLACE de matemáticas. Esto significa que entre 2009 y 2013 las escuelas alejadas de un centro RIA elevaron el porcentaje de estudiantes con nivel de excelencia, respecto a sus contrapartes cercanas a un centro RIA en donde esto no ocurrió, aunque tampoco están comparativamente peor.
Respecto a las variables que estamos manteniendo constantes, todas tienen un comportamiento normal: entre más viviendas con internet haya en la zona como porcentaje de las viviendas totales, mayor el número de alumnos con nivel excelente y menor el porcentaje de alumnos con nivel insuficiente. Una relación similar existe con el porcentaje de personas afiliadas al IMSS, el porcentaje de hogares con automóvil y con los indicadores de escuelas matutinas y escuelas particulares (ver nota metodológica al final).
¿Qué pasa en estos centros RIA?
Nuestros resultados son sorpresivos. Nuestra hipótesis de trabajo era que los centros RIA no tendrían ningún efecto en las escuelas cercanas. Es decir, que el desempeño de los estudiantes en esas escuelas no serían significativamente distinto al del resto de escuelas de Estado de México, Eso nos hubiese parecido un resultado de por sí escandaloso para un proyecto privado financiado con cientos de millones de dinero público.
Sin embargo los resultados son aún más graves, de manera sistemática encontramos que los estudiantes en escuelas expuestas a la «acupuntura urbana» de los centros RIA superaron los resultados en insuficiencia en menor proporción que resto de escuelas y también en menor proporción llegaron al nivel de excelencia. ¿Cómo explicarlo?
¿Exactamente qué ocurre en estos centros RIA? ¿Cuáles son las características pedagógicas de las actividades? ¿El tiempo dedicado a esas actividades funcionan más como un distractor educativo que un generador de capacidades? Hasta ahora no es posible contar una historia detallada y plausible sobre por qué esas niñas y esos niños están comparativamente peor sin conocer una historia igualmente detallada sobre el funcionamiento de estos centros. Una historia que no existe porque no ha habido un ejercicio consistente de transparencia, monitoreo y evaluación sobre el gasto de los recursos públicos destinados a proyectos. Por ellos creemos fundamente un ejercicio de rendición de cuentas y honestidad de cara a los resultados de este análisis… se lo deben a 81 mil niñas y niños.
Nota Metodológica
Para hacer estas estimaciones, se procesaron los resultados de la prueba ENLACE por escuela de 2009 y 2013. Posteriormente, las escuelas fueron georeferenciadas utilizando su clave de centro de trabajo. Para agregar los datos sociodemográficos, se consideraron las «Estadísticas Censales a Escalas Geo-electorales» publicadas por el INEGI.
Las regresiones por mínimos cuadrados ordinarios siguen la forma de Diferencias en Diferencias, controlando además por el porcentaje de viviendas con automóvil, porcentaje de viviendas con internet, porcentaje de la población de tres años y más que habla lengua indígena, porcentaje de la población afiliada al IMSS, y variables dummy para indicar si la escuela es particular o general, o si las escuela es de turno matutino. Además, se utilizó la especificación de errores estándar robustos en todas las regresiones.
Para descargar la base de datos y el código de las estimaciones, puedes dar click en esta liga (http://bit.ly/1LfKSph)
1 Para leer más sobre resultados poco confiables y factor copia, ver «Notas sobre la cancelación de ENLACE» de Mexicanos Primero.
que lamentable
Para comenzar dos consideraciones, en el primer caso y debido a que los porcentajes de eficiencia disminuyeron en todas las escuelas del Edo. De México en el periodo indicado en el nivel básico, las que menos descendieron son las que están a 2 kilómetros de los centros RIA segundo, los alumnos de excelencia son de por si escasos, es decir al aumentar la insuficiencia los que son escasos serán entonces muy escasos, es decir no tiene una relación con los centros RIA, sino que la disminución de los alumnos de excelencia se relación en realidad directamente con la baja generalizada del nivel de aprovechamiento de los alumnos del nivel básico durante el periodo señalado.
Por otra parte, si este artículo se redactara e interpretara de forma positiva descubrimos que: hay una fórmula para evitar el descenso en la ineficiencia educativa del nivel básico dicha fórmula son los centros RIA, ahora bien si comparamos la inversión de los centros RIA y los porcentajes en que aumentaron los niveles de desempeño en las escuelas a 2 dos kilómetros de los centros con relación al costo total de la educación en cada uno de los grados del nivel básico del Edo. De México los resultados serían interesantes, y tal vez me atrevería a decir que es muy bajo y hasta altamente eficiente como proyecto educativo, entonces valdría la pena un artículo que profundice este tema antes que el del tratamiento didáctico de los centros para determinar qué hacen ahí con el objeto de transitar hacia un análisis más objetivo de este caso.
Finalmente para muestra un dato, el presupuesto del año 2009 en educación en el Estado de México fue de 38,129 MDP, si consideramos años iguales de presupuestos entre el año 2009 y 2013 sumarían 228,774 en el periodo de 6 años, entonces, los centros RIA costarían 0.74% del presupuesto, considerando que el financiamiento del proyecto fue principalmente de fuentes no del presupuesto de educación pública del Edo. De México es decir no le costó gran parte al presupuesto de educación para la población mencionada, las preguntas que los resultados de los centros RIA que merecen un análisis para ser respondidas desde mi punto de vista son: ¿es poco o es mucho dinero invertido en la educación de los niños del nivel básico dados los resultados y beneficios del proyecto hacia la población?, ¿comparado con qué? y ¿hay otro proyecto o solución con resultados mejores?
Saludos,
JJ.
Fuente: http://www.mexicoevalua.org/wp-content/uploads/2013/02/MEX_EVA-INHOUS-GASTO_EDU-LOW.pdf
Muy interesante tu comentario José Juan, de hecho tiene las mismas características del discurso oficial y además confirma lo que la prueba Enlace detecta: «los mexicanos no entienden lo que leen».
Al analizar tu comentario «no le costó gran parte al presupuesto de educación del Estado» , sólo puedo inferir que crees «normal» asignar sin licitación de por medio, recursos públicos a una organización sin experiencia, y, ésta a su vez, entregarlos a una sola empresa, que por cierto comparten origen y personal; y que además no exista una medición confiable o auditoria externa sobre los beneficios reales y medibles tuvo la población del Estado de México, así como el destino final de los dichos recursos y el monto percibido por las «cuotas de recuperación» .
De hecho es probable que no alcances a comprender que lo que más ha hundido a nuestro ya de por sí pobre país es la corrupción y que los últimos meses, desde la publicación de la Casa Blanca, este gobierno se está tambaleando por sus escándalos de corrupción, amiguismo, desvió de recursos, tranzas, moches, etc.
Y como tú debe pensar cada gobernador, secretario de estado, embajador, alcalde, presidente municipal, diputado, senador, magistrado, juez, consejero, partidos políticos: «lo que me estoy robando es poquito».
Si esta investigación fuera hecha de forma positiva, el ministerio público debería tomar nota del desvío de recursos, el SAT una auditoría a la empresa Enova y las declaraciones de impuestos anuales de sus emprendedores sociales, la SEP una evaluación a sus centros RIA, la SFP una investigación los nexos de los fundadores y sus conflictos de interés, etc.
Aprecio tu lectura, sin embargo mi aportación va en el orden de un análisis de los datos que se presentaron en este artículo.
Comprender lo que lees en el caso de un artículo basado en cifras requiere por lo menos dos elementos: datos de referencia entorno a una opinión como el caso de mi fuente – claro esta del tema en particular – y un entendimiento de los datos, dos cosas que generan un argumento inteligente contrario a calificativos de interpretación inmediata como “recursos dilapidados”, “empresas de amigos”, pregunta: ¿Entendiste Carlos?
Por otra parte, lo “normal” parte de la realidad percibida por ejemplo, es producto de una continua exposición a mensajes de medios que venden minutos de sinónimos de “desconfianza en todo lo que vive” gobierno, vecinos, policías, talibanes, capitalistas, PRDistas, PRIístas, verdes y azules, blancos y rojos” la continua exposición a lo malo genera la impresión de que no hay otra cosa, más aun el perfecto circulo discursivo prescrito por la crítica continua de que todo está mal es tan perfecto que no permite un dialogo abierto e inteligente de otra cosa que no sea hablar de que “todo está mal”, pregunta: ¿Eres presa de ese discurso Carlos?
La licitación y la asignación directa son 2 de los medios que tiene el gobierno para ejercer su gasto – cuando hablamos de gasto se requiere conocer por lo menos los 3 mecanismos de todo Estado para intentar regular su económica, a saber son: el gasto, los impuestos y las tasas de interés – si un gobierno no gasta en realidad frena el crecimiento económico de un país, desgraciadamente los medio te venden que el gasto excesivo no es bueno, entonces los medios – si no lees libros de economía nunca te darás cuenta – desafían las leyes macroeconómicas de forma sesgada, al final – si no lees libros de economía – “gastar es un problema de los gobiernos”. Más recientemente hay un sinónimo “gastar mal” que es una unidad de medida del rendimiento de actividad de un gobierno para determinar que es un “buen gasto” y que no lo es se requiere comparar – resultados y gasto –, por ello el dato que coloco como precedente para comparar a la RIA y sus resultados en función del presupuesto en el periodo dado ¿Entendiste Carlos?
También te agradezco que compares mi pensamiento con el de consejero. La auditoría interna que mencionas es solo propia de las empresas – ellas deciden como auditan su operación –, si lo que quieres es que el SAT esté al tanto bueno quiero decirte que lo está ya que el dinero que el gobierno eroga en estos temas es por “transferencia” – y si estas al tanto ya que cada transferencia por un “monto igual o superior a 325 veces el salario mínimo vigente en el Distrito Federal” es una actividad vulnerable y el SAT utilizará sus mecanismos para revisarla, de la evaluación de los centros RIA este articulo ya lo hizo y con “resultados sorpresivos” de palabras del autor es decir para que no te confundas “positivos”, de los nexos de los fundadores antes te remito a los premios internacionales que han recibidos – cuidado no vayas a pensar mal – lo digo porque merecen consideración ya que un verdadero análisis del problema requiere ver todos los ángulos.
Al final vas a contestar como los medios “con cualquier cosa”, la realidad es que si comparas mi discurso con el tuyo hay una “enorme diferencia” si no me crees pregunta a alguien que sepas que es más inteligente que tú y si te dice lo contrario por favor cambia de amigos inmediatamente.
Gracias por leerme.
Me parece, José Juan, que no entendiste. Tu comentario dice: «Por otra parte, si este artículo se redactara e interpretara de forma positiva descubrimos que: hay una fórmula para evitar el descenso en la ineficiencia educativa del nivel básico dicha fórmula son los centros RIA».
La ineficiencia educativa es lo que hay que evitar.
Se debe preferir el descenso de la ineficiencia educativa.
No se debe encontrar una fórmula para evitar «el descenso de la ineficiencia educativa» (porque lo entrecomillado es lo deseable).
Tu comentario es extraño: dice que la RIA es la fórmula para evitar lo deseable.
El último párrafo del comentario de JJMG es digno de antologarse. ¿No habrá mejores polemistas para defender esta oscura causa?
«Al final vas a contestar como los medios ‘con cualquier cosa’, la realidad es que si comparas mi discurso con el tuyo hay una “enorme diferencia” si no me crees pregunta a alguien que sepas que es más inteligente que tú y si te dice lo contrario por favor cambia de amigos inmediatamente».
No es de sorprenderse la inutilidad de este proyecto, en realidad no debería sorprendernos que estos emprendedores sociales lo hagan con recursos públicos y que defiendan la nobleza de su proyecto, lo que debería sorprendernos que aún con la excelente documentación de la cantidad de recursos dilapidados de forma irresponsable, irracional e incoherente por un grupo de amiguetes mirreyes, hijos todos de gente cercana a la política, que al parecer estar preparándose ya para gastar dinero público, licitar a modo, entregar contratos de obras y servicios en empresas de amigos y no pase absolutamente nada.
Es triste y lamentable que México esté así. ¿Ninguno de estos mozalbetes habrá pensado o tendrá siquiera interés en saber que si esos $1,700 millones de pesos se hubiesen gastado en las escuelas públicas del Estado de México éstas se pudieron haber mejorado real y sustancialmente? Aunque la respuesta es simple, si acaso ese dinero se hubiera destinado directamente a las escuelas, probablemente Grupo Higa y OHL hubieran ganado las licitaciones.
Por supuesto, más claro no podía estar. De un tecleo lo dijiste todo.
Respuesta de Andres Lajous a la carta de Peoacceso.
Enova: 1,700 millones gastados y 80,983 niños peor en la prueba Enlace
18 agosto, 2015
José Merino y Eduardo Fierro
33477
José Merino y Eduardo Fierro
Entre 2009 y 2013, en las escuelas cercanas a los centros RIA el porcentaje de niños con excelencia en la prueba Enlace creció menos que en el resto del Edomex; al tiempo que el porcentaje de estudiantes por debajo del nivel de suficiencia decreció menos.
En el mes de julio, Andrés Lajous y Paris Martínez dieron a conocer el monto que ha recibido la fundación Proacceso ECO y la empresa ENOVA por parte de diversas instituciones de gobierno, como CONACYT, CONACULTA, SCT y el Gobierno del Estado de México. La fundación presume que mediante una técnica que ellos llaman “acupuntura urbana”, colocando centros tecnológicos estratégicamente en zonas de bajos recursos, acercan a los niños a recursos educativos de calidad, que mejoran su desempeño escolar.
enova-evaluacion
Este punto sobre la mejor del desempeño escolar es clave, pues después a la publicación del reportaje el Presidente del Consejo Directivo de la Fundación Proacceso ECO, Aleph Molinari, insinuó que el objetivo de los centros RIA y el dinero gastado en ellos no era mejorar el desempeño de las niñas y niños en la prueba Enlace, al señalar:
“Cabe mencionar que el artículo atribuye a la Fundación Proacceso responsabilidades en temas como la prueba Enlace y materias que competen al sector educativo público, a pesar que estos objetivos no son parte de los convenios que hemos celebrado”.
En su respuesta a esta carta, Lajous y Martínez respondieron que en las páginas de internet de la fundación y de la empresa se menciona la prueba ENLACE como un instrumento para medir de su éxito. En palabras de Lajous y Martínez:
“[…] resulta contradictorio que por un lado, Proacceso ECO A.C. niegue que la prueba Enlace sirva para medir sus resultados, y por el otro en la página de internet de la Red de Innovación y Aprendizaje (RIA) y de Enova se señale que emplean los resultados de la prueba Enlace como parámetro de los pretendidos beneficios del proyecto”.
El uso de los resultados de la prueba ENLACE por parte de Proacceso y Enova es producto del documento de evaluación elaborado por la consultoría C230. Es curioso que hayan contratado a una consultoría para hacer una evaluación sobre el impacto en la prueba ENLACE si ése no es el propósito de la Red de Innovación y Aprendizaje (RIA).
En el reporte de C230 eligieron aleatoriamente a 1,087 niños a quienes les ofrecieron una beca para ingresar a los centros RIA, y compararon calificaciones en la prueba ENLACE 2011 con un grupo de 288 estudiantes, quienes solicitaron una beca pero no la recibieron.
La evaluación de C230, que sin duda es transparente y clara en sus resultados, encuentra que existe un efecto positivo en los puntajes totales de los estudiantes que atendieron un centro RIA respecto a estudiantes que no, pero únicamente para los alumnos de 4º de primaria cuando se utiliza el promedio total de la prueba (significativo al 12%). Son claros al mencionar que no se encontraron efectos para alumnos de 3º, 5º ni 6º. Cabe mencionar que C230 optó por comparar puntajes totales de los estudiantes en su medición, pues comparan resultados individuales de una misma prueba. Sin embargo vale la pena recordar que comparar resultados de ENLACE en el tiempo no es posible. Como explica la SEP, los resultados de diferentes materias o años no son comparables entre sí.
Entonces, ¿cuál es el sustento para entregarles tanto dinero?
En este texto mostramos los resultados de una prueba del efecto de los centros RIA en la educación utilizando los resultados de la misma prueba ENLACE por cada escuela durante los años 2009 y 2013. En este caso, como ya mencionamos, no utilizaremos puntajes totales o promedio, sino el porcentaje de estudiantes con niveles de excelencia e insuficiencia en las pruebas de español y matemáticas desde 3º hasta 6º grado. La razón para hacerlo de este modo es que se trata de una comparación espacial (escuelas dentro del radio geográfico de influencia de la RIA, declarado por Proacceso), pero también de una comparación temporal, entre los años 2009 y 2013. También vale la pena aclarar que nuestro análisis está basado en información pública.
En el Estado de México, la prueba ENLACE se aplicó en el 2013 a más de 1 millón 200 mil alumnos en 7,775 escuelas primarias. Entre ellas, poco más de mil 200 escuelas se encuentran a menos de un kilómetro de distancia de uno de los centros RIA, 2 mil 351 a menos de dos kilómetros y 3 mil 927 a menos de cinco kilómetros. De acuerdo a ENOVA, los centros, con cinco mil usuarios al año, benefician a las escuelas dentro de un radio de dos kilómetros. En el mapa se muestran en azul todas la escuelas en el Estado de México y en rojo los centros RIA. Alrededor de cada centro RIA hay círculos mostrando radios de uno, dos y cinco kilómetros.
enova-mapa1
Un comparativo sencillo
Para nuestro análisis omitimos 669 escuelas de 2013 en donde más del 10% de los alumnos obtuvieron un resultado “poco confiable”.1 Además, se omitieron 88 escuelas que no se encuentran georeferenciadas correctamente.
Haciendo un comparativo sencillo, en la mayoría de las escuelas el porcentaje de alumnos con nivel insuficiente disminuyó para todos los años escolares entre 2009 y 2013. Sí, pero la disminución es en promedio menor en las escuelas cercanas a un centro RIA.
enova-graf1
Tomemos el caso de tercero de primaria: en promedio, 15.13% de los alumnos del Estado de México tuvieron un desempeño “insuficiente” en la prueba ENLACE de matemáticas de 2009, porcentaje que se redujo a 9.6% para 2013. Sin embargo, cuando comparamos este mismo porcentaje entre las escuelas dentro del “Radio RIA” (es decir, a dos kilómetros o menos de uno de los centros), las diferencias son sorprendentes. Si bien en ambos casos se reduce la cantidad de alumnos con nivel insuficiente, la reducción es de apenas 3.5 puntos porcentuales para las “escuelas de influencia RIA”, y de 7 puntos porcentuales para el resto.
La mayor diferencia ocurre en el porcentaje de niños con nivel insuficiente de cuarto de primaria. Mientras que en las escuelas a menos de dos kilómetros se redujo el porcentaje de niños con nivel insuficiente en apenas 6.6%, en el resto de las escuelas del Estado de México se redujo en 10.6%. En la gráfica 1 se pueden ver en la columna izquierda los resultados en escuelas dentro de los radios de distancia en los que los centros RIA pretende tener impacto. En la columna derecha los resultados en escuelas que quedarían fuera de cada uno de estos radios de distancia. Las cifras en negro muestran los resultados para el año 2009 y las cifras en amarillo los resultados para el año 2013.
Algo similar, aunque en mucho menor medida, ocurre cuando analizamos el porcentaje de alumnos con nivel excelente. Entre todas las escuelas del Estado de México, el porcentaje de alumnos con nivel excelente de tercero de primaria incrementó de 7.8% a 25.3% en matemáticas y de 6.3% a 6.8% en español entre 2009 y 2013. Ojo, este incremento puede deberse a diversos factores: la prueba fue más sencilla, los niños tuvieron más material para estudiar, entre otros. Cierto, pero también es cierto que el incremento fue menor en las escuelas cercanas a un centro RIA.
enova-graf2
La diferencia entre las escuelas que están cerca de un centro RIA y las escuelas que no lo están, no parecer ser aleatoria. De hecho, como se puede ver en la gráfica 2, en todos los niveles escolares, salvo para tercero de primaria, el incremento en el porcentaje de alumnos con nivel excelente, tanto en español como matemáticas, es mayor entre aquellas escuelas alejadas de un centro RIA que entre aquellas a menos de dos kilómetros de éstos.
Complicando la comparación
Para hacer este análisis más robusto, decidimos comparar la diferencia entre los años 2013 y 2009 entre aquellas escuelas cerca de un centro RIA y aquellas escuelas que no lo están, mediante un método de regresión lineal de diferencias en diferencias: estimar la diferencia en el porcentaje promedio de estudiantes en niveles de insuficiencia o excelencia antes y después de la presencia de un centro RIA, respecto al porcentaje promedio de estudiantes en niveles de insuficiencia o excelencia para el mismo periodo de tiempo en donde no hubo un centro RIA.
Esto nos permite identificar los efectos diferenciados de 2009 a 2013 entre las escuelas cercanas a un centro RIA y aquellas que no lo están; incluyendo en el análisis otros factores que, se sabe, afectan el desempeño de los estudiantes. En específico, en nuestro modelo estadístico incluimos: el porcentaje de viviendas con acceso a internet en la zona en la que se encuentra la escuela, el porcentaje de personas de tres años y más que habla alguna lengua indígena y el porcentaje de personas afiliadas al IMSS. También se incluyeron atributos de la escuela como si la escuela es particular, general o si es de turno matutino.
Por supuesto, los resultados del análisis dependen de la especificación del modelo y las variables incluidas. Se trata de resultados robustos y que se mantienen ante varias especificaciones (en distancias, grados escolares y variables de control). Sí, pero creemos en la transparencia y la replicación: al final del texto hay un vínculo a los datos y los detalles del modelo para que quien lo crea pertinente pueda replicar nuestros resultados y, en su caso, mejorarlos.
El modelo respalda los resultados descriptivos: para todas las escuelas, el porcentaje de alumnos con nivel de insuficiencia en español y matemáticas disminuye menos en aquellas escuelas cerca de un centro RIA que en el resto de las escuelas del Estado de México, y el resultado se mantiene cuando usamos distintas distancias: uno, dos y cinco kilómetros. Esto se puede ver en las gráficas 3 y 4, donde se muestra en amarillo la diferencia en resultados entre 2009 y 2013 para escuelas dentro de los radios de impacto de la RIA y en negro la diferencia en resultados para las escuelas fuera de estos radios de impacto.
enova-graf3
Por ejemplo, en aquellas escuelas que se encuentran dentro de un radio de dos kilómetros de cualquier centro RIA, el porcentaje de alumnos con nivel de insuficiencia creció 6.1% para los alumnos de 3º de primaria respecto a aquellas escuelas que se encuentran afuera de este radio entre 2009 y 2013. Además, el crecimiento permanece entre niveles escolares: 7% para 4º, 4.8% para 5º y 4.4% para los alumnos de 6º de primaria.
enova-graf4
Los resultados son similares, aunque en menor proporción, en los resultados de la prueba ENLACE de español. Por ejemplo, entre las escuelas que se encuentran a menos de dos kilómetros de distancia, la reducción en el porcentaje de alumnos con nivel insuficiente es 5.2 puntos porcentuales menor respecto al decrecimiento del resto del Estado de México. Tanto en español como matemáticas y para todos los grados escolares, los resultados son significativos (al 1%).
Esto significaría que de no haber estado los centros RIA en estas zonas, 49,413 estudiantes hubiesen logrado superar el nivel de insuficiencia en matemáticas y 31,570 el nivel de insuficiencia en español. Un total de casi 81 mil de pruebas con insuficiencia a nivel primaria que no hubiesen ocurrido si las escuelas cercanas a centros RIA hubiesen abatido insuficiencia al mismo nivel que las escuelas fuera de los efectos de la llamada “acupuntura urbana”.
Los resultados para el porcentaje de alumnos con nivel excelente son menos robustos. Salvo para tercero de primaria, en la prueba de matemáticas no hay un efecto significativo entre las escuelas cerca de un centro RIA para ninguna de las distancias consideradas.
enova-graf5
enova-graf6
Sin embargo, como se puede ver en las gráficas 5 y 6, respectivamente, las escuelas lejos de un centro RIA si tuvieron un crecimiento significativo en el porcentaje de niños con nivel excelente, sobre todo para los alumnos de 3º de primaria en la prueba ENLACE de matemáticas. Esto significa que entre 2009 y 2013 las escuelas alejadas de un centro RIA elevaron el porcentaje de estudiantes con nivel de excelencia, respecto a sus contrapartes cercanas a un centro RIA en donde esto no ocurrió, aunque tampoco están comparativamente peor.
Respecto a las variables que estamos manteniendo constantes, todas tienen un comportamiento normal: entre más viviendas con internet haya en la zona como porcentaje de las viviendas totales, mayor el número de alumnos con nivel excelente y menor el porcentaje de alumnos con nivel insuficiente. Una relación similar existe con el porcentaje de personas afiliadas al IMSS, el porcentaje de hogares con automóvil y con los indicadores de escuelas matutinas y escuelas particulares (ver nota metodológica al final).
¿Qué pasa en estos centros RIA?
Nuestros resultados son sorpresivos. Nuestra hipótesis de trabajo era que los centros RIA no tendrían ningún efecto en las escuelas cercanas. Es decir, que el desempeño de los estudiantes en esas escuelas no serían significativamente distinto al del resto de escuelas de Estado de México, Eso nos hubiese parecido un resultado de por sí escandaloso para un proyecto privado financiado con cientos de millones de dinero público.
Sin embargo los resultados son aún más graves, de manera sistemática encontramos que los estudiantes en escuelas expuestas a la “acupuntura urbana” de los centros RIA superaron los resultados en insuficiencia en menor proporción que resto de escuelas y también en menor proporción llegaron al nivel de excelencia. ¿Cómo explicarlo?
¿Exactamente qué ocurre en estos centros RIA? ¿Cuáles son las características pedagógicas de las actividades? ¿El tiempo dedicado a esas actividades funcionan más como un distractor educativo que un generador de capacidades? Hasta ahora no es posible contar una historia detallada y plausible sobre por qué esas niñas y esos niños están comparativamente peor sin conocer una historia igualmente detallada sobre el funcionamiento de estos centros. Una historia que no existe porque no ha habido un ejercicio consistente de transparencia, monitoreo y evaluación sobre el gasto de los recursos públicos destinados a proyectos. Por ellos creemos fundamente un ejercicio de rendición de cuentas y honestidad de cara a los resultados de este análisis… se lo deben a 81 mil niñas y niños.
Nota Metodológica
Para hacer estas estimaciones, se procesaron los resultados de la prueba ENLACE por escuela de 2009 y 2013. Posteriormente, las escuelas fueron georeferenciadas utilizando su clave de centro de trabajo. Para agregar los datos sociodemográficos, se consideraron las “Estadísticas Censales a Escalas Geo-electorales” publicadas por el INEGI.
Las regresiones por mínimos cuadrados ordinarios siguen la forma de Diferencias en Diferencias, controlando además por el porcentaje de viviendas con automóvil, porcentaje de viviendas con internet, porcentaje de la población de tres años y más que habla lengua indígena, porcentaje de la población afiliada al IMSS, y variables dummy para indicar si la escuela es particular o general, o si las escuela es de turno matutino. Además, se utilizó la especificación de errores estándar robustos en todas las regresiones.
Para descargar la base de datos y el código de las estimaciones, puedes dar click en esta liga (http://bit.ly/1LfKSph)
1 Para leer más sobre resultados poco confiables y factor copia, ver “Notas sobre la cancelación de ENLACE” de Mexicanos Primero.
Sólo en línea.
Merino y Fierro, extraordinario trabajo para la reflexión y análisis, además de tema para
polemizar y defender posiciones.
Excelente perspectiva para encontrar parte de lo que debe suceder en el sector educativo.
Ninguna cantidad de dinero servira para quitarle lo burro a la mayoría de los maestros que son el verdadero asunto y problema. Mas barato y rápido sería traer maestros de china o corea y que enderezen las cosas.