A raíz del confinamiento provocado por la pandemia de covid-19, en el 2020 el Ceneval comenzó a aplicar sus exámenes con la modalidad desde casa, de manera remota desde el domicilio de los sustentantes. En el siguiente año, 2021, además de la modalidad desde casa, se aplicaron exámenes en línea e impresos, desde alguna sede establecida por el Centro. Esto motivó la realización de un estudio que evaluara los efectos potenciales de la modalidad del examen desde casa en comparación con la del examen impreso sobre el desempeño de los sustentantes de 30 EGEL Plus para garantizar la equivalencia de las modalidades de evaluación.
Método
Se emplearon los datos de las aplicaciones (de diciembre 2021 y marzo de 2022) del examen desde casa y del examen impreso de la sección disciplinar de los EGEL Plus, sin incluir aquellos en los que se presentaron reactivos de innovación. Con base en el método completo de emparejamiento (full matching) se calculó la puntuación de propensión (propensity score) para emular la distribución de las covariables, como si los grupos hubieran sido conformados por medio de una asignación aleatoria en un experimento controlado. Esto permite detectar diferencias en la puntuación total del instrumento que pudieran adjudicarse con mayor certeza a la modalidad de aplicación del examen y no a diferencias en la habilidad de los sustentantes.
Análisis estadístico
La puntuación de propensión se calculó para cada sustentante por medio de una regresión logística que tuvo como variable dependiente la probabilidad de pertenecer al grupo del examen desde casa o al del examen impreso y se emparejaron aquellos con puntuación similar. Posteriormente, se realizó un análisis a nivel de las puntuaciones totales por medio de un modelo lineal. Se ajustaron 30 modelos para 2021 y el mismo número para 2022 (uno por EGEL Plus), utilizando los pesos derivados de la técnica de emparejamiento.
Resultados
Comparación de puntuaciones totales
Se realizaron dos modelos lineales para cada uno de los 30 grupos de examinados (uno sin usar algún método de emparejamiento y el otro después de usarlo). No se observaron diferencias en la mayoría de los grupos de examinados en las aplicaciones de ambos años. Sin embargo, en las comparaciones con emparejamiento se observó que con la modalidad desde casa las puntuaciones obtenidas fueron menores en cuatro EGEL para la aplicación 2021 y en tres para la de 2022.
Conclusión
No se detectaron diferencias importantes a causa de la modalidad de aplicación, por lo que las calificaciones obtenidas con el examen impreso y con el examen desde casa son prácticamente intercambiables. Para conocer el texto completo lo invitamos a leer el artículo “Impacto de la modalidad de aplicación en el desempeño de los EGEL Plus Disciplinares”, en el séptimo número de la revista Ceneval Investiga.