A raíz del confinamiento debido a la pandemia por covid-19, el Ceneval implementó en varios de sus exámenes la aplicación remota (desde casa), la cual cuida la seguridad de las pruebas y la validez de sus resultados mediante un navegador seguro que impide que los sustentantes ingresen a otra página, programa o funcionalidad mientras contestan la prueba. Asimismo, es necesario que conecten el micrófono y la cámara de sus computadoras. Una vez que se verifican todos los filtros, los sustentantes visualizan los reactivos de la misma forma que la aplicación en línea. Sin embargo, mientras que en la aplicación en línea sí pueden hacer cambios a reactivos que ya han contestado, en la modalidad desde casa, una vez que el sustentante contesta el reactivo y avanza al siguiente, no puede regresar a visualizar los anteriores y mucho menos cambiar las respuestas asignadas. Ante esta situación, nos preguntamos si esta modalidad de aplicación compromete la equidad de la evaluación. Para conocer la respuesta se elaboró el presente estudio, cuyo propósito es identificar aquellos reactivos con funcionamiento diferencial (DIF) considerando las respuestas del EXANI-II, en las dos modalidades de aplicación (en línea y desde casa).
Se analizaron 120 reactivos que conforman las diferentes áreas del EXANI-II (Admisión y Diagnóstico), cuyas respuestas provenían de 5 959 sustentantes, tanto en la modalidad en línea (18%) como desde casa (82%). Se emplearon tres métodos de detección de DIF: a) Mantel-Haenszel, b) Lord (IRT-1PL) y c) Raju (IRT-1PL).
Los análisis se realizaron con la paquetería difR Collection of methods to detect dichotomous differential item functioning (DIF) in psychometrics1 de R2. A partir de los resultados, los reactivos se clasificaron en tres categorías según los criterios propuestos por el Educational Testing Service (ETS, por sus siglas en inglés):3
A=DIF no significativo
B=DIF de leve a moderado
C=DIF de moderado a alto
De acuerdo con los resultados, cinco reactivos mostraron DIF de leve a moderado (categoría B) en al menos uno de los tres métodos de detección y únicamente dos (1.7%) reportaron DIF de moderado a alto (categoría C) en los tres métodos (uno favoreciendo a los de modalidad en línea y otro a los de modalidad desde casa).
Por lo tanto, la modalidad de aplicación no afecta el desempeño de los sustentantes, es decir, los sustentantes habrían obtenido el mismo resultado si hubieran contestado el examen en línea o desde casa. Para conocer más detalles lo invitamos a leer el artículo “Comparabilidad en las aplicaciones remotas y presenciales del EXANI-II”, en el sexto número de la revista Ceneval Investiga.
1 Magis, Beland y Raiche (2013)
2 R Core Team (2018)
3 Zwick, R. (2012). Review of ETS Differential Item Functioning Assessment Procedures: Flagging Rules, Minimum Sample Size Requirements, and Criterion Refinement. Research Report ETS RR-12-08. http://dx.doi.org/10.1002/j.2333-8504.2012.tb02290.x
