Este 2024, el Ceneval cumple 30 años y lo celebra con diferentes actividades. Una de ellas tiene que ver con una serie de conferencias y talleres que especialistas externos imparten, ya que es fundamental seguir fortaleciendo y garantizando la calidad, innovación y excelencia de las evaluaciones que desarrolla el Centro. Con la capacitación técnica de las personas que participan en el proceso de construcción de nuestros instrumentos, podremos seguir a la vanguardia en temas de evaluación educativa.
Por ello, se invitó en mayo pasado al director de Assessment Systems Corporation, Dr. Nathan Thompson, quien con el lema “Malos exámenes llevan a malas decisiones” ha contribuido a mejorar los procesos de evaluación y análisis psicométricos. Él es especialista en la teoría de respuesta al ítem (TRI) y en el desarrollo de pruebas adaptativas computarizadas (PAC), herramientas que desde su punto de vista han sido poco implementadas. Por eso, uno de sus principales intereses es difundirlas y capacitar a las personas para que las usen correctamente.
Precisamente, sobre estos dos temas impartió el taller TRI/PAC, el cual se llevó a cabo en las instalaciones del Ceneval y estuvo dirigido a su personal técnico, principalmente a quienes están involucrados en los procesos de análisis psicométricos. El Dr. Thompson abordó los supuestos y componentes básicos de la TRI, la contrastó con la teoría clásica de los tests, describió sus modelos y sus aplicaciones en los análisis estadísticos de las pruebas y sus reactivos, y en la calificación de los sustentantes. Explicó lo que son las PAC, sus componentes y requerimientos, los diferentes tipos que existen, los estudios previos que se requieren para desarrollarlas, sus beneficios, los pasos para implementarlas y los análisis que se deben llevar a cabo para validarlas cuando ya estén en operación.
Asimismo, dictó la conferencia magistral “Artificial Intelligence (AI) In Assessment: Old News, New Opportunities”, a la cual asistieron alrededor de 500 personas de manera virtual y presencial. Durante una hora, conversó acerca del uso de la inteligencia artificial en la evaluación. Señaló que, a pesar de que en años recientes ha habido una gran difusión del ChatGPT, en realidad, desde hace muchos años han existido aplicaciones de esta tecnología en la evaluación. Por ejemplo, los modelos estadísticos de los análisis factoriales, en los que se buscan patrones a partir de la información cuantitativa, o las implementaciones más recientes, como las mismas PAC, la generación automática de reactivos o la automatización de la calificación de pruebas tipo ensayo.
Sin embargo, enfatizó que al implementar estas tecnologías no hay que olvidar que sigue siendo de suma importancia generar evidencias que den cuenta del buen funcionamiento de un examen y sus reactivos, es decir, que se verifiquen la validez, la confiabilidad y todo aquello que en décadas de investigación estadística ha demostrado que se requiere para garantizar la calidad de la evaluación.
Estas dos actividades son las primeras de una serie de asesorías académicas relacionadas con los proyectos de innovación del Centro propuestos en el plan estratégico 2024-2027. Finalmente, el Ceneval agradece al Dr. Thompson por esta primera visita y por compartir su visión respecto a la importancia de la psicometría, la tecnología y en torno a la situación actual del uso de la inteligencia artificial en el campo de la evaluación educativa.
