El Centro Nacional de Evaluación para la Educación Superior (Ceneval) se dio a la tarea de crear nuevos instrumentos de evaluación para la educación media y superior, es decir, los nuevos EXANI, el DOMINA-BACH Básico y el EGEL Plus. Con el objetivo de verificar la calidad de estas pruebas se llevó a cabo el proceso de piloteo. Se trata de una aplicación de reactivos nuevos, llamados pilotos, antes de que se usen para calificar, lo que permite obtener información acerca del funcionamiento de la prueba y de sus preguntas. Con el análisis estadístico de estas preguntas es posible seleccionar los mejores reactivos que formarán parte de una versión operativa del instrumento y con ello asegurar la calidad de los nuevos exámenes.
Existen diferentes modalidades para llevar a cabo un piloteo de reactivos: experimental, en versiones, focal, mediante juicio de expertos, entre otros. Tomando como base las características de los exámenes, de sus aplicaciones y sustentantes, así como los tiempos establecidos para el diseño, las modalidades utilizadas para los nuevos exámenes del Centro fueron el piloteo experimental y el piloteo en versiones.
El piloteo experimental consiste en poner a prueba un conjunto de reactivos en versiones que estarán constituidas únicamente por reactivos piloto, por lo que no se generan calificaciones. Las versiones se aplican a una muestra de la población objetivo o a una población con características lo más similares posibles. El piloteo experimental fue usado para poner a prueba los reactivos que formarán parte de los EXANI-I, II y III, el DOMINA-BACH Básico y las áreas transversales del EGEL Plus.
El piloteo en versiones consiste en incluir una determinada cantidad de reactivos piloto en las versiones operativas del examen, los cuales no forman parte de la calificación de la prueba y deben ser identificados. El piloteo en versiones se usó en los reactivos que formarán parte de las áreas disciplinares de los EGEL Plus. Este proceso pudo llevarse a cabo gracias a la colaboración de las instituciones que trabajaron de manera conjunta con el Ceneval y proporcionaron las condiciones para obtener evidencia empírica relacionada con el funcionamiento y la calidad de los reactivos. Si bien el piloteo fue un paso preliminar para generar nuevos exámenes, es necesario seguir enriqueciendo estas pruebas mediante el piloteo en versiones. El propósito es tener una mayor cantidad de reactivos que cuenten con la mejor calidad posible y, de esta manera, contribuir en la mejora continua de los instrumentos de evaluación.
Para conocer más sobre el tema, lo invitamos a leer el artículo “Piloteo: una prueba preliminar a los reactivos de los nuevos exámenes”, del cuarto número de la revista Ceneval Investiga.
JPG
