Las principales características del proceso III de la metodología Ceneval, correspondiente a la construcción del banco de reactivos, se presentaron en la edición 50 del boletín Ceneval Comunica. En esta ocasión se muestra el proceso IV. Piloteo y verificación empírica, el cual está conformado por dos fases: el estudio piloto y el análisis estadístico de los reactivos y del examen.
Con el estudio piloto se ponen a prueba los reactivos o el examen completo mediante la aplicación, en condiciones controladas, de una muestra lo más representativa posible de la población objetivo (piloteo en versiones o experimental); de la valoración de especialistas en el contenido que conozcan las características de los evaluados (juicio de expertos); o bien, de grupos reducidos de sustentantes (grupo focal y entrevista cognitiva). En el Ceneval se pueden elegir una o más modalidades de piloteo y esto depende del tiempo de ejecución, el tamaño de la muestra y los costos.
Esta fase permite verificar, entre otros aspectos, la claridad de las instrucciones, la pertinencia del contenido, el formato y el orden de los reactivos, así como el funcionamiento de los recursos tecnológicos, cuando la aplicación es desde casa.
Además, se obtiene información para la siguiente fase que consiste en el análisis estadístico de los reactivos y del examen, con el cual se determinan sus características psicométricas a partir de los datos conseguidos en el estudio piloto experimental o en versiones. Con esta información se da soporte empírico a lo que se estableció en la estructura del examen, es decir, se comprueba la dimensionalidad del examen y el modelo de medición, lo cual determinará la forma en que se deben estimar los parámetros psicométricos de los reactivos (su dificultad, poder de discriminación o pseudo adivinación, según sea el caso). Posteriormente, se seleccionan aquellos reactivos que conformarán las versiones del instrumento y los que se deben descartar o revisar del banco de reactivos.
Con esta información se definen los puntos de corte para maximizar la precisión con la cual se mide alrededor de ellos y, a partir de los cuales, se diseñan las versiones alternas o equivalentes, que deben contar con características similares. Finalmente, en estos análisis también se incluye el detectar si los reactivos presentan comportamientos inesperados debido a algún error en la asignación de su clave de respuesta correcta, un mal funcionamiento de los distractores, la falta de discriminación, el funcionamiento diferencial del reactivo, así como problemas de seguridad, copia o fraude.
Con los resultados de estas dos fases se robustece el banco de reactivos calibrados, se retroalimenta el diseño de la evaluación, se construyen versiones equivalentes y se establecen los puntos de corte. Al final se toman decisiones sobre ajustes que se deben hacer a la estructura del examen o a las especificaciones de los reactivos, así como a la trayectoria que deben seguir antes de la aplicación operativa.
Los reactivos que conforman este estudio piloto no se utilizan para la calificación de los sustentantes. Por último, el análisis estadístico de los reactivos y del examen se lleva a cabo en tres momentos: a) después del estudio piloto, b) después de la aplicación operativa pero antes de la calificación y c) después de la calificación que se emplea para el diagnóstico integral del examen.
