Para asegurar el logro del objetivo de las evaluaciones del Centro, su metodología establece que se debe verificar continuamente la calidad de las pruebas que están en operación, mediante un proceso de piloteo y verificación empírica. Este proceso es fundamental para el mantenimiento de un examen, ya que para generar futuras versiones es necesario probar reactivos de los que aún no se tiene información estadística. A partir de un piloteo, se realizan análisis en los que se obtienen datos que indican la calidad de la información que brinda cada nuevo reactivo, para decidir si debe o no aparecer en una siguiente versión de la prueba e identificar los que se utilizarán para calificar a los sustentantes y los que deben ser inhabilitados.
A diferencia de un examen nuevo, en el que el piloteo es experimental, para el mantenimiento de una prueba en operación el diseño ideal es el piloteo en versiones. En éste, los reactivos nuevos se integran en una versión del examen que se presentará en una evaluación real, el cual la población a la que está dirigido resolverá en las mismas condiciones de motivación, cansancio y supervisión a las que se enfrentan los sustentantes en una aplicación. Los reactivos piloteados en versiones no se toman en cuenta para la calificación, por lo que una característica fundamental de este tipo de piloteo es que los sustentantes no tengan conocimiento sobre cuáles reactivos son nuevos. De esta manera se evita el riesgo de que no los respondan y se logra que se desempeñen de la misma forma en que lo harían con los reactivos que sí se califican.
Los grandes desafíos de este piloteo son el control del ensamble de las versiones para generar una cantidad que permita probar un gran número de reactivos, y la distribución en varias aplicaciones para que las versiones las responda un número su-ficiente de sustentantes y que éste sea representativo de toda la población que aplica la prueba. La cantidad de reactivos piloteados en cada versión depende de las características de la evaluación, la prueba y el tamaño de la población sustentante. El Ceneval, fiel a su compromiso de mantener la calidad de sus exámenes, realiza este tipo de piloteo en sus pruebas en operación para contar con bancos de reactivos robustos, tener la cantidad necesaria para utilizarlos en distintas versiones de cada prueba y asegurar que las preguntas consideradas para la calificación cumplan con su objetivo.
