En el boletín anterior se presentaron los primeros seis pasos de los doce que propone Steven M. Downing¹ para el desarrollo de pruebas. En este número se enuncian los pasos restantes, los cuales abarcan desde la aplicación de la prueba hasta la elaboración del reporte técnico.
Paso 7. Aplicación de la prueba. Este es el aspecto más público y evidente de la evaluación, y se refiere a la estandarización de las condiciones de aplicación (límite de tiempo, supervisión, condiciones ambientales propicias, etcétera). Cuando se trata de pruebas de lápiz y papel, es fundamental garantizar que todos los materiales sean enviados al sitio de aplicación, recibidos por los supervisores, distribuidos a los examinados y luego recogidos y devueltos en condiciones de seguridad. Para ello, se requiere una planificación logística y una organización detallada. En el caso de las pruebas aplicadas en computadora, esta actividad suele delegarse a la empresa que proporciona la red de cómputo, pero se debe tener cuidado con la transmisión electrónica de los reactivos y los datos de las respuestas obtenidas.
Paso 8. Calificación de las respuestas del examen. Las respuestas de los examinados se califican aplicando reglas, algoritmos o rúbricas. La calificación puede ser simple o compleja: los reactivos de opción múltiple suelen calificarse más rápidamente y de manera objetiva, mientras que los de respuesta construida se califican de forma confiable mediante expertos que reciben entrenamiento y supervisión. Según el modelo de calificación determinado, en este proceso se debe hacer un resumen de las estadísticas de los reactivos y de toda la prueba.
Paso 9. Establecimiento de calificaciones aprobatorias (puntos de corte). No todas las pruebas requieren puntos de corte, y para aquellas que sí, los métodos y procedimientos necesitan una planificación exhaustiva. Existen diferentes métodos, tanto relativos como absolutos, y ninguno es más correcto que otro; sin embargo, todos requieren del juicio humano y abordan la pregunta: “¿Cuánto conocimiento se necesita para ser clasificado entre los aprobados del examen?”. Los resultados finales de este proceso son los puntos de corte y la cantidad de sustentantes en cada nivel de desempeño.
Paso 10. Reporte de los resultados del examen. Esta tarea es compleja y está relacionada con la imparcialidad, la oportunidad, la adecuación de la calificación y la prevención de usos incorrectos de las calificaciones. Uno de los errores más graves es hacer públicos reportes incorrectos, especialmente si la condición de aprobado o reprobado cambia debido a errores de calificación. Los reportes deben redactarse con un lenguaje claro y accesible.
Paso 11. Banco de reactivos. Estos bancos requieren el uso de sistemas informáticos que varían desde los más sencillos y económicos hasta los más complejos y costosos; sin embargo, todos deben almacenar los reactivos de manera segura junto con su información relevante para su uso futuro. Deben ser flexibles y adaptables, así como tener la capacidad de clasificar y recuperar información de los reactivos. La seguridad de los bancos es primordial, ya que su vulneración compromete la validez del examen.
Paso 12. Reporte técnico de la prueba. Este documento culmina el desarrollo de la prueba y tiene como objetivo proporcionar una documentación rigurosa de toda la evidencia de validez, identificar amenazas y hacer recomendaciones de mejora. Describe todos los aspectos relevantes del desarrollo, la aplicación, la calificación, el reporte, el análisis y la evaluación de la prueba.
Estos 12 pasos se detallan en el capítulo I del Manual para el desarrollo de pruebas a gran escala, editado por el Ceneval, que forma parte de su biblioteca.
¹Downing, S. M. (2012). Doce pasos para el desarrollo de pruebas eficaces. En S. M. Downing & T. M. Haladyna (Eds). Manual para el desarrollo de pruebas a gran escala (pp. 25-60). Ceneval.
