El Proyecto Integrador en Arquitectura (PROYECTOi-ARQUI) es una evaluación en la que el sustentante debe elaborar un anteproyecto arquitectónico y demostrar los saberes y habilidades adquiridos durante la licenciatura. Esta evaluación permite identificar el grado de dominio de los recién egresados y clasifica su desempeño en tres niveles: aún no satisfactorio, satisfactorio y sobresaliente.
El PROYECTOi-ARQUI se basa en tareas evaluativas con reactivos de respuesta construida, lo que complica el proceso de calificación y supone mayores retos, ya que involucra la intervención de expertos (jueces). Cada anteproyecto arquitectónico presentado es revisado por dos jueces, quienes utilizan una rúbrica, un instrumento de calificación que establece criterios de evaluación y niveles de desempeño. Esto asegura que la evaluación sea objetiva y minimiza las percepciones individuales de los jueces.
Para garantizar que los jueces actúen de manera adecuada, el supervisor se encarga de asesorar y supervisar todo el proceso a través de una plataforma de calificación en línea. Tras seleccionar a los jueces y al supervisor, se llevan a cabo dos procesos de capacitación: uno para el supervisor, que le permite adquirir habilidades de monitoreo y retroalimentación, y otro para todos los participantes, donde se abordan las características de la evaluación, el uso de la rúbrica y la plataforma.
Además, se realizan prácticas para revisar discrepancias en las puntuaciones y proporcionar retroalimentación, evitando así interpretaciones personales. Esta capacitación ayuda a evidenciar que los jueces comprenden los criterios de evaluación y se calibran y estandarizan mediante ejercicios constantes. Dado que el objetivo es alcanzar consenso en las calificaciones de un mismo sustentante entre dos jueces, se calcula la confiabilidad a través del Kappa de Cohen, lo que permite identificar acuerdos y discrepancias.
Durante el proceso de calificación, el supervisor monitorea las estadísticas de concordancia entre los jueces. Si la coincidencia exacta es inferior al 70 % o hay discrepancias extremas, se dialoga para exponer las razones de las calificaciones y decidir sobre posibles modificaciones. Si persisten las discrepancias, se solicita la evaluación de un tercer juez para resolverlas.
Como se puede observar, este proceso de calificación es complejo. Para conocer más sobre el tema, se recomienda leer el artículo “Proyecto Integrador en Arquitectura, un reto para la confiabilidad de la calificación”, publicado en el décimo primer número de la revista Ceneval Investiga, donde se presentan los resultados de las evaluaciones realizadas entre junio y noviembre de 2023.
