Los Estándares para pruebas educativas y psicológicas¹, indican que una de las fuentes de evidencia de validez es la basada en los procesos de respuesta. Dicha evidencia se puede obtener a partir de análisis teóricos y empíricos que den cuenta de la congruencia entre el constructo y las respuestas emitidas por los sustentantes.
Una manera de lograr lo anterior es por medio de un análisis detallado de sus respuestas individuales a partir de los modelos de diagnóstico cognitivo (MDC), ya que permiten identificar las fortalezas y áreas de oportunidad de los sustentantes. Estos modelos combinan la psicometría y la psicología cognitiva de tal forma que se analizan los patrones de respuestas de cada sustentante en una prueba para determinar cuáles atributos domina y cuáles no y, finalmente, clasificarlo en una clase latente. Para ello se debe diseñar a priori una matriz llamada Q, la cual representa la estructura que se comprobará empíricamente, ya que en ella se especifican los atributos que cada reactivo debe medir.
Por lo regular, participan diferentes comités de expertos para la elaboración de la matriz Q y se emplean metodologías específicas. Estas matrices pueden ser sencillas o complejas, lo cual depende de la cantidad de atributos que mida cada reactivo. Sin embargo, hay que tener en cuenta que el total de clases latentes se incrementa y la interpretación de cada una es más difícil.
El siguiente paso es seleccionar el modelo que se empleará. Esto depende, entre otros aspectos, de dos situaciones: a) si los atributos están en escala dicotómica o politómica y b) de la manera en que se relacionan las habilidades cognitivas o atributos (estructura compensatoria o no compensatoria). Existen diferentes modelos, pero los más utilizados son los llamados DINA, G-DINA (por sus siglas en inglés) y el de reparametrización unificado (Sessoms & Henson, 2018).²
El resultado final de la aplicación de estos modelos es la clasificación de los sustentantes en perfiles de atributos en función de sus patrones de respuestas. Además de la matriz Q, la cantidad de perfiles se obtiene mediante los parámetros de los reactivos, la probabilidad de pertenecer a uno u otro, así como de los análisis estadísticos y psicométricos de cada uno de los modelos.
Desde su diseño, las pruebas deben estar conceptualizadas a partir de un modelo cognitivo de desempeño de tareas, en el que se especifiquen las estructuras cognitivas de los conocimientos y las habilidades que se evaluarán.
Para conocer más acerca de este tema, lo invitamos a leer el artículo “Introducción a los modelos de diagnóstico cognitivo”, en el décimo número de la revista Ceneval Investiga.
¹ American Educational Research Association [AERA], American Psychological Association [APA] Standards for educational and & National Council on Measurement in Education [NCME] (2014) psychological testing. Washington, DC: American Educational Research Association.
² Sessoms, J. & Henson, R. A. (2018). Applications of diagnostic classification models: A literature review and critical commentary. Measurement: Interdisciplinary Research and Perspectives, 16(1), 1-17. https://doi.org/10.1080/15366367.2018.1435104
