La Organización para la Cooperación y el Desarrollo Económicos (OCDE) organizó un taller con el objetivo de informar sobre el progreso en la investigación en pruebas adaptativas de múltiples etapas cuyos resultados puedan ser aplicados a las pruebas de PISA. Esta evaluación presenta condiciones que pueden ser muy distintas a otros exámenes que emplean la metodología adaptativa, debido a que se administra a grupos específicos; su aplicación debe ser en línea; se presenta en escuelas alrededor de todo el mundo y los algoritmos adaptativos apoyan óptimamente la calibración de los reactivos para obtener sus parámetros de dificultad y discriminación, así como la estimación de las habilidades de los estudiantes, entre otros aspectos relevantes.
Se presentaron cinco trabajos de investigación y se mencionaron sus experiencias usando la metodología adaptativa. Uno de los trabajos, “Ensamble por pasos para pruebas adaptativas de múltiples etapas: una aplicación para la prueba de matemáticas de PISA 2022”, indica que una de las metas principales de la metodología adaptativa es encontrar la mejor pareja entre las dificultades de los reactivos y las habilidades de los sustentantes y que en el marco de PISA esto debe obtenerse en la diversidad de los países donde se aplica para proporcionar datos adecuados.
Otro estudio, “Compromiso en pruebas adaptativas de múltiples etapas, un análisis causal basado en PISA 2018”, concluye que en las pruebas de bajo impacto los sustentantes tienen menos compromiso, ya que no hay consecuencias importantes atribuibles a su esfuerzo. Sin embargo, una prueba adaptativa podría motivar más a los sustentantes, ya que los reactivos que se les presentan son elegidos de acuerdo a su nivel de habilidad, razón por la cual pueden ser más desafiantes y esto puede reducir el aburrimiento.
En el trabajo denominado “Un diseño altamente adaptativo para PISA” se indica que, en los diseños actuales, la adaptabilidad está en la presentación de los testlets o multirreactivos, pero también se podrían seleccionar los reactivos dentro de cada uno de ellos de manera adaptativa. De hecho, es posible presentar reactivos fáciles para mejorar la experiencia de los estudiantes y la equidad. Asimismo, se presentó un estudio de simulación en el que se comparó un modelo considerando estos factores con el diseño tradicional de etapas múltiples y se concluyó que es posible usar otros algoritmos adaptativos para incrementar la equidad y disminuir el aburrimiento, lo que tiene como consecuencia la mejora en la resolución del examen.
Para conocer los estudios completos, lo invitamos a leer el artículo “Proyecto de investigación, desarrollo e innovación de PISA sobre las pruebas adaptativas de múltiples etapas: conclusiones y recomendaciones”, en el noveno número de la revista Ceneval Investiga.
