Pruebas adaptativas computarizadas: Introducción

Las pruebas adaptativas computarizadas (PAC) son un enfoque de evaluación basado en IA donde la prueba se personaliza en función de su desempeño a medida que realiza la prueba, lo que hace que la prueba sea más corta, más precisa, más segura, más atractiva y más justa. Si le va bien, los elementos se vuelven más difíciles y, si le va mal, los elementos se vuelven más fáciles. Si se alcanza una puntuación precisa, la prueba se detiene antes. Al adaptar la dificultad de las preguntas al desempeño de cada examinado, PAC garantiza un proceso de prueba eficiente y seguro.

Los algoritmos de IA casi siempre se basan en la teoría de respuesta al ítem (TRI), una aplicación del aprendizaje automático a la evaluación, pero también pueden basarse en otros modelos.

 

¿Prefieres aprender haciendo? Solicite una cuenta gratuita en FastTest, nuestra poderosa plataforma de pruebas adaptativas.

¿Qué son las pruebas adaptativas computarizadas?

Las pruebas adaptativas computarizadas (PAC), a veces llamadas pruebas adaptativas por computadora, evaluación adaptativa o pruebas adaptativas, son un algoritmo que personaliza cómo se entrega una evaluación a cada examinado. Está codificada en una plataforma de software, utilizando el enfoque de aprendizaje automático de TRI para seleccionar elementos y calificar a los examinados. El algoritmo procede en un bucle hasta que se completa la prueba. Esto hace que la prueba sea más inteligente, más corta, más justa y más precisa.

Los pasos del diagrama anterior están adaptados de Kingsbury y Weiss (1984) en función de estos componentes.

Componentes de una pruebas adaptativas computarizadas

1. Banco de ítems calibrado con TRI
2. Punto de inicio (nivel theta antes de que alguien responda un ítem)
3. Algoritmo de selección de ítems (normalmente, máxima información de Fisher)
4. Método de puntuación (p. ej., máxima verosimilitud)
5. Criterio de finalización (¿detener la prueba en 50 ítems o cuando el error estándar sea inferior a 0,30? ¿Ambos?)

Cómo funcionan los componentes

Para empezar, necesitas un banco de ítems que haya sido calibrado con un modelo psicométrico o de aprendizaje automático relevante. Es decir, no puedes simplemente escribir unos pocos ítems y clasificarlos subjetivamente como de dificultad Fácil, Media o Difícil. Esa es una forma fácil de ser demandado. En cambio, necesitas escribir una gran cantidad de ítems (la regla general es 3 veces la duración prevista de la prueba) y luego probarlos en una muestra representativa de examinados. La muestra debe ser lo suficientemente grande para soportar el modelo psicométrico que elijas, y puede variar de 100 a 1000. Luego necesitas realizar una investigación de simulación (más sobre eso más adelante).

Una vez que tenga un banco de elementos listo, así es como funciona el algoritmo de prueba adaptativa computarizada para un estudiante que se sienta a tomar la prueba, con opciones sobre cómo hacerlo.

1. Punto de partida: hay tres opciones para seleccionar la puntuación inicial, que los psicometristas llaman theta
   • Todos obtienen el mismo valor, como 0,0 (promedio, en el caso de modelos que no son Rasch)
   • Aleatorizado dentro de un rango, para ayudar a probar la seguridad y la exposición del artículo
   • Valor previsto, tal vez a partir de datos externos o de un examen anterior
2. Seleccionar artículo
   
   • Encuentra el elemento en el banco que tenga el mayor valor informativo
   • A menudo, es necesario equilibrar esto con restricciones prácticas, como la exposición del artículo o el equilibrio del contenido.
3. Calificar al examinado
   
   • Generalmente IRT, máxima verosimilitud o modal bayesiano
4. Evaluar el criterio de terminación: utilizando una regla predefinida respaldada por su investigación de simulación
   
   • ¿Se alcanza un cierto nivel de precisión, como un error estándar de medición < 0,30?
   • ¿No quedan artículos buenos en el banco?
   • ¿Se alcanzó un límite de tiempo?
   • ¿Se ha alcanzado el límite máximo de artículos?

El algoritmo funciona repitiendo los pasos 2-3-4 hasta que se satisface el criterio de terminación.

¿Cómo se adapta la prueba? ¿Por dificultad o cantidad?

Las PAC funcionan adaptando tanto la dificultad como la cantidad de elementos que ve cada examinado.

Dificultad
La mayoría de las caracterizaciones de las pruebas adaptativas computarizadas se centran en cómo se combina la dificultad de los elementos con la capacidad del examinado. Los examinados de alta capacidad reciben elementos más difíciles, mientras que los de baja capacidad reciben elementos más fáciles, lo que tiene importantes beneficios para el estudiante y la organización. Una prueba adaptativa generalmente comienza entregando un elemento de dificultad media; si lo responde correctamente, recibe un elemento más difícil, y si lo responde incorrectamente, recibe un elemento más fácil. Este patrón continúa.

Cantidad: longitud fija frente a longitud variable
Una faceta menos publicitada de la adaptación es la cantidad de elementos. Las pruebas adaptativas pueden diseñarse para detenerse cuando se alcanzan ciertos criterios psicométricos, como un nivel específico de precisión de la puntuación. Algunos examinados terminan muy rápidamente con pocos elementos, por lo que las pruebas adaptativas suelen tener aproximadamente la mitad de preguntas que una prueba regular, con al menos la misma precisión. Dado que algunos examinados tienen exámenes más largos, estos exámenes adaptativos se denominan de duración variable. Obviamente, esto supone un beneficio enorme: reducir el tiempo de examen a la mitad, en promedio, puede reducir sustancialmente los costos de los exámenes.

Algunas pruebas adaptativas utilizan una duración fija y solo adaptan la dificultad de los ítems. Esto es simplemente por cuestiones de relaciones públicas, es decir, la incomodidad de tratar con examinados que sienten que fueron tratados injustamente por el PAC, a pesar de que se podría decir que es más justo y válido que las pruebas convencionales. En general, es una mejor práctica fusionar los dos: permitir que la duración de la prueba sea más corta o más larga, pero poner límites en cada extremo que eviten pruebas inadvertidamente demasiado cortas o pruebas que potencialmente podrían llegar a 400 ítems. Por ejemplo, el NCLEX tiene un examen de duración mínima de 75 ítems y el examen de duración máxima de 145 ítems.

Ejemplo de algoritmo de prueba adaptativa computarizada

Veamos un ejemplo muy simplificado. Aquí tenemos un banco de preguntas con 5 preguntas. Comenzaremos con una pregunta de dificultad promedio y responderemos como lo haría un estudiante con una dificultad por debajo del promedio.

A continuación se muestran las funciones de información de las preguntas para cinco preguntas de un banco. Supongamos que la theta inicial es 0,0.

1. Encontramos el primer elemento a entregar. ¿Qué elemento tiene la información más alta en 0.0? Es el elemento 4.
2. Supongamos que el estudiante responde incorrectamente.
3. Ejecutamos el algoritmo de puntuación IRT y suponemos que la puntuación es -2.0.
4. Comprobamos el criterio de terminación; ciertamente no hemos terminado todavía, después de 1 elemento.
5. Encontramos el siguiente elemento. ¿Cuál tiene la información más alta en -2.0? Elemento 2.
6. Supongamos que el estudiante responde correctamente.
7. Ejecutamos el algoritmo de puntuación IRT y suponemos que la puntuación es -0.8.
8. Evaluamos el criterio de terminación; aún no hemos terminado.
9. Encontramos el siguiente elemento. El elemento 2 es el más alto en -0.8 pero ya lo usamos. El elemento 4 es el siguiente mejor, pero ya lo usamos. Entonces, el siguiente mejor es el elemento 1.
10. El elemento 1 es muy fácil, por lo que el estudiante lo responde correctamente.
11. La nueva puntuación es -0.2.
12. El mejor elemento restante con -0,2 es el elemento 3.
13. Supongamos que el estudiante responde incorrectamente.
14. La nueva puntuación es quizás -0,4.
15. Evalúa el criterio de finalización. Supón que la prueba tiene un máximo de 3 elementos, un criterio extremadamente simple. Lo hemos cumplido. La prueba ya está hecha y se envió automáticamente.

 

Los examinados pueden avanzar a su propio ritmo. Algunos pueden avanzar rápidamente y terminar con solo 30 ítems. Otros pueden dudar, también ver 30 ítems pero tomar más tiempo. Aún así, otros pueden ver 60 ítems. Los algoritmos pueden diseñarse para maximizar el proceso.

Ventajas de las pruebas computarizadas en general

Por supuesto, las ventajas de usar una computadora para realizar una prueba también son relevantes. A continuación, se presentan algunas

• Informe de puntaje inmediato
• Las pruebas a pedido pueden reducir la impresión, la programación y otras preocupaciones basadas en papel
• Almacenar los resultados en una base de datos de inmediato facilita la gestión de datos
• Las pruebas computarizadas facilitan el uso de multimedia en los ítems
• Puede ejecutar informes psicométricos de inmediato
• Los plazos se reducen con un sistema de banco de ítems integrado

 

Cómo desarrollar una evaluación adaptativa que sea válida y defendible

Las PAC son el futuro de la evaluación. Funcionan adaptando tanto la dificultad como la cantidad de ítems a cada examinado individual. El desarrollo de una prueba adaptativa no es una tarea fácil y requiere cinco pasos que integren la experiencia de los desarrolladores de contenido de pruebas, ingenieros de software y psicometristas.

El desarrollo de una prueba adaptativa de calidad es complejo y requiere psicometristas experimentados tanto en calibración de la teoría de respuesta al ítem (TRI) como en investigación de simulación PAC. FastTest puede proporcionarle el psicometrista y el software; si proporciona ítems de prueba y datos piloto, podemos ayudarlo a publicar rápidamente una versión adaptativa de su prueba.

   Paso 1: Estudios de viabilidad, aplicabilidad y planificación. Primero, debe realizarse una investigación exhaustiva de simulación de Monte Carlo y los resultados deben formularse como casos de negocios para evaluar si las pruebas adaptativas son factibles, aplicables o incluso posibles.

   Paso 2: Desarrollar un banco de ítems. Se debe desarrollar un banco de ítems para cumplir con las especificaciones recomendadas en el Paso 1.

   Paso 3: Realizar pruebas previas y calibrar el banco de ítems. Los ítems deben probarse de manera piloto en 200 a 1000 examinados (dependiendo del modelo de TRI) y ser analizados por un psicometrista con doctorado.

   Paso 4: Determinar las especificaciones para la PAC final. Los datos del Paso 3 se analizan para evaluar las especificaciones de la PAC y determinar los algoritmos más eficientes utilizando software de simulación de PAC como CATSim.

   Paso 5: Publicar la PAC en vivo. La prueba adaptativa se publica en un motor de pruebas capaz de realizar pruebas totalmente adaptativas basadas en TRI. No hay muchos de ellos en el mercado. ¡Regístrese para obtener una cuenta gratuita en nuestra plataforma  FastTest  y pruébelo usted mismo!

¿Quiere obtener más información sobre nuestro modelo único? Haga clic aquí para leer el artículo fundamental de nuestros dos cofundadores. Hay más investigaciones sobre pruebas adaptativas disponibles aquí.

Requisitos mínimos para las pruebas adaptativas computarizadas

A continuación, se indican algunos requisitos mínimos que debe evaluar si está considerando adoptar el enfoque PAC.

• Un gran banco de ítems probado de modo que cada ítem tenga al menos 100 respuestas válidas (modelo Rasch) o 500 (modelo 3PL)
• 500 examinados por año
• Software especializado de calibración TRI y simulación PAC como  Xcalibre  y  CATSim.
• Personal con un doctorado en psicometría o un nivel equivalente de experiencia. O aproveche nuestra experiencia reconocida internacionalmente en el campo.
• Ítems (preguntas) que se puedan calificar objetivamente como correctos/incorrectos en tiempo real
• Un sistema de banco de ítems y una plataforma de entrega PAC
• Recursos financieros: debido a que es tan complejo, el desarrollo de un PAC costará al menos $10,000 (USD), pero si está evaluando grandes volúmenes de examinados, será una inversión significativamente positiva. Si pagas $20/hora para supervisar los asientos y reduces la duración de un examen de 2 horas a 1 hora para solo 1000 examinados… eso es un ahorro de $20 000. ¿Y si estás haciendo 200 000 exámenes? Eso es un ahorro de $4 000 000 en tiempo de asiento.

 

Pruebas adaptativas: recursos para leer más

Visite los enlaces a continuación para obtener más información sobre la evaluación adaptativa.

• Primero le recomendamos que lea este artículo fundamental de nuestros cofundadores.
• Lea este artículo sobre cómo producir mejores mediciones con PAC del profesor David J. Weiss.
• Asociación Internacional para Pruebas Adaptativas Computarizadas: www.iacat.org
• A continuación, se incluye el enlace al seminario web sobre la historia de PAC, a cargo del padrino de PAC, el profesor David J. Weiss.

Ejemplos las pruebas adaptativas computarizadas

Muchas evaluaciones a gran escala utilizan tecnología adaptativa. El GRE (Graduate Record Examinations) es un excelente ejemplo de una prueba adaptativa. También lo es el NCLEX (examen de enfermería en los EE. UU.), el GMAT (admisión a escuelas de negocios) y muchas evaluaciones formativas como el NWEA MAP. El SAT ha pasado recientemente a un formato adaptativo de varias etapas.

Cómo implementar las pruebas adaptativas computarizadas

Nuestra revolucionaria plataforma,  FastTest, facilita la publicación de un CAT. Una vez que cargue los textos de sus artículos y los parámetros IRT, puede elegir las opciones que desee para los pasos 2, 3 y 4 del algoritmo, simplemente haciendo clic en los elementos en nuestra interfaz fácil de usar.

Contáctenos para registrarse para obtener una cuenta gratuita en nuestra plataforma PAC líder en la industria o para hablar con uno de nuestros psicometristas con doctorado.