Simulación de Monte Carlo en pruebas adaptativas

Los estudios de simulación son un paso esencial en el desarrollo de una prueba adaptativa computarizada (CAT, por sus siglas en inglés) que sea defendible y satisfaga las necesidades de su organización u otras partes interesadas. Hay tres tipos de simulaciones: Monte Carlo, Datos Reales (post hoc) e Híbridas.

La simulación de Monte Carlo es el enfoque de propósito más general y el que se usa con más frecuencia al principio del proceso de desarrollo de una CAT. Esto se debe a que no requiere datos reales, ni sobre los elementos de la prueba ni sobre los examinados, aunque los datos reales son bienvenidos si están disponibles, lo que la hace extremadamente útil para evaluar si la CAT es factible para su organización antes de invertir dinero en seguir adelante.

Comencemos con una descripción general de cómo funciona la simulación de Monte Carlo antes de volver a ese punto.

Cómo funciona una simulación de Monte Carlo: una descripción general

En primer lugar, ¿qué queremos decir con simulación CAT? Bueno, una CAT es una prueba que se administra a los estudiantes a través de un algoritmo. Podemos usar ese mismo algoritmo en examinados imaginarios o en examinados reales del pasado y simular qué tan bien se desempeña una CAT en ellos.

Lo mejor de todo es que podemos cambiar las especificaciones del algoritmo para ver cómo afecta a los examinados y al desempeño de la CAT.

Cada enfoque de simulación requiere tres cosas:

1. Parámetros de los ítems de la teoría de respuesta al ítem (TRI), aunque ahora se están desarrollando nuevos métodos CAT, como los modelos de diagnóstico.
2. Puntuaciones del examinado (theta) de la TRI.
3. Una forma de determinar cómo responde un examinado a un ítem si el algoritmo CAT dice que se le debe entregar.

El enfoque de simulación de Monte Carlo se define por la forma en que aborda el tercer requisito: genera una respuesta utilizando algún tipo de modelo matemático, mientras que los otros dos enfoques de simulación buscan respuestas reales de examinados anteriores (enfoque de datos reales) o una combinación de los dos (híbrido).

El enfoque de simulación de Monte Carlo solo utiliza el proceso de generación de respuestas. Los parámetros de los ítems pueden provenir de un banco de ítems reales o generarse.

Asimismo, los thetas de los examinados pueden provenir de una base de datos de datos anteriores o generarse.

¿Cómo funciona el proceso de generación de respuestas?

Bueno, difiere según el modelo que se use como base para el algoritmo CAT. Aquí, supongamos que estamos usando el modelo logístico de tres parámetros. Empecemos por suponer que tenemos un examinado falso con un theta verdadero de 0,0. El algoritmo CAT busca en el banco y dice que debemos administrar el ítem #17 como el primer ítem, que tiene los siguientes parámetros de ítem: a = 1,0, b = 0,0 y c = 0,20.

Bueno, simplemente podemos introducir esos números en la ecuación para el modelo de tres parámetros y obtener la probabilidad de que esta persona responda correctamente este ítem.

La probabilidad, en este caso, es 0,6. El siguiente paso es generar un número aleatorio del conjunto de todos los números reales entre 0,0 y 1,0. Si ese número es menor que la probabilidad de respuesta correcta, el examinado “obtiene” el ítem correcto. Si es mayor, el examinado obtiene el ítem incorrecto. De cualquier manera, el examinado es calificado y el algoritmo CAT continúa.

Para cada ítem que se presente para ser utilizado, utilizamos este mismo proceso. Por supuesto, el theta verdadero no cambia, pero los parámetros del ítem son diferentes para cada ítem. Cada vez, generamos un nuevo número aleatorio y lo comparamos con la probabilidad para determinar una respuesta correcta o incorrecta.

El algoritmo CAT procede como si un examinado real estuviera al otro lado de la pantalla de la computadora, respondiendo realmente a las preguntas, y se detiene cuando se satisface el criterio de terminación. Sin embargo, el mismo proceso se puede utilizar para “entregar” exámenes lineales a los examinados; En lugar de que el algoritmo CAT seleccione el siguiente elemento, simplemente lo procesamos secuencialmente a través de la prueba.

Un camino hacia la investigación

Para un solo examinado, este proceso no es mucho más que una curiosidad. Donde se vuelve útil es a un nivel agregado de gran escala. Imagine el proceso anterior como parte de un ciclo mucho más grande. Primero, establecemos un grupo de 200 elementos extraídos de elementos utilizados en el pasado por su programa. A continuación, generamos un conjunto de 1000 examinados extrayendo números de una distribución aleatoria.

Finalmente, recorremos cada examinado y administramos una CAT utilizando el algoritmo CAT y generando respuestas con el proceso de simulación de Monte Carlo. Luego, tenemos datos extensos sobre cómo se desempeñó el algoritmo CAT, que se pueden usar para evaluar el algoritmo y el banco de elementos. Los dos más importantes son la longitud de la CAT y su precisión, que son una compensación en la mayoría de los casos.

Entonces, ¿cómo es esto útil para evaluar la viabilidad de la CAT?

Bueno, puede evaluar el rendimiento del algoritmo CAT configurando un experimento para comparar diferentes condiciones. Supongamos que no tiene elementos anteriores y ni siquiera está seguro de cuántos elementos necesita. Bueno, puede crear varios bancos de elementos falsos diferentes y administrar una CAT al mismo conjunto de examinados falsos.

O puede saber qué banco de elementos se utilizará, pero necesita establecer que una CAT superará las pruebas lineales que utiliza actualmente. Hay una amplia gama de preguntas de investigación que puede hacer y, dado que se están generando todos los datos, puede diseñar un estudio para responder a muchas de ellas. De hecho, uno de los mayores problemas a los que puede enfrentarse es que puede dejarse llevar y comenzar a crear demasiadas condiciones.

¿Cómo hago realmente un estudio de simulación de Monte Carlo?

Afortunadamente, existe un software que hace todo el trabajo por usted. La mejor opción es CATSim, que proporciona todas las opciones que necesita en una interfaz de usuario sencilla (tenga cuidado, esto hace que sea aún más fácil dejarse llevar). La ventaja de CATSim es que recopila los resultados por usted y presenta la mayoría de las estadísticas de resumen que necesita sin que tenga que calcularlas. Por ejemplo, calcula la duración promedio de la prueba (número de elementos utilizados por un CAT de duración variable) y la correlación de thetas del CAT con thetas reales. Existe otro software que es útil para generar conjuntos de datos utilizando la simulación de Monte Carlo (consulte SimulCAT), pero no incluye esta importante característica.