Si está entregando pruebas de alto riesgo en formas lineales, o está pilotando un banco para prueba adaptativa computarizada/prueba lineal sobre la marcha, se enfrenta al problema de cómo equiparar las formas entre sí. Es decir, ¿cómo podemos traducir de manera defendible una puntuación en el Forma A a una puntuación en el Forma B? Si bien el concepto es simple, la metodología puede ser compleja y existe un área completa de investigación psicométrica dedicada a este tema. Hay varias formas de abordar esta cuestión, y la equiparación teoría de respuesta al ítem (TRÍ) es la más sólida.
¿Por qué necesitamos la equiparación?
La necesidad es obvia: ajustar las diferencias en dificultad para garantizar que todos los examinados reciban una puntuación justa en una escala estable. Supongamos que usted toma el Forma A y obtiene una puntuación de 72/100, mientras que su amigo toma el Forma B y obtiene una puntuación de 74/100. ¿Su amigo es más inteligente que usted, o su formulario tenía preguntas más fáciles? Bueno, si los diseñadores de la prueba incorporaron cierta superposición, podemos responder a esta pregunta empíricamente.
Supongamos que los dos formularios se superponen en 50 ítems, llamados ítems de anclaje o ítems de ecuador. Ambos formularios se entregan a una muestra grande y representativa. Estos son los resultados.
| Forma | Puntuación media en 50 Ítems superpuestos | Puntuación media en 100 ítems en total |
|---|---|---|
| A | 30 | 72 |
| B | 30 | 74 |
Because the mean score on the anchor items was higher, we then think that the Form B group was a little smarter, which led to a higher total score.
Now suppose these are the results:
| FormA | Puntuación media en 50 Ítems superpuestos | Puntuación media en 100 ítems en total |
|---|---|---|
| A | 32 | 72 |
| B | 32 | 74 |
Ahora, tenemos evidencia de que los grupos tienen la misma capacidad. La puntuación total más alta en el Forma B debe deberse entonces a que los ítems únicos en ese forma son un poco más fáciles.
¿Cómo calculo una equiparación?
Puede equiparar las formas con la teoría clásica de los test (TCT) o la teoría de respuesta al ítem (TRÍ). Sin embargo, una de las razones por las que se inventó la TRÍ fue que la equiparación con TCT era muy débil. Los métodos TCT incluyen Tucker, Levine y equipercentil. Sin embargo, ahora nos centraremos en la TRÍ.
La equiparación de TRÍ
Existen tres enfoques generales para la equiparación de TRÍ. Todos ellos se pueden lograr con nuestro software líder en la industria Xcalibre, aunque la igualación de conversión requiere un software adicional llamado IRTEQ.
- Conversión
- Calibración concurrente
- Calibración de anclaje fijo
Conversión
Con este enfoque, debe calibrar cada forma de su prueba usando TRÍ, completamente por separado. Luego evaluamos la relación entre los parámetros TRÍ en cada forma y usamos eso para estimar la relación para convertir las puntuaciones del examinado. En teoría, lo que hace es alinear los parámetros TRÍ de los elementos comunes y realizar una regresión lineal, para luego poder aplicar esa conversión lineal a las puntuaciones.
Pero NO haga simplemente una regresión lineal regular. Hay métodos específicos que debe utilizar, incluidos media/media, media/sigma, Stocking & Lord y Haebara. Afortunadamente, no tiene que realizar todos los cálculos usted mismo, ya que hay software gratuito disponible para hacerlo por usted: IRTEQ.
Calibración concurrente
El segundo enfoque consiste en combinar los conjuntos de datos en lo que se conoce como una matriz dispersa. Luego, se ejecuta este único conjunto de datos a través de la calibración TRÍ, y se colocarán todos los ítems y los examinados en una escala común. El concepto de una matriz dispersa se representa típicamente en la figura a continuación, que representa el enfoque de diseño de la prueba de anclaje no equivalente (NEAT).
El software de calibración TRÍ equiparará automáticamente los dos formas y usted podrá utilizar los puntajes resultantes.
Calibración de anclaje fijo
El tercer enfoque es una combinación de los dos anteriores; utiliza el concepto de calibración independiente, pero sigue utilizando el proceso de calibración TRÍ para realizar la equiparación en lugar de un software independiente.
Con este enfoque, primero calibraría sus datos para el Forma A. Luego, buscaría todos los parámetros de los ítems TRÍ para los elementos comunes y los ingresaría en su software de calibración TRÍ cuando calibre el Forma B.
Puede indicarle al software que “arregle” los parámetros de los ítems para que esos en particular (de los elementos comunes) no cambien. Luego, todos los parámetros de los ítems para los ítems únicos se fuerzan en la escala de los ítems comunes, que, por supuesto, es la escala subyacente del Forma A. Esto también fuerza las puntuaciones de los estudiantes del Forma B en la escala del Forma A.
¿Cómo se comparan estos enfoques de equiparación de TRÍ entre sí?
La calibración concurrente es posiblemente la más fácil, pero tiene el inconveniente de que fusiona las escalas de cada formulario en una nueva escala en algún lugar intermedio. Si necesita informar las puntuaciones de cualquiera de los formas en la escala original, debe utilizar los métodos de conversión o de anclaje fijo. Esta situación ocurre comúnmente si está haciendo comparaciones entre períodos de tiempo.
Suponga que entregó el Forma A el año pasado y ahora está tratando de hacer comparaciones con el Forma B. No puede simplemente crear una nueva escala y, por lo tanto, anular todas las puntuaciones que informó el año pasado. Debe mapear el Forma B en el Forma A para que las puntuaciones de este año se informen en la escala del año pasado y las puntuaciones de todos sean consistentes.
¿A dónde voy desde aquí?
Si desea realizar la equiparación TRÍ, necesita un software de calibración TRÍ. Los tres enfoques lo utilizan. Recomiendo encarecidamente Xcalibre, ya que es fácil de usar y crea automáticamente informes en Word para usted. Si desea obtener más información sobre el tema de la equiparación, la referencia clásica es el libro de Kolen y Brennan (2004; 2014). Hay otros recursos más disponibles en Internet, como este manual gratuito de CCSSO. Si desea obtener más información sobre TRÍ, recomiendo los libros de de Ayala (2008) y Embretson & Reise (2000). Hay una introducción disponible en nuestra publicación de blog.
