¿Qué son los ítems mejorados tecnología?

Los ítems mejorados tecnología son ítems de evaluación (preguntas) que utilizan tecnología para mejorar la interacción de una pregunta de prueba en una evaluación digital, más allá de lo que es posible con el papel. Los elementos mejorados con tecnología pueden mejorar la participación del examinado (importante en la evaluación K12), evaluar conceptos complejos con mayor fidelidad, mejorar la precisión/confiabilidad y mejorar la validez aparente/capacidad de venta.

Hasta cierto punto, la última palabra es la clave; los ítems mejorados con tecnología simplemente se ven más atractivos y, por lo tanto, hacen que una plataforma de evaluación sea más fácil de vender, incluso si en realidad no mejoran la evaluación. Yo diría que también hay ítems habilitados con tecnología, que son distintos, como se analiza a continuación.

¿Cuál es el objetivo de los ítems mejorados con tecnología?

El objetivo es mejorar la evaluación, aumentando aspectos como la confiabilidad/precisión, la validez y la fidelidad. Sin embargo, hay una serie de ítems mejorados con tecnología que en realidad están diseñados más con fines de ventas que con fines psicométricos. Entonces, ¿cómo saber si los ítems mejoran la evaluación? Por supuesto, esa es una pregunta empírica que se responde mejor con un experimento. Pero permítanme sugerir una métrica para abordar esta pregunta: ¿hasta qué punto el ítem va más allá de simplemente reformular un formato de ítem tradicional para usar la tecnología de interfaz de usuario actual? Definiría la reformulación del formato tradicional como un ítem falso, mientras que ir más allá definiría un ítem verdadero.

Una nomenclatura alternativa podría ser llamar a las reformulaciones ítems mejorados con tecnología y al uso real de la tecnología ítems habilitados por la tecnología (Almond et al, 2010; Bryant, 2017), ya que no serían posibles sin la tecnología.

Un gran ejemplo de esto es la relación entre un ítem de respuesta múltiple tradicional y ciertos tipos de ítems de arrastrar y soltar. Hay varias formas diferentes de crear elementos de arrastrar y soltar, pero por ahora, usemos el ejemplo de un formato que le pide al examinado que arrastre declaraciones de texto a un cuadro.

Un ejemplo de esto son los elementos de evaluación K12 de PARCC que le piden al estudiante leer un pasaje y luego hacer preguntas al respecto.

 

 

El ítem se califica con números enteros de 0 a K, donde K es el número de afirmaciones correctas; los números enteros se utilizan a menudo para implementar el modelo de crédito parcial generalizado para la puntuación final. Esto sería cierto independientemente de si el ítem se presentó como respuesta múltiple o arrastrar y soltar. El ítem de respuesta múltiple, por supuesto, podría entregarse fácilmente con papel y lápiz. Convertirlo en arrastrar y soltar mejora el ítem con la tecnología, pero la interacción del estudiante con el ítem, psicométricamente, sigue siendo la misma.

Algunos ítems mejorados tecnología (IMT) verdaderos

Por supuesto, en la última década aproximadamente hemos presenciado una mayor innovación en los formatos de los ítems. Las evaluaciones gamificadas cambian la forma en que se aborda la interacción entre la persona y el ítem, aunque esto posiblemente no sea tan relevante para la evaluación de alto riesgo debido a las preocupaciones sobre la validez. También hay ítems de simulación. Por ejemplo, una prueba para un operador de grúa de construcción podría proporcionar una interfaz con controles de grúa y pedirle al examinado que complete una tarea. Incluso en el nivel K-12 puede haber ítems de este tipo, como la simulación de un experimento científico donde se le dan al estudiante varios tubos de ensayo u otros instrumentos en la pantalla.

Ambos enfoques son extremadamente poderosos pero tienen una desventaja importante: el costo. Por lo general, están diseñados a medida. En el caso del examen de operador de grúa o incluso del experimento científico, necesitaría contratar desarrolladores de software para crear esta simulación. Ahora existen algunos ecosistemas de desarrollo de simulación que hacen que este proceso sea más eficiente, pero los ítems aún implican creación personalizada y algoritmos de puntuación personalizados.

Para abordar esta deficiencia, existe una nueva generación de tipos de ítems de autoría propia que son verdaderos IMT. Por “autoría propia” me refiero a que un profesor de ciencias podría crear estos ítems por sí mismo, tal como lo haría con un ítem de opción múltiple. La cantidad de tecnología utilizada se encuentra en algún punto entre un ítem de opción múltiple y una simulación diseñada a medida, lo que ofrece un compromiso de menor costo pero que aún aumenta la participación del examinado. Una ventaja importante de este enfoque es que los ítems no necesitan algoritmos de puntuación personalizados y, en cambio, se califican normalmente mediante números enteros de puntos, lo que permite el uso de la teoría de respuesta a ítems politómicos.

¿Al menos estamos avanzando? ¡No siempre!

Siempre hay resistencia contra la tecnología, y en este tema el contraejemplo es el tipo de ítem en cuadrícula. En realidad, va en sentido inverso a la innovación, porque no toma un formato tradicional y lo reformula para la interfaz de usuario (IU) actual. En realidad, ignora las capacidades de la IU actual (en realidad, la interfaz de usuario de los últimos 20+ años) y, por lo tanto, es un paso atrás. Con ese tipo de ítem, se presenta a los estudiantes una hoja de burbujas de un examen en papel al estilo de los años 60, en una pantalla de computadora, y se les pide que completen las burbujas haciendo clic en ellas en lugar de usar un lápiz sobre papel.

Otro ejemplo es el tipo de ítem EBSR del artista anteriormente conocido como PARCC. Era un nuevo tipo de ítem que tenía como objetivo evaluar una comprensión más profunda, pero no utilizó ninguna mejora o habilitación tecnológica, sino que hizo dos preguntas tradicionales de manera vinculada. Como cualquier psicometrista puede decirle, este enfoque ignoró los supuestos básicos de la psicometría, por lo que puede adivinar la calidad de la medición que produjo.

¿Cómo puedo implementar IMT?

Se necesita muy poca experiencia en desarrollo de software para desarrollar una plataforma que admita preguntas de opción múltiple. Sin embargo, una pregunta como la que se muestra en el gráfico anterior requiere una inversión sustancial. Por lo tanto, hay relativamente pocas plataformas que puedan admitirlas, especialmente con las mejores prácticas como la revisión de preguntas en el flujo de trabajo o la teoría de respuesta a las preguntas.