Flujo de trabajo de revisión de ítems para desarrollo de pruebas

La revisión de ítems es el proceso de garantizar que las preguntas de prueba recién escritas pasen por una rigurosa revisión por pares, para garantizar que sean de alta calidad y cumplan con los estándares de la industria.

¿Qué es un flujo de trabajo de revisión de ítems?

Desarrollar un banco de ítems de alta calidad es un proceso extremadamente complejo, y la creación de los ítems es solo el primer paso. Los ítems deben pasar por un flujo de trabajo definido, con varias personas que brindan revisión de ítems. Por ejemplo, puede requerir que todos los ítems sean revisados ​​por otro experto en contenido, un psicometrista, un editor y un revisor de sesgos. Cada uno debe brindar su aporte y pasar el ítem al siguiente en la fila. Debe registrar los resultados de la revisión para la posteridad, ya que parte del concepto de validez es que tenemos documentación para respaldar el desarrollo de una prueba.

¿Qué revisar?

Primero debe establecer qué desea revisar. Las organizaciones de evaluación a menudo formalizan las pautas como una Guía de redacción de ítems. Esta es la guía que Assessment Systems utiliza con nuestros clientes, pero también recomiendo consultar la Guía de redacción de ítems de NBME. Para un tratamiento aún más profundo, recomiendo el libro Developing and Validating Test Items de Haladyna y Rodríguez (2013).

A continuación, se presentan algunos aspectos a tener en cuenta para la revisión de ítems.

Contenido

Lo más importante es que otros expertos en contenido revisen el contenido del ítem. ¿La respuesta correcta es realmente correcta? ¿Son todos los distractores realmente correctos? ¿El enunciado proporciona toda la información necesaria? ¡Te sorprendería saber cuántas veces estos problemas se les escapan incluso a los mejores revisores!

Psicometría

Los psicometristas suelen revisar un ítem para confirmar que cumple con las mejores prácticas y que no hay pistas. Un error común es que la respuesta correcta suele ser más larga (más palabras) que los distractores. Algunas organizaciones evitan “todo lo anterior” y otros enfoques.

Formato

A veces se contrata a editores formales para que trabajen en el lenguaje y el formato del ítem. Un error común es terminar el enunciado con dos puntos, aunque eso no siga las reglas gramaticales básicas del inglés.

Sesgo/Sensibilidad

Para los exámenes de alto riesgo que se utilizan en poblaciones diversas, es importante agregar este paso. No quieres artículos que estén sesgados contra un subconjunto de estudiantes. Esto no es solo racial; puede incluir otras diferenciaciones de estudiantes. Hace años trabajé en artículos para el estado de Alaska, EE. UU., que tiene algunas regiones increíblemente rurales; ¡tuvimos que evitar conceptos que muchas personas dan por sentado, como carreteras o centros comerciales!

Cómo implementar un flujo de trabajo de revisión de ítems

 

Este es un ejemplo de cómo implementar el proceso en una plataforma de banco de artículos de nivel profesional. Ambas plataformas,  FastTest  y  Assess.ai, tienen una potente funcionalidad para gestionar este proceso. Los usuarios administradores pueden definir las etapas y la información requerida, y luego gestionar los miembros del equipo y el flujo de artículos. Assess.ai es único en la industria con su uso de tableros Kanban, reconocidos como la mejor interfaz de usuario para la gestión del flujo de trabajo, para la revisión de artículos.

Un paso adicional, a menudo al mismo tiempo, es la configuración estándar. Uno de los enfoques más comunes se llama método Angoff modificado, que requiere que obtenga una calificación de dificultad de un equipo de expertos para cada artículo. ¡Las interfaces de revisión de artículos también se destacan en la gestión de este proceso, lo que le ahorra todo el esfuerzo de administrar manualmente ese proceso!

CREAR FLUJO DE TRABAJO

Especifique sus etapas y cómo los elementos pueden moverse entre ellas

DEFINA SUS CAMPOS DE REVISIÓN
Estos son campos de metadatos de elementos especiales que requieren la entrada de varios usuarios

MOVER NUEVOS ÍTEMS AL FLUJO DE TRABAJO
Una vez que se escribe un ítem, está listo para su revisión

ASIGNAR ÍTEMS A LOS USUARIOS
Asignar el ítem en la interfaz de usuario, con la opción de enviar un correo electrónico

LOS USUARIOS REALIZAN REVISIONES
Pueden leer el ítem, interactuar como lo haría un estudiante y luego dejar comentarios y otros metadatos en los campos de revisión; luego, enviar el ítem a la siguiente etapa

LOS ADMINISTRADORES EVALÚAN/EXPORTAN LOS RESULTADOS
Los administradores pueden evaluar los resultados y decidir si un ítem necesita una revisión o si se puede considerar liberado.