math educational assessment

Uno de los conceptos centrales en psicometría es la dificultad del ítem. Esto se refiere a la probabilidad de que los examinados respondan correctamente el ítem en evaluaciones educativas/cognitivas o respondan en la dirección indicada en evaluaciones psicológicas/de encuesta (más sobre esto más adelante). La dificultad es importante para evaluar las características de un ítem y si debe seguir siendo parte de la evaluación; en muchos casos, los ítems se eliminan si son demasiado fáciles o demasiado difíciles. También nos permite comprender mejor cómo los ítems y la prueba en su conjunto funcionan como un instrumento de medición y qué pueden decirnos sobre los examinados.

He oído hablar de la “facilidad del objeto”. ¿Es algo similar?

La dificultad del objeto también se denomina facilidad del objeto, que en realidad es un nombre más apropiado. ¿Por qué? El valor P es un concepto inverso: un valor bajo indica una dificultad alta y viceversa. Si pensamos en el concepto como facilidad o facilidad, entonces el valor P se alinea con el concepto; un valor alto significa una facilidad alta. Por supuesto, es difícil romper con la tradición, y casi todo el mundo todavía lo llama dificultad. Pero podría ayudarte pensar en ello como “facilidad”.

¿Cómo calculamos la dificultad clásica de los ítems?

Hay dos paradigmas predominantes en psicometría: la teoría clásica de los pruebas (TCP) y la teoría de respuesta al ítem (TRÍ). Aquí, me centraré en el enfoque más simple, la TCP.

Para calcular la dificultad clásica de los ítems con ítems dicotómicos, simplemente cuente el número de examinados que respondieron correctamente (o en la dirección clave) y divídalo por el número de encuestados. Esto le da una proporción, que es como un porcentaje pero está en la escala de 0 a 1 en lugar de 0 a 100. Por lo tanto, el rango posible que verá informado es de 0 a 1. Considere este conjunto de datos.

Persona Ítem1 Ítem2 Ítem3 Ítem4 Ítem5 Ítem6 Puntaje
1 0 0 0 0 0 1 1
2 0 0 0 0 1 1 2
3 0 0 0 1 1 1 3
4 0 0 1 1 1 1 4
5 0 1 1 1 1 1 5
Dificultad: 0.00 0.20 0.40 0.60 0.80 1.00

El ítem 6 tiene un alto índice de dificultad, lo que significa que es muy fácil. El ítem 4 y el ítem 5 son ítems típicos, donde la mayoría de los ítems responden correctamente. El ítem 1 es extremadamente difícil; ¡nadie lo respondió correctamente!

Para ítems politómicos (ítems con más de un punto), la dificultad clásica del ítem es el valor de respuesta promedio. Es decir, si tenemos un ítem Likert de 5 puntos, y dos personas responden 4 y dos responden 5, entonces el promedio es 4.5. Esto, por supuesto, es matemáticamente equivalente al valor P si los puntos son 0 y 1 para un ítem no/sí. Un ejemplo de esta situación es este conjunto de datos:

Persona Ítem1 Ítem2 Ítem3 Ítem4 Ítem5 Ítem6 Puntaje
1 1 1 2 3 4 5 1
2 1 2 2 4 4 5 2
3 1 2 3 4 4 5 3
4 1 2 3 4 4 5 4
5 1 2 3 5 4 5 5
Dificultad: 1.00 1.80 2.60 4.00 4.00 5.00

Tenga en cuenta que este enfoque para calcular la dificultad depende de la muestra. Si tuviéramos una muestra diferente de personas, las estadísticas podrían ser bastante diferentes. Este es uno de los principales inconvenientes de la teoría clásica de los pruebas. La TRÍ aborda ese problema con un paradigma diferente. También tiene un índice con la “dirección” correcta: los valores altos significan una gran dificultad con la TRÍ.

Si está trabajando con ítems de opción múltiple, recuerde que, si bien puede tener 4 o 5 respuestas, aún está calificando los ítems como correctos/incorrectos. Por lo tanto, los datos terminan siendo dicotómicos 0/1.

Nota final muy importante: este valor P NO debe confundirse con el valor p del mundo de las pruebas de hipótesis. Tienen el mismo nombre, pero por lo demás no están relacionados en absoluto. Por esta razón, algunos psicometristas lo llaman P+ (se pronuncia “P-plus”), pero eso no se ha popularizado.

¿Cómo interpreto la dificultad clásica de los ítems?

Para las evaluaciones educativas/cognitivas, la dificultad se refiere a la probabilidad de que los examinados respondan correctamente el ítem. Si más examinados responden correctamente el ítem, tiene baja dificultad. Para los datos de tipo psicológico/encuesta, la dificultad se refiere a la probabilidad de responder en la dirección clave. Es decir, si está evaluando la extraversión y el ítem es “Me gusta ir a fiestas”, entonces está evaluando cuántos examinados estuvieron de acuerdo con la afirmación.

Lo que es único con los datos de tipo encuesta es que a menudo incluyen una clave inversa; la misma evaluación también puede tener un ítem que sea “Prefiero pasar tiempo con libros en lugar de personas” y un examinado que no esté de acuerdo con esa afirmación cuenta como un punto para la puntuación total.

Para la evaluación educativa/de conocimiento estereotipada, con ítems de opción múltiple de 4 o 5 opciones, utilizamos pautas generales como esta para la interpretación.

Rango Interpretación Notas
0.0-0.3 Extremadamente difícil Los examinados están en el nivel de probabilidad o incluso por debajo, por lo que su artículo podría estar mal escrito o tener otros problemas.
0.3-0.5 Muy difícil Los elementos de este rango desafiarán incluso a los mejores examinados y, por lo tanto, podrían generar quejas, pero por lo general son muy fuertes.
0.5-0.7 Moderadamente difícil Estos elementos son bastante comunes y un poco más resistentes.
0.7-0.90 Moderadamente fácil Estos son los rangos de elementos más comunes en la mayoría de las pruebas construidas de manera clásica; lo suficientemente fáciles como para que los examinados rara vez se quejen.
0.90-1.0 Muy fácil La mayoría de los examinados dominan estos ítems, pero en realidad son demasiado fáciles de proporcionar para los examinados y pueden ser perjudiciales para la confiabilidad.

No. Hay mucho software que puede hacerlo por ti. Si eres nuevo en psicometría, te recomiendo CITAS, que está diseñado para que puedas empezar a trabajar rápidamente, pero es demasiado simple para situaciones avanzadas. Si tienes muestras grandes o estás involucrado en trabajo a nivel de producción, necesitas Iteman. Regístrate para obtener una cuenta gratuita con el botón de abajo. Si ese es tu caso, también te recomiendo que consideres aprender TRÍ si aún no lo has hecho.

The following two tabs change content below.