Psicometría Archives

Estimación de máxima verosimilitud

Laila Issayeva M.Sc.noviembre 12, 2024

La estimación de máxima verosimilitud (EMV) es un enfoque para estimar parámetros para un modelo. Es uno de los aspectos centrales de la teoría de respuesta al ítem (TRI), especialmente para estimar parámetros del ítem (analizar preguntas) y estimar parámetros de la persona (puntuación). Este artículo proporcionará una introducción a los conceptos de EMV.

Contenido

Historia de la estimación de máxima verosimilitud
Definición de estimación de máxima verosimilitud
Comparación de verosimilitud y probabilidad
Cálculo de la estimación de máxima verosimilitud
Características clave de la estimación de máxima verosimilitud
Debilidades de la estimación de máxima verosimilitud
Aplicación de la estimación de máxima verosimilitud
Resumen sobre la estimación de máxima verosimilitud
Referencias

1. Historia de la estimación de máxima verosimilitud

Aunque las primeras ideas sobre EMV aparecieron a mediados de la década de 1700, Sir Ronald Aylmer Fisher las desarrolló en un concepto más formalizado mucho más tarde. Fisher trabajó seminalmente en máxima verosimilitud desde 1912 hasta 1922, criticándose a sí mismo y produciendo varias justificaciones. En 1925, finalmente publicó “Métodos estadísticos para trabajadores de investigación”, uno de los libros más influyentes del siglo XX sobre métodos estadísticos. En general, la producción del concepto de máxima verosimilitud ha sido un gran avance en estadística.

2. Definición de estimación de máxima verosimilitud

Wikipedia define EMV de la siguiente manera:

En estadística, la estimación de máxima verosimilitud es un método para estimar los parámetros de una distribución de probabilidad asumida, dados algunos datos observados. Esto se logra maximizando una función de verosimilitud de modo que, bajo el modelo estadístico asumido, los datos observados sean los más probables. El punto en el espacio de parámetros que maximiza la función de verosimilitud se denomina estimación de máxima verosimilitud.

Merriam Webster tiene una definición ligeramente diferente para EMV:

Un método estadístico para estimar parámetros de población (como la media y la varianza) a partir de datos de muestra que selecciona como estimaciones aquellos valores de parámetros que maximizan la probabilidad de obtener los datos observados.

En resumen, EMV es un método que detecta los valores de los parámetros de un modelo. Estos valores de los parámetros se identifican de manera que maximicen la probabilidad de que el proceso diseñado por el modelo haya producido los datos que realmente se observaron. En pocas palabras, EMV responde a la pregunta:

¿Para qué valor de parámetro los datos observados tienen la mayor probabilidad?

3. Comparación de verosimilitud y probabilidad

Las definiciones anteriores contienen “probabilidad”, pero es importante no mezclar estos dos conceptos diferentes. Veamos algunas diferencias entre probabilidad y verosimilitud, para que puedas diferenciarlas.

Verosimilitud	Probabilidad
Se refiere a los eventos ocurridos con resultados conocidos.	Se refiere a los eventos que ocurrirán en el futuro.
Las verosimilitudes no suman 1.	Las probabilidades suman 1.
Ejemplo 1: Lancé una moneda 20 veces y obtuve 20 caras. ¿Cuál es la probabilidad de que la moneda sea justa?	Ejemplo 1: Lancé una moneda 20 veces. ¿Cuál es la probabilidad de que la moneda caiga cara o cruz cada vez?
Ejemplo 2: Dados los resultados fijos (datos), ¿cuál es la verosimilitud de que haya valores de parámetros diferentes?	Ejemplo 2: Se da el parámetro fijo P = 0,5. ¿Cuál es la probabilidad de que se obtengan resultados diferentes?

4. Cálculo de la estimación de máxima verosimilitud

La EMV se puede calcular como una derivada de una verosimilitud logarítmica en relación con cada parámetro, la media μ y la varianza σ², que se iguala a 0. Hay cuatro pasos generales para estimar los parámetros:

Solicitar una distribución de los datos observados
Estimar los parámetros de la distribución utilizando la verosimilitud logarítmica
Pegar los parámetros estimados en la función de probabilidad de una distribución
Evaluar la distribución de los datos observados

5. Características clave de la estimación de máxima verosimilitud

EMV opera con datos unidimensionales
EMV utiliza solo datos “limpios” (p. ej., sin valores atípicos)
EMV suele ser manejable computacionalmente
EMV suele ser en tiempo real en las computadoras modernas
EMV funciona bien para casos simples (p. ej., distribución binomial)

6. Debilidades de la estimación de máxima verosimilitud

EMV es sensible a los valores atípicos
EMV a menudo exige optimización de la velocidad y la memoria para obtener resultados útiles
EMV a veces es deficiente para diferenciar entre modelos con distribuciones similares
EMV puede ser técnicamente desafiante, especialmente para datos multidimensionales y modelos complejos

7. Aplicación de la estimación de máxima verosimilitud

Para aplicar EMV, se deben realizar dos supuestos importantes (generalmente denominados supuesto i.i.d.):

Los datos deben distribuirse independientemente, es decir, la observación de cualquier punto de datos dado no depende de la observación de ningún otro punto de datos (cada punto de datos es un experimento independiente).
Los datos deben estar distribuidos de forma idéntica, es decir, cada punto de datos se genera a partir de la misma familia de distribución con los mismos parámetros.

Consideremos varias aplicaciones mundialmente conocidas de EMV:

Sistema de posicionamiento global
Programas de teclado inteligente para sistemas operativos iOS y Android (p. ej., Swype)
Programas de reconocimiento de voz (p. ej., el reconocedor de voz de código abierto SPHINX de Carnegie Mellon, Dragon Naturally Speaking)
Detección y medición de las propiedades del bosón de Higgs en la Organización Europea para la Investigación Nuclear (CERN) mediante el Gran Colisionador de Hadrones (Francois Englert y Peter Higgs recibieron el Premio Nobel de Física en 2013 por la teoría del bosón de Higgs)

En términos generales, la EMV se emplea en agricultura, economía, finanzas, física, medicina y muchos otros campos.

8. Resumen sobre la estimación de máxima verosimilitud

A pesar de algunos problemas funcionales con EMV, como desafíos técnicos para datos multidimensionales y modelos multiparamétricos complejos que interfieren en la solución de muchos problemas del mundo real, EMV sigue siendo un enfoque estadístico poderoso y ampliamente utilizado para la clasificación y estimación de parámetros. EMV ha traído muchos éxitos a la humanidad tanto en el mundo científico como en el comercial.

9. Referencias

Aldrich, J. (1997). R. A. Fisher and the making of maximum likelihood 1912-1922. Statistical Science, 12(3), 162-176.

Stigler, S. M. (2007). The epic story of maximum likelihood. Statistical Science, 598-620.

noviembre 12, 2024/por Laila Issayeva M.Sc.

Análisis y Estadísticas de Ítems

Nathan Thompson, PhDnoviembre 4, 2024

El análisis de ítems es la evaluación estadística de las preguntas de la prueba para garantizar que sean de buena calidad y corregirlas si no lo son. Este es un paso clave en el ciclo de desarrollo de la prueba; después de que los ítems se han entregado a los examinados (ya sea como piloto o en uso completo), analizamos las estadísticas para determinar si hay problemas que afecten la validez y confiabilidad, como ser demasiado difíciles o sesgados. Esta publicación describirá los conceptos básicos de este proceso. Si desea más detalles e instrucciones sobre el uso del software, también puede consultar nuestros videos tutoriales en nuestro canal de YouTube y descargar nuestro software psicométrico gratuito.

Descargue una copia gratuita de Iteman: software para análisis de ítems

¿Qué es el análisis de ítems?

El análisis de ítems se refiere al proceso de analizar estadísticamente los datos de evaluación para evaluar la calidad y el desempeño de los ítems de la prueba. Este es un paso importante en el ciclo de desarrollo de la prueba, no solo porque ayuda a mejorar la calidad de la prueba, sino porque proporciona documentación para la validez: evidencia de que la prueba funciona bien y que las interpretaciones de las puntuaciones significan lo que usted pretende. Es una de las aplicaciones más comunes de la psicometría, mediante el uso de estadísticas de ítems para marcar, diagnosticar y corregir los ítems de bajo rendimiento en una prueba. Cada ítem que tiene un bajo rendimiento está perjudicando potencialmente a los examinados.

El análisis de ítems se reduce a dos objetivos:

Encontrar los ítems que no funcionan bien (dificultad y discriminación, por lo general)
Descubrir POR QUÉ esos elementos no funcionan bien, para que podamos determinar si los revisamos o los retiramos

Existen diferentes formas de evaluar el desempeño, como por ejemplo si el ítem es demasiado difícil/fácil, demasiado confuso (no discriminatorio), mal codificado o tal vez incluso sesgado hacia un grupo minoritario.

Además, existen dos paradigmas completamente diferentes para este análisis: la teoría clásica de los pruebas (TCP) y la teoría de respuesta al ítem (TRI). Además de eso, los análisis pueden diferir en función de si el ítem es dicotómico (correcto/incorrecto) o politómico (2 o más puntos).

Debido a las posibles variaciones, el análisis de ítems es un tema complejo. Pero eso ni siquiera entra en la evaluación del desempeño en las pruebas. En esta publicación, cubriremos algunos de los conceptos básicos de cada teoría, a nivel de ítem.

Cómo hacer un análisis de ítems

1. Prepare sus datos para el análisis de ítems

La mayoría del software psicométrico utiliza una matriz de persona x elemento. Es decir, un archivo de datos donde los examinados son filas y los elementos son columnas. A veces, es una matriz dispersa donde faltan muchos datos, como en las pruebas lineales sobre la marcha. También deberá proporcionar metadatos al software, como los identificadores de los elementos, las respuestas correctas, los tipos de elementos, etc. El formato para esto variará según el software.

2. Ejecutar datos a través de un software de análisis de ítems

Para implementar el análisis de ítems, debe utilizar un software dedicado diseñado para este propósito. Si utiliza una plataforma de evaluación en línea, le proporcionará resultados para el análisis de ítems, como valores P de distractores y biseriales puntuales (si no, no es una plataforma de evaluación real). En algunos casos, puede utilizar software independiente. CITAS proporciona un enfoque simple basado en hojas de cálculo para ayudarlo a aprender los conceptos básicos, completamente gratis. Aquí se encuentra una captura de pantalla de los resultados de CITAS. Sin embargo, los profesionales necesitarán un nivel superior a este. Iteman y Xcalibre son dos programas de software especialmente diseñados por ASC para este propósito, uno para TCP y otro para TRI.

3. Interpretar los resultados del análisis de ítems

El software de análisis de ítems generará tablas de números. A veces, serán tablas feas de estilo ASCII de la década de 1980. A veces, serán hermosos documentos de Word con gráficos y explicaciones. De cualquier manera, debe interpretar las estadísticas para determinar qué ítems tienen problemas y cómo solucionarlos. El resto de este artículo profundizará en eso.

Análisis de ítems con la teoría clásica de pruebas

La teoría clásica de tests ofrece un enfoque simple e intuitivo para el análisis de ítems. No utiliza nada más complicado que proporciones, promedios, recuentos y correlaciones. Por este motivo, es útil para exámenes a pequeña escala o para su uso con grupos que no tienen experiencia psicométrica.

Dificultad del ítem: dicotómica

La TCP cuantifica la dificultad del ítem para ítems dicotómicos como la proporción (valor P) de examinados que lo responden correctamente.

Varía de 0,0 a 1,0. Un valor alto significa que el ítem es fácil y un valor bajo significa que el ítem es difícil. No hay reglas estrictas porque la interpretación puede variar ampliamente para diferentes situaciones. Por ejemplo, se esperaría que una prueba realizada al comienzo del año escolar tuviera estadísticas bajas ya que a los estudiantes aún no se les ha enseñado el material. Por otro lado, un examen de certificación profesional, al que alguien ni siquiera puede presentarse a menos que tenga 3 años de experiencia y un título relevante, ¡puede hacer que todos los ítems parezcan fáciles a pesar de que son temas bastante avanzados! A continuación se ofrecen algunas pautas generales:

0.95-1.0 = Demasiado fácil (no sirve de mucho para diferenciar a los examinados, que es realmente el propósito de la evaluación)

0.60-0.95 = Típico

0.40-0.60 = Duro

<0.40 = Demasiado difícil (considere que una pregunta de opción múltiple de 4 opciones tiene un 25 % de probabilidad de acertar)

Con Iteman, puede establecer límites para marcar automáticamente los ítems. El límite del valor P mínimo representa lo que considera el punto de corte para que un ítem sea demasiado difícil. Para una prueba relativamente fácil, puede especificar 0,50 como mínimo, lo que significa que el 50 % de los examinados han respondido correctamente al ítem.

Para una prueba en la que esperamos que los examinados tengan un desempeño deficiente, el mínimo puede reducirse a 0,4 o incluso a 0,3. El mínimo debe tener en cuenta la posibilidad de adivinar; si el ítem es de opción múltiple con cuatro opciones, existe una probabilidad del 25 % de adivinar la respuesta al azar, por lo que el mínimo probablemente no debería ser 0,20. El valor P máximo representa el punto de corte para lo que considera un ítem demasiado fácil. La consideración principal aquí es que si un ítem es tan fácil que casi todos lo responden correctamente, no está brindando mucha información sobre los examinados. De hecho, los ítems con un P de 0,95 o más suelen tener correlaciones biseriales puntuales muy deficientes.

Tenga en cuenta que debido a que la escala está invertida (un valor más bajo significa una mayor dificultad), esto a veces se conoce como facilidad del ítem.

La media del ítem (politómica)

Se refiere a un ítem que se califica con 2 o más niveles de puntos, como un ensayo calificado con una rúbrica de 0 a 4 puntos o un ítem tipo Likert que se califica en una escala de 1 a 5.

1 = Totalmente en desacuerdo
2 = En desacuerdo
3 = Neutral
4 = De acuerdo
5 = Totalmente de acuerdo

La media de los ítems es el promedio de las respuestas de los ítems convertidas a valores numéricos de todos los examinados. El rango de la media de los ítems depende de la cantidad de categorías y de si las respuestas de los ítems comienzan en 0. La interpretación de la media de los ítems depende del tipo de ítem (escala de calificación o crédito parcial). Un buen ítem de escala de calificación tendrá una media de ítem cercana a la mitad del máximo, ya que esto significa que, en promedio, los examinados no respaldan categorías cercanas a los extremos del continuo.

Deberá realizar los ajustes necesarios para su propia situación, pero aquí se incluye un ejemplo para el ítem de estilo Likert de 5 puntos.

1-2 es muy bajo; la gente está bastante en desacuerdo en promedio

2-3 es bajo a neutral; la gente tiende a estar en desacuerdo en promedio

3-4 es neutral a alto; la gente tiende a estar de acuerdo en promedio

4-5 es muy alto; la gente está bastante de acuerdo en promedio

Iteman también proporciona límites de señalización para esta estadística. El límite de la media mínima del ítem representa lo que usted considera el punto de corte para que la media del ítem sea demasiado baja. El límite de la media máxima del ítem representa lo que usted considera el punto de corte para que la media del ítem sea demasiado alta.

Se debe tener en cuenta la cantidad de categorías para los ítems al establecer los límites de los valores mínimos/máximos. Esto es importante ya que todos los ítems de un tipo determinado (por ejemplo, 3 categorías) pueden estar marcados.

Discriminación de ítems: dicotómica

En psicometría, la discriminación es ALGO BUENO, aunque la palabra suele tener una connotación negativa en general. El objetivo de un examen es discriminar entre los examinados; los estudiantes inteligentes deberían obtener una puntuación alta y los no tan inteligentes, una puntuación baja. Si todos obtienen la misma puntuación, no hay discriminación y el examen no tiene sentido. La discriminación de ítems evalúa este concepto.

TCP utiliza la correlación biserial puntual entre ítem y total (Rpbis) como su estadística principal para esto.

La correlación biserial puntual de Pearson (r-pbis) es una medida de la discriminación o fuerza diferenciadora del ítem. Varía de −1,0 a 1,0 y es una correlación de las puntuaciones del ítem y las puntuaciones totales brutas. Si considera una matriz de datos puntuada (ítems de opción múltiple convertidos a datos 0/1), esta sería la correlación entre la columna del ítem y una columna que es la suma de todas las columnas del ítem para cada fila (la puntuación de una persona).

Un buen ítem es capaz de diferenciar entre los examinados de alta y baja capacidad, pero tiene un biserial de puntos más alto, pero rara vez por encima de 0,50. Un biserial de puntos negativo es indicativo de un ítem muy malo porque significa que los examinados de alta capacidad están respondiendo incorrectamente, mientras que los examinados de baja capacidad lo están respondiendo correctamente, lo que por supuesto sería extraño y, por lo tanto, generalmente indica que la respuesta correcta especificada es en realidad incorrecta. Un biserial de puntos de 0,0 no proporciona ninguna diferenciación entre los examinados de baja puntuación y los de alta puntuación, esencialmente “ruido” aleatorio. A continuación se presentan algunas pautas generales sobre la interpretación. Tenga en cuenta que estas suponen un tamaño de muestra decente; si solo tiene una pequeña cantidad de examinados, ¡se marcarán muchas estadísticas de ítems!

0,20+ = Buen ítem; los examinados más inteligentes tienden a responder el ítem correctamente

0,10-0,20 = Ítem aceptable; pero probablemente lo revise

0.0-0.10 = Calidad marginal del ítem; probablemente debería revisarse o reemplazarse

<0.0 = Ítem terrible; reemplácelo

***Una señal de alerta importante es si la respuesta correcta tiene un Rpbis negativo y un distractor tiene un Rpbis positivo

El límite mínimo de correlación ítem-total representa la discriminación más baja que está dispuesto a aceptar. Este suele ser un número positivo pequeño, como 0,10 o 0,20. Si el tamaño de su muestra es pequeño, es posible que se pueda reducir. El límite máximo de correlación ítem-total es casi siempre 1,0, porque normalmente se desea que el Rpbis sea lo más alto posible.

La correlación biserial también es una medida de la discriminación o fuerza diferenciadora del ítem. Varía de −1,0 a 1,0. La correlación biserial se calcula entre el ítem y la puntuación total como si el ítem fuera una medida continua del rasgo. Dado que la correlación biserial es una estimación de la r de Pearson, será mayor en magnitud absoluta que la correlación biserial puntual correspondiente.

La correlación biserial supone de manera más estricta que la distribución de la puntuación es normal. La correlación biserial no se recomienda para rasgos en los que se sabe que la distribución de puntuaciones no es normal (por ejemplo, patología).

Discriminación de ítems: politómica

La correlación r de Pearson es la correlación producto-momento entre las respuestas de los ítems (como valores numéricos) y la puntuación total. Varía de −1,0 a 1,0. La correlación r indexa la relación lineal entre la puntuación de los ítems y la puntuación total y supone que las respuestas de los ítems forman una variable continua. La correlación r y el Rpbis son equivalentes para un ítem de 2 categorías, por lo que las pautas para la interpretación permanecen inalteradas.

El límite mínimo de correlación ítem-total representa la discriminación más baja que está dispuesto a aceptar. Dado que la correlación r típica (0,5) será mayor que la correlación Rpbis típica (0,3), es posible que desee establecer el límite inferior más alto para una prueba con ítems politómicos (0,2 a 0,3). Si el tamaño de su muestra es pequeño, es posible que se pueda reducir. El límite máximo de correlación ítem-total es casi siempre 1,0, porque normalmente se desea que el Rpbis sea lo más alto posible.

El coeficiente eta es un índice adicional de discriminación calculado mediante un análisis de varianza con la respuesta al ítem como variable independiente y la puntuación total como variable dependiente. El coeficiente eta es la relación entre la suma de cuadrados entre grupos y la suma total de cuadrados y tiene un rango de 0 a 1. El coeficiente eta no supone que las respuestas al ítem sean continuas y tampoco supone una relación lineal entre la respuesta al ítem y la puntuación total.

Como resultado, el coeficiente eta siempre será igual o mayor que la r de Pearson. Tenga en cuenta que se informará la correlación biserial si el ítem tiene solo 2 categorías.

Análisis de claves y distractores

En el caso de muchos tipos de ítems, conviene evaluar las respuestas. Un distractor es una opción incorrecta. Queremos asegurarnos de que no haya más examinados seleccionando un distractor que la clave (valor P) y también de que ningún distractor tenga una mayor discriminación. Esto último significaría que los estudiantes inteligentes están seleccionando la respuesta incorrecta y los no tan inteligentes están seleccionando lo que se supone que es correcto. En algunos casos, el ítem es simplemente malo. En otros, la respuesta simplemente está registrada incorrectamente, tal vez por un error tipográfico. A esto lo llamamos un clave incorrecta del ítem. En ambos casos, queremos marcar el ítem y luego analizar las estadísticas de distractores para averiguar qué está mal.

Ejemplo

A continuación, se muestra un ejemplo de salida para un elemento de nuestro software Iteman, que puede descargar de forma gratuita. También puede interesarle este video. Se trata de un elemento con un rendimiento muy bueno. A continuación, se muestran algunas conclusiones clave.

Este es un ítem de opción múltiple de 4 opciones
Estaba en una subpuntuación llamada “Subpuntuación de ejemplo”
Este ítem fue visto por 736 examinados
El 70 % de los estudiantes lo respondió correctamente, por lo que fue bastante fácil, pero no demasiado fácil
El Rpbis fue de 0,53, que es extremadamente alto; el ítem es de buena calidad
La línea para la respuesta correcta en el gráfico de cuantiles tiene una pendiente positiva clara, que refleja la alta calidad de discriminación
La proporción de examinados que seleccionaron las respuestas incorrectas estuvo bien distribuida, no fue demasiado alta y tuvo valores Rpbis negativos. Esto significa que los distractores son suficientemente incorrectos y no confunden.

Análisis de ítems con teoría de respuesta al ítem

La teoría de respuesta al ítem (TRI) es un paradigma muy sofisticado de análisis de ítems y aborda numerosas tareas psicométricas, desde el análisis de ítems hasta la equiparación y las pruebas adaptativas. Requiere tamaños de muestra mucho más grandes que la TCP (100-1000 respuestas por ítem) y una amplia experiencia (normalmente un psicometría con doctorado). La estimación de máxima verosimilitud (MLE) es un concepto clave en la TRI que se utiliza para estimar los parámetros del modelo para una mayor precisión en las evaluaciones.

La TRI no es adecuada para exámenes a pequeña escala, como los cuestionarios en el aula. Sin embargo, se utiliza prácticamente en todos los exámenes “reales” que realizarás en tu vida, desde los exámenes de referencia de K-12 hasta las admisiones universitarias y las certificaciones profesionales.

Si no has utilizado la TRI, te recomiendo que consultes primero esta publicación del blog.

Dificultad de los ítems

La TRI evalúa la dificultad de los ítems dicotómicos como un parámetro b, que es algo así como una puntuación z para el ítem en la curva de campana: 0,0 es promedio, 2,0 es difícil y -2,0 es fácil. (Esto puede diferir un poco con el enfoque de Rasch, que reescala todo). En el caso de los ítems politómicos, hay un parámetro b para cada umbral o paso entre puntos.

Discriminación de ítems

La TRI evalúa la discriminación de ítems por la pendiente de su función de respuesta al ítem, que se denomina parámetro a. A menudo, los valores superiores a 0,80 son buenos y los inferiores a 0,80 son menos efectivos.

Análisis de claves y distractores

En el caso de preguntas politómicas, los múltiples parámetros b proporcionan una evaluación de las diferentes respuestas. En el caso de preguntas dicotómicas, el modelo TRI no distingue entre las respuestas correctas. Por lo tanto, utilizamos el enfoque TCP para el análisis de distractores. Esto sigue siendo extremadamente importante para diagnosticar problemas en preguntas de opción múltiple.

Ejemplo

A continuación se muestra un ejemplo de cómo se ve el resultado de un programa de análisis TRI (Xcalibre). También te puede interesar este video.

Aquí tenemos un ítem politómico, como un ensayo calificado de 0 a 3 puntos
Está calibrado con el modelo de crédito parcial generalizado
Tiene una fuerte discriminación clásica (0,62)
Tiene una mala discriminación TRI (0,466)
La puntuación bruta promedio fue 2,314 de 3,0, por lo que es bastante fácil
Hubo una distribución suficiente de las respuestas en los cuatro niveles de puntos
Los parámetros límite no están en secuencia; este ítem debe revisarse

Resumen

Este artículo es una descripción general muy amplia y no hace justicia a la complejidad de la psicometría y el arte de diagnosticar/revisar ítems. Te recomiendo que descargues algún software de análisis de ítems y comiences a explorar tus propios datos.

Para lecturas adicionales, recomiendo algunos de los libros de texto comunes. Para obtener más información sobre cómo escribir/revisar ítems, consulta Haladyna (2004) y trabajos posteriores. Para la teoría de respuesta a los ítems, recomiendo enfáticamente Embretson & Riese (2000).

noviembre 4, 2024/por Nathan Thompson, PhD

¿Qué es el análisis de tareas laborales para la certificación?

Nathan Thompson, PhDnoviembre 3, 2024

El análisis de tareas laborales (ATL) es un paso esencial en el diseño de una prueba que se utilizará en la fuerza laboral, como la prueba previa al empleo o la certificación/licencia, mediante el análisis de datos sobre lo que realmente se está haciendo en el trabajo. También conocido como análisis del trabajo o delimitación de funciones, el análisis de tareas laborales es importante para diseñar una prueba que sea legalmente defendible y elegible para la acreditación. Por lo general, implica un panel de expertos en la materia para desarrollar una encuesta, que luego se entrega a los profesionales de su campo para obtener datos cuantitativos sobre lo que se hace con más frecuencia en el trabajo y lo que es más crítico/importante. Estos datos luego se pueden utilizar para varios propósitos importantes.

¿Necesita ayuda? Nuestros expertos pueden ayudarlo a producir de manera eficiente un estudio de análisis de tareas laborales para su certificación, guiar el proceso de redacción de ítems y establecimiento de estándares, luego publicar y entregar el examen en nuestra plataforma segura.

Razones para realizar un análisis de tareas laborales

El análisis de tareas laborales es extremadamente importante en el campo de la psicología industrial/organizacional, de ahí el meme de @iopsychmemes. No se limita solo a las credenciales.

Diseño del examen

La razón más común es obtener datos cuantitativos que le ayudarán a diseñar un examen. Al saber qué conocimientos, habilidades o capacidades (CHC) se utilizan con más frecuencia, sabrá cuáles merecen más preguntas en la prueba. También puede ayudarle con aspectos de diseño más complejos, como definir un examen práctico con pacientes en vivo.

Plan de estudios de formación

De la misma manera, esa información cuantitativa puede ayudar a diseñar un plan de estudios y otros materiales de formación. Tendrás datos sobre lo que es más importante o frecuente.

Análisis de compensación

Con la encuesta ATL, tiene una audiencia cautiva. ¡Pregúnteles otras cosas que quiera saber! Este es un momento excelente para recopilar información sobre compensación. Trabajé en una encuesta ATL en el pasado que preguntaba sobre el lugar de trabajo: clínica, hospital, consultorio privado o proveedor/corporación.

Descripciones de puestos

Un buen análisis de puestos te ayudará a redactar una descripción de puestos para las ofertas de empleo. Te indicará las responsabilidades del puesto (tareas comunes), las cualificaciones (habilidades, capacidades y educación requeridas) y otros aspectos importantes. Si recopilas datos de compensación en la encuesta, estos se pueden utilizar para definir el rango salarial del puesto vacante.

Planificación de la fuerza laboral

Al analizar los datos, pueden resultar evidentes tendencias importantes. ¿Hay menos personas que ingresan a su profesión, tal vez en una región o grupo demográfico en particular? ¿Ingresan sin ciertas habilidades? ¿Hay ciertas universidades o programas de capacitación que no están funcionando bien? Un ATL puede ayudarlo a descubrir dichos problemas y luego trabajar con las partes interesadas para abordarlos. Estos son problemas potenciales importantes para la profesión.

ES OBLIGATORIO

Si tiene un examen de certificación profesional y desea que lo acredite una junta como NCCA o ANSI/ANAB/ISO, entonces se le OBLIGA a realizar algún tipo de análisis de tareas laborales.

¿Por qué es tan importante un JTA para la certificación y la licencia? Validez.

El objetivo fundamental de la psicometría es la validez, que es la evidencia de que las interpretaciones que hacemos de las puntuaciones son realmente verdaderas. En el caso de los exámenes de certificación y licencia, estamos interpretando que alguien que pasa la prueba está calificado para trabajar en ese puesto de trabajo. Por lo tanto, lo primero que debemos hacer es definir exactamente cuál es el puesto de trabajo y hacerlo de una manera cuantitativa y científica. No se puede simplemente hacer que alguien se siente en su sótano y escriba 17 puntos como plan de examen. Eso es una demanda a punto de suceder.

Hay otros aspectos que también son esenciales, como la capacitación de los redactores de ítems y los estudios de establecimiento de estándares.

La metodología: inventario de tareas laborales

No es fácil desarrollar un examen de certificación defendible, pero el proceso de ATL no requiere un doctorado en psicometría para comprenderlo. A continuación, se ofrece una descripción general de lo que se puede esperar.

Convoque a un panel de expertos en la materia (EM) y proporcione una capacitación sobre el proceso de ATL.
Luego, los EM analizan el papel de la certificación en la profesión y establecen temas de alto nivel (dominios) que debe cubrir la prueba de certificación. Por lo general, hay entre 5 y 20. A veces, hay subdominios y, ocasionalmente, subsubdominios.
El panel de EM genera una lista de tareas laborales que se asignan a los dominios; la lista se revisa para detectar duplicados y otros problemas potenciales. Estas tareas tienen un verbo de acción, un sujeto y, a veces, un calificador. Ejemplos: “Calibrar el lensómetro”, “Sacar la basura”, “Realizar un estudio de equivalencia”. Hay un enfoque específico para ayudar con la generación, llamado la técnica del incidente crítico. Con esto, se les pide a los expertos en la materia que describan un incidente crítico que sucedió en el trabajo y qué habilidades o conocimientos llevaron al éxito del profesional. Si bien esto puede no generar ideas para tareas frecuentes pero simples, puede ayudar a generar ideas para tareas que son más raras pero muy importantes.
La lista final se utiliza para generar una encuesta, que se envía a una muestra representativa de profesionales que realmente trabajan en el puesto. Los encuestados realizan la encuesta, mediante la cual califican cada tarea, generalmente en su importancia y tiempo empleado (a veces llamado criticidad y frecuencia). También se recopilan datos demográficos, que incluyen rango de edad, región geográfica, lugar de trabajo (por ejemplo, clínica vs hospital si es médico), años de experiencia, nivel educativo y certificaciones adicionales.
Un psicometrista analiza los resultados y crea un informe formal, que es esencial para la documentación de validez. Este informe a veces se considera confidencial, a veces se publica en el sitio web de la organización para el beneficio de la profesión y, a veces, se publica en forma abreviada. Depende de usted. Por ejemplo, este sitio presenta los resultados finales, pero luego le pide que envíe su dirección de correo electrónico para recibir el informe completo.

Usar los resultados de ATL para crear planos de prueba

Muchas corporaciones realizan un análisis de trabajo únicamente para fines internos, como descripciones de trabajo y compensación. Esto se vuelve importante para las grandes corporaciones donde puede haber miles de personas en el mismo trabajo; debe estar bien definido, con buena capacitación y compensación adecuada.

Si trabaja para una organización de acreditación (normalmente una organización sin fines de lucro, pero a veces la división de capacitación de una corporación… por ejemplo, Amazon Web Services tiene una división dedicada a los exámenes de certificación, deberá analizar los resultados del ATL para desarrollar planos de examen. Analizaremos este proceso con más detalle en otra publicación del blog. Pero a continuación se muestra un ejemplo de cómo se verá esto, y aquí hay una hoja de cálculo gratuita para realizar los cálculos: Análisis de tareas laborales para planos de prueba.

Ejemplo de análisis de tareas laborales

Supongamos que usted es un experto en la fabricación de widgets a cargo del examen de certificación de fabricante de widgets. Contrata a un psicometrista para que guíe a la organización a través del proceso de desarrollo de pruebas. El psicometrista comenzaría por realizar un seminario web o una reunión en persona para un panel de expertos en la materia para definir el rol y generar una lista de tareas. El grupo elabora una lista de 20 tareas, ordenadas en 4 dominios de contenido. Estas se enumeran en una encuesta a los fabricantes de widgets actuales, quienes las califican según su importancia y frecuencia. El psicometrista analiza los datos y presenta una tabla como la que se ve a continuación.

Podemos ver aquí que la Tarea 14 es la más frecuente, mientras que la Tarea 2 es la menos frecuente. La Tarea 7 es la más importante, mientras que la Tarea 17 es la menos frecuente. Cuando combina Importancia y Frecuencia, ya sea sumando o multiplicando, obtiene los pesos en las columnas de la derecha. Si sumamos estos y dividimos por el total, obtenemos los planos sugeridos en las celdas verdes.

noviembre 3, 2024/por Nathan Thompson, PhD

$math educational assessment$

¿Qué es la dificultad clásica del ítem (valor P)?

Nathan Thompson, PhDoctubre 31, 2024

Uno de los conceptos centrales en psicometría es la dificultad del ítem. Esto se refiere a la probabilidad de que los examinados respondan correctamente el ítem en evaluaciones educativas/cognitivas o respondan en la dirección indicada en evaluaciones psicológicas/de encuesta (más sobre esto más adelante). La dificultad es importante para evaluar las características de un ítem y si debe seguir siendo parte de la evaluación; en muchos casos, los ítems se eliminan si son demasiado fáciles o demasiado difíciles. También nos permite comprender mejor cómo los ítems y la prueba en su conjunto funcionan como un instrumento de medición y qué pueden decirnos sobre los examinados.

He oído hablar de la “facilidad del objeto”. ¿Es algo similar?

La dificultad del objeto también se denomina facilidad del objeto, que en realidad es un nombre más apropiado. ¿Por qué? El valor P es un concepto inverso: un valor bajo indica una dificultad alta y viceversa. Si pensamos en el concepto como facilidad o facilidad, entonces el valor P se alinea con el concepto; un valor alto significa una facilidad alta. Por supuesto, es difícil romper con la tradición, y casi todo el mundo todavía lo llama dificultad. Pero podría ayudarte pensar en ello como “facilidad”.

¿Cómo calculamos la dificultad clásica de los ítems?

Hay dos paradigmas predominantes en psicometría: la teoría clásica de los pruebas (TCP) y la teoría de respuesta al ítem (TRÍ). Aquí, me centraré en el enfoque más simple, la TCP.

Para calcular la dificultad clásica de los ítems con ítems dicotómicos, simplemente cuente el número de examinados que respondieron correctamente (o en la dirección clave) y divídalo por el número de encuestados. Esto le da una proporción, que es como un porcentaje pero está en la escala de 0 a 1 en lugar de 0 a 100. Por lo tanto, el rango posible que verá informado es de 0 a 1. Considere este conjunto de datos.

Persona	Ítem1	Ítem2	Ítem3	Ítem4	Ítem5	Ítem6	Puntaje
1	0	0	0	0	0	1	1
2	0	0	0	0	1	1	2
3	0	0	0	1	1	1	3
4	0	0	1	1	1	1	4
5	0	1	1	1	1	1	5
Dificultad:	0.00	0.20	0.40	0.60	0.80	1.00

El ítem 6 tiene un alto índice de dificultad, lo que significa que es muy fácil. El ítem 4 y el ítem 5 son ítems típicos, donde la mayoría de los ítems responden correctamente. El ítem 1 es extremadamente difícil; ¡nadie lo respondió correctamente!

Para ítems politómicos (ítems con más de un punto), la dificultad clásica del ítem es el valor de respuesta promedio. Es decir, si tenemos un ítem Likert de 5 puntos, y dos personas responden 4 y dos responden 5, entonces el promedio es 4.5. Esto, por supuesto, es matemáticamente equivalente al valor P si los puntos son 0 y 1 para un ítem no/sí. Un ejemplo de esta situación es este conjunto de datos:

Persona	Ítem1	Ítem2	Ítem3	Ítem4	Ítem5	Ítem6	Puntaje
1	1	1	2	3	4	5	1
2	1	2	2	4	4	5	2
3	1	2	3	4	4	5	3
4	1	2	3	4	4	5	4
5	1	2	3	5	4	5	5
Dificultad:	1.00	1.80	2.60	4.00	4.00	5.00

Tenga en cuenta que este enfoque para calcular la dificultad depende de la muestra. Si tuviéramos una muestra diferente de personas, las estadísticas podrían ser bastante diferentes. Este es uno de los principales inconvenientes de la teoría clásica de los pruebas. La TRÍ aborda ese problema con un paradigma diferente. También tiene un índice con la “dirección” correcta: los valores altos significan una gran dificultad con la TRÍ.

Si está trabajando con ítems de opción múltiple, recuerde que, si bien puede tener 4 o 5 respuestas, aún está calificando los ítems como correctos/incorrectos. Por lo tanto, los datos terminan siendo dicotómicos 0/1.

Nota final muy importante: este valor P NO debe confundirse con el valor p del mundo de las pruebas de hipótesis. Tienen el mismo nombre, pero por lo demás no están relacionados en absoluto. Por esta razón, algunos psicometristas lo llaman P+ (se pronuncia “P-plus”), pero eso no se ha popularizado.

¿Cómo interpreto la dificultad clásica de los ítems?

Para las evaluaciones educativas/cognitivas, la dificultad se refiere a la probabilidad de que los examinados respondan correctamente el ítem. Si más examinados responden correctamente el ítem, tiene baja dificultad. Para los datos de tipo psicológico/encuesta, la dificultad se refiere a la probabilidad de responder en la dirección clave. Es decir, si está evaluando la extraversión y el ítem es “Me gusta ir a fiestas”, entonces está evaluando cuántos examinados estuvieron de acuerdo con la afirmación.

Lo que es único con los datos de tipo encuesta es que a menudo incluyen una clave inversa; la misma evaluación también puede tener un ítem que sea “Prefiero pasar tiempo con libros en lugar de personas” y un examinado que no esté de acuerdo con esa afirmación cuenta como un punto para la puntuación total.

Para la evaluación educativa/de conocimiento estereotipada, con ítems de opción múltiple de 4 o 5 opciones, utilizamos pautas generales como esta para la interpretación.

Rango	Interpretación	Notas
0.0-0.3	Extremadamente difícil	Los examinados están en el nivel de probabilidad o incluso por debajo, por lo que su artículo podría estar mal escrito o tener otros problemas.
0.3-0.5	Muy difícil	Los elementos de este rango desafiarán incluso a los mejores examinados y, por lo tanto, podrían generar quejas, pero por lo general son muy fuertes.
0.5-0.7	Moderadamente difícil	Estos elementos son bastante comunes y un poco más resistentes.
0.7-0.90	Moderadamente fácil	Estos son los rangos de elementos más comunes en la mayoría de las pruebas construidas de manera clásica; lo suficientemente fáciles como para que los examinados rara vez se quejen.
0.90-1.0	Muy fácil	La mayoría de los examinados dominan estos ítems, pero en realidad son demasiado fáciles de proporcionar para los examinados y pueden ser perjudiciales para la confiabilidad.

No. Hay mucho software que puede hacerlo por ti. Si eres nuevo en psicometría, te recomiendo CITAS, que está diseñado para que puedas empezar a trabajar rápidamente, pero es demasiado simple para situaciones avanzadas. Si tienes muestras grandes o estás involucrado en trabajo a nivel de producción, necesitas Iteman. Regístrate para obtener una cuenta gratuita con el botón de abajo. Si ese es tu caso, también te recomiendo que consideres aprender TRÍ si aún no lo has hecho.

octubre 31, 2024/por Nathan Thompson, PhD

¿Qué es la puntuación escalada en una prueba?

Nathan Thompson, PhDoctubre 25, 2024

La puntuación escalada es un proceso utilizado en evaluación y psicometría para transformar las puntuaciones de los exámenes a otra escala (conjunto de números), normalmente para hacer que las puntuaciones sean más fáciles de interpretar pero también para ocultar información sensible como las puntuaciones brutas y las diferencias en la dificultad de la forma (equiparación). Por ejemplo, la prueba ACT produce puntuaciones en una escala de 0 a 36; obviamente, hay más de 36 preguntas en la prueba, por lo que esta no es su puntuación numérica correcta, sino más bien un reempaquetado. Entonces, ¿cómo ocurre este reempaquetado y por qué lo estamos haciendo en primer lugar?

Un ejemplo de escalas: temperatura

Primero, hablemos de la definición de una escala. Una escala es un rango de números a los que se les pueden asignar valores e interpretaciones. Las puntuaciones en un ensayo de un estudiante pueden ser de 0 a 5 puntos, por ejemplo, donde 0 es horrible y 5 es maravilloso. Las puntuaciones brutas en un examen, como la puntuación de los números correctos, también son una escala, pero hay razones para ocultar esto, que analizaremos a continuación.

Un ejemplo de escala con el que todos estamos familiarizados es la temperatura. Hay tres escalas de las que probablemente hayas oído hablar: Fahrenheit, Celsius y Kelvin. Por supuesto, el concepto de temperatura no cambia, solo cambiamos el conjunto de números que se utilizan para informarlo. El agua se congela a 32 grados Fahrenheit y hierve a 212, mientras que estos números son 0 y 100 con Celsius. Lo mismo ocurre con la evaluación: el concepto de lo que estamos midiendo no cambia en un examen determinado (por ejemplo, el conocimiento del currículo de matemáticas de quinto grado en los EE. UU., el dominio de Microsoft Excel, las habilidades clínicas como neurólogo), pero podemos cambiar los números.

¿Qué es la puntuación escalada?

En evaluación y psicometría, podemos cambiar el rango de números (escala) que se utiliza para informar las puntuaciones, al igual que podemos cambiar el rango de números para la temperatura. Si una prueba tiene 100 ítems pero no queremos informar la puntuación real a los estudiantes, podemos cambiar la escala a algo como 40 a 90. O 0 a 5. O 824.524 a 965.844. No importa desde una perspectiva matemática. Pero como uno de los objetivos es hacer que sea más fácil de interpretar para los estudiantes, los dos primeros son mucho mejores que el tercero.

Por lo tanto, si una organización informa puntuaciones escaladas, significa que ha elegido una nueva escala arbitraria y está convirtiendo todas las puntuaciones a esa escala. A continuación, se muestran algunos ejemplos…

Ejemplos reales

Muchas evaluaciones se normalizan en una curva de campana normal estándar. Aquellas que utilizan la teoría de respuesta a los ítems lo hacen de manera implícita, porque las puntuaciones se calculan directamente en la escala de puntuación z (hay algunas diferencias semánticas, pero es la idea básica). Bueno, cualquier puntuación en la curva de campana de puntuación z se puede convertir a otras escalas con bastante facilidad, y viceversa. A continuación, se muestran algunas de las escalas comunes utilizadas en el mundo de la evaluación.

puntuación z	puntuación T	CI (IQ)	Percentil	ACT	SAT
-3	20	55	0.02	0	200
-2	30	70	2.3	6	300
-1	40	85	15.9	12	400
0	50	100	50	18	500
1	60	115	84.1	24	600
2	70	130	97.7	30	700
3	80	145	99.8	36	800

¡Observe cómo la traducción de los enfoques basados en curvas normales al percentil es muy no lineal! Los enfoques basados en curvas estiran los extremos. Así es como se ven estos números gráficamente.

¿Por qué utilizar la puntuación escalada?

Hay algunas buenas razones:

Diferencias en la dificultad de los formularios (equiparación): muchos exámenes utilizan varios formularios, especialmente entre años. ¿Qué sucede si el formulario de este año tiene algunas preguntas más fáciles y necesitamos reducir la puntuación de aprobación en 1 punto en la métrica de puntuación bruta? Bueno, si está utilizando puntuaciones escaladas como 200 a 400 con una puntuación de corte de 350, entonces simplemente ajuste la escala cada año para que la puntuación de corte informada sea siempre 350.
Ocultar la puntuación bruta: en muchos casos, incluso si solo hay un formulario de 100 elementos, no desea que los estudiantes sepan su puntuación real.
Ocultar la escala z (TRI): la TRI califica a las personas en la escala de puntuación z. Nadie quiere que le digan que tiene una puntuación de -2. Eso hace que parezca que tiene una inteligencia negativa o algo así. Pero si lo conviertes a una escala grande como el SAT mencionado anteriormente, esa persona obtiene una puntuación de 300, que es un número grande, por lo que no se siente tan mal. Sin embargo, esto no cambia el hecho de que solo están en el segundo percentil. En realidad, son solo relaciones públicas y marketing.

¿Quién utiliza la puntuación escalada?

Casi todos los exámenes “reales” del mundo la utilizan. Por supuesto, la mayoría utiliza la TRI, lo que hace que sea aún más importante utilizar la puntuación escalada.

Métodos de puntuación escalada

Existen 4 tipos de puntuación escalada. En el resto de esta publicación se abordarán algunos detalles psicométricos sobre ellos, para lectores avanzados.

Normal/estandarizado
Lineal
Lineal dogleg
Equipercentil

1. Normal/estandarizado

Este es un método de puntuación escalada con el que muchos de nosotros estamos familiarizados debido a algunas aplicaciones famosas, como la puntuación T, el coeficiente intelectual y las evaluaciones a gran escala como el SAT. Comienza encontrando la media y la desviación estándar de las puntuaciones brutas de una prueba, y luego convierte lo que sea que sea en otra media y desviación estándar. Si esto parece bastante arbitrario y no cambia el significado… ¡tienes toda la razón!

Empecemos por suponer que tenemos una prueba de 50 ítems y que nuestros datos tienen una media de puntuación bruta de 35 puntos con una desviación estándar de 5. La transformación de la puntuación T (que existe desde hace tanto tiempo que una búsqueda rápida en Google no me permite encontrar la cita real) dice que hay que convertir esto en una media de 50 con una desviación estándar de 10. Por lo tanto, 35 puntos brutos se convierten en una puntuación escalada de 50. Una puntuación bruta de 45 (2 desviaciones estándar por encima de la media) se convierte en una T de 70. También podríamos colocar esto en la escala de CI (media = 100, desviación estándar = 15) o en la escala SAT clásica (media = 500, desviación estándar = 100).

Un comentario aparte sobre los límites de estas escalas: una de las primeras cosas que se aprende en cualquier clase de estadística es que más/menos 3 desviaciones estándar contiene el 99 % de la población, por lo que muchas puntuaciones escaladas adoptan estos y otros límites convenientes. Por eso la escala clásica del SAT pasó de 200 a 800, con la leyenda urbana de que “obtienes 200 puntos por poner tu nombre en el papel”. De manera similar, el ACT va de 0 a 36 porque nominalmente tenía una media de 18 y una desviación estándar de 6.

El enfoque normal/estandarizado se puede utilizar con la puntuación clásica de números correctos, pero tiene más sentido si se utiliza la teoría de respuesta a los ítems, porque todas las puntuaciones se basan por defecto en una métrica estandarizada.

2. Lineal

El enfoque lineal es bastante simple. Emplea la ecuación y=mx+b que todos aprendimos en la escuela. Con el ejemplo anterior de una prueba de 50 ítems, podríamos decir que la intersección=200 y la pendiente=4. Esto significa que los puntajes varían de 200 a 400 en la prueba.

Sí, lo sé… la conversión normal anterior también es técnicamente lineal, pero merece su propia definición.

3. Lineal dogleg

El método Dogleg lineal es un caso especial del anterior, en el que es necesario estirar la escala para alcanzar dos puntos finales. Supongamos que publicamos una nueva forma de la prueba y un método de igualación clásico como el de Tucker o Levine dice que es 2 puntos más fácil y que la pendiente de la Forma A a la Forma B es 3,8 en lugar de 4. Esto altera nuestra conversión limpia de la escala de 200 a 400. Por lo tanto, supongamos que utilizamos la ecuación SCALED = 200 + 3,8*RAW pero solo hasta la puntuación de 30. A partir de 31, utilizamos SCALED = 185 + 4,3*RAW. Observe que la puntuación bruta de 50 sigue siendo escalada a 400, por lo que todavía pasamos de 200 a 800, pero ahora hay una ligera curva en la línea. Esto se llama “dogleg”, similar al hoyo de golf del mismo nombre.

4. Equipercentil

Por último, está el Equipercentil, que se utiliza principalmente para igualar formas, pero que también se puede utilizar para escalar. En esta conversión, igualamos el percentil de cada una, incluso si se trata de una transformación muy no lineal. Por ejemplo, supongamos que nuestra Forma A tenía un percentil 90 de 46, que se convirtió en una escala de 384. Descubrimos que la Forma B tiene un percentil 90 de 44 puntos, por lo que lo llamamos una puntuación escalada de 384 y calculamos una conversión similar para todos los demás puntos.

¿Por qué estamos haciendo esto de nuevo?

Bueno, se puede ver en el ejemplo de tener dos formularios con una diferencia de dificultad. En el ejemplo del percentil equiparable, supongamos que hay un puntaje de corte para estar en el 10% superior para ganar una beca. Si obtiene 45 en el Formulario A, perderá, pero si obtiene 45 en el Formulario B, ganará. Los patrocinadores de la prueba no quieren tener esta conversación con los examinados enojados, por lo que convierten todas las puntuaciones a una escala arbitraria. El percentil 90 siempre es 384, sin importar cuán difícil sea la prueba. (Sí, ese ejemplo simple supone que las poblaciones son las mismas… hay una parte completa de la investigación psicométrica dedicada a realizar equiparaciones más fuertes).

¿Cómo implementamos la puntuación escalada?

Algunas transformaciones se pueden realizar fácilmente en una hoja de cálculo, pero cualquier buena plataforma de evaluación en línea debería encargarse de este tema por usted. Aquí hay una captura de pantalla de ejemplo de nuestro software.

octubre 25, 2024/por Nathan Thompson, PhD

El poder de la prueba lineal sobre la marcha

Nathan Thompson, PhDoctubre 23, 2024

La Prueba Lineal Sobre la Marcha (PLSM) es un método de evaluación que aumenta la seguridad de la prueba al limitar la exposición de los ítems. Intenta equilibrar las ventajas de las pruebas lineales (por ejemplo, todos ven la misma cantidad de ítems, lo que resulta más justo) con las ventajas de los exámenes algorítmicos (por ejemplo, crear una prueba única para todos).

En general, hay dos familias de entrega de pruebas. Los enfoques estáticos entregan el mismo formulario o formularios de prueba a todos; este es el método de prueba “lineal” tradicional y omnipresente. Los enfoques algorítmicos entregan la prueba a cada examinado basándose en un algoritmo informático; esto incluye PLSM, pruebas adaptativas computarizadas (PAC) y pruebas multietapa (PME).

¿Qué es la prueba lineal sobre la marcha?

El objetivo de la prueba lineal sobre la marcha es proporcionar a cada examinado una prueba lineal creada exclusivamente para él, pero cada una de ellas se crea para que sea psicométricamente equivalente a todas las demás para garantizar la imparcialidad. Por ejemplo, podríamos tener un grupo de 200 ítems y cada persona solo recibe 100, pero esos 100 están equilibrados para cada persona. Esto se puede hacer asegurando la equivalencia de contenido y/o estadística, así como metadatos auxiliares como los tipos de ítems o el nivel cognitivo.

Equivalencia de contenido

Esta parte es relativamente sencilla. Si el plan de prueba requiere 20 ítems en cada uno de los 5 dominios, para un total de 100 ítems, entonces cada formulario administrado a los examinados debe seguir este plan. A veces, el plan de contenido puede tener 2 o incluso 3 niveles de profundidad.

Equivalencia estadística

Por supuesto, existen dos paradigmas psicométricos predominantes: la teoría clásica de las pruebas (TCP) y la teoría de respuesta al ítem (TRI). Con la TCP, es fácil crear formularios que tengan un valor P equivalente y, por lo tanto, una puntuación media esperada. Si se dispone de estadísticas biseriales puntuales para cada ítem, también se puede diseñar el algoritmo para diseñar formularios que tengan la misma desviación estándar y confiabilidad.

Con la teoría de respuesta al ítem, el enfoque típico es diseñar formularios que tengan la misma función de información de la prueba o, a la inversa, la función de error estándar condicional de la medición. Para obtener más información sobre cómo se implementan, lea esta publicación del blog sobre la TRI o descargue nuestra herramienta de ensamblaje de formularios clásicos.

Implementación de la prueba lineal sobre la marcha

PLSM se implementa generalmente mediante la publicación de un conjunto de elementos con un algoritmo para seleccionar subconjuntos que cumplan con los requisitos. Por lo tanto, necesita un motor de pruebas psicométricamente sofisticado que almacene las estadísticas y los metadatos de los elementos necesarios, le permita definir un conjunto de elementos, especificar las opciones relevantes, como las estadísticas de destino y los planos, y entregar la prueba de manera segura. Muy pocas plataformas de prueba pueden implementar una evaluación PLSM de calidad. La plataforma de ASC lo hace; haga clic aquí para solicitar una demostración.

Beneficios de usar PLSM en las pruebas

Sin duda, no es fácil crear un banco de elementos sólido, diseñar grupos de PLSM y desarrollar un algoritmo complejo que satisfaga las necesidades de equilibrio estadístico y de contenido. Entonces, ¿por qué una organización utilizaría pruebas lineales sobre la marcha?

Bueno, es mucho más seguro que tener unos pocos formularios lineales. Dado que cada persona recibe un formulario único, es imposible que se diga cuáles son las primeras preguntas de la prueba. Y, por supuesto, simplemente podríamos realizar una selección aleatoria de 100 elementos de un grupo de 200, pero eso sería potencialmente injusto. El uso de PLSM garantizará que la prueba siga siendo justa y defendible.

octubre 23, 2024/por Nathan Thompson, PhD

Pruebas multietapa

Nathan Thompson, PhDoctubre 23, 2024

Las pruebas multietapa (PME) son un tipo las pruebas adaptativas computarizadas (PAC). Esto significa que es un examen que se realiza en computadoras que lo personalizan dinámicamente para cada examinado o estudiante. Por lo general, esto se hace con respecto a la dificultad de las preguntas, al hacer que el examen sea más fácil para los estudiantes de menor capacidad y más difícil para los estudiantes de mayor capacidad. Hacer esto hace que la prueba sea más corta y más precisa, al mismo tiempo que brinda beneficios adicionales. Esta publicación brindará más información sobre las pruebas multietapa para que pueda evaluar si son una buena opción para su organización.

¿Ya está interesado en PME y desea implementarlo? Contáctenos para hablar con uno de nuestros expertos y obtener acceso a nuestra poderosa plataforma de evaluación en línea, donde puede crear sus propios exámenes PME y PAC en cuestión de horas.

Haga clic aquí para ver un ejemplo de prueba multietapa

¿Qué son las pruebas multietapa?

Al igual que la PAC, la prueba multietapa adapta la dificultad de los ítems presentados al estudiante. Pero mientras que la prueba adaptativa funciona adaptando cada ítem uno por uno usando la teoría de respuesta al ítem (TRI), la multietapa funciona en bloques de ítems. Es decir, la PAC entregará un ítem, lo calificará, elegirá un nuevo ítem, lo calificará, elegirá un nuevo ítem, etc. La prueba multietapa entregará un bloque de ítems, como 10, los calificará y luego entregará otro bloque de 10.

El diseño de una prueba de varias etapas a menudo se denomina paneles. Por lo general, hay una sola prueba de enrutamiento o etapa de enrutamiento que inicia el examen y luego los estudiantes son dirigidos a diferentes niveles de paneles para las etapas posteriores. A veces se utiliza el número de niveles para describir el diseño; el ejemplo de la derecha es un diseño 1-3-3. A diferencia de PAC, solo hay unos pocos caminos potenciales, a menos que cada etapa tenga un grupo de testlets disponibles.

Al igual que con la prueba PAC ítem por ítem, las pruebas multietapa casi siempre se realizan utilizando la TRI como paradigma psicométrico, algoritmo de selección y método de puntuación. Esto se debe a que la TRI puede calificar a los examinados en una escala común independientemente de los ítems que vean, lo que no es posible utilizando la teoría clásica de pruebas.

Para aprender más sobre las PME, recomiendo este libro.

¿Por qué las pruebas multietapa?

La PAC ítem por ítem no es la mejor opción para todas las evaluaciones, especialmente aquellas que naturalmente tienden a utilizar pequeños cuestionarios, como las evaluaciones de idioma donde hay un pasaje de lectura con 3 a 5 preguntas asociadas.

Las pruebas multietapa le permiten obtener algunos de los beneficios conocidos de las pruebas adaptativas (ver a continuación), con un mayor control sobre el contenido y la exposición. Además de controlar el contenido a nivel de examinado, también puede facilitar la gestión del uso del banco de ítems para la organización.

¿Cómo implemento pruebas multietapa?

1. Desarrolle sus bancos de ítems utilizando ítems calibrados con la teoría de respuesta a ítems

2. Ensamble una prueba con múltiples etapas, definiendo grupos de ítems en cada etapa como testlets

3. Evalúe las funciones de información de la prueba para cada testlet

4. Ejecute estudios de simulación para validar el algoritmo de entrega con sus testlets predefinidos

5. Publique para entrega en línea

Nuestra plataforma de evaluación líder en la industria administra gran parte de este proceso por usted. La imagen a la derecha muestra nuestra pantalla de ensamblaje de pruebas donde puede evaluar las funciones de información de la prueba para cada testlet.

Beneficios de las pruebas en varias etapas

Este enfoque tiene una serie de beneficios, que en su mayoría son compartidos con CAT.

Exámenes más cortos: debido a que la dificultad está dirigida, se pierde menos tiempo
Mayor seguridad: hay muchas configuraciones posibles, a diferencia de un examen lineal donde todos ven el mismo conjunto de elementos
Mayor participación: los estudiantes con menor capacidad no se desaniman y los estudiantes con mayor capacidad no se aburren
Control de contenido: PAC tiene algunos algoritmos de control de contenido, pero a veces no son suficientes
Admite testlets: PAC no admite pruebas que tengan testlets, como un pasaje de lectura con 5 preguntas
Permite la revisión: PAC no suele permitir la revisión (los estudiantes pueden volver atrás en una pregunta para cambiar una respuesta), mientras que PME sí lo permite

Ejemplos de pruebas multietapa

La PME se utiliza a menudo en la evaluación de idiomas, lo que significa que se utiliza a menudo en la evaluación educativa, como los exámenes de referencia K-12, las admisiones universitarias o la colocación/certificación de idiomas. Uno de los ejemplos más famosos es la Prueba de Aptitud Académica de The College Board; se está moviendo hacia un enfoque PME en 2023.

Debido a la complejidad de la teoría de respuesta a los ítems, la mayoría de las organizaciones que implementan la PME tienen un psicometrista a tiempo completo en el personal. Si su organización no lo tiene, nos encantaría discutir cómo podemos trabajar juntos.

octubre 23, 2024/por Nathan Thompson, PhD

Pruebas adaptativas computarizadas: Introducción

Nathan Thompson, PhDoctubre 22, 2024

Las pruebas adaptativas computarizadas (PAC) son un enfoque de evaluación basado en IA donde la prueba se personaliza en función de su desempeño a medida que realiza la prueba, lo que hace que la prueba sea más corta, más precisa, más segura, más atractiva y más justa. Si le va bien, los elementos se vuelven más difíciles y, si le va mal, los elementos se vuelven más fáciles. Si se alcanza una puntuación precisa, la prueba se detiene antes. Al adaptar la dificultad de las preguntas al desempeño de cada examinado, PAC garantiza un proceso de prueba eficiente y seguro.

Los algoritmos de IA casi siempre se basan en la teoría de respuesta al ítem (TRI), una aplicación del aprendizaje automático a la evaluación, pero también pueden basarse en otros modelos.

¿Prefieres aprender haciendo? Solicite una cuenta gratuita en FastTest, nuestra poderosa plataforma de pruebas adaptativas.

¿Qué son las pruebas adaptativas computarizadas?

Las pruebas adaptativas computarizadas (PAC), a veces llamadas pruebas adaptativas por computadora, evaluación adaptativa o pruebas adaptativas, son un algoritmo que personaliza cómo se entrega una evaluación a cada examinado. Está codificada en una plataforma de software, utilizando el enfoque de aprendizaje automático de TRI para seleccionar elementos y calificar a los examinados. El algoritmo procede en un bucle hasta que se completa la prueba. Esto hace que la prueba sea más inteligente, más corta, más justa y más precisa.

Los pasos del diagrama anterior están adaptados de Kingsbury y Weiss (1984) en función de estos componentes.

Componentes de una pruebas adaptativas computarizadas

Banco de ítems calibrado con TRI
Punto de inicio (nivel theta antes de que alguien responda un ítem)
Algoritmo de selección de ítems (normalmente, máxima información de Fisher)
Método de puntuación (p. ej., máxima verosimilitud)
Criterio de finalización (¿detener la prueba en 50 ítems o cuando el error estándar sea inferior a 0,30? ¿Ambos?)

Cómo funcionan los componentes

Para empezar, necesitas un banco de ítems que haya sido calibrado con un modelo psicométrico o de aprendizaje automático relevante. Es decir, no puedes simplemente escribir unos pocos ítems y clasificarlos subjetivamente como de dificultad Fácil, Media o Difícil. Esa es una forma fácil de ser demandado. En cambio, necesitas escribir una gran cantidad de ítems (la regla general es 3 veces la duración prevista de la prueba) y luego probarlos en una muestra representativa de examinados. La muestra debe ser lo suficientemente grande para soportar el modelo psicométrico que elijas, y puede variar de 100 a 1000. Luego necesitas realizar una investigación de simulación (más sobre eso más adelante).

Una vez que tenga un banco de elementos listo, así es como funciona el algoritmo de prueba adaptativa computarizada para un estudiante que se sienta a tomar la prueba, con opciones sobre cómo hacerlo.

Punto de partida: hay tres opciones para seleccionar la puntuación inicial, que los psicometristas llaman theta
- Todos obtienen el mismo valor, como 0,0 (promedio, en el caso de modelos que no son Rasch)
- Aleatorizado dentro de un rango, para ayudar a probar la seguridad y la exposición del artículo
- Valor previsto, tal vez a partir de datos externos o de un examen anterior
Seleccionar artículo
- Encuentra el elemento en el banco que tenga el mayor valor informativo
- A menudo, es necesario equilibrar esto con restricciones prácticas, como la exposición del artículo o el equilibrio del contenido.
Calificar al examinado
- Generalmente IRT, máxima verosimilitud o modal bayesiano
Evaluar el criterio de terminación: utilizando una regla predefinida respaldada por su investigación de simulación
- ¿Se alcanza un cierto nivel de precisión, como un error estándar de medición < 0,30?
- ¿No quedan artículos buenos en el banco?
- ¿Se alcanzó un límite de tiempo?
- ¿Se ha alcanzado el límite máximo de artículos?

El algoritmo funciona repitiendo los pasos 2-3-4 hasta que se satisface el criterio de terminación.

¿Cómo se adapta la prueba? ¿Por dificultad o cantidad?

Las PAC funcionan adaptando tanto la dificultad como la cantidad de elementos que ve cada examinado.

Dificultad
La mayoría de las caracterizaciones de las pruebas adaptativas computarizadas se centran en cómo se combina la dificultad de los elementos con la capacidad del examinado. Los examinados de alta capacidad reciben elementos más difíciles, mientras que los de baja capacidad reciben elementos más fáciles, lo que tiene importantes beneficios para el estudiante y la organización. Una prueba adaptativa generalmente comienza entregando un elemento de dificultad media; si lo responde correctamente, recibe un elemento más difícil, y si lo responde incorrectamente, recibe un elemento más fácil. Este patrón continúa.

Cantidad: longitud fija frente a longitud variable
Una faceta menos publicitada de la adaptación es la cantidad de elementos. Las pruebas adaptativas pueden diseñarse para detenerse cuando se alcanzan ciertos criterios psicométricos, como un nivel específico de precisión de la puntuación. Algunos examinados terminan muy rápidamente con pocos elementos, por lo que las pruebas adaptativas suelen tener aproximadamente la mitad de preguntas que una prueba regular, con al menos la misma precisión. Dado que algunos examinados tienen exámenes más largos, estos exámenes adaptativos se denominan de duración variable. Obviamente, esto supone un beneficio enorme: reducir el tiempo de examen a la mitad, en promedio, puede reducir sustancialmente los costos de los exámenes.

Algunas pruebas adaptativas utilizan una duración fija y solo adaptan la dificultad de los ítems. Esto es simplemente por cuestiones de relaciones públicas, es decir, la incomodidad de tratar con examinados que sienten que fueron tratados injustamente por el PAC, a pesar de que se podría decir que es más justo y válido que las pruebas convencionales. En general, es una mejor práctica fusionar los dos: permitir que la duración de la prueba sea más corta o más larga, pero poner límites en cada extremo que eviten pruebas inadvertidamente demasiado cortas o pruebas que potencialmente podrían llegar a 400 ítems. Por ejemplo, el NCLEX tiene un examen de duración mínima de 75 ítems y el examen de duración máxima de 145 ítems.

Ejemplo de algoritmo de prueba adaptativa computarizada

Veamos un ejemplo muy simplificado. Aquí tenemos un banco de preguntas con 5 preguntas. Comenzaremos con una pregunta de dificultad promedio y responderemos como lo haría un estudiante con una dificultad por debajo del promedio.

A continuación se muestran las funciones de información de las preguntas para cinco preguntas de un banco. Supongamos que la theta inicial es 0,0.

Encontramos el primer elemento a entregar. ¿Qué elemento tiene la información más alta en 0.0? Es el elemento 4.
Supongamos que el estudiante responde incorrectamente.
Ejecutamos el algoritmo de puntuación IRT y suponemos que la puntuación es -2.0.
Comprobamos el criterio de terminación; ciertamente no hemos terminado todavía, después de 1 elemento.
Encontramos el siguiente elemento. ¿Cuál tiene la información más alta en -2.0? Elemento 2.
Supongamos que el estudiante responde correctamente.
Ejecutamos el algoritmo de puntuación IRT y suponemos que la puntuación es -0.8.
Evaluamos el criterio de terminación; aún no hemos terminado.
Encontramos el siguiente elemento. El elemento 2 es el más alto en -0.8 pero ya lo usamos. El elemento 4 es el siguiente mejor, pero ya lo usamos. Entonces, el siguiente mejor es el elemento 1.
El elemento 1 es muy fácil, por lo que el estudiante lo responde correctamente.
La nueva puntuación es -0.2.
El mejor elemento restante con -0,2 es el elemento 3.
Supongamos que el estudiante responde incorrectamente.
La nueva puntuación es quizás -0,4.
Evalúa el criterio de finalización. Supón que la prueba tiene un máximo de 3 elementos, un criterio extremadamente simple. Lo hemos cumplido. La prueba ya está hecha y se envió automáticamente.

Ventajas de las pruebas adaptativas informatizadas

Al hacer que la prueba sea más inteligente, las pruebas adaptativas brindan una amplia gama de beneficios. A continuación, se enumeran algunas de las ventajas conocidas de las pruebas adaptativas, reconocidas por la investigación psicométrica académica.

Pruebas más cortas

Las investigaciones han demostrado que las pruebas adaptativas producen una reducción de entre el 50% y el 90% en la duración de la prueba. Esto no es ninguna sorpresa. Supongamos que tienes un conjunto de 100 ítems. Un estudiante destacado tiene prácticamente garantizado que responderá correctamente las 70 preguntas más fáciles; solo las 30 más difíciles le harán pensar. Lo mismo ocurre con un estudiante de bajo nivel. Los estudiantes de nivel medio no necesitan las preguntas superdifíciles ni las superfáciles.

¿Por qué es importante esto? Principalmente, puede reducir en gran medida los costos. Supongamos que estás realizando 100.000 exámenes al año en centros de evaluación y pagas 30 dólares la hora. Si puedes reducir la duración de tu examen de 2 horas a 1 hora, acabas de ahorrar 3.000.000 de dólares. Sí, habrá mayores costos por el uso de la evaluación adaptativa, pero es probable que ahorres dinero al final.

Para la evaluación K12, no estás pagando por el tiempo de asiento, pero existe el costo de oportunidad del tiempo de instrucción perdido. Si los estudiantes toman evaluaciones formativas 3 veces al año para verificar el progreso, y puedes reducir cada una en 20 minutos, es decir 1 hora; si hay 500,000 estudiantes en tu estado, entonces acabas de ahorrar 500,000 horas de aprendizaje.

Puntuaciones más precisas

CAT hará que las pruebas sean más precisas, en general. Esto se logra diseñando los algoritmos específicamente en torno a cómo obtener puntuaciones más precisas sin perder el tiempo del examinado.

Más control de la precisión de la puntuación (exactitud)

CAT garantiza que todos los estudiantes tendrán la misma precisión, lo que hace que la prueba sea mucho más justa. Las pruebas tradicionales miden bien a los estudiantes intermedios, pero no a los mejores o peores. ¿Es mejor que A) los estudiantes ven los mismos elementos pero pueden tener una precisión de puntuación drásticamente diferente, o B) tener una precisión de puntuación equivalente, pero ver elementos diferentes?

Mayor seguridad de la prueba

Dado que todos los estudiantes reciben esencialmente una evaluación que está diseñada para ellos, hay una mayor seguridad de la prueba que si todos ven los mismos 100 elementos. La exposición a los elementos se reduce en gran medida; sin embargo, tenga en cuenta que esto presenta sus propios desafíos y los algoritmos de evaluación adaptativos tienen consideraciones de su propia exposición a los elementos.

Una mejor experiencia para los examinados, con menos fatiga

Las evaluaciones adaptativas tenderán a ser menos frustrantes para los examinados en todos los rangos de habilidad. Además, al implementar reglas de detención de longitud variable (por ejemplo, una vez que sabemos que eres un estudiante destacado, no te damos los 70 ítems fáciles), se reduce la fatiga.

Mayor motivación del examinado

Dado que los examinados solo ven los ítems que son relevantes para ellos, esto proporciona un desafío apropiado. Los examinados de baja habilidad se sentirán más cómodos y obtendrán muchos más ítems correctos que con una prueba lineal. Los estudiantes de alta habilidad obtendrán los ítems difíciles que los hagan pensar.

Es posible volver a realizar pruebas con frecuencia

La idea de la “forma única” se aplica al mismo estudiante que toma el mismo examen dos veces. Supongamos que tomas la prueba en septiembre, al comienzo de un año escolar, y tomas la misma nuevamente en noviembre para verificar tu aprendizaje. Es probable que hayas aprendido bastante y estés más arriba en el rango de habilidad; tendrás ítems más difíciles y, por lo tanto, una nueva prueba. Si fuera una prueba lineal, podría ver exactamente la misma prueba.

Esta es una de las principales razones por las que la evaluación adaptativa desempeña un papel formativo en la educación K-12, y se realiza varias veces al año a millones de estudiantes solo en los Estados Unidos.

Ritmo individual de las pruebas

Los examinados pueden avanzar a su propio ritmo. Algunos pueden avanzar rápidamente y terminar con solo 30 ítems. Otros pueden dudar, también ver 30 ítems pero tomar más tiempo. Aún así, otros pueden ver 60 ítems. Los algoritmos pueden diseñarse para maximizar el proceso.

Ventajas de las pruebas computarizadas en general

Por supuesto, las ventajas de usar una computadora para realizar una prueba también son relevantes. A continuación, se presentan algunas

Informe de puntaje inmediato
Las pruebas a pedido pueden reducir la impresión, la programación y otras preocupaciones basadas en papel
Almacenar los resultados en una base de datos de inmediato facilita la gestión de datos
Las pruebas computarizadas facilitan el uso de multimedia en los ítems
Puede ejecutar informes psicométricos de inmediato
Los plazos se reducen con un sistema de banco de ítems integrado

Cómo desarrollar una evaluación adaptativa que sea válida y defendible

Las PAC son el futuro de la evaluación. Funcionan adaptando tanto la dificultad como la cantidad de ítems a cada examinado individual. El desarrollo de una prueba adaptativa no es una tarea fácil y requiere cinco pasos que integren la experiencia de los desarrolladores de contenido de pruebas, ingenieros de software y psicometristas.

El desarrollo de una prueba adaptativa de calidad es complejo y requiere psicometristas experimentados tanto en calibración de la teoría de respuesta al ítem (TRI) como en investigación de simulación PAC. FastTest puede proporcionarle el psicometrista y el software; si proporciona ítems de prueba y datos piloto, podemos ayudarlo a publicar rápidamente una versión adaptativa de su prueba.

Paso 1: Estudios de viabilidad, aplicabilidad y planificación. Primero, debe realizarse una investigación exhaustiva de simulación de Monte Carlo y los resultados deben formularse como casos de negocios para evaluar si las pruebas adaptativas son factibles, aplicables o incluso posibles.

Paso 2: Desarrollar un banco de ítems. Se debe desarrollar un banco de ítems para cumplir con las especificaciones recomendadas en el Paso 1.

Paso 3: Realizar pruebas previas y calibrar el banco de ítems. Los ítems deben probarse de manera piloto en 200 a 1000 examinados (dependiendo del modelo de TRI) y ser analizados por un psicometrista con doctorado.

Paso 4: Determinar las especificaciones para la PAC final. Los datos del Paso 3 se analizan para evaluar las especificaciones de la PAC y determinar los algoritmos más eficientes utilizando software de simulación de PAC como CATSim.

Paso 5: Publicar la PAC en vivo. La prueba adaptativa se publica en un motor de pruebas capaz de realizar pruebas totalmente adaptativas basadas en TRI. No hay muchos de ellos en el mercado. ¡Regístrese para obtener una cuenta gratuita en nuestra plataforma FastTest y pruébelo usted mismo!

¿Quiere obtener más información sobre nuestro modelo único? Haga clic aquí para leer el artículo fundamental de nuestros dos cofundadores. Hay más investigaciones sobre pruebas adaptativas disponibles aquí.

Requisitos mínimos para las pruebas adaptativas computarizadas

A continuación, se indican algunos requisitos mínimos que debe evaluar si está considerando adoptar el enfoque PAC.

Un gran banco de ítems probado de modo que cada ítem tenga al menos 100 respuestas válidas (modelo Rasch) o 500 (modelo 3PL)
500 examinados por año
Software especializado de calibración TRI y simulación PAC como Xcalibre y CATSim.
Personal con un doctorado en psicometría o un nivel equivalente de experiencia. O aproveche nuestra experiencia reconocida internacionalmente en el campo.
Ítems (preguntas) que se puedan calificar objetivamente como correctos/incorrectos en tiempo real
Un sistema de banco de ítems y una plataforma de entrega PAC
Recursos financieros: debido a que es tan complejo, el desarrollo de un PAC costará al menos $10,000 (USD), pero si está evaluando grandes volúmenes de examinados, será una inversión significativamente positiva. Si pagas $20/hora para supervisar los asientos y reduces la duración de un examen de 2 horas a 1 hora para solo 1000 examinados… eso es un ahorro de $20 000. ¿Y si estás haciendo 200 000 exámenes? Eso es un ahorro de $4 000 000 en tiempo de asiento.

Pruebas adaptativas: recursos para leer más

Visite los enlaces a continuación para obtener más información sobre la evaluación adaptativa.

Primero le recomendamos que lea este artículo fundamental de nuestros cofundadores.
Lea este artículo sobre cómo producir mejores mediciones con PAC del profesor David J. Weiss.
Asociación Internacional para Pruebas Adaptativas Computarizadas: www.iacat.org
A continuación, se incluye el enlace al seminario web sobre la historia de PAC, a cargo del padrino de PAC, el profesor David J. Weiss.

Ejemplos las pruebas adaptativas computarizadas

Muchas evaluaciones a gran escala utilizan tecnología adaptativa. El GRE (Graduate Record Examinations) es un excelente ejemplo de una prueba adaptativa. También lo es el NCLEX (examen de enfermería en los EE. UU.), el GMAT (admisión a escuelas de negocios) y muchas evaluaciones formativas como el NWEA MAP. El SAT ha pasado recientemente a un formato adaptativo de varias etapas.

Cómo implementar las pruebas adaptativas computarizadas

Nuestra revolucionaria plataforma, FastTest, facilita la publicación de un CAT. Una vez que cargue los textos de sus artículos y los parámetros IRT, puede elegir las opciones que desee para los pasos 2, 3 y 4 del algoritmo, simplemente haciendo clic en los elementos en nuestra interfaz fácil de usar.

Contáctenos para registrarse para obtener una cuenta gratuita en nuestra plataforma PAC líder en la industria o para hablar con uno de nuestros psicometristas con doctorado.

octubre 22, 2024/por Nathan Thompson, PhD

Estudio del método Angoff modificado

Nathan Thompson, PhDoctubre 21, 2024

Un estudio con el método Angoff modificado es una de las formas más comunes de establecer una puntuación de corte defendible en un examen. Por lo tanto, significa que las decisiones de aprobado/reprobado tomadas por la prueba son más confiables que si eligiera un número redondo arbitrario como el 70%. Si su médico, abogado, contador u otro profesional ha aprobado un examen en el que la puntuación de corte se ha establecido con este método, puede confiar más en sus habilidades.

¿Qué es el método Angoff?

El método Angoff es una forma científica de establecer un puntaje de corte (punto de aprobación) en una prueba. Si tiene una interpretación basada en criterios, no es legalmente defendible simplemente elegir convenientemente un número redondo como 70%; necesita un proceso formal. Hay una serie de metodologías aceptables en la literatura psicométrica para estudios de establecimiento de estándares, también conocidos como puntajes de corte o puntos de aprobación. Algunos ejemplos incluyen Angoff, Angoff modificado, Bookmark, Grupos contrastantes y Borderline. El enfoque Angoff modificado es, por lejos, el enfoque popular. Se utiliza especialmente con frecuencia para exámenes de certificación, licencia, certificado y otras credenciales.

Originalmente fue sugerido como una mera nota a pie de página por el reconocido investigador William Angoff, del Educational Testing Service.

¿Cómo funciona el enfoque Angoff?

Primero, reúne a un grupo de expertos en la materia (EM), con un mínimo de 6, aunque se prefieren 8-10 para una mejor confiabilidad, y pídeles que definan lo que consideran un Candidato Mínimamente Competente (CMC). A continuación, pídeles que estimen el porcentaje de candidatos mínimamente competentes que responderán cada elemento correctamente. Luego, analiza los resultados en busca de valores atípicos o inconsistencias. Si los expertos no están de acuerdo, deberá evaluar la confiabilidad y el acuerdo entre evaluadores, y luego hacer que los expertos discutan y vuelvan a calificar los elementos para obtener un mejor consenso. La calificación final promedio es entonces el puntaje porcentual correcto esperado para un candidato mínimamente competente.

Ventajas del método Angoff

Es defendible. Debido a que es el enfoque más comúnmente utilizado y se estudia ampliamente en la literatura científica, es bien aceptado.
Puede implementarse antes de que se administre una prueba. Algunos otros métodos requieren que primero se administre la prueba a una muestra grande.
Es conceptualmente simple, lo suficientemente fácil de explicar a los no psicometristas.
Incorpora el juicio de un panel de expertos, no solo de una persona o un número redondo.
Funciona para pruebas con teoría de pruebas clásica y teoría de respuesta al ítem.
No lleva mucho tiempo implementarlo: si es una prueba corta, ¡se puede hacer en cuestión de horas!
Se puede usar con diferentes tipos de ítems, incluidos ítems con puntaje politómico (multipuntos).

Desventajas del método Angoff

No utiliza datos reales, a menos que implementes el método Beuk junto con él.
Puede hacer que los expertos sobreestimen el desempeño de los candidatos principiantes, ya que olvidaron cómo era empezar hace 20 o 30 años. Esta es una razón para usar el método Beuk como una “verificación de la realidad” al mostrarles a los expertos que, si se quedan con el puntaje de corte que acaban de elegir, ¡la mayoría de los candidatos podrían fallar!

Ejemplo del método Angoff modificado

En primer lugar, no espere un proceso sencillo y directo que conduzca a una puntuación de corte incuestionablemente correcta. Todos los métodos de establecimiento de estándares implican cierto grado de subjetividad. El objetivo de los métodos es reducir esa subjetividad tanto como sea posible. Algunos métodos se centran en el contenido, otros en los datos de rendimiento del examinado, mientras que algunos intentan fusionar los dos.

Paso 1: Prepare a su equipo

El proceso Angoff modificado depende de una muestra representativa de EM, generalmente de 6 a 20. Cuando digo “representativa” me refiero a que deben representar a las distintas partes interesadas. Por ejemplo, una certificación para asistentes médicos podría incluir asistentes médicos, enfermeras y médicos experimentados de diferentes áreas del país. Debe capacitarlos sobre su función y cómo funciona el proceso, para que puedan comprender el objetivo final y avanzar hacia él.

Paso 2: Definir el Candidato Mínimamente Competente (CMC)

Este concepto es el núcleo del método Angoff modificado, aunque se lo conoce con una variedad de términos o acrónimos, incluidos candidatos mínimamente calificados (CMC) o apenas calificados (CAC). El razonamiento es que queremos que nuestro examen separe a los candidatos que están calificados de los que no lo están. Por lo tanto, les pedimos a los expertos en la materia que definan qué hace que alguien esté calificado (¡o no calificado!) desde una perspectiva de habilidades y conocimientos. Esto conduce a una definición conceptual de un CMC. Luego queremos estimar qué puntaje obtendría este candidato en el límite, que es el objetivo del resto del estudio. Este paso se puede realizar en persona o mediante un seminario web.

Paso 3: Calificaciones de la ronda 1

A continuación, pida a sus expertos en la materia que lean todos los ítems de su formulario de prueba y calculen el porcentaje de candidatos mínimamente competente que responderían cada uno correctamente. Una calificación de 100 significa que el ítem es una apuesta segura; es tan fácil que todos los candidato mínimamente competente lo responderían correctamente. Una calificación de 40 es muy difícil. La mayoría de las calificaciones están en el rango de 60 a 90 si los ítems están bien desarrollados. Las calificaciones deben recopilarse de forma independiente; si todos están en la misma sala, déjelos trabajar solos en silencio. Sin embargo, esto se puede realizar fácilmente de forma remota.

Paso 4: Discusión

Aquí es donde se pone divertido. Identifique los elementos en los que hay más desacuerdo (tal como se define por las distribuciones de frecuencia agrupadas o la desviación estándar) y haga que los expertos en la materia los discutan. Tal vez dos expertos en la materia pensaron que era muy fácil y le dieron un 95 y otros dos pensaron que era muy difícil y le dieron un 45. Intentarán convencer a la otra parte de su locura. Es probable que no falten opiniones y usted, como facilitador, descubrirá que su mayor desafío es mantener la reunión encaminada. Este paso se puede realizar en persona o mediante un seminario web.

Paso 5: Calificaciones de la ronda 2

Luego, los evaluadores vuelven a calificar los ítems en función de la discusión. El objetivo es que haya un mayor consenso. En el ejemplo anterior, no es probable que todos los evaluadores se conformen con un 70. Pero si todos los evaluadores terminan con una calificación entre 60 y 80, no hay problema. ¿Cómo se sabe que hay suficiente consenso? Recomendamos la confiabilidad entre evaluadores sugerida por Shrout y Fleiss (1979), así como también observar el acuerdo entre evaluadores y la dispersión de las calificaciones para cada ítem. Este uso de múltiples rondas se conoce como el enfoque Delphi; se aplica a todas las discusiones impulsadas por el consenso en cualquier campo, no solo a la psicometría.

Paso 6: Evaluar los resultados y la recomendación final

Evalúa los resultados de la Ronda 2 y de la Ronda 1. A continuación, se incluye un ejemplo de esto. ¿Cuál es la puntuación de corte recomendada, que es el promedio o la suma de las puntuaciones de Angoff según la escala que prefieras? ¿Mejoró la confiabilidad? Calcula la media y la desviación estándar de las puntuaciones de los examinados (hay varios métodos para esto). ¿Qué tipo de tasa de aprobación esperas? Mejor aún, utiliza el Compromiso de Beuk como una “verificación de la realidad” entre el enfoque de Angoff modificado y los datos de prueba reales. Debes tener en cuenta múltiples puntos de vista, y los expertos en la materia deben votar sobre una recomendación final. Por supuesto, ellos conocen el material y a los candidatos, por lo que tienen la última palabra. Esto significa que el establecimiento de estándares es un proceso político; nuevamente, reduce ese efecto tanto como puedas.

Algunas organizaciones no establecen el puntaje de corte en el punto recomendado, sino en un error estándar de juicio (ESJ) por debajo del punto recomendado. El ESJ se basa en la confiabilidad entre evaluadores; tenga en cuenta que NO es el error estándar de la media ni el error estándar de medición. Algunas organizaciones utilizan este último; el primero es simplemente incorrecto (aunque lo he visto utilizado por aficionados).

Paso 7: Redacta tu informe

La validez se refiere a la evidencia reunida para respaldar las interpretaciones de los puntajes de las pruebas. Bueno, tienes mucha evidencia relevante aquí. Documentala. Si tu prueba es cuestionada, tendrás todo esto en su lugar. Por otro lado, si simplemente elegiste 70% como tu puntaje de corte porque era un número redondo, podrías tener problemas.

Temas adicionales

En algunas situaciones, hay más cuestiones de las que preocuparse. ¿Múltiples formas? Deberá hacer alguna comparación. ¿Utiliza la teoría de respuesta al ítem? Deberá convertir la puntuación de corte del método Angoff modificado a la métrica theta utilizando la función de respuesta a la prueba (FRP). ¿Tiene una nueva credencial y no dispone de datos? Ese es un verdadero problema del huevo y la gallina.

¿A dónde voy desde aquí?

¿Está listo para dar el siguiente paso y aplicar realmente el proceso Angoff modificado para mejorar sus exámenes? Regístrese para obtener una cuenta gratuita en nuestro banco de ítems FastTest. También puede descargar nuestra herramienta de análisis Angoff de forma gratuita.

Referencias

Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: uses in assessing rater reliability. Psychological bulletin, 86(2), 420.

octubre 21, 2024/por Nathan Thompson, PhD

¿Qué es la Teoría de Respuesta al Ítem (TRI)?

Nathan Thompson, PhDseptiembre 23, 2024

La teoría de respuesta al ítem (TRI) es una familia de modelos de aprendizaje automático en el campo de la psicometría, que se utilizan para diseñar, analizar, validar y puntuar evaluaciones. Se trata de un paradigma psicométrico muy potente que permite a los investigadores construir evaluaciones más sólidas, tanto si trabajan en Educación, Psicología, Recursos Humanos u otros campos. También resuelve problemas de medición críticos como la equiparación entre años, el diseño de pruebas adaptativas o la creación de escalas verticales.

¿Quiere saber más sobre la TRI, cómo funciona y por qué es tan importante para la evaluación? Siga leyendo.

¿Qué es la Teoría de Respuesta al Ítem?

La TRI es una familia de modelos que intentan describir cómo responden los examinandos a los ítems de un test, de ahí su nombre. Estos modelos pueden utilizarse para evaluar el rendimiento de los ítems, ya que las descripciones son bastante útiles en sí mismas. Sin embargo, la teoría de respuesta al ítem acabó haciendo mucho más.

La TRI se basa en modelos, en el sentido de que hay una ecuación matemática específica que se asume, y ajustamos los modelos basándonos en datos brutos, de forma similar a la regresión lineal. Hay diferentes parámetros(a, b, c) que ajustan esta ecuación a diferentes necesidades. Eso es lo que define los diferentes modelos de TRI. Esto se tratará en profundidad más adelante.

Los modelos sitúan a las personas y a los ítems en una escala latente, que suele denominarse θ(theta). Esto representa lo que se está midiendo, ya sea el coeficiente intelectual, la ansiedad o el conocimiento de las leyes de contabilidad en Croacia. La TRI nos ayuda a comprender la naturaleza de la escala, cómo responde una persona a cada pregunta, la distribución de la dificultad de los ítems y mucho más. La TRI solía conocerse como teoría del rasgo latente y teoría de la curva característica del ítem.

La TRI requiere un software especialmente diseñado. Haga clic en el siguiente enlace para descargar nuestro software Xcalibre, que proporciona una plataforma visual y fácil de usar para aplicar la TRI.

¿Por qué necesitamos la Teoría de la Respuesta al Ítem?

La TRI representa una importante innovación en el campo de la psicometría. Aunque ya tiene más de 50 años -suponiendo que el “nacimiento” sea el texto clásico de Lord y Novick (1969)-, todavía está infrautilizada y sigue siendo un misterio para muchos profesionales.

La teoría de la respuesta al ítem es algo más que una forma de analizar los datos de los exámenes, es un paradigma para dirigir todo el ciclo de vida del diseño, la construcción, la entrega, la calificación y el análisis de las evaluaciones.

La TRI nos ayuda a determinar si un test está proporcionando puntuaciones precisas sobre las personas, mucho más que la teoría clásica de los tests.
La TRI nos ayuda a proporcionar una mejor retroalimentación a los examinados, lo que tiene beneficios de gran alcance para la educación y el desarrollo de la mano de obra.
La TRI reduce el sesgo del instrumento mediante técnicas avanzadas como el funcionamiento diferencial de los ítems.
La TRI mantiene puntuaciones significativas a lo largo del tiempo, lo que se conoce como equiparación.
La TRI puede conectar múltiples niveles de contenido, como el currículo de Matemáticas de 3º a 12º curso si eso es lo que se quiere medir, lo que se conoce como escalado vertical dentro del marco de seguimiento del progreso.
La TRI es necesaria para aplicar pruebas adaptativas.
La TRI es particularmente hábil en el manejo de una variedad de formatos de prueba, incluyendo pruebas aceleradas y pruebas de potencia.

La TRI requiere muestras de mayor tamaño y es mucho más compleja que su predecesora, la teoría clásica de los tests, pero también es mucho más potente. La TRI requiere mucha experiencia, normalmente un doctorado. Por eso no se utiliza para evaluaciones pequeñas, como un examen final en las universidades, pero sí para casi todas las evaluaciones importantes del mundo.

El conductor: Problemas con la teoría clásica de los tests

La Teoría Clásica de los Test (TCT) tiene aproximadamente 100 años de antigüedad, y sigue siendo de uso común porque es adecuada para determinadas situaciones, y es lo suficientemente sencilla como para que pueda ser utilizada por muchas personas sin formación formal en psicometría. La mayoría de los estadísticos se limitan a medias, proporciones y correlaciones. Sin embargo, su simplicidad significa que carece de la sofisticación necesaria para tratar una serie de problemas de medición muy importantes. Más adelante se presenta una lista de ellos.

Obtenga más información sobre las diferencias entre la TCT y la TRI aquí.

Parámetros de la Teoría de Respuesta al Ítem

La base de la TRI es un modelo matemático definido por los parámetros del ítem. Un parámetro es un aspecto de un modelo matemático que puede cambiar su forma u otros aspectos. Para los ítems dicotómicos (los que se puntúan correcto/incorrecto), cada ítem tiene tres parámetros:

a: el parámetro de discriminación, un índice de lo bien que el ítem diferencia a los examinados con puntuaciones bajas de los examinados con puntuaciones altas; suele oscilar entre 0 y 2, donde más alto es mejor, aunque no hay muchos ítems por encima de 1,0.

b: el parámetro de dificultad, un índice del nivel de los examinandos para el que el ítem es apropiado; suele oscilar entre -3 y +3, siendo 0 un nivel medio de examinando.

c: el parámetro de pseudoadivinanza, que es una asíntota inferior; normalmente se centra en 1/k, donde k es el número de opciones.

Estos parámetros se utilizan en la fórmula siguiente, pero también se muestran gráficamente.

Estos parámetros se utilizan para representar gráficamente una función de respuesta al ítem (IRF), que modela la probabilidad de una respuesta correcta en función de la capacidad. En el ejemplo de IRF, el parámetro a es aproximadamente 1,0, lo que indica un ítem de test bastante discriminante. El parámetro b es aproximadamente 0,0 (el punto del eje x donde se encuentra el punto medio de la curva), lo que indica un ítem de dificultad media; los examinandos con una capacidad media tendrían un 60% de probabilidades de responder correctamente. El parámetro c es aproximadamente 0,20, como un ítem de opción múltiple de 5 opciones. Considere que el eje x son las puntuaciones z en una escala normal estándar.

En algunos casos, no hay que adivinar y sólo utilizamos a y b. Esto se denomina modelo de dos parámetros. Si sólo utilizamos b, se trata del modelo de un parámetro o modelo de Rasch. He aquí cómo se calcula.

Los parámetros del ítem, que son cruciales en el marco de la TRI, pueden cambiar con el tiempo o en múltiples ocasiones de prueba, un fenómeno conocido como deriva del parámetro del ítem.

Ejemplo de cálculos de la Teoría de Respuesta al Ítem

Los examinados con mayor capacidad tienen muchas más probabilidades de responder correctamente. Observe el gráfico anterior. Alguien con +2,0 (percentil 97) tiene un 94% de probabilidades de acertar el ítem. Mientras tanto, alguien con un -2,0 sólo tiene un 25% de probabilidades, apenas por encima de la tasa de aciertos de 1 de cada 5, que es del 20%. Una persona media (0,0) tiene un 60% de posibilidades. ¿Por qué 60? Porque tenemos en cuenta las suposiciones. Si la curva fuera del 0% al 100% de probabilidad, entonces sí, el cambio en el medio sería del 50%. Pero aquí, asumimos un 20% como base debido a las suposiciones, así que la mitad es el 60%.

Por supuesto, los parámetros pueden y deben diferir de un ítem a otro, reflejando las diferencias en el rendimiento del ítem. El siguiente gráfico muestra cinco IRF con el modelo de tres parámetros. La línea azul oscuro es el ítem más fácil, con una b de -2,00. El ítem azul claro es el más difícil, con una b de -2,00. El ítem azul claro es el más difícil, con una b de +1,80. El morado tiene un c=0,00 mientras que el azul claro tiene c=0,25, lo que indica que es más susceptible de ser adivinado.

Estos IRF no son sólo un gráfico bonito o una forma de describir el rendimiento de un elemento. Son el elemento básico para alcanzar los importantes objetivos mencionados anteriormente. Eso viene a continuación…

Aplicaciones de la teoría de la respuesta al ítem para mejorar la evaluación

La teoría de respuesta al ítem utiliza el IRF para varios propósitos. He aquí algunos de ellos.

Interpretar y mejorar el rendimiento de los ítems
Calificación de examinados con métodos de máxima verosimilitud o bayesianos
Ensamblaje de formularios, incluida la prueba lineal sobre la marcha (LOFT) y la preigualación
Cálculo de la precisión de las puntuaciones de los examinandos
Desarrollo de pruebas adaptativas informatizadas (CAT)
Posecuación
Funcionamiento diferencial de los ítems (detección de sesgos)
Análisis forense de datos para detectar tramposos u otros problemas

Además de utilizarse para evaluar cada ítem individualmente, los IRF se combinan de varias formas para evaluar el test o formulario en su conjunto. Los dos enfoques más importantes son el error estándar condicional de medida (CSEM) y la función de información del test (TIF). La función de información del test es más alta cuando el test proporciona más información de medida sobre los examinandos; si es relativamente baja en un determinado rango de capacidad de los examinandos, éstos no están siendo medidos con precisión. La CSEM es la inversa de la TIF, y tiene la ventaja interpretable de poder utilizarse para intervalos de confianza; la puntuación de una persona más o menos 1,96 veces la SEM es un intervalo de confianza del 95% para su puntuación. El gráfico de la derecha muestra parte del proceso de montaje de formularios en nuestra plataforma FastTest.

Supuestos de la Teoría de Respuesta al Ítem

La teoría de respuesta al ítem presupone algunas cosas sobre los datos.

El rasgo latente que está midiendo es unidimensional. Si es multidimensional, existe una teoría de respuesta al ítem multidimensional, o puede tratar las dimensiones como rasgos separados.
Los ítems tienen independencia local, lo que significa que el acto de responder a uno no se ve afectado por otros. Esto afecta al uso de testlets e ítems enemigos.
La probabilidad de responder correctamente a un ítem (o en una determinada respuesta, en el caso de los politómicos como Likert), es una función del nivel de habilidad/rasgo del examinando y de los parámetros del modelo, siguiendo el cálculo de la función de respuesta al ítem, con cierta tolerancia al error aleatorio. Como corolario, estamos suponiendo que la capacidad/rasgo tiene una cierta distribución, con algunas personas que tienen niveles más altos o más bajos (por ejemplo, la inteligencia) y que estamos tratando de encontrar esas diferencias.

Muchos textos sólo postulan los dos primeros supuestos, porque el tercero se asume implícitamente.

Ventajas y beneficios de la teoría de respuesta al ítem

¿Por qué es importante? Volvamos a los problemas de la teoría clásica de los tests. ¿Por qué es mejor la TRI?

Independencia de la muestra de la escala: Las estadísticas clásicas dependen de la muestra y no se pueden utilizar en una muestra diferente; los resultados de la TRI son independientes de la muestra. dentro de una transformación lineal. Dos muestras de diferentes niveles de capacidad pueden convertirse fácilmente en la misma escala.
Estadística de pruebas: Las estadísticas clásicas están vinculadas a una forma de prueba específica.
Las matrices dispersas son adecuadas: Los estadísticos clásicos no funcionan con matrices dispersas introducidas por formas múltiples, pruebas lineales sobre la marcha o pruebas adaptativas.
Vinculación/igualación: La teoría de respuesta al ítem tiene una equiparación mucho más fuerte, por lo que si su examen tiene múltiples formas, o si realiza dos entregas al año con una nueva forma, puede tener una validez mucho mayor en la comparabilidad de las puntuaciones.
Medición del rango de estudiantes: Los exámenes clásicos se construyen para el estudiante medio, y no miden muy bien a los estudiantes altos o bajos; a la inversa, las estadísticas de los ítems muy difíciles o fáciles son sospechosas.
Escala vertical: La TRI puede escalar verticalmente, pero la TCT no.
Contabilización de las suposiciones: La TCT no tiene en cuenta las suposiciones en los exámenes de elección múltiple.
Puntuación: La puntuación en la teoría clásica de los tests no tiene en cuenta la dificultad de los ítems. Con la TRI, puede puntuar a un alumno en cualquier conjunto de ítems y estar seguro de que se encuentra en la misma escala latente.
Pruebas adaptativas: La TCT no admite pruebas adaptativas en la mayoría de los casos. Las pruebas adaptativas tienen su propia lista de ventajas.
Caracterización del error: La TCT asume que cada examinando tiene la misma cantidad de error en su puntuación (SEM); la TRI reconoce que si la prueba consiste en todos los ítems de dificultad media, entonces los estudiantes bajos o altos tendrán puntuaciones inexactas.
Construcción de formularios más sólida: La TRI dispone de funciones para construir formas que sean más fuertemente equivalentes y cumplan los objetivos del examen.
Función no lineal: La TRI no asume una función lineal de la relación alumno-elemento cuando es imposible. La TCT asume una función lineal (punto-biserial) cuando es descaradamente imposible.

Modelos de la Teoría de Respuesta al Ítem: Una gran familia feliz

Recuerde: la TRI es en realidad una familia de modelos, que hace un uso flexible de los parámetros. En algunos casos, sólo se utilizan dos(a,b) o un parámetro(b), dependiendo del tipo de evaluación y del ajuste de los datos. Si hay ítems multipunto, como las escalas de valoración Likert o los ítems de crédito parcial, los modelos se amplían para incluir parámetros adicionales. Obtenga más información sobre la situación del crédito parcial aquí.

He aquí un rápido desglose del árbol genealógico, con los modelos más comunes.

Unidimensional
- Dicotómico
  - Modelo Rasch
  - 1PL
  - 2PL
  - 3PL
  - 4PL (¡sólo curiosidad intelectual!)
- Politómico
  - Crédito parcial de Rasch
  - Escala de valoración Rasch
  - Crédito parcial generalizado
  - Escala de calificación generalizada
  - Respuesta graduada
Multidimensional
- Compensatoria
- No compensatoria
- Bifactor

¿Cómo analizo mi test con la Teoría de Respuesta al Ítem?

Primero: necesitas conseguir un software especial. Hay algunos paquetes comerciales como Xcalibre, o puedes usar paquetes dentro de plataformas como R y Python.

El software analizará los datos en ciclos o bucles para intentar encontrar el mejor modelo. Esto se debe a que, como siempre, los datos no siempre se alinean perfectamente. Es posible que veas gráficos como el siguiente si comparas las proporciones reales (en rojo) con las predichas a partir de la función de respuesta al ítem (en negro). No pasa nada. La TRI es bastante robusta. Y hay análisis incorporados para ayudarle a evaluar el ajuste del modelo.

Más información sobre la imagen anterior:

Este fue el ítem #39 de la prueba
Utilizamos el modelo logístico de tres parámetros (3PL), ya que se trataba de un ítem de elección múltiple con 4 opciones.
3422 examinados respondieron al ítem
76,9 de ellos acertaron
La discriminación clásica del ítem (correlación ítem-total biserial puntual) fue de 0,253, que está bien pero no es muy alta
El parámetro a fue de 0,432, lo que está bien pero no es muy alto.
El parámetro b fue de -1,195, lo que significa que el ítem era bastante fácil.
El parámetro c fue de 0,248, lo que cabría esperar si hubiera un 25% de posibilidades de acertar.
El estadístico de ajuste Chi-cuadrado rechazó la nulidad, lo que indica un mal ajuste, pero este estadístico depende del tamaño de la muestra.
El estadístico de ajuste z-Resid es un poco más robusto y no indicó que el ítem tuviera un mal ajuste.

La imagen muestra la salida de Xcalibre del modelo de crédito parcial generalizado, que es un modelo politómico utilizado a menudo para ítems puntuados con crédito parcial. Por ejemplo, si una pregunta enumera 6 animales y pide a los alumnos que hagan clic en los que son reptiles, de los que hay 3. Las puntuaciones posibles son entonces 0, 1, 2, 3.

Aquí, el gráfico los etiqueta como 1-2-3-4, pero el significado es el mismo. Así es como se puede interpretar.

Es probable que alguien obtenga 0 puntos si su theta es inferior a -2,0 (el 3% inferior de los estudiantes, más o menos).
Algunos alumnos con capacidades bajas podrían obtener 1 punto (verde)
Los estudiantes de capacidad media-baja probablemente obtengan 2 correctos (azul)
Los que estén por encima de la media (0,0) probablemente acierten los 3 puntos.

Los puntos límite son aquellos en los que un nivel es más probable que otro, es decir, donde se cruzan las curvas. Por ejemplo, puede ver que las líneas azul y negra se cruzan en el límite -0,339.

¿Dónde puedo obtener más información?

Para más información, recomendamos el libro de texto Item Response Theory for Psychologists de Embretson & Riese (2000) para aquellos interesados en un tratamiento menos matemático, o de Ayala (2009) para un tratamiento más matemático. Si realmente desea profundizar en el tema, puede consultar el libro de 3 volúmenes Handbook of Item Response Theory editado por van der Linden, que contiene un capítulo en el que se analiza el software de análisis de la TRI de ASC, Xcalibre.

¿Quiere hablar con uno de nuestros expertos sobre cómo aplicar la TRI? Póngase en contacto con nosotros.

Contáctenos

septiembre 23, 2024/por Nathan Thompson, PhD