Estudio del método Angoff modificado

Un estudio con el método Angoff modificado es una de las formas más comunes de establecer una puntuación de corte defendible en un examen. Por lo tanto, significa que las decisiones de aprobado/reprobado tomadas por la prueba son más confiables que si eligiera un número redondo arbitrario como el 70%. Si su médico, abogado, contador u otro profesional ha aprobado un examen en el que la puntuación de corte se ha establecido con este método, puede confiar más en sus habilidades.

¿Qué es el método Angoff?

El método Angoff es una forma científica de establecer un puntaje de corte (punto de aprobación) en una prueba. Si tiene una interpretación basada en criterios, no es legalmente defendible simplemente elegir convenientemente un número redondo como 70%; necesita un proceso formal. Hay una serie de metodologías aceptables en la literatura psicométrica para estudios de establecimiento de estándares, también conocidos como puntajes de corte o puntos de aprobación. Algunos ejemplos incluyen Angoff, Angoff modificado, Bookmark, Grupos contrastantes y Borderline. El enfoque Angoff modificado es, por lejos, el enfoque popular. Se utiliza especialmente con frecuencia para exámenes de certificación, licencia, certificado y otras credenciales.

Originalmente fue sugerido como una mera nota a pie de página por el reconocido investigador William Angoff, del Educational Testing Service.

¿Cómo funciona el enfoque Angoff?

Primero, reúne a un grupo de expertos en la materia (EM), con un mínimo de 6, aunque se prefieren 8-10 para una mejor confiabilidad, y pídeles que definan lo que consideran un Candidato Mínimamente Competente (CMC). A continuación, pídeles que estimen el porcentaje de candidatos mínimamente competentes que responderán cada elemento correctamente. Luego, analiza los resultados en busca de valores atípicos o inconsistencias. Si los expertos no están de acuerdo, deberá evaluar la confiabilidad y el acuerdo entre evaluadores, y luego hacer que los expertos discutan y vuelvan a calificar los elementos para obtener un mejor consenso. La calificación final promedio es entonces el puntaje porcentual correcto esperado para un candidato mínimamente competente.

Ventajas del método Angoff

1. Es defendible. Debido a que es el enfoque más comúnmente utilizado y se estudia ampliamente en la literatura científica, es bien aceptado.
2. Puede implementarse antes de que se administre una prueba. Algunos otros métodos requieren que primero se administre la prueba a una muestra grande.
3. Es conceptualmente simple, lo suficientemente fácil de explicar a los no psicometristas.
4. Incorpora el juicio de un panel de expertos, no solo de una persona o un número redondo.
5. Funciona para pruebas con teoría de pruebas clásica y teoría de respuesta al ítem.
6. No lleva mucho tiempo implementarlo: si es una prueba corta, ¡se puede hacer en cuestión de horas!
7. Se puede usar con diferentes tipos de ítems, incluidos ítems con puntaje politómico (multipuntos).

Desventajas del método Angoff

1. No utiliza datos reales, a menos que implementes el método Beuk junto con él.
2. Puede hacer que los expertos sobreestimen el desempeño de los candidatos principiantes, ya que olvidaron cómo era empezar hace 20 o 30 años. Esta es una razón para usar el método Beuk como una “verificación de la realidad” al mostrarles a los expertos que, si se quedan con el puntaje de corte que acaban de elegir, ¡la mayoría de los candidatos podrían fallar!

Ejemplo del método Angoff modificado

En primer lugar, no espere un proceso sencillo y directo que conduzca a una puntuación de corte incuestionablemente correcta. Todos los métodos de establecimiento de estándares implican cierto grado de subjetividad. El objetivo de los métodos es reducir esa subjetividad tanto como sea posible. Algunos métodos se centran en el contenido, otros en los datos de rendimiento del examinado, mientras que algunos intentan fusionar los dos.

Paso 1: Prepare a su equipo

El proceso Angoff modificado depende de una muestra representativa de EM, generalmente de 6 a 20. Cuando digo “representativa” me refiero a que deben representar a las distintas partes interesadas. Por ejemplo, una certificación para asistentes médicos podría incluir asistentes médicos, enfermeras y médicos experimentados de diferentes áreas del país. Debe capacitarlos sobre su función y cómo funciona el proceso, para que puedan comprender el objetivo final y avanzar hacia él.

Paso 2: Definir el Candidato Mínimamente Competente (CMC)

Este concepto es el núcleo del método Angoff modificado, aunque se lo conoce con una variedad de términos o acrónimos, incluidos candidatos mínimamente calificados (CMC) o apenas calificados (CAC). El razonamiento es que queremos que nuestro examen separe a los candidatos que están calificados de los que no lo están. Por lo tanto, les pedimos a los expertos en la materia que definan qué hace que alguien esté calificado (¡o no calificado!) desde una perspectiva de habilidades y conocimientos. Esto conduce a una definición conceptual de un CMC. Luego queremos estimar qué puntaje obtendría este candidato en el límite, que es el objetivo del resto del estudio. Este paso se puede realizar en persona o mediante un seminario web.

Paso 3: Calificaciones de la ronda 1

A continuación, pida a sus expertos en la materia que lean todos los ítems de su formulario de prueba y calculen el porcentaje de candidatos mínimamente competente que responderían cada uno correctamente. Una calificación de 100 significa que el ítem es una apuesta segura; es tan fácil que todos los candidato mínimamente competente lo responderían correctamente. Una calificación de 40 es muy difícil. La mayoría de las calificaciones están en el rango de 60 a 90 si los ítems están bien desarrollados. Las calificaciones deben recopilarse de forma independiente; si todos están en la misma sala, déjelos trabajar solos en silencio. Sin embargo, esto se puede realizar fácilmente de forma remota.

Paso 4: Discusión

Aquí es donde se pone divertido. Identifique los elementos en los que hay más desacuerdo (tal como se define por las distribuciones de frecuencia agrupadas o la desviación estándar) y haga que los expertos en la materia los discutan. Tal vez dos expertos en la materia pensaron que era muy fácil y le dieron un 95 y otros dos pensaron que era muy difícil y le dieron un 45. Intentarán convencer a la otra parte de su locura. Es probable que no falten opiniones y usted, como facilitador, descubrirá que su mayor desafío es mantener la reunión encaminada. Este paso se puede realizar en persona o mediante un seminario web.

Paso 5: Calificaciones de la ronda 2

Luego, los evaluadores vuelven a calificar los ítems en función de la discusión. El objetivo es que haya un mayor consenso. En el ejemplo anterior, no es probable que todos los evaluadores se conformen con un 70. Pero si todos los evaluadores terminan con una calificación entre 60 y 80, no hay problema. ¿Cómo se sabe que hay suficiente consenso? Recomendamos la confiabilidad entre evaluadores sugerida por Shrout y Fleiss (1979), así como también observar el acuerdo entre evaluadores y la dispersión de las calificaciones para cada ítem. Este uso de múltiples rondas se conoce como el enfoque Delphi; se aplica a todas las discusiones impulsadas por el consenso en cualquier campo, no solo a la psicometría.

Paso 6: Evaluar los resultados y la recomendación final

Evalúa los resultados de la Ronda 2 y de la Ronda 1. A continuación, se incluye un ejemplo de esto. ¿Cuál es la puntuación de corte recomendada, que es el promedio o la suma de las puntuaciones de Angoff según la escala que prefieras? ¿Mejoró la confiabilidad? Calcula la media y la desviación estándar de las puntuaciones de los examinados (hay varios métodos para esto). ¿Qué tipo de tasa de aprobación esperas? Mejor aún, utiliza el Compromiso de Beuk como una “verificación de la realidad” entre el enfoque de Angoff modificado y los datos de prueba reales. Debes tener en cuenta múltiples puntos de vista, y los expertos en la materia deben votar sobre una recomendación final. Por supuesto, ellos conocen el material y a los candidatos, por lo que tienen la última palabra. Esto significa que el establecimiento de estándares es un proceso político; nuevamente, reduce ese efecto tanto como puedas.

Algunas organizaciones no establecen el puntaje de corte en el punto recomendado, sino en un error estándar de juicio (ESJ) por debajo del punto recomendado. El ESJ se basa en la confiabilidad entre evaluadores; tenga en cuenta que NO es el error estándar de la media ni el error estándar de medición. Algunas organizaciones utilizan este último; el primero es simplemente incorrecto (aunque lo he visto utilizado por aficionados).

 

Paso 7: Redacta tu informe

La validez se refiere a la evidencia reunida para respaldar las interpretaciones de los puntajes de las pruebas. Bueno, tienes mucha evidencia relevante aquí. Documentala. Si tu prueba es cuestionada, tendrás todo esto en su lugar. Por otro lado, si simplemente elegiste 70% como tu puntaje de corte porque era un número redondo, podrías tener problemas.

Temas adicionales

En algunas situaciones, hay más cuestiones de las que preocuparse. ¿Múltiples formas? Deberá hacer alguna comparación. ¿Utiliza la teoría de respuesta al ítem? ​​Deberá convertir la puntuación de corte del método Angoff modificado a la métrica theta utilizando la función de respuesta a la prueba (FRP). ¿Tiene una nueva credencial y no dispone de datos? Ese es un verdadero problema del huevo y la gallina.

¿A dónde voy desde aquí?

¿Está listo para dar el siguiente paso y aplicar realmente el proceso Angoff modificado para mejorar sus exámenes? Regístrese para obtener una cuenta gratuita en nuestro banco de ítems FastTest. También puede descargar nuestra herramienta de análisis Angoff de forma gratuita.

Referencias

Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: uses in assessing rater reliability. Psychological bulletin, 86(2), 420.