¿Qué es la puntuación escalada en una prueba?

La puntuación escalada es un proceso utilizado en evaluación y psicometría para transformar las puntuaciones de los exámenes a otra escala (conjunto de números), normalmente para hacer que las puntuaciones sean más fáciles de interpretar pero también para ocultar información sensible como las puntuaciones brutas y las diferencias en la dificultad de la forma (equiparación). Por ejemplo, la prueba ACT produce puntuaciones en una escala de 0 a 36; obviamente, hay más de 36 preguntas en la prueba, por lo que esta no es su puntuación numérica correcta, sino más bien un reempaquetado. Entonces, ¿cómo ocurre este reempaquetado y por qué lo estamos haciendo en primer lugar?

Un ejemplo de escalas: temperatura

Primero, hablemos de la definición de una escala. Una escala es un rango de números a los que se les pueden asignar valores e interpretaciones. Las puntuaciones en un ensayo de un estudiante pueden ser de 0 a 5 puntos, por ejemplo, donde 0 es horrible y 5 es maravilloso. Las puntuaciones brutas en un examen, como la puntuación de los números correctos, también son una escala, pero hay razones para ocultar esto, que analizaremos a continuación.

Un ejemplo de escala con el que todos estamos familiarizados es la temperatura. Hay tres escalas de las que probablemente hayas oído hablar: Fahrenheit, Celsius y Kelvin. Por supuesto, el concepto de temperatura no cambia, solo cambiamos el conjunto de números que se utilizan para informarlo. El agua se congela a 32 grados Fahrenheit y hierve a 212, mientras que estos números son 0 y 100 con Celsius. Lo mismo ocurre con la evaluación: el concepto de lo que estamos midiendo no cambia en un examen determinado (por ejemplo, el conocimiento del currículo de matemáticas de quinto grado en los EE. UU., el dominio de Microsoft Excel, las habilidades clínicas como neurólogo), pero podemos cambiar los números.

¿Qué es la puntuación escalada?

En evaluación y psicometría, podemos cambiar el rango de números (escala) que se utiliza para informar las puntuaciones, al igual que podemos cambiar el rango de números para la temperatura. Si una prueba tiene 100 ítems pero no queremos informar la puntuación real a los estudiantes, podemos cambiar la escala a algo como 40 a 90. O 0 a 5. O 824.524 a 965.844. No importa desde una perspectiva matemática. Pero como uno de los objetivos es hacer que sea más fácil de interpretar para los estudiantes, los dos primeros son mucho mejores que el tercero.

Por lo tanto, si una organización informa puntuaciones escaladas, significa que ha elegido una nueva escala arbitraria y está convirtiendo todas las puntuaciones a esa escala. A continuación, se muestran algunos ejemplos…

Ejemplos reales

Muchas evaluaciones se normalizan en una curva de campana normal estándar. Aquellas que utilizan la teoría de respuesta a los ítems lo hacen de manera implícita, porque las puntuaciones se calculan directamente en la escala de puntuación z (hay algunas diferencias semánticas, pero es la idea básica). Bueno, cualquier puntuación en la curva de campana de puntuación z se puede convertir a otras escalas con bastante facilidad, y viceversa. A continuación, se muestran algunas de las escalas comunes utilizadas en el mundo de la evaluación.

puntuación z	puntuación T	CI (IQ)	Percentil	ACT	SAT
-3	20	55	0.02	0	200
-2	30	70	2.3	6	300
-1	40	85	15.9	12	400
0	50	100	50	18	500
1	60	115	84.1	24	600
2	70	130	97.7	30	700
3	80	145	99.8	36	800

¡Observe cómo la traducción de los enfoques basados ​​en curvas normales al percentil es muy no lineal! Los enfoques basados ​​en curvas estiran los extremos. Así es como se ven estos números gráficamente.

¿Por qué utilizar la puntuación escalada?

Hay algunas buenas razones:

1. Diferencias en la dificultad de los formularios (equiparación): muchos exámenes utilizan varios formularios, especialmente entre años. ¿Qué sucede si el formulario de este año tiene algunas preguntas más fáciles y necesitamos reducir la puntuación de aprobación en 1 punto en la métrica de puntuación bruta? Bueno, si está utilizando puntuaciones escaladas como 200 a 400 con una puntuación de corte de 350, entonces simplemente ajuste la escala cada año para que la puntuación de corte informada sea siempre 350.
2. Ocultar la puntuación bruta: en muchos casos, incluso si solo hay un formulario de 100 elementos, no desea que los estudiantes sepan su puntuación real.
3. Ocultar la escala z (TRI): la TRI califica a las personas en la escala de puntuación z. Nadie quiere que le digan que tiene una puntuación de -2. Eso hace que parezca que tiene una inteligencia negativa o algo así. Pero si lo conviertes a una escala grande como el SAT mencionado anteriormente, esa persona obtiene una puntuación de 300, que es un número grande, por lo que no se siente tan mal. Sin embargo, esto no cambia el hecho de que solo están en el segundo percentil. En realidad, son solo relaciones públicas y marketing.

 

¿Quién utiliza la puntuación escalada?

Casi todos los exámenes “reales” del mundo la utilizan. Por supuesto, la mayoría utiliza la TRI, lo que hace que sea aún más importante utilizar la puntuación escalada.

Métodos de puntuación escalada

Existen 4 tipos de puntuación escalada. En el resto de esta publicación se abordarán algunos detalles psicométricos sobre ellos, para lectores avanzados.

1. Normal/estandarizado
2. Lineal
3. Lineal dogleg
4. Equipercentil

1. Normal/estandarizado

Este es un método de puntuación escalada con el que muchos de nosotros estamos familiarizados debido a algunas aplicaciones famosas, como la puntuación T, el coeficiente intelectual y las evaluaciones a gran escala como el SAT. Comienza encontrando la media y la desviación estándar de las puntuaciones brutas de una prueba, y luego convierte lo que sea que sea en otra media y desviación estándar. Si esto parece bastante arbitrario y no cambia el significado… ¡tienes toda la razón!

Empecemos por suponer que tenemos una prueba de 50 ítems y que nuestros datos tienen una media de puntuación bruta de 35 puntos con una desviación estándar de 5. La transformación de la puntuación T (que existe desde hace tanto tiempo que una búsqueda rápida en Google no me permite encontrar la cita real) dice que hay que convertir esto en una media de 50 con una desviación estándar de 10. Por lo tanto, 35 puntos brutos se convierten en una puntuación escalada de 50. Una puntuación bruta de 45 (2 desviaciones estándar por encima de la media) se convierte en una T de 70. También podríamos colocar esto en la escala de CI (media = 100, desviación estándar = 15) o en la escala SAT clásica (media = 500, desviación estándar = 100).

Un comentario aparte sobre los límites de estas escalas: una de las primeras cosas que se aprende en cualquier clase de estadística es que más/menos 3 desviaciones estándar contiene el 99 % de la población, por lo que muchas puntuaciones escaladas adoptan estos y otros límites convenientes. Por eso la escala clásica del SAT pasó de 200 a 800, con la leyenda urbana de que “obtienes 200 puntos por poner tu nombre en el papel”. De manera similar, el ACT va de 0 a 36 porque nominalmente tenía una media de 18 y una desviación estándar de 6.

El enfoque normal/estandarizado se puede utilizar con la puntuación clásica de números correctos, pero tiene más sentido si se utiliza la teoría de respuesta a los ítems, porque todas las puntuaciones se basan por defecto en una métrica estandarizada.

2. Lineal

El enfoque lineal es bastante simple. Emplea la ecuación y=mx+b que todos aprendimos en la escuela. Con el ejemplo anterior de una prueba de 50 ítems, podríamos decir que la intersección=200 y la pendiente=4. Esto significa que los puntajes varían de 200 a 400 en la prueba.

Sí, lo sé… la conversión normal anterior también es técnicamente lineal, pero merece su propia definición.

3. Lineal dogleg

El método Dogleg lineal es un caso especial del anterior, en el que es necesario estirar la escala para alcanzar dos puntos finales. Supongamos que publicamos una nueva forma de la prueba y un método de igualación clásico como el de Tucker o Levine dice que es 2 puntos más fácil y que la pendiente de la Forma A a la Forma B es 3,8 en lugar de 4. Esto altera nuestra conversión limpia de la escala de 200 a 400. Por lo tanto, supongamos que utilizamos la ecuación SCALED = 200 + 3,8*RAW pero solo hasta la puntuación de 30. A partir de 31, utilizamos SCALED = 185 + 4,3*RAW. Observe que la puntuación bruta de 50 sigue siendo escalada a 400, por lo que todavía pasamos de 200 a 800, pero ahora hay una ligera curva en la línea. Esto se llama “dogleg”, similar al hoyo de golf del mismo nombre.

 

4. Equipercentil

Por último, está el Equipercentil, que se utiliza principalmente para igualar formas, pero que también se puede utilizar para escalar. En esta conversión, igualamos el percentil de cada una, incluso si se trata de una transformación muy no lineal. Por ejemplo, supongamos que nuestra Forma A tenía un percentil 90 de 46, que se convirtió en una escala de 384. Descubrimos que la Forma B tiene un percentil 90 de 44 puntos, por lo que lo llamamos una puntuación escalada de 384 y calculamos una conversión similar para todos los demás puntos.

¿Por qué estamos haciendo esto de nuevo?

Bueno, se puede ver en el ejemplo de tener dos formularios con una diferencia de dificultad. En el ejemplo del percentil equiparable, supongamos que hay un puntaje de corte para estar en el 10% superior para ganar una beca. Si obtiene 45 en el Formulario A, perderá, pero si obtiene 45 en el Formulario B, ganará. Los patrocinadores de la prueba no quieren tener esta conversación con los examinados enojados, por lo que convierten todas las puntuaciones a una escala arbitraria. El percentil 90 siempre es 384, sin importar cuán difícil sea la prueba. (Sí, ese ejemplo simple supone que las poblaciones son las mismas… hay una parte completa de la investigación psicométrica dedicada a realizar equiparaciones más fuertes).

¿Cómo implementamos la puntuación escalada?

Algunas transformaciones se pueden realizar fácilmente en una hoja de cálculo, pero cualquier buena plataforma de evaluación en línea debería encargarse de este tema por usted. Aquí hay una captura de pantalla de ejemplo de nuestro software.