El análisis de tareas laborales (ATL) es un paso esencial en el diseño de una prueba que se utilizará en la fuerza laboral, como la prueba previa al empleo o la certificación/licencia, mediante el análisis de datos sobre lo que realmente se está haciendo en el trabajo. También conocido como análisis del trabajo o delimitación de funciones, el análisis de tareas laborales es importante para diseñar una prueba que sea legalmente defendible y elegible para la acreditación. Por lo general, implica un panel de expertos en la materia para desarrollar una encuesta, que luego se entrega a los profesionales de su campo para obtener datos cuantitativos sobre lo que se hace con más frecuencia en el trabajo y lo que es más crítico/importante. Estos datos luego se pueden utilizar para varios propósitos importantes.

¿Necesita ayuda? Nuestros expertos pueden ayudarlo a producir de manera eficiente un estudio de análisis de tareas laborales para su certificación, guiar el proceso de redacción de ítems y establecimiento de estándares, luego publicar y entregar el examen en nuestra plataforma segura.

Razones para realizar un análisis de tareas laborales

El análisis de tareas laborales es extremadamente importante en el campo de la psicología industrial/organizacional, de ahí el meme de @iopsychmemes. No se limita solo a las credenciales.

Diseño del examen

La razón más común es obtener datos cuantitativos que le ayudarán a diseñar un examen. Al saber qué conocimientos, habilidades o capacidades (CHC) se utilizan con más frecuencia, sabrá cuáles merecen más preguntas en la prueba. También puede ayudarle con aspectos de diseño más complejos, como definir un examen práctico con pacientes en vivo.

Plan de estudios de formación

De la misma manera, esa información cuantitativa puede ayudar a diseñar un plan de estudios y otros materiales de formación. Tendrás datos sobre lo que es más importante o frecuente.

Análisis de compensación

Con la encuesta ATL, tiene una audiencia cautiva. ¡Pregúnteles otras cosas que quiera saber! Este es un momento excelente para recopilar información sobre compensación. Trabajé en una encuesta ATL en el pasado que preguntaba sobre el lugar de trabajo: clínica, hospital, consultorio privado o proveedor/corporación.

Descripciones de puestos

Un buen análisis de puestos te ayudará a redactar una descripción de puestos para las ofertas de empleo. Te indicará las responsabilidades del puesto (tareas comunes), las cualificaciones (habilidades, capacidades y educación requeridas) y otros aspectos importantes. Si recopilas datos de compensación en la encuesta, estos se pueden utilizar para definir el rango salarial del puesto vacante.

Planificación de la fuerza laboral

Al analizar los datos, pueden resultar evidentes tendencias importantes. ¿Hay menos personas que ingresan a su profesión, tal vez en una región o grupo demográfico en particular? ¿Ingresan sin ciertas habilidades? ¿Hay ciertas universidades o programas de capacitación que no están funcionando bien? Un ATL puede ayudarlo a descubrir dichos problemas y luego trabajar con las partes interesadas para abordarlos. Estos son problemas potenciales importantes para la profesión.

ES OBLIGATORIO

Si tiene un examen de certificación profesional y desea que lo acredite una junta como NCCA o ANSI/ANAB/ISO, entonces se le OBLIGA a realizar algún tipo de análisis de tareas laborales.

¿Por qué es tan importante un JTA para la certificación y la licencia? Validez.

El objetivo fundamental de la psicometría es la validez, que es la evidencia de que las interpretaciones que hacemos de las puntuaciones son realmente verdaderas. En el caso de los exámenes de certificación y licencia, estamos interpretando que alguien que pasa la prueba está calificado para trabajar en ese puesto de trabajo. Por lo tanto, lo primero que debemos hacer es definir exactamente cuál es el puesto de trabajo y hacerlo de una manera cuantitativa y científica. No se puede simplemente hacer que alguien se siente en su sótano y escriba 17 puntos como plan de examen. Eso es una demanda a punto de suceder.

Hay otros aspectos que también son esenciales, como la capacitación de los redactores de ítems y los estudios de establecimiento de estándares.

La metodología: inventario de tareas laborales

No es fácil desarrollar un examen de certificación defendible, pero el proceso de ATL no requiere un doctorado en psicometría para comprenderlo. A continuación, se ofrece una descripción general de lo que se puede esperar.

1. Convoque a un panel de expertos en la materia (EM) y proporcione una capacitación sobre el proceso de ATL.
2. Luego, los EM analizan el papel de la certificación en la profesión y establecen temas de alto nivel (dominios) que debe cubrir la prueba de certificación. Por lo general, hay entre 5 y 20. A veces, hay subdominios y, ocasionalmente, subsubdominios.
3. El panel de EM genera una lista de tareas laborales que se asignan a los dominios; la lista se revisa para detectar duplicados y otros problemas potenciales. Estas tareas tienen un verbo de acción, un sujeto y, a veces, un calificador. Ejemplos: “Calibrar el lensómetro”, “Sacar la basura”, “Realizar un estudio de equivalencia”. Hay un enfoque específico para ayudar con la generación, llamado la técnica del incidente crítico. Con esto, se les pide a los expertos en la materia que describan un incidente crítico que sucedió en el trabajo y qué habilidades o conocimientos llevaron al éxito del profesional. Si bien esto puede no generar ideas para tareas frecuentes pero simples, puede ayudar a generar ideas para tareas que son más raras pero muy importantes.
4. La lista final se utiliza para generar una encuesta, que se envía a una muestra representativa de profesionales que realmente trabajan en el puesto. Los encuestados realizan la encuesta, mediante la cual califican cada tarea, generalmente en su importancia y tiempo empleado (a veces llamado criticidad y frecuencia). También se recopilan datos demográficos, que incluyen rango de edad, región geográfica, lugar de trabajo (por ejemplo, clínica vs hospital si es médico), años de experiencia, nivel educativo y certificaciones adicionales.
5. Un psicometrista analiza los resultados y crea un informe formal, que es esencial para la documentación de validez. Este informe a veces se considera confidencial, a veces se publica en el sitio web de la organización para el beneficio de la profesión y, a veces, se publica en forma abreviada. Depende de usted. Por ejemplo, este sitio presenta los resultados finales, pero luego le pide que envíe su dirección de correo electrónico para recibir el informe completo.

Usar los resultados de ATL para crear planos de prueba

Muchas corporaciones realizan un análisis de trabajo únicamente para fines internos, como descripciones de trabajo y compensación. Esto se vuelve importante para las grandes corporaciones donde puede haber miles de personas en el mismo trabajo; debe estar bien definido, con buena capacitación y compensación adecuada.

Si trabaja para una organización de acreditación (normalmente una organización sin fines de lucro, pero a veces la división de capacitación de una corporación… por ejemplo, Amazon Web Services tiene una división dedicada a los exámenes de certificación, deberá analizar los resultados del ATL para desarrollar planos de examen. Analizaremos este proceso con más detalle en otra publicación del blog. Pero a continuación se muestra un ejemplo de cómo se verá esto, y aquí hay una hoja de cálculo gratuita para realizar los cálculos: Análisis de tareas laborales para planos de prueba.

Ejemplo de análisis de tareas laborales

Supongamos que usted es un experto en la fabricación de widgets a cargo del examen de certificación de fabricante de widgets. Contrata a un psicometrista para que guíe a la organización a través del proceso de desarrollo de pruebas. El psicometrista comenzaría por realizar un seminario web o una reunión en persona para un panel de expertos en la materia para definir el rol y generar una lista de tareas. El grupo elabora una lista de 20 tareas, ordenadas en 4 dominios de contenido. Estas se enumeran en una encuesta a los fabricantes de widgets actuales, quienes las califican según su importancia y frecuencia. El psicometrista analiza los datos y presenta una tabla como la que se ve a continuación.

Podemos ver aquí que la Tarea 14 es la más frecuente, mientras que la Tarea 2 es la menos frecuente. La Tarea 7 es la más importante, mientras que la Tarea 17 es la menos frecuente. Cuando combina Importancia y Frecuencia, ya sea sumando o multiplicando, obtiene los pesos en las columnas de la derecha. Si sumamos estos y dividimos por el total, obtenemos los planos sugeridos en las celdas verdes.

Uno de los conceptos centrales en psicometría es la dificultad del ítem. Esto se refiere a la probabilidad de que los examinados respondan correctamente el ítem en evaluaciones educativas/cognitivas o respondan en la dirección indicada en evaluaciones psicológicas/de encuesta (más sobre esto más adelante). La dificultad es importante para evaluar las características de un ítem y si debe seguir siendo parte de la evaluación; en muchos casos, los ítems se eliminan si son demasiado fáciles o demasiado difíciles. También nos permite comprender mejor cómo los ítems y la prueba en su conjunto funcionan como un instrumento de medición y qué pueden decirnos sobre los examinados.

He oído hablar de la “facilidad del objeto”. ¿Es algo similar?

La dificultad del objeto también se denomina facilidad del objeto, que en realidad es un nombre más apropiado. ¿Por qué? El valor P es un concepto inverso: un valor bajo indica una dificultad alta y viceversa. Si pensamos en el concepto como facilidad o facilidad, entonces el valor P se alinea con el concepto; un valor alto significa una facilidad alta. Por supuesto, es difícil romper con la tradición, y casi todo el mundo todavía lo llama dificultad. Pero podría ayudarte pensar en ello como “facilidad”.

¿Cómo calculamos la dificultad clásica de los ítems?

Hay dos paradigmas predominantes en psicometría: la teoría clásica de los pruebas (TCP) y la teoría de respuesta al ítem (TRÍ). Aquí, me centraré en el enfoque más simple, la TCP.

Para calcular la dificultad clásica de los ítems con ítems dicotómicos, simplemente cuente el número de examinados que respondieron correctamente (o en la dirección clave) y divídalo por el número de encuestados. Esto le da una proporción, que es como un porcentaje pero está en la escala de 0 a 1 en lugar de 0 a 100. Por lo tanto, el rango posible que verá informado es de 0 a 1. Considere este conjunto de datos.

El ítem 6 tiene un alto índice de dificultad, lo que significa que es muy fácil. El ítem 4 y el ítem 5 son ítems típicos, donde la mayoría de los ítems responden correctamente. El ítem 1 es extremadamente difícil; ¡nadie lo respondió correctamente!

Para ítems politómicos (ítems con más de un punto), la dificultad clásica del ítem es el valor de respuesta promedio. Es decir, si tenemos un ítem Likert de 5 puntos, y dos personas responden 4 y dos responden 5, entonces el promedio es 4.5. Esto, por supuesto, es matemáticamente equivalente al valor P si los puntos son 0 y 1 para un ítem no/sí. Un ejemplo de esta situación es este conjunto de datos:

Tenga en cuenta que este enfoque para calcular la dificultad depende de la muestra. Si tuviéramos una muestra diferente de personas, las estadísticas podrían ser bastante diferentes. Este es uno de los principales inconvenientes de la teoría clásica de los pruebas. La TRÍ aborda ese problema con un paradigma diferente. También tiene un índice con la “dirección” correcta: los valores altos significan una gran dificultad con la TRÍ.

Si está trabajando con ítems de opción múltiple, recuerde que, si bien puede tener 4 o 5 respuestas, aún está calificando los ítems como correctos/incorrectos. Por lo tanto, los datos terminan siendo dicotómicos 0/1.

Nota final muy importante: este valor P NO debe confundirse con el valor p del mundo de las pruebas de hipótesis. Tienen el mismo nombre, pero por lo demás no están relacionados en absoluto. Por esta razón, algunos psicometristas lo llaman P+ (se pronuncia “P-plus”), pero eso no se ha popularizado.

¿Cómo interpreto la dificultad clásica de los ítems?

Para las evaluaciones educativas/cognitivas, la dificultad se refiere a la probabilidad de que los examinados respondan correctamente el ítem. Si más examinados responden correctamente el ítem, tiene baja dificultad. Para los datos de tipo psicológico/encuesta, la dificultad se refiere a la probabilidad de responder en la dirección clave. Es decir, si está evaluando la extraversión y el ítem es “Me gusta ir a fiestas”, entonces está evaluando cuántos examinados estuvieron de acuerdo con la afirmación.

Lo que es único con los datos de tipo encuesta es que a menudo incluyen una clave inversa; la misma evaluación también puede tener un ítem que sea “Prefiero pasar tiempo con libros en lugar de personas” y un examinado que no esté de acuerdo con esa afirmación cuenta como un punto para la puntuación total.

Para la evaluación educativa/de conocimiento estereotipada, con ítems de opción múltiple de 4 o 5 opciones, utilizamos pautas generales como esta para la interpretación.

No. Hay mucho software que puede hacerlo por ti. Si eres nuevo en psicometría, te recomiendo CITAS, que está diseñado para que puedas empezar a trabajar rápidamente, pero es demasiado simple para situaciones avanzadas. Si tienes muestras grandes o estás involucrado en trabajo a nivel de producción, necesitas Iteman. Regístrate para obtener una cuenta gratuita con el botón de abajo. Si ese es tu caso, también te recomiendo que consideres aprender TRÍ si aún no lo has hecho.

La Prueba Lineal Sobre la Marcha (PLSM) es un método de evaluación que aumenta la seguridad de la prueba al limitar la exposición de los ítems. Intenta equilibrar las ventajas de las pruebas lineales (por ejemplo, todos ven la misma cantidad de ítems, lo que resulta más justo) con las ventajas de los exámenes algorítmicos (por ejemplo, crear una prueba única para todos).

En general, hay dos familias de entrega de pruebas. Los enfoques estáticos entregan el mismo formulario o formularios de prueba a todos; este es el método de prueba “lineal” tradicional y omnipresente. Los enfoques algorítmicos entregan la prueba a cada examinado basándose en un algoritmo informático; esto incluye PLSM, pruebas adaptativas computarizadas (PAC) y pruebas multietapa (PME).

¿Qué es la prueba lineal sobre la marcha?

El objetivo de la prueba lineal sobre la marcha es proporcionar a cada examinado una prueba lineal creada exclusivamente para él, pero cada una de ellas se crea para que sea psicométricamente equivalente a todas las demás para garantizar la imparcialidad. Por ejemplo, podríamos tener un grupo de 200 ítems y cada persona solo recibe 100, pero esos 100 están equilibrados para cada persona. Esto se puede hacer asegurando la equivalencia de contenido y/o estadística, así como metadatos auxiliares como los tipos de ítems o el nivel cognitivo.

Equivalencia de contenido

Esta parte es relativamente sencilla. Si el plan de prueba requiere 20 ítems en cada uno de los 5 dominios, para un total de 100 ítems, entonces cada formulario administrado a los examinados debe seguir este plan. A veces, el plan de contenido puede tener 2 o incluso 3 niveles de profundidad.

Equivalencia estadística

Por supuesto, existen dos paradigmas psicométricos predominantes: la teoría clásica de las pruebas (TCP) y la teoría de respuesta al ítem (TRI). Con la TCP, es fácil crear formularios que tengan un valor P equivalente y, por lo tanto, una puntuación media esperada. Si se dispone de estadísticas biseriales puntuales para cada ítem, también se puede diseñar el algoritmo para diseñar formularios que tengan la misma desviación estándar y confiabilidad.

Con la teoría de respuesta al ítem, el enfoque típico es diseñar formularios que tengan la misma función de información de la prueba o, a la inversa, la función de error estándar condicional de la medición. Para obtener más información sobre cómo se implementan, lea esta publicación del blog sobre la TRI o descargue nuestra herramienta de ensamblaje de formularios clásicos.

Implementación de la prueba lineal sobre la marcha

PLSM se implementa generalmente mediante la publicación de un conjunto de elementos con un algoritmo para seleccionar subconjuntos que cumplan con los requisitos. Por lo tanto, necesita un motor de pruebas psicométricamente sofisticado que almacene las estadísticas y los metadatos de los elementos necesarios, le permita definir un conjunto de elementos, especificar las opciones relevantes, como las estadísticas de destino y los planos, y entregar la prueba de manera segura. Muy pocas plataformas de prueba pueden implementar una evaluación PLSM de calidad. La plataforma de ASC lo hace; haga clic aquí para solicitar una demostración.

Beneficios de usar PLSM en las pruebas

Sin duda, no es fácil crear un banco de elementos sólido, diseñar grupos de PLSM y desarrollar un algoritmo complejo que satisfaga las necesidades de equilibrio estadístico y de contenido. Entonces, ¿por qué una organización utilizaría pruebas lineales sobre la marcha?

Bueno, es mucho más seguro que tener unos pocos formularios lineales. Dado que cada persona recibe un formulario único, es imposible que se diga cuáles son las primeras preguntas de la prueba. Y, por supuesto, simplemente podríamos realizar una selección aleatoria de 100 elementos de un grupo de 200, pero eso sería potencialmente injusto. El uso de PLSM garantizará que la prueba siga siendo justa y defendible.