¿Qué Debería Estar Haciendo la Psicometría?

El Objetivo: Evaluación de Calidad

El 31 de marzo de 2017, leí un artículo en The Industrial-Organizational Psychologist (la revista publicada por la Society for Industrial Organizational Psychology) que realmente resonó conmigo:

¿Ha Perdido el Rumbo la Psicología Industrial-Organizacional?
Por Deniz S. Ones, Robert B. Kaiser, Tomas Chamorro-Premuzic, Cicek Svensson

¿Por qué? Porque muchos de sus puntos se aplican a la psicometría y su estado actual de innovación. Resumen sus preocupaciones en seis puntos clave:

• Énfasis excesivo en la teoría
• Fijación en minucias metodológicas triviales
• Supresión de la exploración y la innovación
• Obsesión con la publicación, ignorando los problemas prácticos
• Distracción por modas pasajeras
• Pérdida de influencia en el mundo real frente a otros campos

¿Cuál Debería Ser el Propósito de la Psicometría?

Lo que más me ha molestado a lo largo de los años es el énfasis excesivo en la teoría y los detalles insignificantes en lugar de resolver problemas prácticos. Por esta razón, dejé de asistir a conferencias de NCME y, en su lugar, comencé a participar en eventos más prácticos como ATP.

Mi objetivo es mejorar la calidad de la evaluación a nivel mundial. Desarrollar metodologías DIF esotéricas, nuevos modelos multidimensionales de IRT o sub-algoritmos de CAT que mejoren la eficiencia solo un 0.5% no tendrá un impacto significativo en la gran cantidad de evaluaciones deficientes que existen ni en las decisiones erróneas que generan. La investigación tiene su lugar, pero las mejoras prácticas están desatendidas.

Ejemplo: Acreditación

La acreditación es un ejemplo claro de la importancia de la calidad en la evaluación. Muchas pruebas de certificación y licenciamiento que se utilizan para tomar decisiones críticas están mal diseñadas. Algunas organizaciones simplemente no se preocupan, mientras que otras enfrentan limitaciones externas.

Una vez trabajé con un Departamento de Agricultura en un estado del oeste de EE.UU., donde la legislatura exigía pruebas de licenciamiento para profesiones con tan solo tres examinados al año.

¿Cómo podemos alentar a estos grupos a seguir mejores prácticas? Tradicionalmente, tendrían que contratar consultores costosos, algo inviable para organizaciones pequeñas. ¿Por qué gastar $5,000 en un estudio de Angoff para solo tres candidatos al año? No los culpo por evitarlo, pero el resultado son pruebas de baja calidad que certifican a profesionales no calificados.

Una Oportunidad para la Innovación

Todavía hay innovación en nuestro campo, pero a menudo está mal dirigida. Las grandes corporaciones contratan doctores en psicometría recién graduados y luego los asignan a tareas repetitivas, como ejecutar scripts de SAS o realizar estudios de Angoff una y otra vez. Lo viví en carne propia y, después de 18 meses, quería algo más.

Peor aún, gran parte de la innovación no está enfocada en una mejor medición. Vi a alguien promoviendo la gamificación en las evaluaciones, argumentando que la precisión de la medición no importaba. Esto, por supuesto, es absurdo. Una interfaz atractiva no tiene sentido si los resultados son simplemente números aleatorios.

Innovación en Psicometría en ASC

En ASC, gran parte de nuestra innovación está orientada a resolver estos problemas. Desarrollé Iteman 4 y Xcalibre 4 para permitir que las organizaciones generen informes psicométricos profesionales sin necesidad de contratar consultores costosos. A diferencia de otros programas que generan archivos de texto o hojas de cálculo de Excel, nuestras herramientas crean informes directamente en Microsoft Word, lo que facilita su uso.

Del mismo modo, nuestra plataforma FastTest fue diseñada para modernizar los procesos de evaluación. Realizar un estudio de Angoff con ítems proyectados y expertos anotando calificaciones en papel está desactualizado. FastTest permite hacer esto en línea, facilitando la participación remota de expertos y reduciendo costos. ¿Quieres publicar un examen adaptativo (CAT) sin programar? Lo hemos integrado directamente en la interfaz de publicación de pruebas.

Volviendo a la Pregunta Original

La pregunta era: ¿Qué debería estar haciendo la psicometría?
Mi respuesta: mejorar la evaluación. La investigación matemática avanzada es útil, pero solo para el 5% de las organizaciones más avanzadas. Como psicometristas, es nuestra responsabilidad encontrar formas de ayudar al otro 95%.

El Futuro: Automatización en la Psicometría

El futuro está en la automatización. Iteman 4, Xcalibre 4 y FastTesteran herramientas efectivas de machine learningantes de que el término se pusiera de moda. Otros campos, como Big Data, están ganando influencia aplicando conceptos que la psicometría ha utilizado durante décadas. La Teoría de Respuesta al Ítem (IRT), por ejemplo, es una forma de machine learning que ha existido durante 50 años.

Si buscas mejorar tus prácticas de evaluación, las herramientas de ASC pueden ayudarte. Contáctanos hoy mismo para descubrir cómo la automatización y la innovación pueden optimizar tus procesos psicométricos.