Validar al modelo: acuerdo entre codificadores

Resumen

Que el modelo justifique bien sus códigos no quiere decir que coincida con tu criterio. Lo compruebas como se comprueba a cualquier codificador: con una muestra que codificas a mano y una medida de acuerdo. Con ese número decides si el modelo codifica lo demás.

1. 1

   La muestra a mano

   Sacas al azar una muestra de respuestas y la codificas sin ver lo que dijo el modelo, para que su código no te influya. Si una categoría es rara, revisas que la muestra traiga suficientes casos de ella.

2. 2

   La kappa de Cohen

   El porcentaje de acuerdo engaña, porque dos codificadores coinciden algunas veces por azar. La kappa de Cohen descuenta ese acuerdo esperado: vale 1 si coinciden siempre, 0 si coinciden lo que daría el azar, y puede ser negativa.

3. 3

   Cuándo confiar

   Fijas antes de calcular qué acuerdo te basta y lo reportas. Una kappa alta en general puede esconder una categoría en la que el modelo falla, así que revisas la tabla de desacuerdos. Si no alcanza, ajustas definiciones y ejemplos y mides otra vez con otra muestra.

Codificas cincuenta respuestas, comparas con el modelo y decides, con un número, si sirve para las demás.