¿Cómo sabes si puedes confiar en los códigos de un modelo de lenguaje?

Comparas sus códigos con los tuyos en una muestra codificada a ciegas y calculas la kappa de Cohen. Decides con ese número y con la tabla de desacuerdos, no con la impresión que dejan las justificaciones.

Validar al modelo: acuerdo entre codificadores

El oficio que ya tienes

Fiabilidad entre codificadores. Ya sabes que dos personas no codifican igual por buena voluntad, sino porque el libro de códigos es claro y se comprobó. Aquí el segundo codificador es el modelo y la prueba es la misma.

En Marienthal

Codificas a ciegas cincuenta de las doscientas respuestas a «¿qué dejaste de hacer por falta de tiempo?», calculas la kappa contra el modelo y miras la tabla de desacuerdos. Antes de calcular, anotas qué acuerdo te basta. Si alcanza, el modelo codifica el resto; si no, corriges las categorías que confunde y mides con otras cincuenta.

En tu proyecto

Anotas en tu bitácora qué acuerdo te basta y por qué, antes de calcular nada. Codificas a ciegas una muestra al azar de tus respuestas, calculas la kappa y lees cada desacuerdo. Decides, por escrito, si el modelo codifica lo demás.

Conceptos

Codificar a ciegas: Asignar tus códigos sin ver los del otro codificador, para que el acuerdo que midas sea real.
Acuerdo observado: La proporción de respuestas en las que tú y el modelo pusieron el mismo código.
Acuerdo por azar: El acuerdo que se esperaría si los dos codificaran al azar, cada quien con la frecuencia con que usa cada categoría.
Kappa de Cohen: El acuerdo observado menos el esperado por azar, dividido entre lo máximo que podía superar al azar. Mide acuerdo entre dos codificadores.
Tabla de desacuerdos: Un cruce de tus códigos contra los del modelo. Muestra qué categorías se confunden entre sí.

Instrumental

sqlite3: Sacar al azar la muestra para codificar a mano, sin la columna de códigos del modelo.
claude: Pedir el script que calcula la kappa y la tabla de desacuerdos, y que explique cada paso.
vd: Recorrer en VisiData las respuestas en desacuerdo, con tu código, el del modelo y su justificación.

Para tu bitácora

Cuando el modelo y tú no coinciden, ¿cómo sabes cuál de los dos se equivocó, y qué dice eso de tu libro de códigos?