Limpiar datos con un agente

Resumen

Ningún conjunto de datos llega limpio: hay respuestas en blanco, categorías escritas de cinco maneras y cifras imposibles. Esta sesión limpia datos con un script que el agente escribe y que se puede volver a correr. Limpiar es tomar decisiones de análisis, y por eso cada una queda escrita y se revisa.

1. 1

   Faltantes e inconsistencias

   Un valor faltante puede venir como celda vacía, como NULL o como un código del tipo 99 o «no sabe». Una categoría inconsistente es la misma respuesta escrita de varias formas. Primero se cuentan, con GROUP BY y con IS NULL, y luego se decide qué hacer con cada caso.

2. 2

   Un script que se repite

   La limpieza no se hace a mano, celda por celda: se escribe en un archivo, por ejemplo limpieza.sql, que parte siempre de los datos crudos y produce una versión limpia. Los crudos no se tocan. Cuando lleguen respuestas nuevas, el mismo script las limpia igual, y git guarda cada cambio al procedimiento.

3. 3

   Antes y después

   Lo que el agente cambió se revisa como una entrevista que hizo otra persona. Se comparan los conteos por categoría antes y después, el número de filas y los faltantes. Si una cifra cambió y no sabes por qué, el script todavía no está listo.

«CDMX», «Ciudad de México» y «cdmx» se vuelven una sola categoría, y queda escrito cómo se hizo.