Sesgo del conjunto de datosDataset Bias

La inclinación suele nacer donde es fácil llegar

Los datos no reflejan el mundo de forma pareja. Se acumula más de lo que es fácil de conseguir, de lo que ya deja rastro, de lo que tiene una voz más fuerte. Lo mismo pasa con los textos e imágenes que se recogen de internet: ciertos idiomas y ciertas regiones aparecen en cantidades enormes, mientras que otros casi no aparecen.

A veces lo que queda registrado es directamente una decisión pasada. Si se usan como datos las decisiones tomadas en los últimos años, junto con ellas entran también las costumbres de esa época: los datos parecen anotar hechos, pero en realidad también anotan qué eligió alguien en su momento.

Lo más difícil es que lo que falta no se cuenta. Una carpeta que nunca llegó al depósito tampoco aparece en el índice, así que notar qué falta exige revisar por fuera, con otra fuente.

Donde hay menos datos se falla más, y ese error casi no se ve

Un modelo entrenado con datos inclinados funciona bien en el lado grande y mal en el lado pequeño. Pero esa diferencia no aparece en el resultado final. Al calcular la exactitud general, el lado grande pesa tanto que, aunque el lado pequeño falle por completo, el número total baja apenas unos puntos.

Por eso conviene medir por partes: por región, por condición, por cada grupo con pocos datos. Al separar los resultados se descubre que detrás de un 90 general puede esconderse una fila entera de 60, y esta comprobación hay que dejarla lista desde que se recopilan los datos, porque cada dato necesita venir marcado con la información que permita distinguir a qué grupo pertenece.

Cuando se juzga a personas, la desventaja se acumula

Con los registros de temperatura, un error se corrige volviendo a medir. Pero cuando datos inclinados se usan para elegir o evaluar personas, la historia cambia. El grupo que aparece poco en los datos recibe puntajes más bajos una y otra vez, y ese resultado vuelve a sumarse a los datos siguientes.

Con cada vuelta la inclinación se afirma más: el grupo elegido con menos frecuencia queda con menos registros, y con menos registros vuelve a salir en desventaja la próxima vez. Es una estructura donde una pequeña inclinación inicial crece con el tiempo, así que una vez instalada es difícil revertirla.

Por eso, en las decisiones que afectan a personas conviene mantener un seguimiento continuo de los resultados por grupo, junto con un procedimiento donde una persona pueda intervenir y revertir algo si se ve fuera de lugar.

Juntar más datos, por sí solo, no resuelve nada

Como parece un problema de falta de datos, la primera idea suele ser recopilar más. Pero si se sigue recopilando de la misma manera, la inclinación crece en la misma proporción. Instalar diez estaciones más en las ciudades no hace que aparezcan registros de las islas.

Lo que hace falta no es cantidad, sino dirección: recopilar a propósito en los lados vacíos, darle más peso a esos datos durante el entrenamiento y, si aun así no alcanza, dejar esa parte de la decisión en manos de una persona en lugar del modelo.

Llegar a un equilibrio perfecto casi nunca es posible. Por eso conviene, además, dejar anotada sin ocultarla la inclinación que queda. Si la ficha del conjunto de datos deja claro qué grupos están representados y cuáles faltan, quien lo use después podrá conocer sus límites de antemano.