RegularizaciónRegularization

Si solo se reduce el error, los valores crecen

El entrenamiento se mueve únicamente hacia reducir el error. Pero si se intenta acertar exactamente cada punto de los datos, la línea que representa la respuesta tiene que retorcerse mucho para pasar entre ellos. Para retorcerse así, algunos valores deben volverse muy grandes: cuanto más grande el valor, más se dispara el resultado con un cambio mínimo en la entrada.

Ese modelo obtiene un puntaje excelente con los datos que usó para entrenar, pero falla mucho ante datos que nunca vio, porque copió hasta el ruido mezclado en los datos. Eso es lo que se llama sobreajuste.

Un valor grande significa además que el resultado depende demasiado de ese valor: basta con que esa característica cambie un poco para que la respuesta se tambalee. Por eso un valor grande es, de por sí, una señal de riesgo.

Se penaliza el tamaño

La regularización añade un elemento más a lo que el entrenamiento mide como error. Hasta ahora solo se miraba "cuánto se falló"; ahora también se mira "qué tan grandes son los valores". El entrenamiento se mueve hacia reducir la suma de los dos.

Entonces, agrandar un valor para reducir un poco el error se vuelve una mala jugada. El modelo solo agranda un valor cuando eso reduce el error de forma clara, y en los demás casos prefiere mantenerlo pequeño. El resultado es una respuesta más suave, y esa suavidad se traduce en resultados parecidos ante datos nuevos.

Este elemento también entra en el cálculo que mueve los valores en cada paso: se suma una fuerza extra que tira de cada valor un poco hacia cero. A este método también se le llama decaimiento de peso.

Se fija la fuerza de la penalización

Cuánto pesa la pesa lo decide una persona. Si ese valor es demasiado pequeño, la penalización apenas se nota y los valores siguen disparándose. Si es demasiado grande, el modelo no logra agrandar los valores que necesitaría y termina perdiéndose incluso las reglas reales que había en los datos, dando respuestas demasiado obvias.

La fuerza adecuada depende de cuántos datos hay y de qué tan grande es el modelo. Con pocos datos conviene una penalización fuerte, porque es más fácil memorizar; con datos de sobra, una más suave. En la práctica se prueban varias fuerzas y se elige la que da mejor puntaje con datos apartados para ese fin.

Dos formas de penalizar

El resultado cambia según cómo se mida el tamaño de los valores. Sumar el cuadrado de cada valor castiga con especial dureza a los más grandes: en conjunto los valores se vuelven más pequeños, pero rara vez llegan a cero, y varios se reparten el trabajo de forma pareja.

Sumar el valor absoluto es distinto: empuja a cero directamente a los valores menos útiles, así que se reduce la cantidad de valores que realmente se usan. Esta forma conviene cuando se quiere averiguar qué características sobran. También es común combinar las dos.