PredicciónPrediction

Predecir no es acertar, es construir una base

Se suele preguntar primero "¿qué tan bien acierta?" sobre una predicción. Pero desde el lado de quien predice, el orden es al revés. Decir la respuesta cuando ya se la conoce no es predecir: es verificar. Predecir es establecer, sin conocer la respuesta y solo con lo que se tiene a mano, el valor más probable.

Por eso toda predicción tiene siempre dos partes: qué se miró para decidir, y qué tan sólida es esa decisión. Un pronóstico armado con presión y fotos de nubes, y otro armado solo con el clima de ayer, pesan distinto aunque los dos digan 70%.

Lo que hace la IA tiene la misma forma. Saca la regularidad que quedó en montones de ejemplos vistos durante el entrenamiento, y la aplica a una entrada nueva para dar un valor. Qué tan bien se extrajo esa regularidad define la calidad de la predicción.

La predicción sale como probabilidad

Dentro del modelo, la predicción se construye casi siempre como un puntaje repartido entre varios candidatos. Mañana llueve 70, no llueve 30, por ejemplo. Que en la pantalla solo aparezca la palabra "lluvia" es porque se muestra únicamente el candidato con el puntaje más alto.

Ver ese puntaje cambia el juicio. Una predicción repartida 70 y 30, y otra repartida 51 y 49, dicen las dos "lluvia", pero el nivel de confianza es completamente distinto. La segunda, en el fondo, significa que el modelo también está dudando.

Por eso, donde se usa una predicción, conviene recibir junto con la respuesta elegida también el puntaje. Si el puntaje es bajo, se puede pedir que una persona lo revise una vez más, o directamente posponer la respuesta.

No solo se predice el futuro

La palabra "predicción" hace pensar en el futuro, pero no tiene nada que ver con el tiempo. Cualquier valor todavía sin confirmar es objeto de predicción. Qué objeto hay en una foto, de qué área era este documento el mes pasado, qué valor tenía originalmente una celda vacía: todo eso también es predecir.

En términos de datos climáticos, rellenar con los valores de las estaciones vecinas la temperatura de ayer en un pueblo de montaña sin estación propia también es predecir. Ayer ya pasó, pero nadie midió la temperatura de ese pueblo.

Casi todas las respuestas que entrega un servicio de IA son predicciones en este sentido. Una línea traducida, una lista de recomendaciones, una marca de spam: todo es "el resultado de rellenar con datos un valor sin confirmar".

Si funciona bien se mide después

El rendimiento de una predicción solo se puede calificar después de que la respuesta se revela. Hay que anotar el pronóstico junto al clima real, y juntar no un día sino varios meses para saber si ese pronóstico sirve. Acertar una vez no la vuelve buena, y fallar una vez no la vuelve mala.

Si entre todos los días en que se dijo 70% de probabilidad de lluvia, en efecto llovió cerca de siete de cada diez veces, ese pronóstico está usando los números con honestidad. Sin este proceso de comparar la predicción con la realidad, la predicción se queda en una simple frase que suena convincente.

Flaquea frente a lo nunca visto

La predicción se apoya en registros pasados. Por eso pierde fuerza cuando aparece algo que no estaba en esos registros. Un aguacero como nunca se había visto desde que hay registros es justo cuando el pronóstico más se equivoca. Sin un caso parecido a mano, termina forzando el caso antiguo que más se le acerca.

Un modelo de IA hace lo mismo. Rinde sorprendentemente bien dentro del rango que vio en el entrenamiento, pero entrega valores absurdos cuando la entrada se sale de ese rango. Lo más complicado es que, aun así, el puntaje puede seguir saliendo alto. La seguridad con que habla y la exactitud van cada una por su lado.