Base de datos vectorialVector Database

Busca lo parecido, no lo idéntico

La base de datos que usamos habitualmente trae filas que cumplen la condición exactamente: una persona cuyo apellido empieza con «Gómez», un producto con un precio de diez mil pesos o menos. Si una sola letra es distinta, no lo encuentra.

La base de datos vectorial pregunta distinto: «dame los diez más cercanos a este conjunto de números». Así se puede encontrar un documento guardado como «política de reembolsos» con la pregunta «¿cómo hago para que me devuelvan el dinero?», porque los embeddings de los dos textos quedan en una posición cercana.

El resultado llega con un orden y un puntaje que indica cuán cerca está. Con ese puntaje se puede filtrar y descartar lo que quedó demasiado lejos.

Antes de medir todo, se reduce por zonas

Si hay un millón de elementos guardados, medir la distancia un millón de veces por cada pregunta es demasiado lento. Por eso, al guardar, se agrupa de antemano lo parecido y se arma una especie de mapa. Un método muy usado consiste en tender una red que conecta caminos entre vecinos, y al buscar, partir de cualquier punto e ir moviéndose siempre hacia el vecino más cercano hasta acercarse al destino.

Este método es entre decenas y cientos de veces más rápido que medir todo. A cambio, muy de vez en cuando se le escapa el verdadero primer lugar. Por eso a este tipo de búsqueda se le llama «encontrar lo cercano de forma aproximadamente exacta», y se puede ajustar con una perilla cuán minuciosa es la revisión: cuanto más minuciosa, más precisa y más lenta.

Antes de guardar, se corta y se convierte en números

Los documentos no se guardan enteros de una pieza. Si un documento largo entero se convierte en un solo conjunto de números, el contenido se aplasta: solo queda de qué trata a grandes rasgos, y los detalles desaparecen.

Por eso el documento se corta en trozos pequeños, por párrafo o por sección, y se crea y se guarda un embedding para cada trozo. Si se corta demasiado fino, se pierde el contexto de alrededor; si se corta demasiado grueso, el foco se difumina. Decidir este tamaño influye mucho en el rendimiento real.

A cada trozo se le adjunta información como el texto original, la fuente y la fecha de creación. Esta información hace falta después para citar la fuente en la respuesta o para excluir documentos viejos.

Se combina con filtros de condición

Buscar solo por significado no basta muchas veces, como cuando hay que poner una condición: «entre los documentos desde el año pasado», «entre el material de este departamento». Por eso la mayoría de las bases de datos vectoriales tienen una función que primero reduce el rango con la información guardada junto al vector, y solo después busca lo cercano dentro de ese rango.

También se mezcla con el método antiguo que revisa si las palabras coinciden exactamente, porque para lo que debe coincidir letra por letra —números de producto, nombres de personas—, la búsqueda por significado más bien es débil. Combinar los resultados de ambos métodos y reordenarlos es una configuración común en la práctica.

Dónde se usa

El uso más frecuente es la estructura donde la IA consulta nuestro propio material para responder. Cuando llega una pregunta, primero se sacan de la base de datos vectorial algunos párrafos relacionados, y esos párrafos se meten al modelo junto con la pregunta para que arme la respuesta. Así el modelo puede manejar normas internas o material reciente que nunca aprendió.

La misma estructura se usa también para recomendar productos o artículos parecidos, para encontrar documentos duplicados con contenido casi idéntico, y para buscar una foto a partir de otra foto.