En esta página, se describe cómo configurar la memoria para los índices vectoriales, y cómo crearlos, ajustarlos, supervisarlos y descartarlos.
Antes de comenzar
Antes de crear un índice de vectores, debes cargar datos en la tabla base con valores de embedding de vectores. Tu tabla base debe tener al menos 1,000 filas. Si tienes más datos disponibles, puedes obtener mejores resultados en la creación de particiones y entrenamiento del índice.
Habilita la marca de base de datos cloudsql_vector
en tu instancia de Cloud SQL.
En el caso de las instancias que usan Cloud SQL para MySQL 9.7 o versiones posteriores, aunque no es obligatorio
habilitar cloudsql_vector para crear y almacenar embeddings de vectores, debes
habilitar la marca de base de datos cloudsql_vector
en tu instancia de Cloud SQL para crear índices de vectores.
Configura la asignación de memoria para los índices vectoriales
La marca de base de datos cloudsql_vector_max_mem_size controla cuánta memoria dedica tu
instancia de Cloud SQL a los índices de vectores. Esta es una marca estática
que requiere que reinicies la instancia. Esta memoria tiene dos propósitos principales:
Almacenamiento de la estructura del índice vectorial: La parte que no es de hoja del índice vectorial (el
TREE_MEMORY) reside en esta memoria. El tamaño aproximado de este árbol depende de la cantidad de nodos hoja (num_leaves) y de las dimensiones de tus vectores:Approximate TREE_MEMORY = num_leaves * vector dimensions * 4 * 2Por ejemplo, un índice con 1,000 hojas y 768 dimensiones tendría un
TREE_MEMORYaproximado de 1,000 * 768 * 4 * 2 o 6,144,000 bytes. También puedes verificar elTREE_MEMORYreal con la tablainformation_schema.innodb_vector_indexes. Cloud SQL administra esa memoria. No es necesario asignar espacio para todos los índices vectoriales de forma simultánea, ya que los índices inactivos se descargan para dejar espacio para otras solicitudes.Memoria para la creación de índices (datos de entrenamiento): Durante la creación del índice de vectores, se necesita memoria para procesar una muestra de los datos de la tabla base para compilar el índice. Esta memoria se usa solo durante el proceso de creación del índice y se libera después. El tamaño aproximado de la memoria necesaria para el entrenamiento es el siguiente:
approximate_training_memory = num_rows in base table * 0.1 * 4 * vector dimensionsPor ejemplo, con una tabla de 1,000,000 de filas y 768 dimensiones, el
training_memorysería 1000000 * 0.1 * 768 * 4 o 307,200,000 bytes. Solo se muestrea el 10% de los datos de la tabla base para calcular los centroides del árbol.Cuando habilitas la marca
cloudsql_vector, Cloud SQL establece de forma automática un valor predeterminado decloudsql_vector_max_mem_sizesegún el tamaño de tu VM. Por lo general, este valor predeterminado es suficiente para las cargas de trabajo típicas. Cloud SQL reduce la marcainnodb_buffer_pool_sizepara asignar esta memoria. El valor máximo predeterminado paracloudsql_vector_max_mem_sizees 16 GB. Si necesitas ajustar el tamaño de la memoria, puedes ajustarcloudsql_vector_max_mem_sizede forma dinámica según el uso del índice de vectores.
cloudsql_vector_max_mem_size valores
| Tamaño de la VM | cloudsql_vector_max_mem_size |
| 4 GB | 194 MB |
| 8 GB | 515 MB |
| 16 GB | 1.2 GB |
| 32 GB | 2.56 GB |
| 64 GB | 5.12 GB |
| 128 GB | 10.24 GB |
| 256 GB o más | 16 GB |
El rango de memoria asignada para el índice vectorial es el siguiente:
- 128 MB como mínimo
- 10% del grupo de búferes
- 16 GB como máximo
Puedes ajustar la memoria más adelante, según sea necesario.
Para obtener información sobre cómo supervisar el tamaño del índice de vectores, consulta Supervisa los índices de vectores.
Para actualizar la asignación de memoria para los índices de vectores en la instancia, usa el siguiente comando:
gcloud sql instances patch INSTANCE_NAME \
--database-flags= cloudsql_vector_max_mem_size=NEW_MEMORY_VALUE;
Reemplaza lo siguiente:
- INSTANCE_NAME: Es el nombre de la instancia en la que cambias la asignación de memoria.
- NEW_MEMORY_VALUE: Es la asignación de memoria actualizada, en bytes, para tus índices de vectores.
Este cambio se aplica de inmediato después de reiniciar la base de datos.
Crea un índice vectorial
Existen dos maneras de crear un índice vectorial:
- Sentencia
CREATE VECTOR INDEX, una extensión de Cloud SQL para la sintaxis estándar de MySQL. - Sentencia
ALTER TABLEcon la extensión de la cláusulaADD VECTOR INDEXde Cloud SQL. No puedes ejecutar esta sentencia de forma simultánea con otras sentencias DDL en la tabla.
Usa la siguiente sintaxis para crear un índice de vectores con CREATE VECTOR INDEX:
CREATE
VECTOR INDEX INDEX_NAME
ON TABLE_NAME(COLUMN_NAME)
USING
SCANN[QUANTIZER = SQ8]
DISTANCE_MEASURE
= L2_SQUARED | COSINE | DOT_PRODUCT[NUM_LEAVES = INT_VALUE ];
Las siguientes son las opciones de índice:
USING SCANN: opcional. Indica el tipo de índice que se usará. SCANN es el único valor admitido.QUANTIZER: opcional. Asigna un vector de alta dimensión a una representación comprimida. SQ8 es el único valor admitido.DISTANCE_MEASURE: obligatorio. Especifica una fórmula matemática que se usará para calcular la similitud de dos vectores. Debes establecer la misma medida de distancia en este parámetro que la distancia que estableciste en las opciones de búsqueda deapprox_distance. Los literales admitidos son los siguientes:L2_SQUAREDCOSINEDOT_PRODUCT
NUM_LEAVES: opcional. Especifica cuántas particiones (hojas) se deben compilar. Solo cambia este parámetro de configuración de su valor predeterminado si tienes un buen conocimiento de la búsqueda de ANN y de tu conjunto de datos. El número especificado no puede ser mayor que la cantidad de incorporaciones en la tabla base.
Por ejemplo, para crear un índice de vectores, ejecuta lo siguiente:
CREATE
VECTOR INDEX vectorIndex
ON dbname.books(embeddings) DISTANCE_MEASURE = L2_SQUARED;
Mientras se ejecuta la sentencia CREATE, la tabla base se coloca en un modo de solo lectura
y no se permiten operaciones DML en ella.
Puedes usar la siguiente sintaxis para crear un índice en una tabla existente:
ALTER TABLE tbl_name
ADD VECTOR INDEX index_name(key_part)[index_option];
Por ejemplo, para crear un índice en una tabla existente, haz lo siguiente:
ALTER TABLE t1 ADD VECTOR INDEX index1(j)
USING SCANN QUANTIZER = SQ8 DISTANCE_MEASURE = l2_squared NUM_LEAVES = 10;
Ajusta el índice vectorial
En esta sección, se proporciona más información sobre los parámetros que usas para compilar el índice de vectores. Para ajustar el índice de vectores, usa esta información para determinar cómo influir en el proceso de compilación.
| Parámetro | Descripción | Valor predeterminado | Permiso | Impacto |
cloudsql_vector_max_mem_size |
Es la memoria asignada para el entrenamiento de índices. | Varía | Instancia | La memoria insuficiente puede provocar fallas en la compilación. Consulta Configura la asignación de memoria para los índices de vectores. |
innodb_ddl_threads |
Es el grado de paralelismo para el entrenamiento y la compilación del índice. | 4 | Sesión | Los valores más altos reducen el tiempo de compilación, pero aumentan la carga de CPU. Establece este valor en la cantidad de CPU que puedes ahorrar sin afectar de forma negativa las operaciones de la base de datos. |
Asegúrate de que cloudsql_vector_max_mem_size esté configurado de forma adecuada para el entrenamiento.
Ajusta innodb_ddl_threads para equilibrar el tiempo de compilación y la carga de CPU, teniendo en cuenta el
impacto en las operaciones simultáneas de la base de datos. Supervisa el uso de CPU durante la
compilación.
Descarta un índice vectorial
Para descartar un índice de vectores, usa las declaraciones DROP INDEX o ALTER TABLE de SQL
con el nombre del índice que deseas descartar, como se muestra a continuación:
DROP INDEX index_name ON books;
ALTER TABLE table_name
DROP INDEX index_name;
Supervisa los índices vectoriales
Cloud SQL proporciona las siguientes tablas de esquema de información con datos en tiempo real sobre los índices de vectores que se cargan en su memoria:
information_schema.innodb_vector_indexesenumera todos los índices de vectores que se abren en la memoria después del reinicio.information_schema.innodb_all_vector_indexesenumera todos los índices vectoriales que existen en la instancia (incluso si aún no se abrieron en la memoria).information_schema.innodb_vector_indexes_memoryproporciona información sobre el uso general de memoria de los índices vectoriales en la instancia.
Para obtener información más detallada, consulta el esquema de información.
Para ver la información de la tabla innodb_vector_indexes, ejecuta el siguiente comando:
SELECT * FROM information_schema.innodb_vector_indexes \ G;
El resultado es similar al siguiente:
INDEX_NAME: t1_vec_index
TABLE_NAME: test.t1
INDEX_TYPE: TREE_SQ
DIMENSION: 3
DIST_MEASURE: COSINE
STATUS: Ready
STATE: INDEX_READY_TO_USE
NUM_LEAVES: 10
NUM_LEAVES_TO_SEARCH: 10
QUERIES: 1
MUTATIONS: 1
TREE_MEMORY: 443
Prácticas recomendadas para trabajar con índices de vectores
En esta sección, se proporcionan prácticas recomendadas para trabajar con índices de vectores. Cada carga de trabajo es diferente y es posible que debas realizar ajustes en consecuencia.
- Después de las operaciones principales del lenguaje de manipulación de datos (DML), se recomienda volver a compilar el índice.
- Por lo general, es aceptable permitir que Cloud SQL calcule la cantidad de hojas o contenedores para embeddings que se usarán. La cantidad de hojas determina en cuántas particiones se divide el índice vectorial. Si tienes un caso de uso en el que deseas especificar la cantidad de hojas, se recomienda tener al menos 100 vectores por hoja para obtener la mejor recuperación. En el contexto de la búsqueda de vectores, la recuperación se refiere al porcentaje de vectores que devuelve el índice y que son vecinos más cercanos verdaderos.
¿Qué sigue?
- Lee la descripción general sobre Vector Search en Cloud SQL.
- Obtén información para habilitar e inhabilitar los embeddings de vectores en tu instancia.
- Aprende a generar embeddings de vectores.
- Aprende a realizar búsquedas en embeddings de vectores.