בדף הזה מוסבר איך להגדיר זיכרון לאינדקסים של וקטורים, ואיך ליצור, לכוונן, לעקוב ולמחוק אינדקסים של וקטורים.
לפני שמתחילים
לפני שיוצרים אינדקס וקטורי, צריך לטעון נתונים למסד הנתונים הטבלאי עם ערכי הטמעת וקטורים. מסד הנתונים הטבלאי צריך להכיל לפחות 1,000 שורות. אם יש לכם יותר נקודות על הגרף, תוכלו לקבל חלוקה ואימון טובים יותר של האינדקס.
מפעילים את הדגל לניהול מסד הנתונים cloudsql_vector במכונה של Cloud SQL.
במכונות שמשתמשות ב-Cloud SQL ל-MySQL בגרסה 9.7 ואילך, לא צריך להפעיל את cloudsql_vector כדי ליצור ולאחסן הטמעות וקטורים, אבל צריך להפעיל את הדגל לניהול מסד הנתונים cloudsql_vector במכונה של Cloud SQL כדי ליצור אינדקסים של וקטורים.
הגדרת הקצאת הזיכרון לאינדקסים של וקטורים
הדגל לניהול מסד הנתונים cloudsql_vector_max_mem_size קובע כמה זיכרון המכונה של Cloud SQL מקצה לאינדקסים של וקטורים. זהו דגל סטטי שדורש הפעלה מחדש של המכונה. לזיכרון הזה יש שתי מטרות עיקריות:
אחסון מבנה האינדקס של הווקטור: החלק של האינדקס של הווקטור שהוא לא עלה (ה-
TREE_MEMORY) נמצא בזיכרון הזה. הגודל המשוער של העץ הזה תלוי במספר צומתי העלים (num_leaves) ובממדי הווקטורים:Approximate TREE_MEMORY = num_leaves * vector dimensions * 4 * 2לדוגמה, לאינדקס עם 1,000 עלים ו-768 מאפיינים יהיה
TREE_MEMORYמשוער של 1,000 * 768 * 4 * 2 או 6,144,000 בייטים. אפשר גם לבדוק את הערך בפועל שלTREE_MEMORYבאמצעות הטבלהinformation_schema.innodb_vector_indexes. Cloud SQL מנהל את הזיכרון הזה. אין צורך להקצות מקום לכל האינדקסים של הווקטורים בו-זמנית, כי אינדקסים לא פעילים נפרקים כדי לפנות מקום לבקשות אחרות.זיכרון ליצירת אינדקס (נתוני אימון): במהלך יצירת אינדקס וקטורי, נדרש זיכרון כדי לעבד דגימה של הנתונים ממסד הנתונים הטבלאי כדי ליצור את האינדקס. הזיכרון הזה משמש רק במהלך תהליך יצירת האינדקס, ומשתחרר לאחר מכן. גודל הזיכרון המשוער שנדרש לאימון הוא:
approximate_training_memory = num_rows in base table * 0.1 * 4 * vector dimensionsלדוגמה, בטבלה עם 1,000,000 שורות ו-768 מאפיינים, הערך של
training_memoryיהיה 1,000,000 * 0.1 * 768 * 4 או 307,200,000 בייטים. רק 10% מהנתונים של מסד הנתונים הטבלאי נדגמים כדי לחשב את המרכזים של העץ.כשמפעילים את הדגל
cloudsql_vector, מערכת Cloud SQL מגדירה באופן אוטומטי ערך ברירת מחדל ל-cloudsql_vector_max_mem_sizeעל סמך גודל המכונה הווירטואלית. ברירת המחדל הזו בדרך כלל מספיקה לעומסי עבודה רגילים. כדי להקצות את הזיכרון הזה, Cloud SQL מקטין את הדגלinnodb_buffer_pool_size. ערך ברירת המחדל המקסימלי שלcloudsql_vector_max_mem_sizeהוא 16GB. אם אתם צריכים לשנות את גודל הזיכרון, אתם יכולים לשנות באופן דינמי אתcloudsql_vector_max_mem_sizeבהתאם לשימוש באינדקס הווקטורי.
cloudsql_vector_max_mem_size ערכים
| גודל המכונה הווירטואלית | cloudsql_vector_max_mem_size |
| 4GB | 194MB |
| 8GB | 515MB |
| 16GB | 1.2GB |
| 32GB | 2.56GB |
| 64GB | 5.12GB |
| 128GB | 10.24GB |
| 256GB ומעלה | 16GB |
טווח הזיכרון שמוקצה לאינדקס הווקטורי הוא:
- 128MB לפחות
- 10% ממאגר המאגרים
- 16GB לכל היותר
אפשר לשנות את הזיכרון בהמשך, לפי הצורך.
למידע על מעקב אחרי הגודל של אינדקס וקטורי, ראו מעקב אחרי אינדקסים וקטוריים.
כדי לעדכן את הזיכרון שהוקצה לאינדקסים של וקטורים במכונה, משתמשים בפקודה הבאה:
gcloud sql instances patch INSTANCE_NAME \
--database-flags= cloudsql_vector_max_mem_size=NEW_MEMORY_VALUE;
מחליפים את מה שכתוב בשדות הבאים:
- INSTANCE_NAME: שם המכונה שבה משנים את הקצאת הזיכרון.
- NEW_MEMORY_VALUE: הקצאת הזיכרון המעודכנת, בבייטים, לאינדקסים של הווקטורים.
השינוי הזה נכנס לתוקף מיד אחרי שמפעילים מחדש את מסד הנתונים.
יצירת אינדקס וקטורי
יש שתי דרכים ליצור אינדקס וקטורי:
- הצהרת
CREATE VECTOR INDEX, תוסף של Cloud SQL לתחביר MySQL רגיל. - הצהרת
ALTER TABLEעם סעיף ההרחבהADD VECTOR INDEXשל Cloud SQL. אי אפשר להריץ את ההצהרה הזו בו-זמנית עם הצהרות DDL אחרות בטבלה.
כדי ליצור אינדקס וקטורי באמצעות CREATE VECTOR INDEX, משתמשים בתחביר הבא:
CREATE
VECTOR INDEX INDEX_NAME
ON TABLE_NAME(COLUMN_NAME)
USING
SCANN[QUANTIZER = SQ8]
DISTANCE_MEASURE
= L2_SQUARED | COSINE | DOT_PRODUCT[NUM_LEAVES = INT_VALUE ];
אלה אפשרויות האינדקס:
-
USING SCANN: אופציונלי. מציין את סוג האינדקס שבו צריך להשתמש. הערך הנתמך היחיד הוא SCANN. -
QUANTIZER: אופציונלי. ממפה וקטור עם הרבה ממדים לייצוג דחוס. SQ8 הוא הערך הנתמך היחיד. -
DISTANCE_MEASURE: חובה. מציינת נוסחה מתמטית לחישוב הדמיון בין שני וקטורים. בפרמטר הזה צריך להגדיר את אותה יחידת מידה למרחק שהגדרתם באפשרויות החיפוש שלapprox_distance. הליטרלים הנתמכים הם:L2_SQUAREDCOSINEDOT_PRODUCT
-
NUM_LEAVES: אופציונלי. מציין כמה מחיצות (עלים) לבנות. כדאי לשנות את ההגדרה הזו מהגדרת ברירת המחדל רק אם אתם מבינים היטב את החיפוש ב-ANN ואת מערך הנתונים שלכם. המספר שצוין לא יכול להיות גדול ממספר ההטמעות במסד הנתונים הטבלאי.
לדוגמה, כדי ליצור אינדקס וקטורי, מריצים את הפקודה הבאה:
CREATE
VECTOR INDEX vectorIndex
ON dbname.books(embeddings) DISTANCE_MEASURE = L2_SQUARED;
בזמן שההצהרה CREATE פועלת, מסד הנתונים הטבלאי עובר למצב קריאה בלבד ואי אפשר להפעיל עליו פקודות DML.
כדי ליצור אינדקס בטבלה קיימת, אפשר להשתמש בתחביר הבא:
ALTER TABLE tbl_name
ADD VECTOR INDEX index_name(key_part)[index_option];
לדוגמה, כדי ליצור אינדקס בטבלה קיימת:
ALTER TABLE t1 ADD VECTOR INDEX index1(j)
USING SCANN QUANTIZER = SQ8 DISTANCE_MEASURE = l2_squared NUM_LEAVES = 10;
כוונון של אינדקס הווקטורים
בקטע הזה מוסבר בהרחבה על הפרמטרים שמשמשים ליצירת אינדקס וקטורי. כדי לכוונן את אינדקס הווקטורים, אתם יכולים להשתמש במידע הזה כדי להחליט איך להשפיע על תהליך ה-build.
| פרמטר | תיאור | ברירת מחדל | היקף | השפעה |
cloudsql_vector_max_mem_size |
הזיכרון שהוקצה לאימון האינדקס. | משתנה | Instance | אם אין מספיק זיכרון, יכול להיות שה-build ייכשל. הגדרת הקצאת זיכרון לאינדקסים וקטוריים |
innodb_ddl_threads |
מידת ההקבלה לאימון ולבנייה של אינדקסים. | 4 | אירוע | ערכים גבוהים יותר מקצרים את זמן הבנייה אבל מגדילים את העומס על המעבד (CPU). מגדירים את הערך הזה למספר המעבדים שאפשר להקצות בלי להשפיע לרעה על פעולות מסד הנתונים. |
מוודאים שהמודל cloudsql_vector_max_mem_size מוגדר בצורה שמתאימה לאימון.
כדאי לשנות את הערך של innodb_ddl_threads כדי לאזן בין זמן הבנייה לבין העומס על המעבד, תוך התחשבות בהשפעה על פעולות בו-זמניות במסד הנתונים. עוקבים אחרי ניצול המעבד (CPU) במהלך ה-build.
הסרת אינדקס וקטורי
כדי למחוק אינדקס וקטורי, משתמשים בהצהרות SQL DROP INDEX או ALTER TABLE עם שם האינדקס שרוצים למחוק, כמו בדוגמה הבאה:
DROP INDEX index_name ON books;
ALTER TABLE table_name
DROP INDEX index_name;
מעקב אחרי אינדקסים של וקטורים
ב-Cloud SQL יש את הטבלאות הבאות של סכימת מידע, עם מידע בזמן אמת על אינדקסים של וקטורים שנטענים בזיכרון:
- הפונקציה
information_schema.innodb_vector_indexesמציגה את כל האינדקסים של הווקטורים שנפתחים בזיכרון אחרי ההפעלה מחדש. information_schema.innodb_all_vector_indexesמציג את כל אינדקסי הווקטורים שקיימים במכונה (גם אם הם עדיין לא נפתחו בזיכרון).- התצוגה
information_schema.innodb_vector_indexes_memoryמספקת מידע על השימוש הכולל בזיכרון של אינדקסים וקטוריים במכונה.
למידע נוסף, קראו את המאמר סכימת מידע.
כדי לראות את המידע בטבלה innodb_vector_indexes, מריצים את הפקודה הבאה:
SELECT * FROM information_schema.innodb_vector_indexes \ G;
הפלט אמור להיראות כך:
INDEX_NAME: t1_vec_index
TABLE_NAME: test.t1
INDEX_TYPE: TREE_SQ
DIMENSION: 3
DIST_MEASURE: COSINE
STATUS: Ready
STATE: INDEX_READY_TO_USE
NUM_LEAVES: 10
NUM_LEAVES_TO_SEARCH: 10
QUERIES: 1
MUTATIONS: 1
TREE_MEMORY: 443
שיטות מומלצות לעבודה עם אינדקסים של וקטורים
בקטע הזה מפורטות שיטות מומלצות לעבודה עם אינדקסים של וקטורים. כל עומס עבודה הוא שונה, ויכול להיות שתצטרכו לבצע התאמות בהתאם.
- אחרי פעולות גדולות של שפת טיפול בנתונים (DML), מומלץ לבנות מחדש את האינדקס.
- באופן כללי, אפשר לתת ל-Cloud SQL לחשב את מספר העלים או הקונטיינרים של ההטמעות שבהם צריך להשתמש. מספר העלים קובע לכמה מחיצות מחולק אינדקס הווקטורים. אם יש לכם תרחיש לדוגמה שבו אתם רוצים לציין את מספר העלים, מומלץ שיהיו לפחות 100 וקטורים לכל עלה כדי לקבל את ה-recall הטוב ביותר. בהקשר של חיפוש וקטורי, "אחזור" מתייחס לאחוז הווקטורים שהאינדקס מחזיר, שהם השכנים הקרובים ביותר האמיתיים.
המאמרים הבאים
- סקירה כללית על חיפוש וקטורי ב-Cloud SQL
- איך מפעילים ומשביתים הטמעות וקטורים במכונה
- איך יוצרים הטמעות וקטורים
- איך מבצעים חיפושים בהטמעות וקטורים