יצירה וניהול של אינדקסים של וקטורים

בדף הזה מוסבר איך להגדיר זיכרון לאינדקסים של וקטורים, ואיך ליצור, לכוונן, לעקוב ולמחוק אינדקסים של וקטורים.

לפני שמתחילים

לפני שיוצרים אינדקס וקטורי, צריך לטעון נתונים למסד הנתונים הטבלאי עם ערכי הטמעת וקטורים. מסד הנתונים הטבלאי צריך להכיל לפחות 1,000 שורות. אם יש לכם יותר נקודות על הגרף, תוכלו לקבל חלוקה ואימון טובים יותר של האינדקס.

מפעילים את הדגל לניהול מסד הנתונים cloudsql_vector במכונה של Cloud SQL.

במכונות שמשתמשות ב-Cloud SQL ל-MySQL בגרסה 9.7 ואילך, לא צריך להפעיל את cloudsql_vector כדי ליצור ולאחסן הטמעות וקטורים, אבל צריך להפעיל את הדגל לניהול מסד הנתונים cloudsql_vector במכונה של Cloud SQL כדי ליצור אינדקסים של וקטורים.

הגדרת הקצאת הזיכרון לאינדקסים של וקטורים

הדגל לניהול מסד הנתונים cloudsql_vector_max_mem_size קובע כמה זיכרון המכונה של Cloud SQL מקצה לאינדקסים של וקטורים. זהו דגל סטטי שדורש הפעלה מחדש של המכונה. לזיכרון הזה יש שתי מטרות עיקריות:

  1. אחסון מבנה האינדקס של הווקטור: החלק של האינדקס של הווקטור שהוא לא עלה (ה-TREE_MEMORY) נמצא בזיכרון הזה. הגודל המשוער של העץ הזה תלוי במספר צומתי העלים (num_leaves) ובממדי הווקטורים:

     Approximate TREE_MEMORY = num_leaves * vector dimensions * 4 * 2
    

    לדוגמה, לאינדקס עם 1,000 עלים ו-768 מאפיינים יהיה TREE_MEMORY משוער של ‎1,000 * 768 * 4 * 2‎ או 6,144,000 בייטים. אפשר גם לבדוק את הערך בפועל של TREE_MEMORY באמצעות הטבלה information_schema.innodb_vector_indexes. ‫Cloud SQL מנהל את הזיכרון הזה. אין צורך להקצות מקום לכל האינדקסים של הווקטורים בו-זמנית, כי אינדקסים לא פעילים נפרקים כדי לפנות מקום לבקשות אחרות.

  2. זיכרון ליצירת אינדקס (נתוני אימון): במהלך יצירת אינדקס וקטורי, נדרש זיכרון כדי לעבד דגימה של הנתונים ממסד הנתונים הטבלאי כדי ליצור את האינדקס. הזיכרון הזה משמש רק במהלך תהליך יצירת האינדקס, ומשתחרר לאחר מכן. גודל הזיכרון המשוער שנדרש לאימון הוא:

     approximate_training_memory = num_rows in base table * 0.1 * 4 * vector dimensions
    

    לדוגמה, בטבלה עם 1,000,000 שורות ו-768 מאפיינים, הערך של training_memory יהיה ‎1,000,000 * 0.1 * 768 * 4‎ או 307,200,000 בייטים. רק 10% מהנתונים של מסד הנתונים הטבלאי נדגמים כדי לחשב את המרכזים של העץ.

    כשמפעילים את הדגל cloudsql_vector, מערכת Cloud SQL מגדירה באופן אוטומטי ערך ברירת מחדל ל-cloudsql_vector_max_mem_size על סמך גודל המכונה הווירטואלית. ברירת המחדל הזו בדרך כלל מספיקה לעומסי עבודה רגילים. כדי להקצות את הזיכרון הזה, Cloud SQL מקטין את הדגל innodb_buffer_pool_size. ערך ברירת המחדל המקסימלי של cloudsql_vector_max_mem_size הוא 16GB. אם אתם צריכים לשנות את גודל הזיכרון, אתם יכולים לשנות באופן דינמי את cloudsql_vector_max_mem_size בהתאם לשימוש באינדקס הווקטורי.

‫cloudsql_vector_max_mem_size ערכים

גודל המכונה הווירטואלית cloudsql_vector_max_mem_size
‎4GB 194MB
8GB 515MB
16GB 1.2GB
32GB 2.56GB
64GB 5.12GB
128GB 10.24GB
256GB ומעלה 16GB

טווח הזיכרון שמוקצה לאינדקס הווקטורי הוא:

  • ‫128MB לפחות
  • ‫10% ממאגר המאגרים
  • ‫16GB לכל היותר

אפשר לשנות את הזיכרון בהמשך, לפי הצורך.

למידע על מעקב אחרי הגודל של אינדקס וקטורי, ראו מעקב אחרי אינדקסים וקטוריים.

כדי לעדכן את הזיכרון שהוקצה לאינדקסים של וקטורים במכונה, משתמשים בפקודה הבאה:

gcloud sql instances patch INSTANCE_NAME \
 --database-flags= cloudsql_vector_max_mem_size=NEW_MEMORY_VALUE;

מחליפים את מה שכתוב בשדות הבאים:

  • ‫INSTANCE_NAME: שם המכונה שבה משנים את הקצאת הזיכרון.
  • ‫NEW_MEMORY_VALUE: הקצאת הזיכרון המעודכנת, בבייטים, לאינדקסים של הווקטורים.

השינוי הזה נכנס לתוקף מיד אחרי שמפעילים מחדש את מסד הנתונים.

יצירת אינדקס וקטורי

יש שתי דרכים ליצור אינדקס וקטורי:

  • הצהרת CREATE VECTOR INDEX, תוסף של Cloud SQL לתחביר MySQL רגיל.
  • הצהרת ALTER TABLE עם סעיף ההרחבה ADD VECTOR INDEX של Cloud SQL. אי אפשר להריץ את ההצהרה הזו בו-זמנית עם הצהרות DDL אחרות בטבלה.

כדי ליצור אינדקס וקטורי באמצעות CREATE VECTOR INDEX, משתמשים בתחביר הבא:

CREATE
  VECTOR INDEX INDEX_NAME
ON TABLE_NAME(COLUMN_NAME)
USING
  SCANN[QUANTIZER = SQ8]
    DISTANCE_MEASURE
  = L2_SQUARED | COSINE | DOT_PRODUCT[NUM_LEAVES = INT_VALUE ];

אלה אפשרויות האינדקס:

  • ‫USING SCANN: אופציונלי. מציין את סוג האינדקס שבו צריך להשתמש. הערך הנתמך היחיד הוא SCANN.
  • ‫QUANTIZER: אופציונלי. ממפה וקטור עם הרבה ממדים לייצוג דחוס. SQ8 הוא הערך הנתמך היחיד.
  • ‫DISTANCE_MEASURE: חובה. מציינת נוסחה מתמטית לחישוב הדמיון בין שני וקטורים. בפרמטר הזה צריך להגדיר את אותה יחידת מידה למרחק שהגדרתם באפשרויות החיפוש של approx_distance. הליטרלים הנתמכים הם:
    • L2_SQUARED
    • COSINE
    • DOT_PRODUCT
  • ‫NUM_LEAVES: אופציונלי. מציין כמה מחיצות (עלים) לבנות. כדאי לשנות את ההגדרה הזו מהגדרת ברירת המחדל רק אם אתם מבינים היטב את החיפוש ב-ANN ואת מערך הנתונים שלכם. המספר שצוין לא יכול להיות גדול ממספר ההטמעות במסד הנתונים הטבלאי.

לדוגמה, כדי ליצור אינדקס וקטורי, מריצים את הפקודה הבאה:

CREATE
  VECTOR INDEX vectorIndex
ON dbname.books(embeddings) DISTANCE_MEASURE = L2_SQUARED;

בזמן שההצהרה CREATE פועלת, מסד הנתונים הטבלאי עובר למצב קריאה בלבד ואי אפשר להפעיל עליו פקודות DML.

כדי ליצור אינדקס בטבלה קיימת, אפשר להשתמש בתחביר הבא:

ALTER TABLE tbl_name
  ADD VECTOR INDEX index_name(key_part)[index_option];

לדוגמה, כדי ליצור אינדקס בטבלה קיימת:

ALTER TABLE t1 ADD VECTOR INDEX index1(j)
USING SCANN QUANTIZER = SQ8 DISTANCE_MEASURE = l2_squared NUM_LEAVES = 10;

כוונון של אינדקס הווקטורים

בקטע הזה מוסבר בהרחבה על הפרמטרים שמשמשים ליצירת אינדקס וקטורי. כדי לכוונן את אינדקס הווקטורים, אתם יכולים להשתמש במידע הזה כדי להחליט איך להשפיע על תהליך ה-build.

פרמטר תיאור ברירת מחדל היקף השפעה
cloudsql_vector_max_mem_size הזיכרון שהוקצה לאימון האינדקס. משתנה Instance אם אין מספיק זיכרון, יכול להיות שה-build ייכשל. הגדרת הקצאת זיכרון לאינדקסים וקטוריים
innodb_ddl_threads מידת ההקבלה לאימון ולבנייה של אינדקסים. 4 אירוע ערכים גבוהים יותר מקצרים את זמן הבנייה אבל מגדילים את העומס על המעבד (CPU). מגדירים את הערך הזה למספר המעבדים שאפשר להקצות בלי להשפיע לרעה על פעולות מסד הנתונים.

מוודאים שהמודל cloudsql_vector_max_mem_size מוגדר בצורה שמתאימה לאימון. כדאי לשנות את הערך של innodb_ddl_threads כדי לאזן בין זמן הבנייה לבין העומס על המעבד, תוך התחשבות בהשפעה על פעולות בו-זמניות במסד הנתונים. עוקבים אחרי ניצול המעבד (CPU) במהלך ה-build.

הסרת אינדקס וקטורי

כדי למחוק אינדקס וקטורי, משתמשים בהצהרות SQL‏ DROP INDEX או ALTER TABLE עם שם האינדקס שרוצים למחוק, כמו בדוגמה הבאה:

DROP INDEX index_name ON books;

ALTER TABLE table_name
DROP INDEX index_name;

מעקב אחרי אינדקסים של וקטורים

ב-Cloud SQL יש את הטבלאות הבאות של סכימת מידע, עם מידע בזמן אמת על אינדקסים של וקטורים שנטענים בזיכרון:

  • הפונקציה information_schema.innodb_vector_indexes מציגה את כל האינדקסים של הווקטורים שנפתחים בזיכרון אחרי ההפעלה מחדש.
  • information_schema.innodb_all_vector_indexes מציג את כל אינדקסי הווקטורים שקיימים במכונה (גם אם הם עדיין לא נפתחו בזיכרון).
  • התצוגה information_schema.innodb_vector_indexes_memory מספקת מידע על השימוש הכולל בזיכרון של אינדקסים וקטוריים במכונה.

למידע נוסף, קראו את המאמר סכימת מידע.

כדי לראות את המידע בטבלה innodb_vector_indexes, מריצים את הפקודה הבאה:

SELECT * FROM information_schema.innodb_vector_indexes \ G;

הפלט אמור להיראות כך:

 INDEX_NAME: t1_vec_index
 TABLE_NAME: test.t1
 INDEX_TYPE: TREE_SQ
 DIMENSION: 3
 DIST_MEASURE: COSINE
 STATUS: Ready
 STATE: INDEX_READY_TO_USE
 NUM_LEAVES: 10
 NUM_LEAVES_TO_SEARCH: 10
 QUERIES: 1
 MUTATIONS: 1
 TREE_MEMORY: 443

שיטות מומלצות לעבודה עם אינדקסים של וקטורים

בקטע הזה מפורטות שיטות מומלצות לעבודה עם אינדקסים של וקטורים. כל עומס עבודה הוא שונה, ויכול להיות שתצטרכו לבצע התאמות בהתאם.

  • אחרי פעולות גדולות של שפת טיפול בנתונים (DML), מומלץ לבנות מחדש את האינדקס.
  • באופן כללי, אפשר לתת ל-Cloud SQL לחשב את מספר העלים או הקונטיינרים של ההטמעות שבהם צריך להשתמש. מספר העלים קובע לכמה מחיצות מחולק אינדקס הווקטורים. אם יש לכם תרחיש לדוגמה שבו אתם רוצים לציין את מספר העלים, מומלץ שיהיו לפחות 100 וקטורים לכל עלה כדי לקבל את ה-recall הטוב ביותר. בהקשר של חיפוש וקטורי, "אחזור" מתייחס לאחוז הווקטורים שהאינדקס מחזיר, שהם השכנים הקרובים ביותר האמיתיים.

המאמרים הבאים