שימוש במודלים של הטמעה עם RAG Engine

בדף הזה מתוארות האפשרויות של מודלים להטמעה, ומוסבר איך להשתמש במודל ההטמעה כדי ליצור קורפוס RAG. השיוך בין מודל ההטמעה לבין מאגר הנתונים של RAG נשאר קבוע לאורך כל חיי מאגר הנתונים של RAG.

מבוא להטמעות

הטמעות הן ייצוגים מספריים של קלט. אתם יכולים להשתמש בהטמעות באפליקציות שלכם כדי לזהות משמעויות מורכבות וקשרים סמנטיים, וכדי לעבד וליצור שפה.

ההטמעות פועלות על ידי המרת טקסט, תמונה ווידאו למערכים של מספרים בנקודה צפה שנקראים וקטורים. ככל ששני וקטורים קרובים יותר במרחב ההטמעה, כך הדמיון בין הקלטים שלהם גדול יותר.

מודלים של הטמעה הם רכיב חשוב במערכות לאחזור סמנטי. הביצועים של מערכת אחזור תלויים במידת הדיוק שבה מודל ההטמעה ממפה את הקשרים בנתונים.

אפשרויות של מודל הטמעה

מנוע RAG מטמיע את טכניקת ה-RAG (יצירה משולבת-אחזור), ומאפשר לכם לבחור מבין מודלי ההטמעה הבאים לשימוש בקורפוס RAG:

סוג מודל ההטמעה תיאור
מודלים להטמעת טקסט ב-Gemini Enterprise Agent Platform מודלים שאומנו על ידי בעל התוכן הדיגיטלי, כמו Google. המודלים מאומנים על מערך נתונים גדול של טקסט, ומספקים בסיס חזק למשימות רבות.
מודלים של הטמעת טקסט שעברו כוונון ב-Agent Platform מודלים להטמעת טקסט ב-Agent Platform עוברים כוונון כדי שיהיה להם ידע מיוחד או ביצועים מותאמים אישית.
מודלים של הטמעת OSS מודלים של הטמעה בקוד פתוח של צד שלישי בגרסאות באנגלית בלבד ובגרסאות בכמה שפות.

מודלים נתמכים של הטמעות

מודלים של הטמעה משמשים ליצירת קורפוס ולחיפוש ואחזור במהלך יצירת התשובה. בקטע הזה מפורטים המודלים להטמעה שנתמכים.

גרסת המודל תיאור
text-embedding-005 מודל ההטמעה שמוגדר כברירת מחדל.

מומלץ לשימוש עם קורפוס RAG.

text-embedding-004 ‫text-embedding-004 נגיש ישירות דרך ה-API להטמעה, ולא זמין ב-Model Garden.
text-multilingual-embedding-002 מומלץ לשימוש עם קורפוס RAG.

מודלים של הטמעה בקוד פתוח

אפשר להשתמש גם במודלים הפתוחים הבאים להטמעה. אפשר למצוא אותם ב-Model Garden.

  • e5-base-v2
  • e5-large-v2
  • e5-small-v2
  • multilingual-e5-large
  • multilingual-e5-small

שימוש במודלים של הטמעת טקסט ב-Agent Platform

‫Agent Platform text embedding API תומך בכמה מודלים של הטמעת טקסט, שיוצרים וקטור הטמעה דחוס עם 768 מאפיינים. הטמעות צפופות מאחסנות את המשמעות של הטקסט, בניגוד לוקטורים דלילים, שנוטים למפות מילים ישירות למספרים. היתרון של שימוש בהטמעות וקטורים צפופות ב-AI גנרטיבי הוא שבמקום לחפש התאמות ישירות של מילים או תחביר, אפשר לחפש קטעים שמתאימים למשמעות של השאילתה, גם אם הקטעים לא משתמשים באותה שפה.

כאן מפורטת רשימת המודלים הנתמכים.

מודלים של Gecko

מודלים של Gecko זמינים בגרסאות באנגלית בלבד ובגרסאות בכמה שפות. בניגוד למודלים של Gecko שעברו כוונון, לא צריך לפרוס את המודלים של Gecko שזמינים לכלל המשתמשים, ולכן הם המודלים המועדפים לשימוש עם RAG Engine.

כדי לזהות את מודל ההטמעה שמוגדר כברירת מחדל או כדי לקבל רשימה של מודלי Gecko שמומלץ להשתמש בהם עם קורפוס RAG, קראו את המאמר מודלים נתמכים של הטמעה.

כשהתמיכה במודלים של Gecko תופסק

יכול להיות שהמודלים של Gecko לבעלי תוכן דיגיטלי יופסקו. אם זה יקרה, לא תוכלו להשתמש במודלים של Gecko שפורסמו עם RAG Engine, גם לא בקורפוס RAG שנוצר לפני הפסקת השימוש. כשהתמיכה במודל Gecko תופסק, תצטרכו להעביר את קורפוס ה-RAG, כלומר ליצור קורפוס RAG חדש ולייבא מחדש את הנתונים. אפשרות אחרת היא להשתמש במודל Gecko שעבר כוונון או במודל הטמעה של OSS בפריסה עצמית, שנתמך אחרי שהמודל יוצא משימוש.

יצירת קורפוס RAG באמצעות מודל Gecko של בעל תוכן דיגיטלי

דוגמאות הקוד הבאות ממחישות איך ליצור קורפוס RAG באמצעות מודל Gecko של בעל תוכן דיגיטלי.

curl

  ENDPOINT=us-central1-aiplatform.googleapis.com
  PROJECT_ID=YOUR_PROJECT_ID

  // Set this to your choice of publisher Gecko model. Note that the full resource name of the publisher model is required.
  // Example: projects/${PROJECT_ID}/locations/us-central1/publishers/google/models/text-embedding-004
  ENDPOINT_NAME=YOUR_ENDPOINT_NAME

  // Set a display name for your corpus.
  // For example, "my test corpus"
  CORPUS_DISPLAY_NAME=YOUR_CORPUS_DISPLAY_NAME

  // CreateRagCorpus
  // Input: ENDPOINT, PROJECT_ID, ENDPOINT_NAME, CORPUS_DISPLAY_NAME
  curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://${ENDPOINT}/v1beta1/projects/${PROJECT_ID}/locations/us-central1/ragCorpora \
  -d '{
        "display_name" : '\""${CORPUS_DISPLAY_NAME}"\"',
        "rag_embedding_model_config" : {
              "vertex_prediction_endpoint": {
                    "endpoint": '\""${ENDPOINT_NAME}"\"'
              }
        }
  }'

Agent Platform SDK for Python

  import vertexai
  from vertexai import rag

  # Set Project
  PROJECT_ID = "YOUR_PROJECT_ID"
  vertexai.init(project=${PROJECT_ID}, location="us-central1")

  # Configure a Google first-party embedding model
  embedding_model_config = rag.RagEmbeddingModelConfig(
        publisher_model="publishers/google/models/text-embedding-004"
  )

  # Name your corpus
  DISPLAY_NAME = "YOUR_CORPUS_DISPLAY_NAME"

  rag_corpus = rag.create_corpus(
        display_name=DISPLAY_NAME, rag_embedding_model_config=embedding_model_config
  )

שימוש במודלים מכווננים להטמעת טקסט ב-Agent Platform

למרות שמודלי הבסיס של בעלי התוכן הדיגיטלי מאומנים על מערך נתונים גדול של טקסט ומספקים בסיס חזק למשימות רבות, יכולים להיות תרחישים שבהם תצטרכו שלמודלים יהיה ידע מיוחד או ביצועים מותאמים אישית. במקרים כאלה, כוונון המודל מאפשר לכם לשפר את הייצוגים של המודל באמצעות הנתונים הרלוונטיים שלכם. יתרון נוסף של הגישה הזו הוא שכאשר המודל עובר כוונון, התמונה שנוצרת היא בבעלותכם ולא מושפעת מהוצאה משימוש של מודל Gecko. כל מודלי ההטמעה של Gecko שעברו כוונון מייצרים הטמעות עם וקטורים של 768 ממדים. מידע נוסף על המודלים האלה זמין במאמר יצירת הטמעות טקסט.

מידע נוסף על כוונון של מודלים להטמעה זמין במאמר כוונון של הטמעות טקסט.

דוגמאות הקוד הבאות ממחישות איך ליצור קורפוס RAG באמצעות מודל Gecko שנפרס ועבר כוונון.

curl

  ENDPOINT=us-central1-aiplatform.googleapis.com
  PROJECT_ID=YOUR_PROJECT_ID

  // Your Agent Platform endpoint resource with the deployed fine-tuned Gecko model
  // Example: projects/${PROJECT_ID}/locations/${LOCATION}/endpoints/${ENDPOINT_ID}
  ENDPOINT_NAME=YOUR_ENDPOINT_NAME

  // Set a display name for your corpus.
  // For example, "my test corpus"
  CORPUS_DISPLAY_NAME=YOUR_CORPUS_DISPLAY_NAME

  // CreateRagCorpus
  // Input: ENDPOINT, PROJECT_ID, ENDPOINT_NAME, CORPUS_DISPLAY_NAME
  curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://${ENDPOINT}/v1beta1/projects/${PROJECT_ID}/locations/us-central1/ragCorpora \
  -d '{
        "display_name" : '\""${CORPUS_DISPLAY_NAME}"\"',
        "rag_embedding_model_config" : {
                "vertex_prediction_endpoint": {
                      "endpoint": '\""${ENDPOINT_NAME}"\"'
                }
        }
    }'

Agent Platform SDK for Python

  import vertexai
  from vertexai import rag

  # Set Project
  PROJECT_ID = "YOUR_PROJECT_ID"
  vertexai.init(project=${PROJECT_ID}, location="us-central1")

  # Your Vertex Endpoint resource with the deployed fine-tuned Gecko model
  ENDPOINT_ID = "YOUR_MODEL_ENDPOINT_ID"
  MODEL_ENDPOINT = "projects/${PROJECT_ID}/locations/us-central1/endpoints/${ENDPOINT_ID}"

  embedding_model_config = rag.RagEmbeddingModelConfig(
      endpoint=${MODEL_ENDPOINT},
  )

  # Name your corpus
  DISPLAY_NAME = "YOUR_CORPUS_DISPLAY_NAME"

  rag_corpus = rag.create_corpus(
      display_name=${DISPLAY_NAME}, rag_embedding_model_config=embedding_model_config
  )

שימוש במודלים של הטמעה בקוד פתוח (OSS)

מנוע RAG תומך במודלים של הטמעה בקוד פתוח של צד שלישי בגרסאות באנגלית בלבד ובגרסאות בכמה שפות. בטבלה הזו מפורטים המודלים הנתמכים של E5.

גרסת המודל מודל בסיס פרמטרים מאפיין הטמעה באנגלית בלבד
e5-base-v2 MiniLM 109M 768 ✔
e5-large-v2 MiniLM 335M 1,024 ✔
e5-small-v2 MiniLM 33M 384 ✔
multilingual-e5-large xlm-roberta-large 560 מיליון 1,024 ✗
multilingual-e5-small microsoft/Multilingual-MiniLM-L12-H384 118M 384 ✗

כדי להשתמש במודלים של E5 עם RAG Engine, צריך לפרוס את המודל של E5 מ-Model Garden. כדי לפרוס את מודל E5, עיינו במאמר E5 Text Embedding במסוף Google Cloud .

דוגמאות הקוד הבאות ממחישות איך ליצור קורפוס RAG באמצעות מודל E5 שנפרס.

curl

  ENDPOINT=us-central1-aiplatform.googleapis.com
  PROJECT_ID=YOUR_PROJECT_ID

  // Your Vertex Endpoint resource with the deployed E5 model
  // Example: projects/${PROJECT_ID}/locations/${LOCATION}/endpoints/${ENDPOINT_ID}
  ENDPOINT_NAME=YOUR_ENDPOINT_NAME

  // Set a display name for your corpus.
  // For example, "my test corpus"
  CORPUS_DISPLAY_NAME=YOUR_CORPUS_DISPLAY_NAME

  // CreateRagCorpus
  // Input: ENDPOINT, PROJECT_ID, ENDPOINT_NAME, CORPUS_DISPLAY_NAME
  curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://${ENDPOINT}/v1beta1/projects/${PROJECT_ID}/locations/us-central1/ragCorpora \
  -d '{
        "display_name" : '\""${CORPUS_DISPLAY_NAME</var>}"\"',
        "rag_embedding_model_config" : {
                "vertex_prediction_endpoint": {
                      "endpoint": '\""${ENDPOINT_NAME}"\"'
                }
        }
    }'

Agent Platform SDK for Python

  import vertexai
  from vertexai import rag

  # Set Project
  PROJECT_ID = "YOUR_PROJECT_ID"
  vertexai.init(project=PROJECT_ID, location="us-central1")

  # Your Vertex Endpoint resource with the deployed E5 model
  ENDPOINT_ID = "YOUR_MODEL_ENDPOINT_ID"
  MODEL_ENDPOINT = "projects/{PROJECT_ID}/locations/us-central1/endpoints/{ENDPOINT_ID}"

  embedding_model_config = rag.RagEmbeddingModelConfig(
      endpoint=MODEL_ENDPOINT,
  )

  # Name your corpus
  DISPLAY_NAME = "YOUR_CORPUS_DISPLAY_NAME"

  rag_corpus = rag.create_corpus(
      display_name=DISPLAY_NAME, rag_embedding_model_config=embedding_model_config
  )

המאמרים הבאים