בדף הזה מוסבר תהליך העבודה המלא לכוונון מודלים של Gemini באמצעות למידת חיזוק במסוף Google Cloud : יצירת משימת כוונון, בדיקת הסטטוס שלה, אחזור נקודת הקצה של המודל המכוונן והרצת הסקה לגביו. כדי לבצע את המשימות האלה באמצעות Agent Platform API, עיינו במדריך למתחילים בנושא API.
לפני שמתחילים, כדאי לקרוא את המאמר מידע על כוונון באמצעות למידה מחוזקת כדי לקבל סקירה כללית על התכונה, המודלים הנתמכים והאזורים הנתמכים.
יצירת משימת כוונון באמצעות למידה עם חיזוקים
כדי ליצור משימת כוונון באמצעות למידה מחוזקת במסוף Google Cloud :
במסוף Google Cloud , נכנסים לדף Models > Tuning.
לוחצים על Create tuned model.
בקטע Model details, מגדירים את הפרטים הבאים:
- בקטע Tuning method, בוחרים באפשרות Reinforcement learning fine tuning.
- בשדה Tuned model name, נותנים שם למודל המכוונן (לדוגמה,
my-rl-tuned-model). - בקטע Base model, בוחרים באפשרות Tune a foundation model.
- ברשימה הנפתחת Base model, בוחרים את המודל שרוצים לכוונן (לדוגמה,
gemini-3.5-flash). - ברשימה הנפתחת Region, בוחרים את האזור שבו פועלת משימת הכוונון (לדוגמה,
us-central1 (Iowa)). המודל המכוונן שנוצר מוגש מנקודת הקצהusבמספר אזורים. הרשימה המלאה של האזורים שנתמכים לכוונון ולהצגה מופיעה בקטע מודלים ואזורים נתמכים. - אופציונלי: מרחיבים את הקטע Advanced options כדי להתאים אישית את ההיפר-פרמטרים:
- Number of epochs: מספר תקופות האימון (לדוגמה,
15). - מכפיל קצב הלמידה: המכפיל שמשמש לשינוי קצב הלמידה (לדוגמה,
1.0). - גודל המתאם: גודל המתאם לכוונון יעיל בפרמטרים (לדוגמה,
16). - Samples per prompt: מספר התשובות המועמדות שהמודל יוצר לכל הנחיה במהלך האימון (לדוגמה,
16). - Thinking level: רמת ההעמקה של מודלים של חשיבה רציונלית (לדוגמה,
HIGH). - Batch size: מספר דוגמאות האימון בכל אצווה (לדוגמה,
32). - מרווח בין נקודות ביקורת: התדירות שבה נשמרות נקודות ביקורת ביניים (לדוגמה,
5). - Max output token: המספר המקסימלי של טוקנים בפלט שנוצרים לכל דגימה (לדוגמה,
32768). - Evaluate interval: התדירות בשלבים שבהם ההערכה פועלת על מערך נתוני האימות (לדוגמה,
5).
- Number of epochs: מספר תקופות האימון (לדוגמה,
- לוחצים על Continue.
בקטע Reward configuration, מגדירים פונקציית תגמול אחת או יותר כדי לדרג את התשובות של המודל במהלך האימון:
- בשדה Reward name, מזינים שם ייחודי לפונקציית התגמול (לדוגמה,
my_reward_function_name). המדדים שמוצגים בתצוגת המעקב מתחילים בשם הזה. - ברשימה הנפתחת סוג התגמול, בוחרים את סוג המשתמש שצובר נקודות:
- תגמול על התאמת מחרוזת: הערכת טקסט דינמי מבוסס-AI בהשוואה למקורות מידע באמצעות התאמה מדויקת או ביטויים רגולריים.
- תגמול מבוסס-LLM: שימוש במודל Gemini כמדרג אוטומטי כדי לתת ציון לתשובות על סמך הנחיית הערכה.
- תגמול מבוסס-פונקציית Python: מריץ קוד Python מותאם אישית בארגז חול מאובטח כדי להעריך את התשובות.
- תגמול בהתאמה אישית מלאה באמצעות Cloud Run: קריאה לנקודת קצה (endpoint) חיצונית של HTTP שמתארחת ב-Cloud Run כדי להעריך את התשובות.
קובעים את ההגדרות של סוג הפרס שנבחר. לדוגמה, בפרס של Cloud Run:
- בשדה Cloud Run URI, מזינים את ה-HTTPS URI של השירות שנפרס (לדוגמה,
https://my.cloud.run.uri). - בשדה Parse type, בוחרים באפשרות
IDENTITY.
לחלופין, כדי להגדיר תגמול על התאמת מחרוזת:
- בשדה סוג ניתוח, בוחרים באפשרות
REGEX_EXTRACTאוIDENTITY. אם בוחרים באפשרותREGEX_EXTRACT, מזינים את הביטוי הרגולרי בשדה ביטוי לחילוץ באמצעות ביטוי רגולרי (לדוגמה,\text{(.*)}). - בשדה Wrong answer reward, מזינים את העונש על תשובה שגויה (לדוגמה,
-1). - בשדה תגמול על תשובה נכונה, מזינים את הניקוד על תשובה נכונה (לדוגמה,
1). - בקטע String match expression type, בוחרים באפשרות String match או JSON match.
- בתפריט הנפתח Match operation, בוחרים את לוגיקת ההתאמה (לדוגמה, התאמה מדויקת).
- בשדה Expression, מזינים את הביטוי של קובץ העזר (לדוגמה,
references.reference).
- בשדה Cloud Run URI, מזינים את ה-HTTPS URI של השירות שנפרס (לדוגמה,
בשדה Reward weight, מזינים את המשקל היחסי של פונקציית התגמול הזו (לדוגמה,
1).לוחצים על סיום.
אופציונלי: כדי להגדיר תגמול מורכב, לוחצים על + Add another reward ומגדירים פונקציות תגמול נוספות. אפשר להוסיף עד 16 פונקציות תגמול ולהקצות משקלים יחסיים לכל אחת מהן.
לוחצים על Continue.
- בשדה Reward name, מזינים שם ייחודי לפונקציית התגמול (לדוגמה,
בקטע Test reward (Optional), מאמתים את הגדרת התגמול לפני שמתחילים את משימת הכוונון:
- בשדה Training Example, מזינים אובייקט JSON לדוגמה שמכיל את
contentsו-references. - בשדה Sample model response, מזינים תשובה אפשרית או לוחצים על Generate from Training Example כדי ליצור תשובה לדוגמה באמצעות מודל הבסיס.
- לוחצים על בדיקה.
- בודקים את סטטוס הבדיקה (Success, Partial success אם משימת משנה ספציפית בתגמול מורכב נכשלה, או Error: Subtask) ובודקים את הניקוד המחושב. לוחצים על See individual reward information (או על See debug info אם משימת משנה מדווחת על שגיאה) כדי לפתוח את החלונית הצדדית ולבדוק את הניקוד, הודעות השגיאה ויומני ניפוי הבאגים של כל תגמול.
- לוחצים על Continue.
- בשדה Training Example, מזינים אובייקט JSON לדוגמה שמכיל את
בקטע Tuning dataset, מציינים את קובצי מערך הנתונים שמאוחסנים ב-Cloud Storage:
- בשדה Training dataset, מזינים את ה-URI של Cloud Storage של קובץ ה-JSONL של מערך הנתונים לאימון (לדוגמה,
gs://path/to/my/training_dataset.jsonl). - בשדה Validation dataset, מזינים את ה-URI של Cloud Storage של קובץ ה-JSONL של מערך נתוני האימות (לדוגמה,
gs://path/to/my/eval_dataset.jsonl). - לוחצים על התחלת הכוונון.
- בשדה Training dataset, מזינים את ה-URI של Cloud Storage של קובץ ה-JSONL של מערך הנתונים לאימון (לדוגמה,
בדיקת הסטטוס של משימת הכוונון באמצעות למידה עם חיזוקים
אחרי שלוחצים על Start tuning, המסוף מפנה לדף Models > Tuning. בטבלה של משימות הכוונון, המשימה החדשה שיצרתם מופיעה בחלק העליון של הרשימה עם הפרטים הבאים:
- שם המודל: השם המוצג שציינתם למודל המכוונן.
- סטטוס: המצב הנוכחי של משימת הכוונון (למשל בהמתנה, בתהליך או הושלמה).
- Method:
Reinforcement Learning. - מודל בסיס: המודל הבסיסי או המודל שעבר כוונון מראש.
- Region: המיקום שבו פועלת משימת הכוונון.
לוחצים על שם המודל כדי לפתוח את דף הפרטים של משימת הכוונון. בדף הזה יש את הכרטיסיות הבאות:
- מעקב: הצגת ההתקדמות של הכוונון ותרשימים אינטראקטיביים של מדדים:
- התקדמות הכוונון: מראה אם המשימה פועלת או הושלמה.
- תרשימים משולבים: כשמספקים מערך נתונים לאימות, עקומות האימון והאימות (כמו
/train_mean_rewardו-/eval_mean_reward) משורטטות יחד באותם תרשימים. - קבוצות של תרשימים שאפשר לכווץ: תרשימי המדדים מאורגנים בקבוצות, כולל מדדי כוונון כלליים (תגמול ממוצע, אורך טוקן של יצירה, אורך טוקן של חשיבה, זמן אחזור של דגימה וזמן אחזור של תגמול) ומדדים לכל תגמול עם הקידומת
${reward_name}. - הערות לנקודות ביקורת: נקודות ביקורת ביניים שנשמרו במהלך הכוונון מופיעות ישירות בתרשימים לאורך ציר הזמן של האימון.
- סרגל הסינון: אתם יכולים להשתמש בסרגל הסינון כדי לחפש מדדים לפי שם או לסנן לפי קטגוריה (
Show Category). כשמסננים, סרגל הסינון נשאר בחלק העליון של התצוגה. - טבלת נקודות ביקורת: רשימה של נקודות ביקורת שנשמרו, עם מספרי השלבים וערכי המדדים. אפשר להשתמש בבורר העמודות כדי לבחור אילו עמודות יוצגו.
- Dataset: הצגת פרטי מערך הנתונים, שיחות לדוגמה וערכי עזר.
- Details: סיכום של הגדרת המשימה, כולל מודל הבסיס, שיטת הכוונון, ההיפר-פרמטרים והגדרות התגמול. לוחצים על View details בכרטיס של הגדרת התגמול כדי לראות את ערכי הפרמטרים שאינם ברירת המחדל.
הרשימה המלאה של המדדים שנוצרים והסבר על המשמעות שלהם מופיעים בדף מדדים ומעקב.
זמן האימון
הגורמים הבאים משפיעים על משך האימון:
- גודל מערך הנתונים לאימון ולאימות: פרטים נוספים זמינים במאמר מערך נתונים לכוונון באמצעות למידה מחוזקת.
- היפר-פרמטרים: כוללים את
samplesPerPrompt, גודל האצווה, מספר התקופות ומכפיל קצב הלמידה. מידע נוסף זמין במאמר היפר-פרמטרים לכוונון באמצעות למידה מחוזקת.
בהתאם להגדרות, משימת כוונון של למידת חיזוק ב-Gemini יכולה להימשך בין כמה שעות לכמה ימים.
קבלת נקודת הקצה של המודל המכוונן
אחרי שמשימת הכוונון מגיעה לסטטוס Succeeded, נקודת הבדיקה של המודל נפרסת בנקודת קצה (endpoint). אתם יכולים לראות ולנהל את המודל המכוונן שנפרס ישירות במסוףGoogle Cloud :
- בכותרת של דף הפרטים של משימת הכוונון, לוחצים על View model details. הדף מרשם המודלים נפתח עם פרטים על המודל המכוונן.
- בדף הפרטים של המודל, מאתרים את הכרטיסייה Deploy & test כדי לראות את נתיב המשאב של נקודת הקצה שנפרסה (בפורמט
projects/{PROJECT_ID}/locations/{LOCATION}/endpoints/{ENDPOINT_ID}). - לחלופין, בכרטיסייה Monitor בדף הפרטים של משימת הכוונון, מאתרים את הטבלה Checkpoints כדי לבדוק נקודות ביניים לשמירה. אתם יכולים לפרוס ולהעריך כל נקודת ביקורת בנפרד.
אם משימת הכוונון הופעלה ב-us-central1, המודל המכוונן מופעל מנקודת הקצה במספר אזורים us.
הרצת הסקה על המודל המכוונן
כדי לבדוק ולהריץ את ההסקה במודל המכוונן ישירות במסוףGoogle Cloud :
בכותרת של דף הפרטים של משימת הכוונון, לוחצים על Test.
Agent Studio ייפתח כשהמודל המותאם שלכם כבר נבחר.
בשדה ההנחיה, מזינים הנחיית קלט (לדוגמה,
"Why is the sky blue?"או שאלה מהדומיין שלכם).לוחצים על Run (או על Send) כדי ליצור תשובה.
בודקים את הפלט שנוצר כדי להעריך עד כמה המודל פועל בהתאם לסגנון החשיבה, הפורמט ויעדי התגמול שרציתם.
המאמרים הבאים
- מידע נוסף על משימות כוונון באמצעות למידה מחוזקת
- פונקציות תגמול נתמכות
- מגדירים היפר-פרמטרים ללמידה עם חיזוקים.
- איך עוקבים אחרי מדדים ומבצעים מעקב
- כדי ליצור משימות כוונון באופן פרוגרמטי, נסו את המדריך למתחילים בנושא API.