סקירה כללית של Knowledge Studio

בעזרת Knowledge Studio אתם יכולים לאסוף ולאחד מטא-נתונים של הארגון כדי לבסס אפליקציות של AI גנרטיבי, כמו ניתוח נתונים של שיחות ב-BigQuery וב-Gemini Enterprise, בהקשר העסקי שלכם. עיגון סוכני ה-AI עוזר לצמצם את ההזיות ולשפר את הדיוק של הניתוחים שנוצרים.

בעזרת Knowledge Studio, אתם יכולים לאחד ידע מסכימות, מוויקי ומשאילתות SQL קודמות. אתם יכולים לחקור נתונים בשפה טבעית, לנווט בתרשים הקשר חזותי של סמנטיקה עסקית ולהפעיל תהליכי עבודה אוטומטיים שיוצרים טיוטות של עדכונים בקטלוג לבדיקה אנושית. לאחר מכן, תוכלו להציג באופן דינמי את בלוקי ההקשר האלה לסוכנים באמצעות Model Context Protocol‏ (MCP) או Knowledge Catalog API.

המסמך הזה מיועד לאדריכלי נתונים, למובילי משילות ולמהנדסי AI שרוצים להבין איך Knowledge Studio פועל. כדי להתחיל לחקור את הקטלוג או להגדיר העשרה אוטומטית, קראו את המאמרים איך חוקרים נכסי נתונים ב-Knowledge Studio ואיך יוצרים משימות העשרה.

בסרטון הבא מוסבר איך Knowledge Studio והעשרה בלמידה עצמית מבססים סוכני AI ארגוניים:

מקטלוג פסיבי למנוע תלוי-הקשר פעיל

בקטלוגים רגילים של מטא-נתונים נשמרים סכימות, תיאורים ומילוני נתונים סטטיים. מטא-נתונים סטטיים מספיקים למנתחי נתונים אנושיים שמחפשים טבלאות, אבל הם לא מספיקים לסוכני AI גנרטיבי שצריכים:

• קשרים סמנטיים עמוקים: הבנה של אופן החיבור בין טבלאות בסכימות שונות, אילו עמודות מייצגות מדדים עסקיים חשובים ואיך מילוני המונחים הארגוניים ממופים לאחסון הבסיסי.

• עיגון תפעולי: שילוב דפוסי שימוש ב-SQL בעולם האמיתי, תדירות השאילתות, והנחיות ותשובות בפועל של הנציג בהקשר.

• למידה עצמית רציפה: שיפור אוטומטי של תיאורי הטבלאות, ההיבטים והגדרות העמודות על סמך משוב מהמשתמשים ושיעורי ההצלחה של ביצועי הנציג.

‫Knowledge Studio מספק את היכולות האלה באמצעות מנוע תלוי הקשר שפועל תמיד, מחלץ אותות תפעוליים באופן רציף, יוצר הצעות למטא-נתונים באיכות גבוהה ומספק לנציגים בלוקים של הקשר בפורמט מוגדר מראש דרך Model Context Protocol‏ (MCP) או ממשקי ה-API של Knowledge Catalog.

ממשקי Knowledge Studio

ב-Knowledge Studio, תהליך העבודה מחולק לשלושה חלקים עיקריים:

• צ'אט חדש: ממשק צ'אט לשיחה ותרשים הקשר אינטראקטיבי לגילוי נתונים, חקירה והכלי לתיקוף שאילתות סמנטיות באמצעות שפה טבעית. מידע נוסף זמין במאמר עיון בנכסי נתונים.

• קבוצות הקשר: ממשק ליצירה ולניהול של מאגרים לוגיים (קבוצות של רשומות) שמכילים את המטא-נתונים המועשרים, כדי לבסס בצורה בטוחה את סוכני ה-AI במורד הזרם. מידע נוסף זמין במאמר ניהול קבוצות של הגדרות הקשר.

• העשרות: מרכז בקרה ליצירת מטא-נתונים באופן אוטומטי, להגדרת נקודות השוואה להערכה ולבדיקת עדכונים בקטלוג שהוצעו על ידי AI (בקשות לשינוי) באמצעות תהליכי עבודה של אוצרות שכוללים את האדם שבתהליך. מידע נוסף זמין במאמר מידע על משימות העשרה.

תרחישים אמיתיים של שימוש בכמה מוצרים

‫Knowledge Studio מקשר בין מחסן הנתונים, מאגרי הידע הארגוניים והאפליקציות של ה-AI הגנרטיבי. התרחישים הבאים ממחישים איך Knowledge Studio פועל בכמה מוצרים בארכיטקטורה ארגונית.

איך מבססים שאילתות בשפה טבעית ב-BigQuery

• האתגר: אנליסטים עסקיים משתמשים בשפה טבעית בניתוח נתונים של שיחות כדי לשאול שאלות כמו "מה היה שיעור השימור נטו לפי אזור ברבעון האחרון?" בלי סמנטיקה עסקית מותאמת אישית, המודל עלול להזות מפתחות איחוד או לבלבל בין הזמנות ברוטו לבין הכנסה נטו.

• הפתרון ב-Knowledge Studio: האנליסט משתמש בממשק New chat כדי לאמת את הקשרים בין טבלאות ה-staging של המכירות לבין SZBank Business Glossary המאושר. ב-Knowledge Studio, ניתוח הנתונים בשיחה מבוסס על תרשים ההקשר הפעיל, כדי לוודא שה-SQL שנוצר כולל תנאי איחוד מאומתים ונוסחאות KPI סטנדרטיות.

העשרת המטא-נתונים מנוהלי העבודה התקינים (SOP) של הארגון

• האתגר: צוותי הנדסת נתונים מנהלים עשרות מערכי נתונים ב-BigQuery, אבל כללי העסק הקריטיים והשתלשלות הנתונים בצינור עיבוד הנתונים נמצאים בוויקי חיצוניים של Confluence או בכרטיסי Jira. ככל שהסכימות מתפתחות, התיעוד בקטלוג מתיישן.

• הפתרון ב-Knowledge Studio: מנהל המשילות מגדיר משימת העשרה חוזרת שמטרגטת את מערך הנתונים של Analytics. ‫Knowledge Studio מקבל נהלי עבודה תקינים לא מובְנים מ-Confluence ויומני שאילתות היסטוריים מ-Cloud Logging, ומציע באופן אוטומטי הגדרות מעודכנות של עמודות וקשרים בין טבלאות. האוצרים בודקים את ההבדלים המוצעים בדף Run Details ומאשרים עדכונים מאומתים לקטלוג.

מתן הקשר מותאם אישית לסוכנים

• האתגר: מפתחי AI שיוצרים סוכני תמיכה או ייעוץ ללקוחות באמצעות LangChain או ADK צריכים סמנטיקה עדכנית של סכימה, בלי להגדיר בתוך הקוד את פרטי הכניסה למסד הנתונים או להעמיס על ההנחיות הגדרות של טבלאות גדולות.
• הפתרון של Knowledge Studio: ב-Knowledge Studio, מטא-נתונים שנאספו ותרשימי איחוד מאומתים נשמרים בקבוצת הקשר (למשל entryGroups/customer-360). כדי לגשת להקשר, הסוכנים יכולים להתחבר ל-Knowledge Studio באמצעות Model Context Protocol‏ (MCP) או להשתמש בממשקי ה-API של Knowledge Catalog. בזמן ההסקה, הנציג שולח שאילתה לנקודת הקצה של MCP או לממשקי ה-API של הקטלוג כדי לאחזר באופן דינמי את ההקשר העסקי המאושר ושאילתות לדוגמה שרלוונטיות לכוונת המשתמש.

סקירה כללית של הארכיטקטורה

הדיאגרמה הבאה ממחישה איך הרכיבים של Knowledge Studio פועלים עם נכסי הנתונים, מודלי הבסיס ואפליקציות ה-AI שמשתמשות בהם:

מושגי ליבה

כדי לעבוד ביעילות עם Knowledge Studio, חשוב להבין איך המטא-נתונים של הארגון עוברים תהליכים של בניית מודלים, אריזה ואוצרוּת.

תרשים הקשר

תרשים ההקשר הוא הטופולוגיה החזותית המרכזית והאינטראקטיבית ב-Knowledge Studio. הוא מאחד את נכסי הנתונים (כמו טבלאות ב-BigQuery, תצוגות ו-lake houses) עם סמנטיקה עסקית (כמו מונחים במילון המונחים הארגוני, נוסחאות של מדדים ומוצרי נתונים). בקטלוגים רגילים, טבלת נתונים וההגדרה שלה במילון המונחים הארגוני קיימות במאגרים נפרדים. בתרשים ההקשר, הם קיימים כצמתים באותו אזור עריכה. מהנדסים ומנתחי נתונים יכולים לראות באופן חזותי את הקשרים בין הנתונים שלהם, על סמך שימוש משוער, תנאי צירוף בטבלאות ועוד, בזמן ש-Gemini משתמש בתרשים כדי לבסס את החקירה בשפה טבעית. מידע נוסף זמין במאמר עיון בנכסי נתונים ב-Knowledge Studio.

סוגי המשאבים והחיבורים שנתמכים בתרשים ההקשר

סוכן הניתוח ותרשים ההקשר יכולים לגלות, לנתח ולעבד את כל סוגי הרשומות בקטלוג של Knowledge Catalog, כולל המשאבים הבאים:

• ‫Tables and views: טבלאות, תצוגות, מערכי נתונים, קטלוגים, מרחבי שמות, אגמים, אזורים ונכסים טכניים של BigQuery ו-Lakehouse.
• מסדי נתונים, אחסון ומשאבי AI: מסדי נתונים תפעוליים ומשאבי ענן (כמו Spanner,‏ Cloud SQL,‏ AlloyDB ל-PostgreSQL,‏ Pub/Sub,‏ Cloud Storage ומודלי AI של Vertex AI).
• מקורות של Analytics ושל צד שלישי: פרויקטים של Looker ומטא-נתונים של צד שלישי שמסונכרנים באמצעות קישוריות מנוהלת (כמו מודלים, בדיקות וחשיפות של dbt, ‏Databricks Unity Catalog, ‏LookML ו-SAP).
• מונחים במילון: הגדרות, קטגוריות ומונחים עסקיים ספציפיים ממילון המונחים הארגוני.
• מוצרי נתונים: חבילות נבחרות של נכסי נתונים לשימוש של צוותים שונים.
• הקשר: קבוצות של הקשרים ומסמכים שנבחרו בקפידה ממאגר הידע.
• נכסים בהתאמה אישית: קבוצות של רשומות בהתאמה אישית וסוגי רשומות בהתאמה אישית.

התרשים מגדיר איך המשאבים האלה מקושרים, באמצעות הצגה חזותית של קצוות הקשרים הסמנטיים הבאים:

• צירוף סכימה: קשרי צירוף מבניים ותפעוליים בין טבלאות. המערכת סורקת באופן אוטומטי משימות ב-BigQuery כדי לאתר שאילתות שמצביעות על כך שעמודות בטבלאות שונות חולקות את אותה משמעות ושאפשר לחבר ביניהן.

• הגדרה: קישורים שממפים נכס נתונים טכני או עמודה להגדרה המתאימה במילון המונחים הארגוני.

• Reference: קישורים ישירים (dataplex-types.global.reference) שמחברים בין מסמכים של קבוצת הקשר ורשומות של נכסי נתונים לבין נכסי הקטלוג שהם מתארים.

• הקשר: קישורים שמשייכים קבוצות הקשרים מיוחדות או מסמכי תיעוד של דומיין מותאם אישית לנכס נתונים מסוים.

• חבילות: קישורי צבירה שמראים אילו נכסי נתונים מקובצים במוצר נתונים ספציפי.

קישורים לערכים

קישור לרשומה מייצג קצה סמנטי מכוון או לא מכוון בתרשים ההקשר. הקישורים האלה מחברים באופן חזותי בין נכסי הנתונים לבין משאבים מאוחדים אחרים ב-Canvas. אתם יכולים לסנן את הקישורים האלה באופן סלקטיבי כדי לבודד קשרים ספציפיים בין הנתונים שלכם.

קישורי רשומות מחברים בין ישויות שונות בארגון:

• קישורי עזר: מקשרים בין רשומות של קבוצות הקשר (כמו מסמכים של מאגר ידע שנאסף ורשומות של נכסי נתונים) לבין הנכסים המקוטלגים שהם מתארים, באמצעות סוג הקישור לרשומה reference (projects/dataplex-types/locations/global/entryLinkTypes/reference).

• קישורים להגדרות: קישור עמודות בטבלה הבסיסית ישירות למונחים מאושרים במילון המונחים הארגוני ולנוסחאות של מדדי KPI.

• קישורי קשרים: מיפוי של מפתח ראשי מאומת, מפתח זר ונתיבי איחוד (join) של כמה טבלאות.

• קישורים למעקב אחרי סוכנים: שיוך הנחיות אמיתיות של משתמשי AI לטבלאות הספציפיות ששימשו למענה עליהן.

• קישורים לחבילות: צירוף קבוצות של נכסי נתונים למוצר נתונים שנאספו.

קישורי כניסה משמשים כחיבורים נפרדים שצריך לעבור כדי להרכיב קבוצות הקשר. במהלך הרצות אוטומטיות של העשרה, הנציג מציע קישורים חדשים לרשומות לאישור של האוצר בכל פעם שהוא מזהה מונחים לא מקושרים או מועמדים לצירוף.

קבוצות הקשרים

קבוצת הקשר היא מאגר מוגבל של מידע סמנטי והפניות לנכסי נתונים. כל קבוצת הקשר מוטמעת בתור קבוצת רשומות (type="context-set") ייעודית.

קבוצות ההקשרים יוצרות גבולות הרמטיים לביצוע, שמונעים מהנציגים לבצע חיפושים פתוחים בכל הקטלוג של הארגון. השיטה הזו מפחיתה את ההזיות ואת צריכת הטוקנים.

כדי להבין את ההבדלים בין קבוצות הקשר לבין מבנים קשורים, כמו מוצרי נתונים ותרשים ההקשר הסמנטי, או כדי לקבל מידע מפורט על יכולות ארכיטקטוניות, קטגוריות, מרחבי שמות ודפוסי התייעצות עם סוכנים, קראו את הסקירה הכללית על קבוצות הקשר.

משימות והרצות של העשרה

שיפור אוטומטי של מטא-נתונים ב-Knowledge Studio מאורגן לפי משימות העשרה, משימות העשרה והרצות העשרה.

• משימת העשרה: הגדרה קבועה שקובעת איך סוכן ההעשרה מנתח קבוצה מטורגטת של נכסי נתונים. משימת העשרה מציינת את קבוצת ההקשרים לטירגוט, את מקורות הקלט לפי הקשר ואת נקודות ההשוואה להערכה.

• משימת העשרה: תהליך התזמור בקצה העורפי ב-Knowledge Studio שמבצע משימת העשרה.

• הרצת העשרה: מופע הרצה יחיד של משימה בנקודת זמן מסוימת. בכל הרצה, המערכת בודקת את נכסי היעד, מחלצת אותות סמנטיים ויוצרת בקשות לשינוי (הצעות) שנאמני המידע יכולים לבדוק.

מידע נוסף על משימות העשרה

תרשים הקשר בהשוואה לשושלת נתונים

כדי לבחור את היכולת המתאימה לתהליך העבודה, חשוב להבין את ההבדל בין תרשים ההקשר של Knowledge Studio לבין שושלת היוחסין של הנתונים ב-Knowledge Catalog:

יכולת	השאלות העיקריות שנענו	מבנה התרשים	צמתים וקצוות	מתי משתמשים
שושלת נתונים	מה מקור הנתונים האלה? איזה צינור עיבוד נתונים של ETL אכלס את הטבלה הזו? אם הסכימה הזו במעלה הזרם משתנה, אילו מרכזי בקרה במורד הזרם יפסיקו לפעול?	גרף אציקלי מכוון (DAG) של תנועות וטרנספורמציות של נתונים היסטוריים.	הצמתים מייצגים נכסים פיזיים ומשימות טרנספורמציה (כמו צינורות עיבוד נתונים של Dataflow או משימות של BigQuery), והקצוות המכוונים מייצגים את זרימת הנתונים.	אפשר להשתמש בהם לניפוי באגים של שורש הבעיה, לניתוח ההשפעה על צינור עיבוד הנתונים ולביקורות רגולטוריות על מקור הנתונים.
תרשים הקשר	מה המשמעות של העמודה הזו מבחינה עסקית? מה הקשר הרעיוני בין הטבלאות האלה? איך סוכן ה-AI צריך לשלב את הנכסים האלה כדי לענות על שאלה?	גרף ידע סמנטי מולטי-מודאלי של משמעויות וקשרים עסקיים.	הצמתים מייצגים נכסי נתונים לצד מונחים במילון, מוצרי נתונים ומסמכים של קבוצות הקשרים. הקצוות מייצגים איחודים של סכימות, הגדרות, הפניות וקישורים להקשרים.	אפשר להשתמש בהם כדי לגלות מידע באופן אינטראקטיבי, להפיג עמימות סמנטית ולאסוף קבוצות של הקשרים כדי לבסס את סוכני ה-AI.

מידע נוסף על יכולת המעקב אחרי צינורות עיבוד נתונים זמין במאמר שושלת הנתונים של Knowledge Catalog.

אבטחה ומשילות ברמה שמתאימה לארגונים

‫Knowledge Studio מבוסס על ארכיטקטורת אבטחה ברמה שמתאימה לארגונים, שמיועדת לסביבות עם פיקוח קפדני.

• גישה מבוססת-תפקיד: תפקידים בניהול זהויות והרשאות גישה (IAM) קובעים מי יכול ליצור, לגלות ולקרוא קבוצות הקשר, לאסוף רשומות של קבוצות הקשר, ולאשר ולפרסם שינויים מוצעים במטא-נתונים.

• זהות הרצה בניהול המשתמש: משימות העשרה פועלות באמצעות חשבון שירות בניהול המשתמש, שהוא זהות שאתם יוצרים ומנהלים בפרויקט כדי לאפשר לשירותים לפעול בשמכם. סוכן השירות של Dataplex‏ (P4SA) מתחזה לחשבון השירות הזה באמצעות התפקיד יצירת אסימונים בחשבון שירות (roles/iam.serviceAccountTokenCreator) כדי ליצור פרטי כניסה לטווח קצר מסוג OAuth 2.0. יצירת פרטי הכניסה האלה לטווח קצר מגבילה את משך החיים של טוקני הגישה, ומצמצמת את הסיכון לחשיפת פרטי הכניסה בהשוואה לשימוש במפתחות של חשבונות שירות לטווח ארוך.

• אימות של צד שלישי: כדי לקשר מקורות ידע מרוחקים ב-SaaS (כמו Microsoft SharePoint, ‏ Atlassian Confluence, ‏ Jira ו-GitHub), משתמשים במנהל האימות של Agent Identity שלGoogle Cloud, וכך מבטיחים שמפעילים אנושיים לא יטפלו אף פעם בסודות לקוח גולמיים.

במאמר הגדרת דרישות מוקדמות להעשרה מוסבר איך להגדיר את אמצעי האבטחה האלה.

מגבלות

• משטרי תאימות של Assured Workloads (כולל FedRAMP,‏ CJIS,‏ IL4/IL5 ו-HIPAA).

• התחייבויות לגבי מיקום אחסון הנתונים (DRZ). יכול להיות שהנתונים שהתכונה הזו מעבדת יאוחסנו או יעובדו מחוץ לגבולות הגיאוגרפיים שהגדרתם.

• מפתחות הצפנה בניהול הלקוח (CMEK). הנתונים שנשמרים או מעובדים באמצעות התכונה הזו מוצפנים באמצעות מפתחות הצפנה בבעלות ובניהול של Google (Google-owned and Google-managed encryption keys ), במקום באמצעות מפתחות Cloud Key Management Service או Cloud EKM. מידע נוסף זמין במאמרים מפתחות הצפנה בניהול הלקוח (CMEK), ברירת המחדל של הצפנה במנוחה ו-Cloud External Key Manager.

• VPC Service Controls. אין תמיכה ב-VPC Service Controls.

• התראות של Access Transparency‏ (AXT) ואמצעי בקרה של אישור גישה מראש. פעולות שאנשי Google מבצעים כדי לתמוך בגרסת טרום-ההשקה הזו או לתחזק אותה לא יתועדו ב-Access Transparency Cloud Access Ledger ‏ (CAL).

בגרסת טרום-השקה (Preview),‏ Knowledge Studio פועל במסגרת המגבלות הנוספות הבאות:

• היקף אזורי של קבוצת הקשרים: קבוצת הקשרים של אזור אחד (לדוגמה, us-central1) יכולה להפנות רק לנכסים באותו אזור. קבוצות הקשר במספר אזורים (כמו us או eu) וב-global יכולות להתפרס על פני אזורים תואמים, ואתם בוחרים אזור ביצוע אחד כשאתם מגדירים להן משימת העשרה.

• ניהול דרך מסוף Google Cloud: משימות העשרה וסשנים של חקירה מנוהלים דרך מסוף Google Cloud . ממשקי API בארכיטקטורת REST ישירים ופקודות CLI של gcloud לניהול משימות לא זמינים בגרסת טרום-השקה (Preview). עם זאת, סוכנים במורד הזרם יכולים לגלות ולשאול באופן פרוגרמטי קבוצות הקשר שנאספו באמצעות ממשקי ה-API של Knowledge Catalog (ListEntries ו-LookupEntry) ו-Model Context Protocol‏ (MCP). מידע נוסף זמין במאמרים Method: projects.locations.entryGroups.entries.list ו-Method: projects.locations.lookupEntry.

• ניהול מרכזי: כל הבדיקות והאישורים של המטא-נתונים מתבצעים בדף Enrichment run details.

תמחור

במהלך גרסת טרום-השקה (Preview), אפשר להשתמש ב-Knowledge Studio ללא תשלום כדי לחקור נתונים, להריץ משימות העשרה ולהכין בקשות לשינויים באצווה שלא אושרו.

השימוש בתכונות של Knowledge Studio עשוי לגרור חיובים רגילים על המשאבים הבסיסיים שלGoogle Cloud בפרויקט:

• ניתוח נתונים: כשסוכן ניתוח הנתונים בצ'אט מפעיל משימות של שאילתות ב-BigQuery או ניתוח שיחות ב-BigQuery, חלים חיובים רגילים על עיבוד שאילתות וניתוח שיחות ב-BigQuery.
• קבוצות הקשר והעשרה: לא תחויבו על אחסון מטא-נתונים של קבוצת רשומות ריקה של קבוצות הקשר או של בקשה לא מאושרת לשינוי באצווה. כשיוצרים רשומות בקבוצת הקשר (לדוגמה, כשמאשרים בקשה לשינוי באצווה), חלים חיובים רגילים על אחסון המטא-נתונים של Knowledge Catalog בפרויקט Google Project Hosting שמארח את קבוצת הרשומות. חיובים רגילים על שימוש, כולל עיבוד שאילתות ב-BigQuery וקריאה וכתיבה של שלבי ביניים ב-Cloud Storage, חלים על הפרויקט שלכם כשמשימת העשרה משתמשת במשאבים אופציונליים בניהול הלקוח, כמו קטגוריות של Cloud Storage לאותות ידע או קבוצות הערכה וטבלאות מעקב של BigQuery Agent Analytics ללמידה עצמית.

המאמרים הבאים