ניתוח נתונים סטטיסטיים של ביצועי שאילתות
בדף הזה מוסבר איך משתמשים בלוח הבקרה של Query Insights כדי לזהות ולנתח את ביצועי השאילתות.
סקירה כללית של תובנות לגבי שאילתות
להשתמש בלוח הבקרה של Query Insights כדי לעקוב אחרי שאילתות שקשורות למדדים. על סמך המדדים, אתם יכולים לזהות את השאילתות הנפוצות ביותר ואת השאילתות עם זמני אחזור ארוכים, שאולי צריך לבצע להן אופטימיזציה. אתם יכולים להשתמש בלוח הבקרה של Query Insights כדי:
- אופטימיזציה של ביצועי שאילתות: זיהוי שאילתות עם זמני אחזור ארוכים, שאולי צריך לבצע להן אופטימיזציה.
- ניהול עלויות של שאילתות: זיהוי שאילתות בעלות גבוהה וביצוע אופטימיזציה שלהן כדי להפחית את העלויות.
- מעקב אחרי נתונים סטטיסטיים של שאילתות: מעקב אחרי נתונים סטטיסטיים של שאילתות לאורך זמן.
- המלצות לאינדקסים: זיהוי אינדקסים מורכבים חסרים או לא אופטימליים, ויצירת אינדקסים מומלצים ישירות ממרכז הבקרה (מהדורת Enterprise).
נתוני תובנות לגבי שאילתות
התובנות לגבי שאילתות כוללות נתונים מהשיטות הבאות של ה-API:
אתם יכולים לראות נתונים על השאילתות שמשתמשות בשיטות האלה בפרויקט, במסד נתונים ובמשך זמן נתונים, החל מדקה אחת ועד 30 יום. נתונים של שאילתות עם מבנים מקבילים נאספים בשאילתה מנורמלת אחת.
התובנות לגבי שאילתות מחזירות את המידע הבא על שאילתה:
| טקסט שאילתה מנורמל | מבנה השאילתה מיוצג בטקסט. |
| מספר ההרצות | מספר ההפעלות בחלון הזמן שנבחר. |
| מספר השגיאות | מספר השגיאות בחלון הזמן שנבחר. |
| משך הביצוע הממוצע (באלפיות השנייה) | הזמן הממוצע באלפיות השנייה שלקח למסד הנתונים לעבד את השאילתה. |
| מספר התוצאות הממוצע שהתקבלו | מספר התוצאות שהוחזרו על ידי השאילתה. התוצאות כוללות מסמכים, מזהי אוספים וקטגוריות נתונים נצברים. |
| המספר הממוצע של מסמכים שנסרקו | מספר המסמכים שנסרקו בשאילתה. |
| המספר הממוצע של רשומות באינדקס שנסרקו | מספר הרשומות באינדקס שנבדקו כדי להריץ את השאילתה. |
| טעינה לפי זמן ממוצע | נתונים שיעזרו לסנן את השאילתות המובילות לפי זמן אחזור ממוצע. |
| עומס לפי סך כל פעולות הקריאה (הניתנות לחיוב) | נתונים שיעזרו לכם לסנן את השאילתות המובילות לפי סך כל פעולות הקריאה הניתנות לחיוב. |
| המלצות לאינדקסים | אינדקסים מורכבים מומלצים, אינדקסים בשימוש וההשפעה המשוערת על עומס העבודה של שאילתות במסדי נתונים של מהדורת Enterprise. |
רמת הפירוט ושמירת הנתונים
רמת הפירוט של הנתונים תלויה במשך הזמן שצוין:
- רמת פירוט של דקה אחת למרווחים של עד 6 שעות לפני הזמן הנוכחי
- רזולוציה של 10 דקות למרווחים של עד 4 ימים לפני כן
- רמת פירוט של שעה אחת למרווחים של עד 30 ימים לפני כן
תקופת שמירת הנתונים המקסימלית של תובנות לגבי שאילתות היא 30 ימים. נתונים של דקה אחת נשמרים למשך 6 שעות, נתונים של 10 דקות נשמרים למשך 4 ימים ונתונים שעתיים נשמרים למשך 30 ימים.
הצגת תובנות לגבי שאילתות
כדי לראות את התובנות לגבי שאילתות במסד נתונים ב-Firestore:
נכנסים לדף Databases במסוף Google Cloud .
בוחרים מסד נתונים מרשימת מסדי הנתונים.
בתפריט הניווט, לוחצים על Query insights.
בדף Query insights מוצג תרשים של סדרת זמנים של השאילתות המובילות, לצד טבלה של נתונים סטטיסטיים מנורמלים של השאילתות. כדי לנתח את ביצועי השאילתות:
- בוחרים טווח זמן כדי לראות מגמות היסטוריות או מדדים כמעט בזמן אמת במרווחים של דקה אחת.
- ברשימה Load type אפשר לדרג את השאילתות המובילות לפי זמן אחזור ממוצע או לפי סך כל פעולות הקריאה.
- כדי להציג ולהשוות בתרשים את מספר ההפעלות, זמן האחזור, מספר המסמכים שנסרקו, מספר הרשומות באינדקס שנסרקו ומספר השגיאות של שאילתות ספציפיות, בוחרים אותן בטבלה.
המלצות לאינדקסים
המלצות לאינדקסים בתובנות לגבי שאילתות מזהות באופן אוטומטי הגדרות חסרות או לא אופטימליות של אינדקסים מורכבים, לצורות של שאילתות שמופעלות לעיתים קרובות במסדי נתונים של מהדורת Firestore Enterprise.במהדורת Firestore Enterprise, אפשר להריץ שאילתות גם בלי אינדקסים מורכבים תואמים, מה שעלול לגרום לסריקות איטיות של אוספים מלאים או לפעולות מיון בזיכרון. בלוח הבקרה של Query Insights מנותחים נתונים סטטיסטיים היסטוריים של הרצת שאילתות, ומוצעים אינדקסים מורכבים ממוקדים כדי לשפר את זמן האחזור של השאילתות ולצמצם את מספר המסמכים הסרוקים שניתן לחייב עליהם.
איך פועלות ההמלצות לאינדקסים
צינור עיבוד נתונים באצווה אופליין מעריך מדי פעם את השאילתות המובילות בהיסטוריה:
- ניתוח מבנה השאילתה: חילוץ פרדיקטים של שוויון, מיון וטווח משאילתות שמופעלות לעיתים קרובות.
- יצירת אינדקסים מועמדים: יצירת הגדרות פוטנציאליות לאינדקסים מורכבים באמצעות היוריסטיקה של סדר אינדקסים (שוויון > מיון > טווח).
- הערכת כלי האופטימיזציה: הוספת אינדקסים מועמדים למודל העלות של מנוע השאילתות כדי להשוות בין עלויות ההרצה של שאילתות בסיסיות לבין תוכניות הרצה היפותטיות של אינדקסים.
- Workload impact ranking: דירוג האינדקסים המומלצים לפי רמות השפעה, על סמך החיסכון הכולל המשוער בעומס העבודה:
- HIGH: המרת סריקות של אוספים מלאים לחיפושים סלקטיביים באינדקס, וכך להפחית באופן משמעותי את קריאות המסמכים ואת זמן האחזור של הביצוע.
- בינוני: מבטל פעולות יקרות כמו מיון בזיכרון על ידי מתן תוצאות אינדקס ממוינות מראש.
- נמוך: שיפורים קלים בחיפוש.
הצגה ויצירה של אינדקסים מומלצים
כדי לראות המלצות לאינדקסים וליצור אינדקסים מוצעים במסוףGoogle Cloud :נכנסים לדף Databases במסוף Google Cloud .
בוחרים מסד נתונים במהדורת Enterprise מרשימת מסדי הנתונים.
בתפריט הניווט, לוחצים על Query insights.
בטבלת השאילתות, בוחרים תבנית שאילתה כדי להציג את כרטיס ה-Recommendations שלה. בכרטיס מוצגים:
- ההגדרה המומלצת לאינדקס המורכב (אוסף, שדות, סדר מיון או מאפייני array-contains).
- רמת ההשפעה המשוערת על עומס העבודה (HIGH, MEDIUM או LOW).
- האינדקסים שבהם נעשה שימוש, או אינדיקציה לכך שבוצעה סריקה של כל האוסף.
בכרטיס ההמלצה, לוחצים על Create index. תיפתח תיבת דו-שיח שבה האוסף, היקף השאילתה והשדות מאוכלסים מראש.
לוחצים על Create כדי להתחיל ליצור את האינדקס. אפשר לעקוב אחרי ההתקדמות של בניית האינדקס בדף Indexes במסוף Google Cloud .
מהדורות ומצבים נתמכים
ההמלצות לאינדקסים נתמכות במסדי נתונים של מהדורת Firestore Enterprise, כולל:
- Firestore במצב Native
- Firestore עם תאימות ל-MongoDB
מסדי נתונים במהדורת Standard לא נתמכים בהמלצות לאינדקסים.
מגבלות
- מאזינים בזמן אמת לא נכללים בנתונים הסטטיסטיים של תובנות לגבי שאילתות.
- נתוני Query Insights זמינים תוך דקות מרגע הרצת השאילתה.
- ההמלצות לאינדקסים נוצרות מדי פעם על סמך נתוני שאילתות היסטוריים, ולא בזמן אמת.
- ההמלצות לאינדקסים מציעות אינדקסים מורכבים חדשים, ולא מציעות לשנות או למחוק אינדקסים קיימים.
- אין תמיכה ביצירת אינדקסים אוטומטית, וצריך ליצור את האינדקסים המומלצים באופן ידני.
- בנורמליזציה של שאילתות, ערכים מילוליים מוחלפים ב-placeholder. ההמלצות לאינדקסים מבוססות על תבניות מנורמלות של שאילתות, ולא על ערכים ספציפיים של זמן ריצה.
- הערכת העלות מתבססת על היוריסטיקה ולא על דגימת נתונים בזמן אמת. יכול להיות שהאינדקסים המומלצים לא ישפרו את הביצועים בכל תרחיש, ויצירת אינדקס מוסיפה תקורה של כתיבה ואחסון.
תמחור
אין עלות נוספת על תובנות לגבי שאילתות או המלצות לאינדקסים.
התפקידים הנדרשים
כדי לקבל את ההרשאות שדרושות לצפייה בלוח הבקרה של Query Insights וליצירת אינדקסים מומלצים, בקשו מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:
-
צפייה בתובנות לגבי שאילתות:
צפייה ב-Datastore (
roles/datastore.viewer) -
יוצרים את האינדקסים המומלצים:
- אדמין של אינדקס של מאגר נתונים (
roles/datastore.indexAdmin) - בעלים של Cloud Datastore (
roles/datastore.owner) - עריכה (
roles/editor) - בעלים (
roles/owner)
- אדמין של אינדקס של מאגר נתונים (
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
התפקידים המוגדרים מראש האלה מכילים את ההרשאות שנדרשות כדי לצפות בלוח הבקרה של Query Insights וליצור אינדקסים מומלצים. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:
ההרשאות הנדרשות
כדי לראות את לוח הבקרה של Query Insights וליצור אינדקסים מומלצים, צריך את ההרשאות הבאות:
-
הצגת תובנות לגבי שאילתות:
datastore.insights.get -
יוצרים את האינדקסים המומלצים:
-
datastore.indexes.create -
datastore.indexes.update
-
יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.
המאמרים הבאים
- להשתמש בהסבר על שאילתות כדי לשפר את ביצועי השאילתות
- מעקב אחרי השימוש