מאמרי העזרה של Dataflow

‫Dataflow הוא שירות מנוהל להרצת מגוון רחב של דפוסי עיבוד נתונים. במסמכי התיעוד שבאתר הזה מוסבר איך לפרוס את צינורות עיבוד הנתונים באצווה ובסטרימינג באמצעות Dataflow, כולל הוראות לשימוש בתכונות של השירות.

‫Apache Beam SDK הוא מודל תכנות בקוד פתוח שמאפשר לפתח גם צינורות עיבוד נתונים באצווה וגם פייפליין זורם. אתם יוצרים את צינורות עיבוד הנתונים באמצעות תוכנית Apache Beam, ואז מריצים אותם בשירות Dataflow. במסמכי התיעוד של Apache Beam יש מידע קונספטואלי מעמיק וחומר עזר על מודל התכנות, ערכות ה-SDK ורכיבי runner אחרים של Apache Beam.

כדי ללמוד מושגים בסיסיים של Apache Beam, קראו את המדריך של Beam ואת Beam Playground. במאגר Dataflow Cookbook יש גם צינורות עיבוד נתונים עצמאיים ומוכנים להפעלה, ואת תרחישי השימוש הנפוצים ביותר ב-Dataflow.

‫Apache,‏ Apache Beam,‏ Beam, הלוגו של Beam והגחלילית שהיא הקמע של Beam הם סימנים מסחריים רשומים של Apache Software Foundation בארצות הברית ו/או במדינות אחרות.

Google Cloud新用户首次注册即可获得300美元赠金。此外,无论新老用户,均可免费使用20多款产品,积累动手实践经验。

Google Cloud新用户首次注册即可获得300美元赠金。此外,无论新老用户,均可免费使用20多款产品,积累动手实践经验。

כדי להבין איך משתמשים בפועל בשירותי Google Cloud ומחברים ביניהם, אתם יכולים להיעזר בהדרכות בקצב אישי, בתרחישי שימוש, בארכיטקטורות לדוגמה ובדוגמאות קודים.
תרחיש לדוגמה
תרחישים לדוגמה

בעזרת Dataflow, אתם יכולים להריץ עומסי עבודה מקבילים בצינור עיבוד נתונים אחד, לשפר את היעילות ולנהל את תהליך העבודה בקלות רבה יותר.

סטרימינג

תרחיש לדוגמה
תרחישים לדוגמה

בעזרת Dataflow ML אתם יכולים להשתמש ב-Dataflow כדי לפרוס ולנהל צינורות עיבוד נתונים שלמים של למידת מכונה (ML). להשתמש במודלים של ML כדי לבצע היקש באופן מקומי ומרחוק, באמצעות צינורות עיבוד נתונים באצווה ופייפליין זורם. להשתמש בכלים לעיבוד נתונים כדי להכין את הנתונים לאימון המודל ולעבד את התוצאות של המודלים.

ML סטרימינג

תרחיש לדוגמה
תרחישים לדוגמה

יצירת אפליקציה לדוגמה של מסחר אלקטרוני מקצה לקצה, שמעבירה נתונים בסטרימינג מחנות אינטרנטית ל-BigQuery ול-Bigtable. האפליקציה לדוגמה ממחישה תרחישים נפוצים ושיטות מומלצות להטמעה של ניתוח נתוני סטרימינג ובינה מלאכותית (AI) בזמן אמת.

מסחר אלקטרוני סטרימינג

סרטונים קשורים