יסודות קפקא - קורס 42,000 רובל. ממרכז הדרכה IBS, הדרכה 24 שעות, תאריך: 4 בדצמבר 2023.
Miscellanea / / November 29, 2023
נושאים מכוסים:
1. סקירה (תיאוריה - שעה)
מה זה קפקא.
דוגמאות לשימוש מוצלח ולא מוצלח בקפקא.
קפקא ומאגר הנתונים: דמיון והבדלים.
קפקא ותור הודעות: דמיון והבדלים.
ארכיטקטורת אחסון קפקא: מתווכים, נושאים, מחיצות, פלחים, העתקים.
ארכיטקטורת אשכולות קפקא: שומר גן החיות, מחיצות, צמתי שכפול מאסטר ועבדים, ISR.
לקוחות וממשקי API.
2. הקמת אשכול (תרגול - שעה)
תרגול 2.1: הפעלת אשכול קפקא באמצעות Docker.
התקנת Zookeeper.
התקנת מתווכים של קפקא.
3. פיתוח אפליקציות ב-Java (תיאוריה – 2.5 שעות, תרגול – 2.5 שעות)
קפקא מפיק API: יסודות.
תרגול 3.1: שליחת הודעה אחת.
תרגול 3.2: שליחת מספר הודעות.
תרגול 3.3: שליחת מספר הודעות עם חלוקה מפורשת.
תרגול 3.4: שליחת הודעות ללא מפתחות.
Kafka Consumer API: יסודות, קבוצות צרכנים.
תרגול 3.5: נמען אחד.
תרגול 3.6: מספר נמענים בקבוצה אחת.
מאפיינים נוספים: מנות, חזרות, אימפוטנציה, עסקאות, איזון מחדש של קבוצות צרכנים.
תרגול 3.7: שולח ללא מנות וחזרות.
תרגול 3.8: Sender Idempotent.
תרגול 3.9: שולח עסקה.
תרגול 3.10: שליחה וקבלה בעסקה.
תרגול 3.11: קבלה-עיבוד-שליחה בעסקה.
4. גישה חיצונית לאשכול קפקא (תיאוריה – שעתיים, תרגול – שעתיים)
אבטחה: SSL, SASL, Kerberos.
REST Proxy: שליחה וקבלה של הודעות בפורמטים JSON, בינאריים ו- Avro.
תרגול 4.1: גישה דרך פרוקסי REST.
סכימה רישום: סכימה רישום.
תרגול 4.2: שימוש ב- REST Proxy עם Registry Schema.
5. תחזוקה וניטור (תיאוריה – שעה, תרגול – שעה)
הקמת אשכול למטרות שונות.
שומר גן החיות: תצורה, מצב עצמאי וקוורום, CLI.
תרגול 5.1: ניטור אשכול קפקא עם פרומתאוס.
6. מספר אשכולות (תיאוריה - שעה, תרגול - שעה)
למה אולי תזדקק למספר אשכולות בקפקא?
MirrorMakerAccess.
תרגול 6.1: שימוש ב-MirrorMaker לסנכרון אשכולות.
משכפל מפגש.
7. קפקא קונקט (תיאוריה – שעתיים, תרגול – שעתיים)
ארכיטקטורת קפקא קונקט.
שווקי נתונים של קפקא קונקט.
תרגול 7.1: מקלט קבצים של FileStream.
תרגול 7.2: מקלט JDBC.
מקורות נתונים של Kafka Connect.
תרגול 7.3: מקור FileStream.
תרגול 7.4: מקור JDBC.
8. יסודות זרמי קפקא (תיאוריה – שעתיים, תרגול – שעתיים)
Kafka Streams: DSL, API, StreamBuilder, יצירה והטמעה של טופולוגיה.
הדגמה 8.1: יישום טופולוגיית הזרמים.
הדגמה 8.2: בניית אפליקציית Streams באמצעות StreamBuilder.
מכשיר Kafka Streams: ריבוי השחלות, ריבוי מופעים ומשימות.
סכימות נתונים בקפקא: סדרה לסכימות JSON, סכימות Avro, רישום סכימות, התפתחות סכימה.
הדגמה 8.3: שימוש בסכימות JSON.
עיבוד ממלכתי: חנות ממלכתית, סובלנות תקלות לחנויות ממלכתיות.
KTable: זרמי עדכון נתונים, שמירה במטמון, מהירות אחזור, צבירה.
חלונות בזרמים: חותמות זמן, צף, קפיצה, הפעלה.
חיבור: זרם לזרם, KTable ל-KTable, זרם ל-KTable.