קורס "מהנדס נתונים" - קורס 95,000 רובל. מ-Yandex Workshop, הדרכה 6.5 חודשים, תאריך: 11 בדצמבר, 2023.

עדכון מודל הנתונים

מודול 1 שבועיים

החברה ממשיכה להטביע אתכם בתהליכים שלה. הנתונים שאיתם עבדת עודכנו, לכן עליך לשנות את מודל הנתונים.

בקורס זה אתה:
- להבין כיצד החברה בונה מסד נתונים;
- עדכון מבנה המאגר הנוכחי בהתאם לדרישות העסקיות החדשות;
- להכין חלון ראווה ומדדים חדשים עבור אנליסטים ומנהלים.

טכנולוגיות וכלים:

• PostgreSQL

פרויקט +1 בתיק
בנה מאגר נתונים עם טעינה מצטברת לניתוח קהל בחנות מקוונת.

DWH: עדכון מודל נתונים

מודול 2 3 שבועות

החברה צומחת, ארכיטקטורת הנתונים הופכת מורכבת יותר. ניתנת לך משימה - לייעל תהליכים עם נתונים.

בקורס זה אתה:
- לחשוב על תהליך המעבר מסכימת מסד הנתונים הישנה לחדשה תוך מזעור הפסדים עסקיים (פריסת זמן השבתה אפס);
- להכין העברת נתונים;
- לקחת בחשבון בעיות אפשריות ולתכנן אפשרות לביטול שינויים;
- הטמעת מבנה מסד נתונים חדש והתאמתו לתהליכים קיימים סביב נתונים.

טכנולוגיות וכלים:

• PosgreSQL
• פִּיתוֹן

פרויקט +1 בתיק
אתה תעשה סדר במודל הנתונים ותעביר נתונים בתוך האחסון הנוכחי של החנות המקוונת.

ETL: אוטומציה של הכנת נתונים

מודול 3 3 שבועות

כעת אתה יודע כמעט הכל על מחסן הנתונים של החברה. הגיע הזמן לחשוב מחדש על תהליכי ETL.

בקורס זה אתה:
- אוטומציה של צינור הנתונים;
- להגדיר הורדה אוטומטית של נתונים ממקורות;
- למד לטעון נתונים באופן קבוע ובהדרגה למסד הנתונים.

טכנולוגיות וכלים:

• פִּיתוֹן
• זרימת אוויר
• PostgreSQL

פרויקט +1 בתיק
בניית צינור לקבלה, עיבוד וטעינה אוטומטיים של נתונים ממקורות לחזית החנות עבור פרויקט מסחר אלקטרוני.

בדיקת איכות הנתונים

מודול 4 שבוע אחד

אתה רוצה להיות בטוח שהצינורות הראשונים שלך עובדים בסדר. יש לבדוק את איכות הנתונים, ולעקוב אחר תקלות בזמן.

בקורס זה אתה:
- להבין כיצד להשתמש במטא-אינפורמציה ותיעוד;
- להעריך את איכות הנתונים.

DWH עבור מספר מקורות

מודול 5 שבועיים

אתה ממשיך לחקור את DWH כי לא ניתן לעצור את הפיתוח של החברה, ולכן את הגידול בנפח הנתונים.

בקורס זה אתה:
- לבנות DWH מאפס על DBMS יחסי;
- היכרות עם MongoDB כמקור נתונים.

טכנולוגיות וכלים:

• PostgreSQL
• MongoDB

פרויקט +1 בתיק
אתה תתכנן ותטמיע DWH עבור סטארטאפ פנימי.

מסדי נתונים אנליטיים

מודול 6 שבועיים

יש יותר ויותר נתונים לא מובנים ספציפיים שגם צריך לאחסן ולעבד. לכן, נציג בפניכם את הרעיון של מסדי נתונים אנליטיים תוך שימוש ב-Vertica DBMS כדוגמה.

בקורס זה אתה:
- ארגון אחסון לימודים בוורטיקה;
- למד כיצד לבצע פעולות בסיסיות עם נתונים ב-Vertica;
- לבנות מחסן נתונים פשוט בוורטיקה.

טכנולוגיות וכלים:

• ורטיקה
• PostgreSQL
• זרימת אוויר
• S3

פרויקט +1 בתיק
בנו DWH עבור מערכת נתוני מסנג'רים בעלת מבנה נמוך בעומס גבוה באמצעות Vertica.

Data Lake Organization

מודול 7 4 שבועות

פתרונות קלאסיים אינם עוזרים להתמודד עם נפח הנתונים. כדי להתמודד עם אתגרים עסקיים חדשים, תבנה ותאכלס Data Lake.

בקורס זה אתה:
- שקול את ארכיטקטורת Data Lake (טרנס. "אגם נתונים");
- ללמוד לעבד נתונים במערכת MPP;
- למלא את אגם הנתונים בנתונים ממקורות;
- תרגול עיבוד נתונים באמצעות PySpark ו- Airflow.

טכנולוגיות וכלים:

• Hadoop
• MapReduce
• HDFS
• Apache Spark (PySpark)

פרויקט +1 בתיק
בניית Data Lake והפוך את הטעינה והעיבוד של הנתונים בו לאוטומטיים.

עיבוד זרם

מודול 8 3 שבועות

התגברת על הקשיים עם כמות גדולה של נתונים, אבל הופיעה משימה חדשה - אתה צריך לעזור לעסק לקבל החלטות מהר יותר. כאן תזדקק לידע בעיבוד נתוני זרמים. נְהִירָה).

בקורס זה אתה:
- שקול את התכונות של עיבוד נתוני זרם;
- בנה מערכת סטרימינג משלך;
- בניית חלון ראווה באמצעות נתונים בזמן אמת.

טכנולוגיות וכלים:

• קפקא
• Spark Streaming

פרויקט +1 בתיק
תפתח מערכת לעיבוד נתונים בזמן אמת.

טכנולוגיות ענן

מודול 9 3 שבועות

עכשיו אתה יכול לעבוד גם עם כמויות גדולות של נתונים וגם עם זרמים. כל מה שנותר הוא לבצע אוטומציה של קנה המידה של מערכות באמצעות שירותי ענן.

בקורס זה תלמדו כיצד ליישם פתרונות שכבר למדו, אך בענן (באמצעות Yandex Cloud כדוגמה).

טכנולוגיות וכלים:

• Yandex. ענן
• Kubernetes
• kubectl
• Redis
• PostgreSQL

פרויקט +1 בתיק
תפתח תשתית לאחסון ועיבוד נתונים בענן.

פרויקט גמר

מודול 10 3 שבועות

אשר שלמדת מיומנויות חדשות.

כאן תצטרכו לבחור באופן עצמאי וליישם פתרונות לבעיה עסקית. זה יעזור לך שוב לחזק את השימוש בכלים שלמדת, כמו גם את העצמאות שלך.