Data Engineer מאפס עד ג'וניור - קורס חינם מ-Skillbox, הדרכה, תאריך: 29 בנובמבר 2023.

רמה ראשונה: הכשרה בסיסית

הכירו את התחומים העיקריים של מדעי הנתונים, הכשירו והטמיעו את מודל ה-ML הראשון שלכם. קבל ידע בסיסי במתמטיקה, סטטיסטיקה ותורת ההסתברות. כל זה יעזור לך להבין את העקרונות הבסיסיים של עבודה עם נתונים. זמן ההשלמה הממוצע הוא 6 חודשים.

מבוא למדעי הנתונים
תעבור את כל שלבי העבודה עם הנתונים. למד לזהות בעיות, לאסוף דרישות עסקיות. תוכל להוריד נתונים ממקורות שונים, לבצע ניתוח חקרני ולהכין את מערך הנתונים לשימוש נוסף. אימון ויישום מודל ML מוכן, נסה את עצמך כאנליסט מוצר ושיווק. למד כיצד לנסח ולבדוק השערות. שלטו בכלים הבסיסיים לעבודה: Python, SQL, Excel, Power Bi, Airflow.

מתמטיקה בסיסית למדעי הנתונים
קבל ידע בסיסי במתמטיקה כדי לעבוד עם למידת מכונה. אתה תבין מה זה קירוב, אינטרפולציה, פונקציות, רגרסיות, מטריצות ווקטורים. למד לעבוד עם ישויות מתמטיות בספריית SymPy Python.

יסודות הסטטיסטיקה ותורת ההסתברות
תבינו את עקרונות העבודה עם משתנים ואירועים אקראיים. הכירו סוגים מסוימים של התפלגויות ומבחנים סטטיסטיים המועילים בבניית מודלים ובדיקת השערות.

אפשרות להתמחות
מספיק ידע ומיומנויות בסיסיות כדי לקבל התמחות - ניתן להמשיך ללמוד בקורס ובחברה במקביל.

רמה ב': מהנדס נתונים ג'וניור

למד לאסוף מערכי נתונים מורכבים, להכין חלון ראווה ולבנות צינורות לעבודה, לפרוס פרויקטים של DS מאפס ולבדוק קוד. אתה תהיה מוכן לעבוד כמהנדס נתונים ג'וניור. זמן ההשלמה הממוצע הוא 6 חודשים.

בלוק מבוא
גלה מה עושה מהנדס נתונים, איזה תפקיד הוא ממלא בפרויקט Data Science, ומהם מסלולי הקריירה שלו. תוכלו להבין כיצד בנוי הקורס ואילו נושאים תלמדו.

SQL
למד לתפעל נתונים בטבלאות קיימות, לבצע פעולות הוספה, ניקוי ועדכון. ניתן לשמור נתונים ממסד הנתונים בפורמטים שונים. למד על פונקציות החלונות והיסודות של הכנת נתונים מרץ באמצעות SQL. למד להבטיח הכנסה נכונה של מידע במצב עסקה. תוכל לקרוא ולהבין את יומן העסקאות. למד מהם אינדקסים וארכיטקטורת אינדקס והיכן הם משמשים. למד טכניקות להאצת שאילתות.

פִּיתוֹן. LVL 2
שקול סוגי נתונים, כיצד ניתן להמיר אותם וכיצד Python ו-SQL עובדים יחד - קבלת נתונים ממסד נתונים, עבודה עם הנתונים והרצת שאילתות. למד את המושגים הבסיסיים של סכימות נתונים של JSON ו-XML. תוכל להגדיר איתור באגים באפליקציות, לכתוב בדיקות, לבצע אנונימיזציה ולהצפין נתונים.

ספריות עבור Python
תלמד מה הן ספריות לעבודה עם גרפים, למידה מפוקחת, הדמיה של מדדים ומקורות של מערכי נתונים. למד להשתמש ב-Python ובספריות כדי לעבוד עם נתונים. אתה יכול להמשיך ללמוד פנדות.

זרימת אוויר
סקור מושגים ושיטות מפתח לעבודה עם Airflow. למד יסודות ארכיטקטורה ויכולת פעולה הדדית ממשק משתמש ל-CLI. בנה את צינור הנתונים הראשון שלך.

יסודות הניצוץ
מאסטר ספארק: למד על אילו משאבי מחשוב הוא פועל, כיצד הוא מאחסן נתונים ועובד עם זיכרון ודיסק. הגדר את הדוכן המקומי הראשון שלך. למד את היסודות של RDD: מושגים בסיסיים, עבודה עם מקורות, פעולות. למד לעבוד עם ה-Dataframe API. למד בעיות ביצועים ואופטימיזציה בעת שימוש ב-Dataframe, מקורות נתונים וסוגים, עבודה עם נתונים חוקיים/לא חוקיים, טיפול בשגיאות, UDF, אינטראקציה עם Python ו- SQL.

יסודות האלגוריתמים של למידת מכונה
תוכלו להבין את הסוגים העיקריים של מודלים של למידת מכונה, מונחי מפתח והגדרות. למד אלגוריתמי רגרסיה ואלגוריתמי אשכולות.

פְּרִיסָה
למד את השלבים העיקריים של הכנת מודל לפריסה, גישות לבניית API ודרכים לטיפול בשגיאות וניפוי באגים ביישומים. תוכל לפתור בעיות פריסה ולשלוט בכלים הבסיסיים. הכירו את תהליכי המפתח של bash: כתיבת סקריפטים, עבודה עם משתנים, ועורכי הטקסט sed and awk.

פרויקטי גמר

לאחר שעברת את השלב הראשון, הכינו פרויקט היכרות. בסוף הקורס תציג את עבודתך הסופית.

מבוא למדעי הנתונים
איחוד את הידע החדש שלך על פרויקט בודד - אתה תעבור מטעינת נתונים להטמעת מודל. פתור את הבעיות של מהנדס נתונים, מהנדס ML ואנליסט נתונים כדי להחליט על ההתמחות שלך.

מהנדס נתונים
פרויקט גמר ברמת ג'וניור. בצע ניתוח עוקבה והורד הפניות ל-API. בניית לוחות מחוונים על סמך הנתונים שהתקבלו.

קורסי בונוס

קריירה של מפתחים: תעסוקה ופיתוח
תלמדו כיצד לבחור משרה מתאימה, להתכונן לראיון ולנהל משא ומתן עם מעסיק. תוכל לקבל במהירות משרה שתענה על הציפיות והכישורים שלך.

מערכת בקרת גרסאות Git
למד כיצד לשנות קוד גרסאות, ליצור ולנהל מאגרים, סניפים ולפתור התנגשויות גרסאות. למד כללים שימושיים לעבודה עם Git.

אנגלית עבור מומחי IT
צברו כישורי שפה שיעזרו לכם לעבור ראיון עם חברה זרה ולתקשר בנוחות בצוותים מעורבים.