ניתוח נתונים בפייתון ומסדי נתונים (SQL) - קורס חינם מבית RANEPA, הדרכה, תאריך: 6 במרץ 2023.
Miscellanea / / December 04, 2023
תוכנית Python Data Analysis and Database (SQL) תספק לתלמידים הבנה של היסודות של תכנות אלגוריתמי ML (Machine Learning) באמצעות שפת Python. זה גם יעזור לך לשלוט במספר מיומנויות בתחום ניהול מסדי נתונים יחסיים מודרניים ולרכוש מיומנויות מעשיות בשימוש בכלי שפת DBMS (מערכות ניהול מסד נתונים נתונים).
בעסקים ובממשל, צריך לנתח כל הזמן כמויות אדירות של נתונים להשיג מידע כדי לשלוט באיכות העבודה, להעלות רעיונות חדשים ולהצדיק את המקובלים החלטות. מומחים שמבינים כמויות אדירות של נתונים יכולים לצפות לקריירה מהירה עם משכורות מרשימות.
ככלל, SQL ו-Python מוזכרים לרוב במודעות דרושים הקשורות לניתוח נתונים.
רק סטודנטים שאינם לומדים בתחומים הבאים יכולים להגיש מועמדות לקורס:
במהלך השליטה בתכנית, לסטודנטים תהיה הזדמנות להמציא מוצרים דיגיטליים חדשים (באופן עצמאי או בצוות). מחברי הפתרונות הטובים ביותר יקבלו את תמיכת האקדמיה ואת ההזדמנות לשתף פעולה עם מעבדת הבינה המלאכותית ומעבדת פיתוח הפלטפורמות של RANEPA.
פִּיתוֹן
איך הכל עובד? תכונות פייתון.
למה כולם משתמשים ב-Python? השוואה לשפות תכנות אחרות. איך כותבים תוכניות? היתרונות של פייתון. כיצד להשתמש ב-Python במשימות: עיבוד תמלילים, עבודה עם תמונות, כתיבת רובוטים מלאי, השקת צ'אט בוטים. קלט ופלט בפייתון. שמות בפייתון. פעולות בסיסיות. בקרה על התקדמות ביצוע התוכנית (קונסטרוקציות מותנות). דוגמאות לתוכניות פשוטות.
מחזורים. שורות. שיטות מחרוזות.
לולאה עם תנאי מוקדם. הפסקת הצהרות והמשך. עבור לולאה מבנה הקו ואורך הקו. אלמנט הקו וכיצד לחתוך קווים. קבלת תת מחרוזת ממחרוזת. חציית קו. מקטעים.
Tuples. רשימות. מפת פונקציות. מחולל רשימת ערכים אקראית.
למה יש צורך בטופלים? עבודה עם רשימה. רשימת אלמנטים. הדפס את הרשימה. העתקה נכונה של רשימות. תכונות השימוש בפונקציית המפה. מהם מחוללי ערכים אקראיים? חבורה של. פעולות עם סטים. קפוא. מילונים. השיטה חציית מילון.
פונקציות. יישום של פונקציות מתמטיות. היקף והדרה.
כיצד לכתוב פונקציות בצורה נכונה. אלגוריתמים פשוטים. כתיבת הפונקציות הראשונות. כיצד להוסיף מתמטיקה. המלצות לכתיבת פונקציות משלך. איך פועלים היקפים. משתנים גלובליים. החזרת ערכים מרובים מפונקציה. חריגים.
עבודה עם קבצים. מטריצות. סוגי מיון
מה אפשר לעשות עם הקבצים? פתיחה וסגירה של קבצים. קריאה וכתיבה של קבצי טקסט. מטריצות. מילוי מטריצות. הזנת מטריצות שורה אחר שורה. מטריצות קריאה וכתיבה. מיון בועות. ניתוח האלגוריתם. מספר גרסאות של הפתרון.
סקירה כללית של ספריית NumPy. עבודה עם פונקציות NumPy. ספריית SciPY.
ספריות פייתון והתקנתן. סוגי נתונים בסיסיים של NumPy. פונקציות מספריות. עבודה עם מערכים. פעולות עם מערכים. מערכים דו מימדיים. מטריצות. תכונות בסיסיות של ספריית SciPy.
סקירה כללית של ספריית פנדה. ניתוח בסיסי.
התקנת הספרייה. יצירת אובייקט מסדרה. אינדקס DataFrame. טבלאות. קריאה וכתיבה של קבצים. יצירת אינדקס. דגימת נתונים. פעולות עם שורות ועמודות. עבודה עם NaN. מִיוּן.
הדמיות נתונים. דוגמאות מעשיות
לימוד נתונים חדשים, עיבוד מקדים, הדמיית נתונים, חיפוש קשרים בין תכונות, הכנת נתוני הדרכה ויצירת מודלים לחיזוי סיכוני אשראי. קבלת מודל שעונה על השאלה: להנפיק או לא להנפיק הלוואה.
אוטומציה של משימות שגרתיות. דוגמאות מעשיות
ניתוח דוגמאות מעשיות לאוטומציה של משימות הקשורות להשגת מידע מצטבר ממספר מקורות (קבצי אקסל) או מהאינטרנט.
סקירה של שיטות למידת מכונה המשמשות לניתוח נתונים. דוגמאות מעשיות
דוגמה מעשית לזיהוי תכונות בסיסיות ופרשנותן בבעיית למידה מפוקחת.
הערכת מודול ביניים
הסמכה ביניים מתקיימת בצורה של מבחן (בדיקת מחשב). דוגמה למבנה בדיקה טיפוסי:
באיזו פונקציית Python אתה יכול להשתמש כדי לגלות את סוג המשתנה?
- הוואמי
- סוּג
- סוג של
- הוא
איזה טווח של מספרים ייווצר בקוד הבא: טווח (9, 3, -2)
- 9 8 7 6 5 4 4
- 9 7 5 3
- 9 7 5
- 11 9 8 7 6 5 4
מה קטע הקוד ברישום מאפשר לך לבצע?
- קטע קוד: print(math.sqrt(2))
- מציג את המספר 2 מספריית המתמטיקה
- חיבור ספריית המתמטיקה
- ריבוע מספר מתמטי
- מציג את השורש הריבועי של שניים
SQL
אחסון נתונים ושלמות.
אחסון נתונים: קבצי נתונים, יומנים, רמות RAID, Tempdb. מערכות יחסים במאגרי מידע, אחד לאחד, אחד לרבים, רבים לרבים. שלמות נתונים: PRIMARY KEY, CHECK, UNIQUE ו- FOREIGN KEY. נורמליזציה של טבלאות.
יצירת מסד נתונים וטבלאות.
ארכיטקטורת DBMS: לוגית (טבלאות וסוג נתונים, מפתחות, אינדקסים, תצוגות, הרכבות, אילוצים, כללים, ערכי ברירת מחדל) ורמות פיזיות (קבצים וקבוצות קבצים, דפים). יצירת מסד נתונים. סוגי נתונים של שדות טבלה: מספרים מדויקים, מחרוזות תווים Unicode, מספרים משוערים, נתונים בינאריים, תאריך ושעה, סוגי נתונים אחרים, מחרוזות תווים. יצירת טבלאות. איפה לכתוב בקשות?
אינדקסים. דיאגרמות.
אינדקסים: מקובצים, לא מקובצים, זיהוי ייחודי, מסונן, מאגר עמודות, גיבוב, אינדקס לא מקובץ, אינדקס מותאם לזיכרון. דיאגרמות ER: דיאגרמות מסד נתונים, צומת מסד נתונים. DML ואופרטורי SQL הנפוצים ביותר: SELECT, INSERT, UPDATE, DELETE. חשיבותם של גורמים ייחודיים.
בקשות. חיבורים חיצוניים.
שאילתות על שולחן אחד. דגימה ללא חזרות. שאילתות על טבלאות מרובות. חיבורים חיצוניים: שמאל, ימין או מלא.
פונקציות מצטברות. שאילתות משנה.
שאילתות משנה: WHERE COUNT, SUM, AVG, MAX, MIN, IN, ALL, ANY. נתוני הצטרפות: SELECT JOIN. פונקציות מצטברות: AVG, CHECKSUM_AGG, COUNT, COUNT_BIG, GROUPING, GROUPING_ID, MAX, MIN, STDEV, STDEVP, STRING_AGG, SUM, VAR, VARP. תנאים לפונקציות מצטברות.
תכונות שימושיות.
עוד קצת על מפעילים. בקשה תעשייתית. פונקציות שימושיות: SQRT, RAND, CONCAT, פונקציות מספריות ומחרוזות. קדימות פעולה והמרת סוג: CAST, CONVERT.
עסקאות. יִצוּג.
בקשה אחת בארבע דרכים. עסקאות: מושג עסקאות - אטומיות, עקביות, בידוד, עמידות, ניהול עסקאות - COMMIT, ROLLBACK, SAVEPOINT, SET TRANSACTION. גישה לנתונים מקבילים: בעיות של קריאה מלוכלכת, שאינה ניתנת לחזרה, פנטומים. צפיות: באינדקס, מחולק, מערכת.
משתנים ולולאות.
תחילת התכנות. משתנים: DECLARE, SET, SELECT. מבנה קוד. אופרטורים של תיאור נתונים: CREATE, DROP, ALTER וכו'. מפעילי מניפולציה של נתונים: INSERT, DELETE, SELECT, UPDATE וכו'. מפעילים להגדרת זכויות גישה במסד הנתונים: GRANT / REVOKE, LOCK / UNLOCK, SET LOCK MODE מפעילים להגנה, שחזור נתונים ומפעילים נוספים. מחזורים: WHILE.
נהלים ופונקציות מאוחסנות.
שולחנות זמניים. סמני Transact-SQL, שרת, לקוח. סוגי סמנים: חד כיווני, סטטי, Keyset, דינמי. נהלים ופונקציות מאוחסנות: CREATE PROCEDURE, CREATE PROC.
טריגרים. חריגים.
מסוע HF. טריגרים: אחרי, במקום. חריגים: למעט. SQL דינמי באמצעות מילת מפתח ושימוש בהליך מאוחסן: EXECUTE IMMEDIATE.
DBMS. מסדי נתונים של NoSQL.
עסקאות בתכנות/DBMS/SQL. כיצד מבוצעות בקשות. כיצד לשפר את ביצועי השאילתות. מסד נתונים NoSQL ויתרונותיו.
הערכת מודול ביניים
הסמכה ביניים מתקיימת בצורה של מבחן (בדיקת מחשב). דוגמה למבנה בדיקה טיפוסי:
איזה סוג של נתוני שדה הוא סוג NUMBER?
- חוּט
- מספרי
- בינארי
איזו פקודת SQL שואלת נתונים?
- לשנות
- בחר
- מ
מהי עסקה?
- זוהי קבוצת פעולות המבוצעת על ידי ה-DBMS
- היא קבוצת פעולות שיש לה מאפייני ACID
- זוהי הפעולה של ביצוע פקודת SQL