מקסים פוליאקוב: ממה מורכבים מנועי החיפוש ואיך גוגל הפכה להיות המרכזית (ועדיין היא)

ככל שכמות המידע באינטרנט גדולה יותר, כך אנו זקוקים יותר למנועי חיפוש. המקום הראשון ביניהם כבר מזמן תפוס היטב על ידי גוגל. מדוע המראה שלו חולל מהפכה ולמה לצפות מפיתוח כלי אינטרנט בעתיד, אמר פרופסור ומנהל המדיה של MGIMO, מקסים פוליאקוב. Lifehacker ערך סיכום של הרצאתו בכנס בינתחומי צילום מסך_2023, שהתקיים במוסקבה ב-25 וב-26 במרץ.

מתי ולמה משתמשים היו זקוקים למנועי חיפוש

נפח המידע על כדור הארץ גדל כל הזמן. במשך מאות שנים, נתונים הצטברו על מכשירים אנלוגיים - תחילה בכתבי יד וספרים, מאוחר יותר - על תקליטי ויניל, על קלטות סרטים ווידאו.

ב-1993 היו אחסון נתונים דיגיטליים. ומאז, נתח המידע הדיגיטלי הולך וגדל. ב-2002 חל מפנה: נפח הנתונים בדיגיטל הפך שווה למקורות אנלוגיים. העידן הדיגיטלי החל. מאז, מלאי הנתונים הדיגיטליים גדל באופן אקספוננציאלי, ואיתו גדלה גם כמות המידע הכוללת על פני כדור הארץ.

מתעוררת בעיה: לא ברור איך למצוא במהירות את מה שאתה צריך בכמות המידע העצומה הזו. זה מה שמנועי החיפוש עושים.

ב-1998, כשגוגל נכנסה לשוק לראשונה, היו כמה שירותי חיפוש באינטרנט. לדוגמה, פורטלי AltaVista ו-Lycos היו זמינים ברוסיה, ובסך הכל היו יותר מתריסר משאבים כאלה: Netscape, Ask Jeeves, AOL, MSN ואחרים. גוגל הפך לאחד מהם והביס מתחרים.

מסקנות לגבי איך זה טוב יותר ממנועי חיפוש אחרים, עוד בשנת 1999, התקבלו על ידי המדען הספרדי רמון סאלברה. בסוף שנות ה-90 הוא נתקל בעבודת גמר מעניינת מאוניברסיטת סטנפורד. הוא נקרא "מאמרי מחקר על גוגל ובסיס האינטרנט" ופורסם ב-1997. מחבריו היו הסטודנטים לתארים מתקדמים סרגיי ברין ולארי פייג'.

סלברה קראה את עבודת הגמר ובדקה את מחרוזת החיפוש. ומיד כתב מאמר לעיתון העירוני "יומן נאוואר", שאותו כינה "מהפכת גוגל".

איך מנועי החיפוש עבדו לפני גוגל

הכנס בשורת החיפוש בַּקָשָׁה - למשל, "חנות חומרה". האלגוריתם מוצא מסמכים המכילים את הביטוי הזה. לאחר מכן, מנוע החיפוש סופר כמה פעמים מילות המפתח חוזרות על הדף. אותם מסמכים, שבהם יש עוד אסמכתאות כאלה, נופלים על השורות הראשונות של הנושא.

חשוב: מנוע החיפוש לא יודע באיזה סוג של דפים מדובר - אולי אתרי חנויות, או אולי רק משאבים שכותבים על בנייה. לכן, האלגוריתם אינו יכול לקבוע עד כמה מסמכים שימושיים בתוצאות החיפוש יועילו למשתמש. כתוצאה מכך, אדם מקבל רשימה ארוכה של אתרים ועליו לפתוח כל עמוד ולחפש את הנכונים ביניהם במשך זמן רב.

איך גוגל שינתה מהיסוד את כללי החיפוש

הדבר העיקרי שהופיע בגוגל הוא PageRank, אלגוריתם חיפוש חדש. ברין ופייג' החליטו שלא כדאי לחפש באינטרנט מסמכים בודדים לפי דרישה, ולאחר מכן להוציא אותם ברשימה. אתה צריך לחקור את כולם בבת אחת. יחד עם זאת, חשוב לבחור מתוך הרשימה הכללית את אלו שיהיו המשמעותיים ביותר עבור המשתמש.

הדבר הקשה ביותר הוא למצוא את הקריטריון הנכון שיראה את סמכות המסמך. לשם כך, המחברים פיתחו נוסחה מיוחדת וקראו לערך המתקבל של PR - PageRank.

הגילוי המהפכני של יוצרי גוגל - בחירת הקריטריונים להערכת חשיבות המסמך. הם הפכו לקישורים.

הדבר העיקרי שנלקח בחשבון באלגוריתם החדש הוא כמה פעמים משאבים אחרים מתייחסים למסמך. זה שמוזכר לרוב הופך לראשון בדירוג ומוכר כסמכותי ביותר. למשל, אם שבעה מתוך עשרה אתרים מתייחסים לאחד, אז המנהיג הוא הוא.

כתוצאה מכך, נבחרים מספר צמתים שיש להם הכי הרבה קישורים. יתר על כן, הנוסחה לוקחת בחשבון אם ה"מספר אחד" שנמצא שלנו מזכיר מסמכים כלשהם. אם יש דפים כאלה, הם מיד עולים בדירוג. קישורי מסמכים בראש הרשימה תמיד שוקלים יותר מקישורים ממקורות למטה.

בסופו של דבר מִשׁתַמֵשׁ רואה בתוצאות החיפוש אתרים שבאמת שימושיים עבורו. הוא לא צריך להשקיע זמן בניתוח עמודים שבהם מוזכרות מילות מפתח - גוגל כבר עשתה זאת עבורו.

איך גוגל הגיעה לפסגה ומדוע היא מחזיקה בראש

מייסדי גוגל יצרו לא רק את אלגוריתם החיפוש. הם פיתחו את הארכיטקטורה של החברה והעלו את העקרונות העיקריים של עבודתה.

ברין ופייג' רשמו את גוגל ב-1998 והחלו לבנות את עתידם. תַאֲגִיד במוסך של סוזן, חברתה של ברין. על הלוח, החבר'ה כתבו: "התמקד במשתמש." קצת אחר כך הם גיבשו את ייעוד החברה.

אצל גוגל, מההתחלה העדיפות הייתה מי שקובע את שאילתת החיפוש, ולא הארגונים שיצרו את האתרים ומחכים ללקוחות חדשים. לפיכך החליטה החברה מיד: פִּרסוּם צריך להיות מופרד בבירור מתוצאות החיפוש, ואדם לא צריך לבלבל תוצאות חיפוש אורגניות עם מודעות בתשלום. כלל זה משך משתמשים ועזר להגדיל את הקהל.

החברה קיבלה במהירות את הראשון השקעות. גוגל נכנסה לעשרת משאבי האינטרנט הפופולריים ביותר בתחילת 2001 ועלתה בקלות לקו החמישי. בשנת 2004, הפרויקט חדל להיות "מוסך" והפך לציבור. בשנת 2006 רכש התאגיד את יוטיוב ואת החברה שפיתחה את מערכת ההפעלה אנדרואיד. רכישות אלו האיצו את הצמיחה.

במרץ 2006, גוגל עלתה למקום הראשון מבין כל משאבי האינטרנט. בנובמבר 2009, הוא הפסיד לזמן קצר את האליפות ליאהו!, אך בינואר 2010 הוא חזר למעמדו ועדיין נותר בראש.

כיום, גוגל למשתמשים היא מספר פלטפורמות:

• אלגוריתם חיפוש.
• שירות לפרסום קונטקסטואלי.
• דפדפן.
• מערכת הפעלה לסמארטפונים.
• עשרות שירותים למשתמשים ועסקים רגילים: דואר, מפות, מסמכים, גיליונות אלקטרוניים ועוד ועוד.

סיבה חשובה להצלחת החברה היא תרבות ארגונית.

ברין ופייג', כשבחרו עובד חדש, הציעו לערוך ניסוי מחשבתי: דמיינו שאתם צריכים לבלות שש שעות עם האדם הזה בשדה התעופה, כי הטיסה התעכבה. כמה נוח יהיה לו?

כך הם יצרו סביבה שבה אנשים משתלבים זה בזה. זה היה הכרחי לפיתוח החברה ולהופעתם של חידושים.

כל זה הוביל לכך שכיום מבין כל בקשות המשתמש למנועי החיפוש, גוגל מהווה 92.21%. זה מונופול עולמי.

מה טוב ב-"Yandex" - המתחרה העיקרית של גוגל ברוסיה

יש רק שתי מדינות שבהן לגוגל יש מתחרים רציניים, והחברה לא יכולה לעשות שום דבר בנידון. זוהי סין - 68.66% מהחיפושים יש בפורטל Baidu המקומי. ורוסיה - יש לנו יותר מ-45% מהבקשות שהתקבלו על ידי "Yandex".

מנוע החיפוש הזה נוצר על ידי איליה סגלוביץ' וארקדי וולוז' ב-1997 - כלומר כמעט במקביל לגוגל. כיום Yandex הוא האתר מספר 1 ברוסיה.

כמו גוגל, זו מערכת פלטפורמה. הפלטפורמה משלבת מספר שירותים שונים המכסים את הצרכים השונים של הלקוח. מלכתחילה יש כאן גם מנוע חיפוש אַלגוֹרִיתְם. זה טוב מאוד, אבל לא כל כך ידוע על איך זה עובד כמו על האלגוריתם של גוגל.

בנוסף למנוע החיפוש, ל-Yandex יש פלטפורמת פרסום ו דפדפן. בנוסף שירותים נוספים: דואר, מפות, דיסק, שוק ואחרים. הרווח הגדול ביותר כיום מובא על ידי Yandex Taxi ושירותי משלוח.

מה משנה את ChatGPT ביחסים שלנו עם מנועי החיפוש

ב-2023, כלומר, ממש עכשיו, מתרחשת מהפכה נוספת. גוגל עדיין המובילה, ולמשך זמן מה היא תחזיק במקום הראשון, אבל אנחנו לא יודעים מה יקרה אחר כך.

בפברואר, מנכ"ל מיקרוסופט סאטיה נאדלה, במהלך נאום במשרד החברה שלו, הודיע ​​כי החל עידן חדש. לדבריו, כל ההיסטוריה של טכנולוגיות האינטרנט מחולקת לשלושה שלבים:

• מחשב אישי + שרת.
• טכנולוגיות מובייל + מערכות אחסון בענן.
• בינה מלאכותית.

אנחנו ממש בתחילתו של עידן שלישי, חדש. אפילו תאריך ההתחלה ידוע - סאטיה נאדלה אמרה זאת ב-8 בפברואר 2023.

ChatGPT צבר מיליון משתמשים ב-5 ימים. זוהי העלייה המהירה ביותר בהיסטוריה של האינטרנט. למנהיג הקודם, אינסטגרם*, לקח 75 ימים להגיע לאותה תוצאה.

הרשת העצבית משולבת כעת במנוע החיפוש Bing. השאלה בשורת החיפוש נשמעת כך: "שאל אותי משהו", או "שאל אותי משהו". ChatGPT עונה על שאלות מורכבות ועושה זאת בפירוט. יתר על כן, הוא מסוגל להתמודד עם משימות שהיו בשימוש בעבר מבחן טיורינג. לפני כן, הוא תמיד עזר להבחין בין אדם לבין אלגוריתם מכונה, אבל עכשיו הכל השתנה.

סרגיי ברין חזר לגוגל לאחר חמש שנות חופשה. הוא נאלץ לחזור לעבודה מכיוון שהופעת רשתות עצביות בחברה הכריזה על רמת התראה אדומה. גוגל מנסה להפעיל מְשׁוֹרֵר - צ'אטבוט משלו. הוא האמין כי הפרמטרים שלו גדולים פי חמישה מהיכולות של GPT. אבל הרשת העצבית הזו עדיין לא פעלה במלואה.

*פעילויות Meta Platforms Inc. והרשתות החברתיות שלה פייסבוק ואינסטגרם אסורות בשטח הפדרציה הרוסית.