האופן בו גוגל ומנועי חיפוש מתייחסים לכתובות URL

אז כיצד מנועי חיפוש מפרשים כתובות URL?

מנועי חיפוש זקוקים לכתובת אתר ייחודית לכל עמוד בכדי לאפשר סריקה ויצירת אינדקס ובכדי להפנות את המשתמשים לעמוד זה. בואו נסביר מעט על המבנה של כתובת URL ונתאר כיצד מנועי חיפוש מתייחסים לכתובות אלו. ניתן לומר כי באופן כללי כתובת URL מתפצלת למספר חלקים באופן הבא:

protocol://hostname/path/filename?querystring#fragment

לדוגמה:

https://www.example.co.il/walkingshoes/womens.html?size=8#info

מעבר לכתובת הקובץ עצמו בדוגמה מעלה (שמסתיים ב womens.html), ניתן לראות כי ישנו פרמטר בשם size אליו מתייחסים כ Query String, ובנוסף ישנו פרמטר נוסף בשם info אליו מתייחסים כ Hash Tag בשפה במקצועית.

אותם Query Strings בכתובת ה URL מעבירים מידע בו ניתן להשתמש בעמוד המדובר. Hash Tags לעומתם משמשים על מנת לזהות את החלק בעמוד אליו תתבצע גלילה בדפדפן (מבוסס ID של אלמנט HTML כלשהו הקיים בעמוד).

חשוב לציין כי גוגל ומנועי חיפוש מתעלמים מאותם Hash Tags אך בהחלט מתייחסים ל Query Strings. לכן, כאשר ישנו שימוש רחב בפרמטרים מסוג זה (חנויות דיגיטליות למשל), עליכם לוודא כי מנועי החיפוש יתייחסו לכתובת URL זהה אך בעלת Query String שונה ככתובת אחת, אחרת הם עלולים להתייחס לאותה כתובת בעלת פרמטר שונה ככתובת שונה או כתוכן משוכפל.

חסימת מנועי חיפוש ושימוש בכתובות קנוניות

באפשרותכם לחסום מנועי חיפוש מלהתייחס לכתובות אלו על ידי קובץ robots.txt  ונכון לעשות זאת בלא מעט מקרים. הדרך לחסום כתובות עם Query Strings מתבצעת בצורה הבאה:

User-agent: *
Disallow: *?dir=*
Disallow: *&order=*
Disallow: *?price=*

אך בהמון מקרים הדרך הנכונה לפתור מצבים אלו היא שימוש בכתובות קנוניות הלא הן חלק בלתי נפרד  מביצוע SEO טכני נכון. עליכם לדאוג כי לכל הכתובות עם הפרמטרים השונים קיימת כתובת קנונית לכתובת ה URL של קטגורית הבסיס (Base Category).

הנה מספר דוגמאות להמחשה (הסרתי את הפרוטוקול לצורך נוחות הטבלה):

URL/Page Type Visible URL Canonical URL
Base Category URL domain.co.il/page-slug domain.co.il/page-slug
Social Tracking URL domain.co.il/page-slug?utm_source=twitter domain.co.il/page-slug
Affiliate Tracking URL domain.co.il/page-slug?a_aid=123456 domain.co.il/page-slug
Sorted Category URL domain.co.il/page-slug?dir=asc&order=price domain.co.il/page-slug
Filtered Category URL domain.co.il/page-slug?price=13 domain.co.il/page-slug

הבחנה בין סוגי הכתובות השונות

גוגל ושאר מנועי החיפוש מתייחסים לכתובות עם WWW וללא WWW ככתובות שונות. כנ״ל לגבי כתובות HTTP לעומת HTTPS. זה המקום לציין כי כאשר מוסיפים את האתר לקונסולת החיפוש של גוגל (Search Console) יש להוסיף את כל ארבעת הנכסים בגירסאות השונות.

מעבר לכך, יש להבחין בין כתובות המסתיימות בקו נטוי סוגר ( / ) לכתובות ללא אותו קו נטוי הנקרא Trailing Slash בשפה המקצועית. אם מסתכלים על הכתובת הראשית של הדומיין, גוגל אינה מחשיבה קו נטוי זה ככתובת שונה, לדוגמה – הכתובת https://example.co.il/‎ זהה לכתובת https://example.co.il.

לעומת זאת, בנתיב המופיע לאחר הכתובת הראשית יש להבחין בין שני המקרים. למשל, הכתובת https://example.co.il/dogs אינה זהה לכתובת https://example.co.il/dogs/‎.

למידע נוסף כל אותו קו נטוי תנו מבט במדריך חשיבות ה Trailing Slash בכתובות URL.

רועי יוסף
רועי יוסף

מפתח וורדפרס, מאמין ביצירת הזדמנויות לעסקים קטנים, סטארטאפים נועזים ואנשים עצמאים לשנות את העולם. אוהב טיפוגרפיה, צבעים וכל מה שבינהם ומכוון לספק אתרי וורדפרס עם ביצועים גבוהים, תמיכה בכל הדפדפנים, בעלי קוד ולידי, סמנטי ונקי.

0תגובות...

השאירו תגובה

פעימות
Up!