תקציב זחילה או בשמו הלועזי Crawl Budget הוא מספר העמודים אותם הבוט של גוגל סורק ומאנדקס באתר שלכם בזמן נתון מסויים. אך מדוע תקציב זחילה זה חשוב עבור קידום האתר שלכם בגוגל?
אם נאמר בקצרה – אז במידה וגוגל אינם מאנדקסים עמוד מסויים הוא לא יופיע בתוצאות החיפוש ולא ידורג כלל, כך שאם מספר העמודים שלכם גדול מתקציב הזחילה והוספתם עמוד חדש למשל – ייתכן וזה לא יאונדקס כלל (אלא אם תבקשו מפורשות).
אך לפני שנמשיך בואו נאמר כי מרביתכם לא צריכים לדאוג מתקציב זחילה זה כלל. אם אתם רואים כי העמודים שלכם מאונדקסים אוטומטית באותו יום בו פרסמתם אותם אין כל סיבה לדאגה. מעבר לכך, אם באתר שלכם יש פחות מכמה אלפי כתובות URL – גוגל תבצע בו זחילה בצורה יעילה (במרבית המקרים).
מצב בו אתם נותנים עדיפות לאיזה תוכן ייסרק, מתי הוא ייסרק והדאגה לגבי כמה משאבים שרת האחסון שלכם יכול להקדיש לאותה זחילה – רלוונטים לאתרים ענקיים או כאלו המייצרים אוטומטית עמודים לפי פרמטרים ב URL.
מגבלת תדירות הזחילה – Crawl Rate Limit
Googlebot נועד עבור זחילה זו העדיפות העליונה שלו תוך וידוא כי אינו משבש את חווית המשתמש של המשתמשים והגולשים באתר. ישנה בעצם הגבלה של תקציב הזחילה שנועדה כשמה כן היא – להגביל את תדירות הסריקה והזחילה באתר נתון וזאת כפי שציינו, בכדי לא לשבש את חווית המשתמש.
במילים אחרות – תדירות זו מייצגת את מספר החיבורים המתבצעים סימולטנית בהם הבוט של גוגל ישתמש בכדי לזחול ולסרוק את האתר שלכם. בנוסף תדירות זו מייצגת את הזמן בה הבוט מחכה בין זחילה לזחילה. תדירות זחילה זו יכולה להשתנות עם הזמן ומושפעת משתי גורמים עיקריים:
- Crawl Health – אם האתר שלכם מגיב מהר בזמן מסויים ההגבלה תהיה קטנה יותר, כלומר יתבצעו יותר חיבורים מקביליים עבור הזחילה.
- הגבלת תקציב הזחילה ב Google Search Console – בעלי אתרים יכולים להגביל או להקטין את תדירות הזחילה של Googlebot באמצעות קונסולת החיפוש של גוגל (Google Search Console).
נחיצות הזחילה – Crawl Demand
גם אם תקציב הזחילה לא הגיע להגבלה הקיימת, אם אין דרישה או נחיצות לזחילה – לא תהיה פעילות רבה על ידי הבוט של גוגל. שני הפרמטרים העיקריים שמשחקים תפקיד בקביעת נחיצות הזחילה הינם:
- פופולריות – כתובות URL או דומיינים יותר פופולריים ברשת האינטרנט נוטים להסרק על ידי גוגל בתדירות גבוהה יותר.
- Staleness | עיפוש – המערכות של גוגל מנסות למנוע מצב בו כתובות URL כבר אינן רלוונטיות באינדקס.
מעבר לכך, אירועים רחבים יותר כגון מעבר אתר לדומיין חדש וכדומה יכולה לגרור שעלייה בנחיצות הזחילה וזאת בכדי לאנדקס מחדש את התוכן בכתובות ה URL החדשות.
אז אם ניקח את מגבלת תדירות הזחילה יחד עם נחיצות הזחילה נקבל את תקציב הזחילה וב בעצם את מספר כתובות ה URL אותן הבוט של גוגל יכול ומעוניין לסרוק.
גורמים המשפיעים על תקציב הזחילה
נתאר מספר גורמים להם אפקט שלילי על תקציב הזחילה. ניתן לומר כי כתובת URL בעל ערך נמוך יכולות להיות גורם המשפיע שלילית על הזחילה והאינדוקס של האתר בגוגל. אותן כתובות בעלות ערך נמוך נופלות למספר קטגוריות ונציג אלו לפי רמת ההשפעה שלהן על תקציב הזחילה:
- תפריטי סינון או חיפוש (Faceted navigation) – למשל סינון לפי צבע או מחיר בחנויות דיגיטליות יכולות לעזור למשתמשים אך יוצרות המון קומביניציות של כתובות URL. אלו כוללות גם Seesion Identifiers ופרמטרים שונים בכתובת ה URL.
- תוכן משוכפל (תוכן כפול) הקיים באתר שלכם.
- שגיאות Soft 404s – שגיאות המתקבלות כאשר השרת מחזיר 200 כ HTTP Response Code עבור עמודים שאינם קיימים במקום להחזיר שגיאת 404. עמודים אלו יכולים להפריע לזחילה מכיוון וכתובות אלו יסרקו במקום כתובות עם תוכן ייחודי הקיים באתר שלכם.
- תוכן בעל ערך נמוך ותוכן ספאם.
- ניווט אינסופי – מצבים בהם קיים ניווט אינסופי יגרום לבזבוז תקציב הזחילה. למשל מצב של עימוד ממוספר שאינו מסתיים, קישורים ביומן כלשהו המאפשרים לדפדפף בין חודשים ושנים בצורה בלתי מוגבלת יהוו בעיה עבור תקציב הזחילה באתר שלכם.
- הפניות – כל פעם שעמוד באתר שלכם מבצע הפנייה, הוא משתמש בחלק קטן מתקציב הזחילה. הגבילו את מספר ההפניות בכדי להמנע מבזבוז זה.
בזבוז משאבי שרת על עמודים מסוג זה ירוקנו את תקציב הזחילה מעמודים בעלי ערך אמיתי באתר, כך שטיפול בבעיות מוג זה יהוו תקציב זחילה ותדירות זחילה יעילים יותר.
שאלות נפוצות על תקציב זחילה
1. האם מהירות האתר משפיעה על תקציב הזחילה?
אתר מהיר ישפיע על חווית המשתמש של הגולשים בעיקר אך לו השפעה לא מבוטלת על תדירות הזחילה. עבור Googlebot – אתר מהיר מציין כי השרתים ״בריאים״ ומכאן שהוא יכול לסרוק יותר תוכן באותו מספר חיבורים. לעומת זאת – Timeouts או שגיאות 5xx רבות מציינות סיגנל הפוך והזחילה תהיה איטית יותר.
הנה דוגמה לאתר שעבר אופטימיזציה למהירות וההשפעה של זו על הזחילה לפי Webmaster Tools:
2. האם תקציב או יכולת הזחילה מהווה השפעה על הדירוג?
תדירות הזחילה אינה תוביל ישירות למיקומים גבוהים יותר בתוצאות החיפוש של גוגל. כפי שאתם יודעים, האלגוריתם של גוגל משתמש בהמון סיגנלים שונים בכדי לדרג את התוכן שלכם כך שאותה זחילה חיונית עבור ההופעה שלכם בתוצאות החיפוש – אך אינה סיגנל עבור דירוג.
3. האם כתובות URL אלטרנטיביות נחשבות כחלק מתקציב הזחילה?
כל כתובת URL ש Googlebot סורק ייספר וחחלקח כחלק מתקציב הזחילה. כתובות אלטרנטיביות כגון AMP או hreflang באתרים מרובי שפות ייחשבו כמו גם Embedded Content כקבצי CSS, קבצי Javascript וקריאות Ajax היכולים להסרק וייצרכו משאבי זחילה.
4. האם ההנחיה NoFollow משפיעה על תקציב הזחילה?
לפי גוגל – זה תלוי. באופן כללי כל URL שנסרק משפיע על תקציב הזחילה, כך שאם כתובת מסויימת מצויינת כ NoFollow – היא עדיין יכולה להסרק במידה וקיים קישור לכתובת זו באתר שלכם או כמובן בכל מקום אחר ברשת האינטרנט.
לסיכום
תקציב זחילה הוא אינו נושא אותו מזכירים רבות כנראה כי הוא בדרך כלל רלוונטי יותר לאתרי ענק, אך זהו נושא חשוב בעולם קידום האתרים ו SEO. תקציב זחילה הוא נתון אמיתי וכנה ואין קיצורי דרך שעוזרים להעלות תקציב זה.
עליכם ליצור תוכן איכותי ולתת לכולם (ולגוגל) לדעת עליו – אחרי הכל, גוגל מעוניינת לדעת מה המשתמשים מחפשים ולתת להם את התוצאה הרלוונטית ביותר עבורם. אם האתר שלכם אינו מספק תרומה מיוחדת לגולשים – יהיה לכם קשה לקבל תקציב זחילה גבוה יותר.
