האדם שהפנה אל מולר את השאלה רצה לדעת מהי הסיבה שגוגל לא מבצעת אינדוקס לתוכן וזאת בהנחה שלא מדובר על עומס של השרת. עומס של השרת עלול לגרור לתגובת שגיאה 500 אך אם זו אינה הסיבה, נשאלת השאלה מדוע 20% מהדפים לא מצורפים לאינדקס.
הקשר בין איכות האתר לבין הוספת דפים לאינדקס
על פי מולר, האיכות הכוללת של האתר משפיעה על ההחלטה האם ה- Googlebot יוסיף לאינדקס דפי אינטרנט נוספים או לא. בדרך כלל תקציב הסריקה אינו הסיבה לכך שדפים מסוימים של אתר קטן לא מגיעים לאינדקס וזאת בניגוד לאתר גדול עם מיליוני דפים שיכול להיות שחלקם לא ייהנו מתקציב סריקה.
איכות האתר הכוללת היא זו שבדרך כלל זו שמשפיעה על כמות הסריקות ועל הוספת הדפים לאינדקס. מילר ציין כי “בכל הנוגע לאיכות, כשהדבר מגיע להבנת איכות האתר, זה משהו שגוגל לוקחת בחשבון ושמשפיע על הסריקה ועל אינדוקס התכנים”.
עם זאת, הדבר לא קשור בהכרח לכתובת הספציפית של האתר. למשל, אם ישנם חמישה עמודים שלא נוספו לאינדקס, אין זה מצביע על כך שהם לא איכותיים. האיכות גדולה יותר מדפים ספציפיים א היא משפיעה על אותם דפים ספציפיים ואי אפשר לדעת אם הם כן או לא איכותיים.
הבדיקה שיש לבצע כאשר חלק ניכר מהדפים לא מגיע לאינדקס
בעלי אתרים קטנים אשר מוצאים כי חלק משמעותי מהדפים לא מגיע לאינדקס צריכים לעשות צעד אחורה ולבחון את האיכות הכוללת של האתר במקום להתמקד בנושאים טכניים של אותם דפים ספציפיים. מולר מציין כי הוא חושב שהיום רוב האתרים סבירים מבחינה טכנית ולכן הוא לא היה ממליץ להשקיע את המאמצים בחלק זה.
מולר ממליץ להביא בחשבון כי זה נורמלי ש-20% מהאתר לא יצורף לאינדקס וכן שזה תקין לראות תנודות באינדקס. הנתונים עולים ויורדים ולעולם לא יהיה מצב בו יתווסף 100% מהאתר. לתשובת השואל הוא ענה כי אם יש באתר מאה עמודים ושמונים מתוכם נמצאים באינדקס, זו אינה בעיה שצריך לתקן אותה ולפעמים זה פשוט ככה.
עם הזמן יתווספו עמודים לאתר ורבים מהם יתווספו לאינדקס וכך האחוז שלהם יכול לגדול. אין צורך להיבהל אם חלק מהדפים אינם מופיעים באינדקס וככל הנראה הדבר אינו נובע בשל בעיות טכניות. אתרים קטנים לרוב לא צריכים לחשוש מתקציב הסריקה וההשקעה הטובה ביותר היא באיכות הכוללת של האתר.
בסרטון אפשר לשמוע את מולר דן בנושא האינדקס, מסיום 27:26 דקות:
