Question

לאחרונה בעקבות שינוי עיצוב האתר שלי גוגל מצא עשרות אלפי שגיאות 404 (12,000 בערך)והוא ממשיך למצוא... אני עליתי על הבעיה ותיקנתי אותה. עכשיו יש לי עוד הרבה שגיאות כאלה שמציגות את הכתובות של המערכת הישנה. אני מעוניין לבטל עד כמה שניתן את השגיאות הללו ואשמח לדעת אם יש אפשרות לעשות את זה. יש לי פתרון אבל אני לא יודע אם הוא טוב.

הפתרון הוא:
לקחת את כל כתובות השגיאות של המערכת הישנה ועוד שגיאות שנכון לעכשיו הן לא פתירות ואין מה לעשות איתן ולאסוף אותם בקובץ robots.txt של האתר תתת הפקודה disallow האם זה יעזור או שלא? והאם גוגל יעלים עם הזמן את הקישורים מהתוצאות ?!
אני אשמח לדעת אם זה פתרון טוב או לא...

שגיאות נוספות שיש לי ללא הפסקה זה שגיאות 500 וזה משום שהסרתי את ה-RSS של האתר בגלל שהיו הרבה אתרים שמעתיקים תוכן ע"י רובוטים שלוקחים תכנים מה-RSS...
איך ניתן להסיר את השגיאות הללו ?

האתר שלי מופעל על וורדפרס

Answer 1

בהנחה שלאחר שינוי עיצוב האתר דאגת להפניות תקינות אין שום סיבה לדאוג מהשגיאות המופיעות(האם מבנה הכתובות באתר השתנו?).

חשוב לוודא שאין יותר קישורים שבורים באתר, וקח בחשבון שהשגיאות יכולות להגיע בדילי של כ 90 יום ככה שלא הייתי ממהר לחסום את התיקיה בעזרת ה ROBOTS.TXT
שכן גם כאשר התכנים מוסתרים בעזרתו גוגל מבקר בדפים אך איננו מציג אותם בתוצאות(לכן גם לאחר חסימה תראה שגיאות)

אמליץ לך לבדוק שאין קישורים שבורים באתר בעזרת כלים כמו XENU או A1 במקרה ואין יותר קישורים שבורים.
ולאחר השינוי דאגת להפניות אז תתעלם מהשגיאות הם יעלמו עם הזמן.

לגבי ה RSS דאג שיציג שגיאת 404 או 410 ולאחר מספר ביקורים גוגל יוריד אותו מהאינדקס(שגיאות 500 יוכלו לגרום לו לבקר בדף משום שבחלק מהמקרים מדובר בשגיאות זמנית\עומס על הרשומות).