◀ חדש! הצטרפו לקבוצה הסגורה שלנו בפייסבוק ושאלו את המומחים להצטרפות >>
קולות
0
3.2k צפיות

האם להשתמש ב robots.txt‏ כדי להסיר דפי 404

על ידי <סגן משנה> 2.2k צפיות
יש לי אתר שהעברתי את כתובות ה URL שלו. בגלל שכפול תוכן ודפים שכבר אינם רלוונטים הרבה דפים הושארו ללא 301 וכעט אני מקבל הודעות חוזרות מגוגל על שגיאות 404. אני לא מטפל בשגיאות ידנית כי הם רבות.

מכוון שלשגיאות יש את אותה התחלת URL שכבר אינה פעילה באתר שלי. נניח abc/ אז אולי לחסום דרך WMT  
ו robots.txt
את הכתובות שההתחלה שלהם היא ‏abc/ ובכך לפתור את בעיית ה 404.
מה דעתכם ?

מנגד חשבתי שאם אחסום את הכתובות הללו אולי אאבד את הקישורים שניתנו בעבר לכתובות הללו. האם כך ?
או שיש לכך חסרונות אחרים?

1 Answer

קולות
0
על ידי <רב אלוף> 178k צפיות
 
Best answer
בכל מצב שבו ישנם שגיאות 404 או הדפים נחסמים ע"י קבצי ה ROBOTS מפסידים את כל ערך הקישורים לדפים.

חשוב לשים לב שגוגל מתריע על שגיאות בדילי מאוד בעיתי, למשל בדילי של 7 חודשים לאחר שהכתובות השתנו.
כך שמה שהייתי ממליץ לך לעשות זה לדאוג שאין דפים שמקשרים לכתובות שהוסרו, ולהמתין שהדפים יעלמו באופן טבעי.

במקרה וישנם דפים שמקבלים קישורים אמליץ לך להפנות אותם למקורות רלוונטיים בכדי למנוע פגיעה בתנועה האורגנית לאתר.
על ידי
תודה רבה                             .

4,352 שאלות

7,382 תשובות

9,947 תגובות

2,014 משתמשים

שאלות קשורות

3 תשובות
קולות
0
שאלה נשאלה על ידי 28/11/13 על ידי aavichai 580 צפיות
1 תשובה
קולות
0
שאלה נשאלה על ידי 1/01/21 על ידי guy waldman <סגן משנה> 1.0k צפיות
3 תשובות
קולות
0
שאלה נשאלה על ידי 11/03/14 על ידי cg 800 צפיות
2 תשובות
קולות
0
שאלה נשאלה על ידי 4/02/14 על ידי דלווין 280 צפיות
...