◀ חדש! הצטרפו לקבוצה הסגורה שלנו בפייסבוק ושאלו את המומחים להצטרפות >>
קולות
0
336 צפיות

שימוש ב - robots.txt אשמח לעזרה

על ידי 590 צפיות
נערך על ידי
שלום לכולם

הבהרתי לגוגל בעזרת robots.txt שיש מס דפים שאני לא מעוניין שגוגל יסרוק לי אותם (כמובן שמחקתי אותם מהשרת)מאחר והם ישנים ואין בהם שום ערך.
מה שקורה בפועל שגוגל ממשיך לסרוק אותם ומציין שאין הפנייה לדף 404 למרות שכן יש הפנייה.

מה עושים בעניין?
שאלה נוספת איפה אני יכול לראות את כל הדפים שתחת ה- robots.txt?

תודה מראש

3 Answers

קולות
+1
על ידי <רב סרן> 10.5k צפיות
לגבי השאלה הנוספת - אני לא זוכרת איך בדיוק נקרא, אבל בוובמאסטר טולס תחת נתוני הסריקה, יש עמוד שמראה כתובות חסומות.

לגבי השאלה הראשונה - לא בטוחה שהבנתי. האם קריאה לכתובת של עמוד לא קיים מחזירה סטטוס 404? בדוק מאיפה יש קישורים (פנימים / חיצוניים / מפת אתר) אל העמודים ותסיר/תתקן אותם.
קולות
+1
על ידי <רב אלוף> 177k צפיות
לגוגל לוקח זמן עד שהוא מתעדכן בשינויים בקובץ ה ROBOTS.TXT וגם לאחר לוקח לו זמן עד שהוא מבצע את ההנחיות בקובץ.
כמו כן אם ישנם דפים חזקים שהסתרת בעזרת הקובץ גוגל עדיין יכול לסרוק ולהציג אותם אבל מבלי לקרוא את תוכן הדפים.

אתה יכול להשתמש בכלי ניסיוני ולסרוק כל דף שתרצה באתר, ובפלט לקבל מידע מלא לגבי הכתובות המוסתרות שגוגל זיהה באתר.
מידע על הכלי תמצא פה:
http://googlewebmastercentral.blogspot.co.il/2011/05/troubleshooting-instant-previews-in.html
קולות
+1
על ידי <סרן> 8.8k צפיות
רק תוספת קטנטונת לכל הדברים הנכונים שכבר נאמרו כאן, robots.txt הוא קובץ *המלצה* לcrowlers במלוא מובן המילה. אין להם שוב "התחייבות" להתנהג כפי שמוגדר בו.

4,325 שאלות

7,355 תשובות

9,918 תגובות

19,956 משתמשים

שאלות קשורות

1 תשובה
קולות
0
שאלה נשאלה על ידי 16/07/13 על ידי אלון 140 צפיות
1 תשובה
קולות
0
שאלה נשאלה על ידי 1/12/12 על ידי דורון <סגן משנה> 2.2k צפיות
1 תשובה
קולות
0
שאלה נשאלה על ידי 10/08/13 על ידי shairu12 310 צפיות
2 תשובות
קולות
0
שאלה נשאלה על ידי 29/04/13 על ידי sunpedro 180 צפיות
1 תשובה
קולות
0
שאלה נשאלה על ידי 1/01/21 על ידי guy waldman <סגן משנה> 1.0k צפיות
...