קידום אתרים הבלוג שאלות ותשובות חדשות קורסים כלים
פעם ראשונה כאן?
◀ חדש! הצטרפו לקבוצה הסגורה שלנו בפייסבוק ושאלו את המומחים להצטרפות >>

שימוש ב - robots.txt אשמח לעזרה

0 הצבעות
327 צפיות
שאלה נשאלה ב- 28 נובמבר, 2013 על ידי aavichai (590 נקודות)
נערך 29 נובמבר, 2013 על ידי מנשה אברמוב
שלום לכולם

הבהרתי לגוגל בעזרת robots.txt שיש מס דפים שאני לא מעוניין שגוגל יסרוק לי אותם (כמובן שמחקתי אותם מהשרת)מאחר והם ישנים ואין בהם שום ערך.
מה שקורה בפועל שגוגל ממשיך לסרוק אותם ומציין שאין הפנייה לדף 404 למרות שכן יש הפנייה.

מה עושים בעניין?
שאלה נוספת איפה אני יכול לראות את כל הדפים שתחת ה- robots.txt?

תודה מראש

תשובות 3

+1 הצבעה
נתקבלה תשובה ב- 29 נובמבר, 2013 על ידי יולי דסיאטניקוב <רב סרן> (10,490 נקודות)
לגבי השאלה הנוספת - אני לא זוכרת איך בדיוק נקרא, אבל בוובמאסטר טולס תחת נתוני הסריקה, יש עמוד שמראה כתובות חסומות.

לגבי השאלה הראשונה - לא בטוחה שהבנתי. האם קריאה לכתובת של עמוד לא קיים מחזירה סטטוס 404? בדוק מאיפה יש קישורים (פנימים / חיצוניים / מפת אתר) אל העמודים ותסיר/תתקן אותם.
+1 הצבעה
נתקבלה תשובה ב- 29 נובמבר, 2013 על ידי מנשה אברמוב <רב אלוף> (176,940 נקודות)
לגוגל לוקח זמן עד שהוא מתעדכן בשינויים בקובץ ה ROBOTS.TXT וגם לאחר לוקח לו זמן עד שהוא מבצע את ההנחיות בקובץ.
כמו כן אם ישנם דפים חזקים שהסתרת בעזרת הקובץ גוגל עדיין יכול לסרוק ולהציג אותם אבל מבלי לקרוא את תוכן הדפים.

אתה יכול להשתמש בכלי ניסיוני ולסרוק כל דף שתרצה באתר, ובפלט לקבל מידע מלא לגבי הכתובות המוסתרות שגוגל זיהה באתר.
מידע על הכלי תמצא פה:
http://googlewebmastercentral.blogspot.co.il/2011/05/troubleshooting-instant-previews-in.html
+1 הצבעה
נתקבלה תשובה ב- 30 נובמבר, 2013 על ידי stass <סרן> (8,820 נקודות)
רק תוספת קטנטונת לכל הדברים הנכונים שכבר נאמרו כאן, robots.txt הוא קובץ *המלצה* לcrowlers במלוא מובן המילה. אין להם שוב "התחייבות" להתנהג כפי שמוגדר בו.
יש לך שאלות בנושא קידום אתרים?

כאן המקום לשאול אותן ולקבל תשובות מקהילת מקדמי האתרים בישראל.

ההרשמה למערכת אינה מצריכה מילוי טפסים ולוקחת פחות מ-5 דקות.

פעם ראשונה כאן? למד איך משתמשים!

4,320 שאלות

7,345 תשובות

9,914 תגובות

97,237 משתמשים

adsense adwords facebook google h1 html nofollow ppc seo url wix wordpress youtube אדוורדס אדסנס אופטימיזציה אופטימיזציה-לעמוד אחסון אינדוקס אינדוקס-בגוגל אנליטיקס אתר אתר חדש אתר-וורדפרס אתרים בחירת-דומיין בלוגים בניית-קישורים גוגל גוגל אדוורדס גוגל אנליטיקס גוגל וובמאסטר גוגל פלוס גוגל-אדסנס גוגל-אנליטיקס דומיין דירוג דירוגים דף נחיתה דף-מעריצים-בפייסבוק החלפת-קישורים העברת אתר העברת-אתר הפניות הפניות 301 הפנייה 301 וורדפרס חנות-וירטואלית יוטיוב ירידה בדירוגים ירידה במיקומים ירידה-בדירוגים כותרות כפילות כתובת-בעברית מאמרים מילות חיפוש מילות מפתח מיקומים בגוגל מיקומים-בגוגל מנועי חיפוש מעבר לאתר חדש מפת אתר סאבדומיין ספאם סריקה עברית עונש מגוגל עמוד-עסקי-בפייסבוק פגיעה-בקידום פייסבוק פרסום פרסום-מאמרים קידום קידום אורגני קידום אורגני בגוגל קידום אתר קידום אתרים קידום בגוגל קידום ממומן קידום-אתרים קידום-ממומן קישורים קישורים יוצאים קישורים נכנסים קישורים פנימיים קישורים-נכנסים קישורים-פנימיים שגיאה שגיאה-404 שיווק שכפול תוכן תוכן תוכן כפול תוכן משוכפל תוכן-משוכפל תוצאות חיפוש תמונות 301 404
AskPavel Academy קורס קידום אתרים
×

עקבו אחרינו בפייסבוק כדי להישאר מעודכנים

מדריכים, חדשות וטיפים שיעזרו לך בקידום האתר

שאלות קשורות

0 הצבעות
1 תשובה 312 צפיות
שאלה נשאלה ב- 16 יולי, 2013 על ידי אלון (140 נקודות)
0 הצבעות
1 תשובה 151 צפיות
שאלה נשאלה ב- 1 דצמבר, 2012 על ידי דורון <סגן משנה> (2,160 נקודות)
0 הצבעות
1 תשובה 211 צפיות
שאלה נשאלה ב- 10 אוגוסט, 2013 על ידי shairu12 (310 נקודות)
0 הצבעות
2 תשובות 213 צפיות
שאלה נשאלה ב- 29 אפריל, 2013 על ידי sunpedro (180 נקודות)
0 הצבעות
1 תשובה 68 צפיות
שאלה נשאלה ב- 1 ינואר על ידי guy waldman <סגן משנה> (1,020 נקודות)
...