קידום אתרים הבלוג שאלות ותשובות חדשות קורסים כלים
פעם ראשונה כאן?
◀ חדש! הצטרפו לקבוצה הסגורה שלנו בפייסבוק ושאלו את המומחים להצטרפות >>

שימוש ב - robots.txt אשמח לעזרה

0 הצבעות
237 צפיות
שאלה נשאלה ב- 28 נובמבר, 2013 על ידי aavichai (590 נקודות)
נערך 29 נובמבר, 2013 על ידי מנשה אברמוב
שלום לכולם

הבהרתי לגוגל בעזרת robots.txt שיש מס דפים שאני לא מעוניין שגוגל יסרוק לי אותם (כמובן שמחקתי אותם מהשרת)מאחר והם ישנים ואין בהם שום ערך.
מה שקורה בפועל שגוגל ממשיך לסרוק אותם ומציין שאין הפנייה לדף 404 למרות שכן יש הפנייה.

מה עושים בעניין?
שאלה נוספת איפה אני יכול לראות את כל הדפים שתחת ה- robots.txt?

תודה מראש

תשובות 3

+1 הצבעה
נתקבלה תשובה ב- 29 נובמבר, 2013 על ידי יולי דסיאטניקוב <רב סרן> (10,490 נקודות)
לגבי השאלה הנוספת - אני לא זוכרת איך בדיוק נקרא, אבל בוובמאסטר טולס תחת נתוני הסריקה, יש עמוד שמראה כתובות חסומות.

לגבי השאלה הראשונה - לא בטוחה שהבנתי. האם קריאה לכתובת של עמוד לא קיים מחזירה סטטוס 404? בדוק מאיפה יש קישורים (פנימים / חיצוניים / מפת אתר) אל העמודים ותסיר/תתקן אותם.
+1 הצבעה
נתקבלה תשובה ב- 29 נובמבר, 2013 על ידי מנשה אברמוב <רב אלוף> (173,430 נקודות)
לגוגל לוקח זמן עד שהוא מתעדכן בשינויים בקובץ ה ROBOTS.TXT וגם לאחר לוקח לו זמן עד שהוא מבצע את ההנחיות בקובץ.
כמו כן אם ישנם דפים חזקים שהסתרת בעזרת הקובץ גוגל עדיין יכול לסרוק ולהציג אותם אבל מבלי לקרוא את תוכן הדפים.

אתה יכול להשתמש בכלי ניסיוני ולסרוק כל דף שתרצה באתר, ובפלט לקבל מידע מלא לגבי הכתובות המוסתרות שגוגל זיהה באתר.
מידע על הכלי תמצא פה:
http://googlewebmastercentral.blogspot.co.il/2011/05/troubleshooting-instant-previews-in.html
+1 הצבעה
נתקבלה תשובה ב- 30 נובמבר, 2013 על ידי stass <סרן> (8,800 נקודות)
רק תוספת קטנטונת לכל הדברים הנכונים שכבר נאמרו כאן, robots.txt הוא קובץ *המלצה* לcrowlers במלוא מובן המילה. אין להם שוב "התחייבות" להתנהג כפי שמוגדר בו.
יש לך שאלות בנושא קידום אתרים?

כאן המקום לשאול אותן ולקבל תשובות מקהילת מקדמי האתרים בישראל.

ההרשמה למערכת אינה מצריכה מילוי טפסים ולוקחת פחות מ-5 דקות.

פעם ראשונה כאן? למד איך משתמשים!

4,247 שאלות

7,289 תשובות

9,872 תגובות

13,295 משתמשים

adsense adwords facebook google h1 html nofollow ppc seo url wix wordpress youtube אדוורדס אדסנס אופטימיזציה אופטימיזציה-לעמוד אחסון אינדוקס אינדוקס-בגוגל אנליטיקס אתר אתר חדש אתר-וורדפרס אתרים בחירת-דומיין בלוגים בניית-קישורים גוגל גוגל אדוורדס גוגל אדסנס גוגל אנליטיקס גוגל וובמאסטר גוגל פלוס גוגל-אדסנס גוגל-אנליטיקס דומיין דירוג דירוגים דף נחיתה דף-מעריצים-בפייסבוק החלפת-קישורים העברת אתר העברת-אתר הפניות הפניות 301 הפנייה 301 וורדפרס חנות-וירטואלית יוטיוב ירידה בדירוגים ירידה במיקומים ירידה-בדירוגים כותרות כפילות כתובת-בעברית מאמרים מילות חיפוש מילות מפתח מיקומים בגוגל מיקומים-בגוגל מנועי חיפוש מעבר לאתר חדש מפת אתר סאבדומיין ספאם סריקה עברית עונש מגוגל עמוד-עסקי-בפייסבוק פגיעה-בקידום פייסבוק פרסום פרסום-מאמרים קידום קידום אורגני קידום אורגני בגוגל קידום אתר קידום אתרים קידום בגוגל קידום ממומן קידום-אתרים קידום-ממומן קישורים קישורים יוצאים קישורים נכנסים קישורים פנימיים קישורים-נכנסים קישורים-פנימיים שגיאה שיווק שכפול תוכן תוכן תוכן כפול תוכן משוכפל תוכן-משוכפל תוצאות חיפוש תמונות 301 404
AskPavel Academy קורס קידום אתרים
×

עקבו אחרינו בפייסבוק כדי להישאר מעודכנים

מדריכים, חדשות וטיפים שיעזרו לך בקידום האתר

שאלות קשורות

0 הצבעות
1 תשובה 214 צפיות
שאלה נשאלה ב- 16 יולי, 2013 על ידי אלון (140 נקודות)
0 הצבעות
1 תשובה 102 צפיות
שאלה נשאלה ב- 1 דצמבר, 2012 על ידי דורון <סגן משנה> (2,160 נקודות)
0 הצבעות
1 תשובה 105 צפיות
שאלה נשאלה ב- 10 אוגוסט, 2013 על ידי shairu12 (310 נקודות)
0 הצבעות
2 תשובות 165 צפיות
שאלה נשאלה ב- 29 אפריל, 2013 על ידי sunpedro (180 נקודות)
0 הצבעות
3 תשובות 464 צפיות
שאלה נשאלה ב- 11 מרץ, 2014 על ידי cg (800 נקודות)
...