◀ חדש! הצטרפו לקבוצה הסגורה שלנו בפייסבוק ושאלו את המומחים להצטרפות >>
קולות
+1
345 צפיות

למה קובץ robots.txt לא חוקי אצלי?

על ידי <סגן> 4.6k צפיות
נערך על ידי
מה זה אומר?

קובץ robots.txt הורד מצב
http://www.x.co.il/robots.txt לפני 6 שעות 200 (הצלחה)

תוצאות ניתוח
ערך תוצאה
שורה 0: http://www.x.co.il/robots.txt
תוצאה
נראה שקובץ robots.txt אינו חוקי
על ידי <סגן אלוף> 21.3k צפיות
התופעה שאתה מתאר בדרך-כלל מאפיינת מצב שבו אין לך קובץ robots.txt וגוגלבוט מגיע לדף שגיאה ידידותי (Friendly 404) שמחזיר 200OK. הפתרון הוא, כמובן, להעלות קובץ רובוטס תקין, שאתה יכול ליצור בעזרת WMT.

באותה הזדמנות, אתה צריך לפתור בעיה אחרת שיש לך מן הסתם: דפי שגיאה אצלך לא מחזירים 404 אלא 200. כלומר, לגולש אתה מודיע שהדף לא קיים, אבל מבחינת גוגל יש שם דף תקין. קוראים לזה Soft 404 ובטח יש לך כבר (או שיהיו לך בהמשך) דיווחים ב-WMT גם על הבעיה זו.

2 Answers

קולות
–1
על ידי <רב אלוף> 177k צפיות
או שהקובץ ריק \לא-קיים או שיש שגיאה תחבירית כלשהי
יצרת קובץ robots  בשרת?
בהנחה שהכתובת שלך היא x.co.il אני לא רואה שהקובץ קיים בכלל:X
קולות
+1
על ידי 900 צפיות
תיצור פשוט קובץ TXT ריק לחלוטין ותעלה.
לאחר מכן אחרי שתראה שגוגל מזהה אותו תנסה לערוך אותו לעומק

4,329 שאלות

7,363 תשובות

9,928 תגובות

20,657 משתמשים

שאלות קשורות

1 תשובה
קולות
0
שאלה נשאלה על ידי 1/01/21 על ידי guy waldman <סגן משנה> 1.0k צפיות
2 תשובות
קולות
0
שאלה נשאלה על ידי 23/04/12 על ידי rotem 120 צפיות
1 תשובה
קולות
0
שאלה נשאלה על ידי 16/07/13 על ידי אלון 140 צפיות
3 תשובות
קולות
0
שאלה נשאלה על ידי 11/03/14 על ידי cg 800 צפיות
...