שלום חברים,
בניתי אתר במערכת וורדפרס והגשתי את האתר בווב מסטר טולס. אני מקבל הודעת שגייה שישנה חסימה של מנועי חיפוש לסרוק את האתר. הבנתי שאני צריך להעלות קובץ robots.txt לHTML בCpanel.
ברשותכם 2 שאלות:
1. אם ישנה חסימה בגלל הקובץ robots.txt אז מדוע אני לא מוצא את הקובץ בשרת?, כלומר איכן הקובץ הזה נמצא?
2. מה צריך לשנות בקובץ כדי שגוגל יתחיל לסרוק לי את האתר?
זו הטקסט שמופיע בקובץ (לפי גוגל ווב מאסטר טולס)
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap:
http://culinartica.co.il/sitemap.xml.gz
תודה רבה ושבוע טוב לכולם
