Question

באחד האתרים שאני מתחזק גוגל מחזיר את התשובה הבאה בתוצאת החיפוש הראשונה על שם החברה:
A description for this result is not available because of this site's robots.txt – learn more.

קובץ robots.txt לא קיים, אך זו מערכת WordPress שיוצרת אותו דינאמית וזה תוכנו:


User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

כיצד מאפשרים לגוגל לזחול באופן תקין באתר?

תודה,
איזי

Answer 1

לרוב מערכות התוכן יש רשימת דפילטיבית של תיקיות שהן מחליטות להסתיר ממנועי החיפוש.
לרוב זה תלוי בהגדרות הפרטיות של מערכות התוכן, או בתוספי SEO למיניהם.

בחלק מהמקרים מדובר בתיקיות שלא ממש נחוצות כמו תיקיות ניהול ותיקיות שיכולות להכיל תכנים רגישים כמו תוספים שמותקנים במערכות התוכן.

האם השגיאה שאתה מקבל היא בדף מרכזי,שחשוב שיופיע במנוע החיפוש, אם כן פנה למתכנת האתר בכדי שיטפל בבעיה
יכול להיות שאת השגיאה אתה רואה בדפים פנימיים שפחות חשובים, ובמצב כזה אין סיבה לחשוש.

כתובת האתר ודוגמה לדף חסום תעזור לנו לספק תשובה יותר נקודתית.