Question

היי, אני מעוניין לחסום רובוטים של אתרים נפוצים לחקירת מתחרים כמו ahref, semrush, majestic seo וכו'.
חיפשתי ומצאתי את השמות של הבוטים של האתרים הללו.
הזנתי אותם לקובץ robots.txt שלי אבל עדיין יש אפשרות לסרוק דרכם את האתר. מה עשיתי לא בסדר?
הקובץ שלי נראה כך:

User-agent: *
Disallow: /admin

User-agent: SemrushBot
Disallow: /

User-agent: rogerbot
Disallow: /

User-agent: exabot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: dotbot
Disallow: /

User-agent: gigabot
Disallow: /

User-agent: AhrefsBot
Disallow: /

Answer 1

אינני מומחה בתחום הזה, אבל משום מה, לא נראה לי מתקבל על הדעת שרובוטים לחקירת אתרים מתחרים מצייתים למה שכתוב בקובץ טקסט כמו robots.txt.

Answer 2

התפקיד של הקובץ הזה הוא "לבקש" מבוטים לא לזחול באתר שלך או באיזורים ספציפיים בתוכו.
זו לא דרך למנוע מרובוט זה או אחר גישה לאתר.
את זה אתה יכול להשיג על ידי שימוש ב-htaccess או מנגנון דומה על שרת מיקרוסופטי. אתה צריך לחסום את כתובות ה-IP (שעלולות להשתנות עם הזמן כך שיש לעקוב אחרי זה), או על ידי חסימת ה-User-Agaent.

שווה לבדוק אם Incapsula כוללים תכונה כזו, הם חוסמים רובוטים רבים, יכול להיות שניתן לבחור ידנית מה לחסום ולמה לאשר גישה.

Comments

תודה על התגובה. האם ידוע לך כיצד ניתן לבצע חסימה באמצעות קובץ web.config(שרת ווינדואוז)?

Answer 3

החסימה הזו, גם לאחר שתצליח, לא תמנע מהמתחרים שלך לבחון אילו אתרים מקשרים אליך.

היא רק תמנע מאנשים לגלות אתרים שאליהם האתר שלך מקשר, לכן גם לאחר שתצליח, עדיין תהיה אפשרות לקבל עליך מידע.

בפן הטכני לרוב הבוטים הללו יש את אותם טווחי ה IP ומעבר ל UA ולקובץ ה robots.txt אפשר לחסום אותם ע"י שלל פתרונות נוספים.

Comments

תודה על התשובה,
אשמח לשמוע דרכים נוספות כיצד ניתן לחסום אותם

---

לחסום את ה UA ע"י קובץ ה htaccess
או לחסום את טווח האיפי של הבוטים