קידום אתרים הבלוג שאלות ותשובות חדשות קורסים כלים
פעם ראשונה כאן?
◀ חדש! הצטרפו לקבוצה הסגורה שלנו בפייסבוק ושאלו את המומחים להצטרפות >>

חסימת רובוטים - robots.txt

0 הצבעות
464 צפיות
שאלה נשאלה ב- 11 מרץ, 2014 על ידי cg (800 נקודות)
היי, אני מעוניין לחסום רובוטים של אתרים נפוצים לחקירת מתחרים כמו ahref, semrush, majestic seo וכו'.
חיפשתי ומצאתי את השמות של הבוטים של האתרים הללו.
הזנתי אותם לקובץ robots.txt שלי אבל עדיין יש אפשרות לסרוק דרכם את האתר. מה עשיתי לא בסדר?
הקובץ שלי נראה כך:

User-agent: *
Disallow: /admin

User-agent: SemrushBot
Disallow: /

User-agent: rogerbot
Disallow: /

User-agent: exabot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: dotbot
Disallow: /

User-agent: gigabot
Disallow: /

User-agent: AhrefsBot
Disallow: /

תשובות 3

0 הצבעות
נתקבלה תשובה ב- 11 מרץ, 2014 על ידי זקן השבט <רב אלוף> (112,290 נקודות)
אינני מומחה בתחום הזה, אבל משום מה, לא נראה לי מתקבל על הדעת שרובוטים לחקירת אתרים מתחרים מצייתים למה שכתוב בקובץ טקסט כמו robots.txt.
0 הצבעות
נתקבלה תשובה ב- 12 מרץ, 2014 על ידי איזי <סגן> (4,610 נקודות)
התפקיד של הקובץ הזה הוא "לבקש" מבוטים לא לזחול באתר שלך או באיזורים ספציפיים בתוכו.
זו לא דרך למנוע מרובוט זה או אחר גישה לאתר.
את זה אתה יכול להשיג על ידי שימוש ב-htaccess או מנגנון דומה על שרת מיקרוסופטי. אתה צריך לחסום את כתובות ה-IP (שעלולות להשתנות עם הזמן כך שיש לעקוב אחרי זה), או על ידי חסימת ה-User-Agaent.

שווה לבדוק אם Incapsula כוללים תכונה כזו, הם חוסמים רובוטים רבים, יכול להיות שניתן לבחור ידנית מה לחסום ולמה לאשר גישה.
נתקבלה תגובה 12 מרץ, 2014 על ידי cg (800 נקודות)
תודה על התגובה. האם ידוע לך כיצד ניתן לבצע חסימה באמצעות קובץ web.config(שרת ווינדואוז)?
0 הצבעות
נתקבלה תשובה ב- 12 מרץ, 2014 על ידי מנשה אברמוב <רב אלוף> (173,430 נקודות)
החסימה הזו, גם לאחר שתצליח, לא תמנע מהמתחרים שלך לבחון אילו אתרים מקשרים אליך.

היא רק תמנע מאנשים לגלות אתרים שאליהם האתר שלך מקשר, לכן גם לאחר שתצליח, עדיין תהיה אפשרות לקבל עליך מידע.

בפן הטכני לרוב הבוטים הללו יש את אותם טווחי ה IP ומעבר ל UA ולקובץ ה robots.txt אפשר לחסום אותם ע"י שלל פתרונות נוספים.
נתקבלה תגובה 13 מרץ, 2014 על ידי cg (800 נקודות)
תודה על התשובה,
אשמח לשמוע דרכים נוספות כיצד ניתן לחסום אותם
נתקבלה תגובה 13 מרץ, 2014 על ידי מנשה אברמוב <רב אלוף> (173,430 נקודות)
לחסום את ה UA ע"י קובץ ה htaccess
או לחסום את טווח האיפי של הבוטים
יש לך שאלות בנושא קידום אתרים?

כאן המקום לשאול אותן ולקבל תשובות מקהילת מקדמי האתרים בישראל.

ההרשמה למערכת אינה מצריכה מילוי טפסים ולוקחת פחות מ-5 דקות.

פעם ראשונה כאן? למד איך משתמשים!

4,247 שאלות

7,289 תשובות

9,872 תגובות

13,300 משתמשים

adsense adwords facebook google h1 html nofollow ppc seo url wix wordpress youtube אדוורדס אדסנס אופטימיזציה אופטימיזציה-לעמוד אחסון אינדוקס אינדוקס-בגוגל אנליטיקס אתר אתר חדש אתר-וורדפרס אתרים בחירת-דומיין בלוגים בניית-קישורים גוגל גוגל אדוורדס גוגל אדסנס גוגל אנליטיקס גוגל וובמאסטר גוגל פלוס גוגל-אדסנס גוגל-אנליטיקס דומיין דירוג דירוגים דף נחיתה דף-מעריצים-בפייסבוק החלפת-קישורים העברת אתר העברת-אתר הפניות הפניות 301 הפנייה 301 וורדפרס חנות-וירטואלית יוטיוב ירידה בדירוגים ירידה במיקומים ירידה-בדירוגים כותרות כפילות כתובת-בעברית מאמרים מילות חיפוש מילות מפתח מיקומים בגוגל מיקומים-בגוגל מנועי חיפוש מעבר לאתר חדש מפת אתר סאבדומיין ספאם סריקה עברית עונש מגוגל עמוד-עסקי-בפייסבוק פגיעה-בקידום פייסבוק פרסום פרסום-מאמרים קידום קידום אורגני קידום אורגני בגוגל קידום אתר קידום אתרים קידום בגוגל קידום ממומן קידום-אתרים קידום-ממומן קישורים קישורים יוצאים קישורים נכנסים קישורים פנימיים קישורים-נכנסים קישורים-פנימיים שגיאה שיווק שכפול תוכן תוכן תוכן כפול תוכן משוכפל תוכן-משוכפל תוצאות חיפוש תמונות 301 404
AskPavel Academy קורס קידום אתרים
×

עקבו אחרינו בפייסבוק כדי להישאר מעודכנים

מדריכים, חדשות וטיפים שיעזרו לך בקידום האתר

שאלות קשורות

0 הצבעות
1 תשובה 161 צפיות
שאלה נשאלה ב- 21 פברואר, 2014 על ידי Nitzang (200 נקודות)
0 הצבעות
2 תשובות 124 צפיות
שאלה נשאלה ב- 4 פברואר, 2014 על ידי דלווין (280 נקודות)
0 הצבעות
3 תשובות 237 צפיות
שאלה נשאלה ב- 28 נובמבר, 2013 על ידי aavichai (590 נקודות)
0 הצבעות
1 תשובה 214 צפיות
שאלה נשאלה ב- 16 יולי, 2013 על ידי אלון (140 נקודות)
0 הצבעות
1 תשובה 166 צפיות
שאלה נשאלה ב- 1 ינואר, 2013 על ידי bitontal (120 נקודות)
...