◀ חדש! הצטרפו לקבוצה הסגורה שלנו בפייסבוק ושאלו את המומחים להצטרפות >>
קולות
+2
625 צפיות

מה עושים כשגוגל מאנדקס לך את דפי החיפוש של החיפוש הפנימי באתר?

על ידי <סגן> 3.6k צפיות
היי
יש לי בעיה קטנה שעדיין לא הצלחתי לפתור. כרגע יש לי מנוע חיפוש באתר, כמו כל אתר נורמלי.
הבעיה היא שכשמחפשים משהו זה יוצר דף, גם אם מה שחיפשנו לא באמת קיים אז הדף שאומר שזה לא קיים יוצר URL חדש ואז גוגל מאנדקס אותו... יש משהו לעשות עם זה? איזושהי דרך למנוע מגוגל לראות את הדפים האלו?
תודה לעונים

2 Answers

קולות
+1
על ידי 180 צפיות
כמובן, תגדיר בקובץ רובוט טקסט שכל מה שמכיל ב URL  את הביטוי search  או q=  
לא לאנדקס, דוגמה קלאסית
http://www.google.com/robots.txt
User-agent: *
Disallow: /search
קולות
0
על ידי <רב אלוף> 178k צפיות
יש דרך נוספת לסנן תכנים שלא יופיעו בגוגל והיא על ידי תג מטה שאומר לגוגל לא לשמור את הדף.
התג הוא:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
כמו כן יש לך צג נוסף כמו NoArchive.
גוגל עדין קורא את התגים האלו ונותן להם חשיבות בהשוואה לרוב תגי המטה שהוא מסנן.
אגב שים לב שכאשר אתה משתמש ב robots.txt יכול לקרות מצב שהקובץ ישתנה או ימחק והיה לך בלגן שלם של תוכן משוכפל באתר[מקרה שקרה לי:P] לכן לפי דעתי עדיף להשתמש בתג המטה הזה ולהימנע משימוש ברובוטס[דעה אישית]
כמובן אני לא פוסל את מה ששמעון הציע אבל חשוב שתכיר גם את השימוש בתג הזה
על ידי
איך אני מגדיר את התג הזה באופו גורף על כלל תוצאות היפוש של האתר?
על ידי <רב אלוף> 178k צפיות
אתה לא אתה מוסיף אותו בכל דף עם תוצאות
על ידי
יש מליון ואחת סוגי חיפוש... אז לכל דף אפשרי אני עושה את זה ידני?
אני מדבר פה על אתר שהוא בסדר גודל של חצי מליון כניסות ביום...
על ידי <רב אלוף> 178k צפיות
אולי באיזשהו שלב בלבלתי אותך...
איפה אמרתי שאתה אמור להוסיף את התג באופן ידני
פשוט איפה שיש פלט של דף חיפוש תוסיף גם את התג כמובן שהבחירה היא שלך אתה יכול גם להשתמש ב robots.txt
אני אישית נכוויתי במקרה כזה לכן המלצתי לך גם על האפשרות הנוספת הבחירה היא שלך ותחשוב מה היה אפקטיבי\נוח יותר עבורך
על ידי
אני חושב שהבנתי אבל אולי לא בדיוק...
כשאתה אומר איפה שיש פלט של תוצאת חיפוש... ישנה אופציה להוסיף פקודה כזו לדף פלט כללי כך שכל תוצאת חיפוש לא תאונדקס?
על ידי 180 צפיות
הי, במידה ואתה לא יודע איזה פרמטר לחסום בקובץ הרובוט טקסט מציע שתבצע את הפעולות הבאות:
גש לאתר ותקיש ביטוי סתמי בשורת החיפוש, דוגמה שעשיתי באתר CNN חיפשתי את הביטוי "google"

http://edition.cnn.com/search/?query=google&intl=true&sortBy=date

אתה יכול לראות שנוצרה ספריה בשם search/ ואז ? query  ברגע שאתה "אומר" לבוטים דרף קובץ הרובוט טקסט disallow, search  אז הדפים האלה לא יתאנדקסו, אתה רק צריך לאתר
את הפרמטר שנוצר בעת החיפוש ואז לחסום אותו.
 בכל מקרה ב webmaster tools  ישנה אפשרות לבחון את קובץ הרובוט טקסט שיצרת וכך תוכל באמת לדעת אם ביצעת נכון.
דבר נוסף, במידה ואינך רוצה לחסום דרך רובוט טקסט, תוכל להגדיר דרך webmaster tools  באפשרות URL parameters לחסום את הפרמטרים הבאים מאינדוקס, רק בזהירות רבה כי שימוש לא מושכל בכלי הזה יכול לחסום לך איזורים רבים באתר, וודא שזיהית את פרמטר החיפוש ורק אז בחר באיזה דרך לחסום אותם.
בהצלחה
שמעון
על ידי <רב אלוף> 178k צפיות
"שנה אופציה להוסיף פקודה כזו לדף פלט כללי כך שכל תוצאת חיפוש לא תאונדקס?"

לא התג הזה יחסום את הדף הספציפי שבו הוא נמצא ולא את כל תוצאות החיפוש לכן עם תשלב אותו בתבנית דפי החיפוש שלך כל דף שיוצג יכיל את התג ולא יגיע למנועי חיפוש.
זהו תג לדף אחד בהשוואה ל robots.txt שמיועד לכתובות\תיקיות באתר
על ידי <סגן> 3.6k צפיות
תודה רבה לכולם על התשובות, ממש עזרתם לי
על ידי <רב אלוף> 178k צפיות
שמחנו לעזור:)

4,334 שאלות

7,366 תשובות

9,934 תגובות

28,458 משתמשים

שאלות קשורות

1 תשובה
קולות
0
2 תשובות
קולות
+2
שאלה נשאלה על ידי 22/11/10 על ידי Muadefet <סגן משנה> 1.2k צפיות
2 תשובות
קולות
0
...