◀ חדש! הצטרפו לקבוצה הסגורה שלנו בפייסבוק ושאלו את המומחים להצטרפות >>
קולות
0
4.7k צפיות

האם עמוד שאינו גלוי לכולם נסרק ע"י גוגל ?

על ידי 650 צפיות
האם עמוד בסטטוס תצוגה "פרטי" או "מוגן בסיסמא" נסרק ע"י גוגל ? אתר WP
ואם לא, האם יש דרך לאפשר לעמוד להסרק גם אם אינו אמור להופיע בחיפוש חופשי ?
על ידי 650 צפיות
תודה על התיחסותכם. אני ארחיב כדי למקד, ישנם עמודים באתר שהגישה אליהם, רק לנרשמים להדרכה, באמצעות קישור שנשלח לנרשמים.  (עמודים אלו כוללים קישור יוצא גם לעמודים אחרים באתר). בשאלתי על סריקה ע"י גוגל ניסיתי להבין האם יש דרך לחסום עמודים ספציפים לצפייה ע"י לא רשומים, ועדיין לאפשר סריקה של דפים אלו לקידום האתר ? או שחסימת גולשים (אף חלקית) משמעה חסימה מגוגל כך שהם אינם תורמים לקידום ?

4 Answers

קולות
0
על ידי <סגן משנה> 1.5k צפיות
אם אני מבין נכון אתה מעוניין שעמוד שאין ממנו קישור יסרק על ידי גוגל?
בעיקרון קרולר של גוגל מצליח להגיע גם לדפים שאין מהם קישורים דרך האתר שלך (דרך קישורים אחרים ברשת, דרך תיקיות בשרת שלך אולי..), אם אתה רוצה לוודא שהוא יסרק תכניס אותו לרשימת הסייטמפ שלך - sitemap.xml - קובץ שצריך להמצא בתיקיית הroot.
אלה ההוראות של גוגל לאיך לעשות את זה:
https://support.google.com/webmasters/answer/183668?hl=en

אתה לא צריך לבנות מחדש, יש כלים אוטומטיים כמו זה - פשוט מאד:
https://www.xml-sitemaps.com

אבל אתה צריך לזכור שדף שאין ממנו קישור לא מקבל כוח כמו דף שמקבל קישור מעמוד פנימי או יותר מזה, מעמוד הבית.
לכן באופן טבעי אתה צריך לצפות הרבה פחות דירוגים וטרפיק לדף הזה.
קולות
0
על ידי <רב אלוף> 112k צפיות
בניגוד לשגב ויינטראוב, אני דווקא הבנתי שמדובר בדף שאין אליו (!) קישור (לא מאתר אחר, לא מדף אחר בתוך האתר ולא מדף מפת האתר), ולא ממנו החוצה. אז מה איכפת לך שלא ייסרק?

ברור שדף מוגן בסיסמא לא יכול להיסרק.
קולות
0
על ידי <סרן> 5.4k צפיות
אפשר לבצע "טריק" קטן, לא מושלם, אבל יכול לעבוד.
תוסיפי את העמודים מוגני הסיסמה ל-Sitemap כך שגוגל יסרוק אותם. הוא כמובן לא יוכל היות שהם מוגנים בסיסמה. חפשי את כתובות ה-IP של העכביש של גוגל ועבור כתובות אלו אפשרי גישה ללא סיסמה לאותם עמודים.
על ידי <רב אלוף> 112k צפיות
האם כתובת ה-IP של עכביש הסריקה של גוגל היא קבועה לאורך זמן רב? ומה אם יש לגוגל מספר עכבישים, שכל אחד מהם סורק את הדף לצרכים שונים?
על ידי <רב אלוף> 178k צפיות
הטריק הנ"ל נראה כמו מיסוך, הייתי שוקל בכובד ראש לפני שהייתי מטמיע פתרון כזה במערכת האתר.
על ידי <סרן> 5.4k צפיות
קישור לרשימת כתובות IP של "עכבישים" פופולריים.
קולות
0
על ידי <רב אלוף> 178k צפיות
בדרך כלל הדפים הללו פתוחים רק למשתמשים מאומתים.
צריך לבדוק טכנית מה דף כזה מחזיר לגוגל בכדי להבין אם הוא יופיע ומה הוא יחזיר לבוט.

להערכתי(מבלי בדיקה) גוגל לא יגיע לדפים הללו, אם כן הוא יתקל ב 404\403.

בהחלט אפשר לאפשר לדף הזה להיסרק ולהציג תוכן לגולש, אפשר להטמיע בו תגית NOINDEX, הוא יסרק על ידי הבוט, אבל לאחר הסריקה לא יופיע בתוצאות החיפוש של גוגל.
על ידי <רב אלוף> 112k צפיות
הסתקרנתי לדעת האם כתובת ה-IP של העכביש קבועה לאורך זמן רב.

מכל מקום, אני מבין מתשובתך שהוא ימשיק לסרוק רק כדי לוודא שה-NOINDEX לא שונה בינתיים. מה אתה אומר? על כל פנים, לא הבנתי מה רוצה השואל להשיג מהסריקה השוטפת, ומה הוא באמת מצליח להשיג אם מתברר שזה רק כדי לוודא שה-NOINDEX לא שונה.
על ידי <רב אלוף> 178k צפיות
מבדיקה בקבצי הלוג של האתרים שאותם אני בוחן אני רואה שיש טווחי אייפי קבועים לבגשות המגיעות עם ה UA של גוגלבוט.

גם לי זה מעט לא ברור, טכנית, גוגל צריך לסרוק את קוד ה HTML של הדף בכדי להבין וליישם את תגיות המטה שבו.

4,352 שאלות

7,382 תשובות

9,947 תגובות

2,014 משתמשים

...