לפני מספר ימים הפנה אותי ידיד וותיק לבעיה מעניינת, שאותה לא הצלחתי לפתור עד כה. אבל אני עובד על זה… כמובן שבסוף, אולי אצליח איכשהו לשחד אותו (תמורת איזה לינק איכותי 
) לגלות את הפתרון ואפרסם אותו כאן.
בכל מקרה, לאחר פרסום פוסט זה, אני לא אציג את התגובות עד שאפרסם את הפתרון (כרגיל בנוהל). אגב, כפי שהבטחתי החידה הפעם בדרגת "קשה"… ENJOY!
mxak.org הוא אתר שכותרתו היא:
ואכן, מדובר בארגון ללא מטרות רווח, שהוקם במטרה לשרת את קהילת הימאים באלסקה. באתר יש מידע ושירותים, לצורך ייעול שיטות העבודה, חדשות מהתחום ותוכן נוסף שמטרתו לסייע במניעת סיכוני בטיחות. אבל מה שכן מוסווה היטב ולא ניתן להבחין בו כלל, היא העובדה המפתיעה כי באתר ישנו כלי שמאפשר יצירת דפי ואתרי מראה (!). כן כן, שכפול תוכן של דף או אתר שלם. קצת מזכיר את דף המראה של מקרה אולג'ובס עליו הוענש…
איך משכפלים דפים באמצעות אתר זה?
פשוט מאד, יש להדביק בשורת הכתובת את הביטויי הבא:
www.mxak.org/default.cfm?res=762&Company_id=648441&PageUrl=//
ולהוסיף לאחר שני הסלאשים את כתובת הדף אותו רוצים לשכפל. הנה דוגמא לשכפול של הבלוג שלי:
www.mxak.org/default.cfm?res=762&Company_id=648441&PageUrl=//
www.askpavel.co.il/blog/
ניתן לשים לב כי גם הקישורים שבגוף האתר המשוכפל שנוצר, מובילים לדף משוכפל פנימי עם כתובת חדשה שנוצרה. הבעיה היא שדפים משוכפלים אלו מתאנדקסים בקלות (אם מקשרים אליהם מאיפשהו), וכך למעשה ניתן ליצור מקור משוכפל פיקטיבי. ולראייה, ניתן להיווכח לאלפי אתרים מאונדקסים ששוכפלו בדרך זו:
איך שכפול שכזה יכול לפגוע בי?
אומנם נדרש מאמץ וכושר זריזות לשם כך, אבל בהחלט אפשרי לפגוע במתחרים באמצעות שימוש בשיטה זו. נניח שהמתחרה שלי יצר תוכן כלשהו באתר שלו, לדוגמא מאמר מקצועי. אם אספיק ליצור דף שכפול בדרך זו ולקשר אליו ממקור כלשהו (שנסרק בתדירות גבוהה ע"י הבוטים) כך שיתאנדקס לפני המאמר המקורי – הרי שהמאמר המקורי עלול להיחשב כשכפול תוכן בעיני גוגל. כך שלמעשה האתר המקורי, זה שיצר את המאמר, לא יקבל ערך SEO מוסף ממנו כלל. באסה!
ולסיכום, הנה החידה:
איך אפשר לחסום את השירות הזה בקוד של אתר כלשהו (אני מניח שזה דורש ידע בתכנות), כך שלא ניתן יהיה לשכפל ממנו דפים כלל?
תוספת:
פתרון
מצטער על העיקוב, היה לי קצת עומס בימים האחרונים. כעת, לאחר מתן הזדמנות לחשוב על הבעיה, אני יכול לפרסם את הקרדיט למקור החידה (תודה ג'קי). המקור מכיל את כל ההסבר לתופעה.
הפתרון הוא הוספת קטע קוד (ברמת השרת).
דוגמא: את הדף הזה: seo-simple.co.il/af-tools.asp , לא ניתן לשכפל בשיטה שהצגתי.
הפותרים:
עידן בן אור
הדר גיל-רועי
oxeleo (חסרה כתובת אתר)
אלברט אמיר
קראו פוסטים נוספים שקשורים לנושא
הצטרף אל 2,500+ מקדמי אתרים ומקצועני שיווק באינטרנט, הזוכים לקבל עדכון שוטף על תוכן עדכני ובלעדי שמתפרסם כאן בבלוג AskPavel:
הרשם לעדכונים
העמוד בפייסבוק
ניתן ע"י שימוש בHTACCESS, צריך להביא את הקוד המדוייק? (זה ייאלץ אותי לפשפש עמוק עמוק בזכרון…)
הגב לתגובה זו >
או קיי.
דוגמה לאתר שרץ על שרת אפצקי. פותחיל קובץ htaccess ומגדירים שם שאת האתר יהיה ניתן לראות כאשר גולשים בו ולא מציגים אותו ממקור אחר. דוגמה דומה עובדת בשיטת הגנת תמונות שלא יהיה מצב של hot link שלמעשה זה גניבת תעבורה בנוסף.
דוגמה מסויימת של מתן הרשאות הצגת תמונה למספר אתרים שאתה כבעל אתר נותן להם גישה.
כמובן בשיטה דומה אתה יכול להגן על האתר שלך.
לגבי שרתי IIS, אני מאמין שאפשר לעשות דרך isapi rewrite.
מידע נוסף אודות אובייקט הזה ניתן לקרוא כאן
http://www.isapirewrite.com/
בהצלחה, אלברט אמיר.
הגב לתגובה זו >
אפשר למנוע גישה מ-IP מסויים (או כתובת) לאתר שלך ע"י הגדרת htaccess בצורה נכונה. אפשר גם לבצע את הבדיקה בעזרת סקריפט צד שרת (PHP לדוגמה) ולבדוק את כתובת המתחבר. אם זה כתובת של אתר המראה – לא להציג תוכן.
הבעיה היא, כמובן, שצריך להחזיק ברשימה של אתרי מראה ולהתעדכן מייד במקרה ונוצר אתר מראה חדש.
בהתחלה ניסיתי פשוט לבדוק את ה-URL ואם זה לא כתובת האתר שלי, לא להציג נתונים, אבל זה לא עבד. אם אני בודק את את ה-URL בסקריפט צד שרת, אז הוא מציג את הכתובת שלי הנכונה בכל מקרה, כי הבדיקה מתבצעת לפני שליחת הנתונים לאתר מראה. מצד שני, בדיקת URL בצד לקוח בעזרת javascript כן עובדת, כי מתבצעת לאחר שליחת העמוד, אבל זה לא עוזר במקרה של מנועי חיפוש.
הגב לתגובה זו >
פבל זו שאלה טובה מואד – והפיתרון הוא לא תכנותי – אבל מצריך יצירתיות. אני מנוע מלפרסם את הפיתרון – זה מסוג הדברים שאנחנו גובים עבורם לא מעט כסף.
אך למען האמת זה לא כזה מסובך – ולא היתי מגדיר את זה "קשה" אלא "בינוני +"
הגב לתגובה זו >
הי פבל,
קודם כל, טוב לדעת על ניסיונות ספאם כאלו.
עם זאת, מכיוון שרק אתרים שכתובים בקולדפיוז'ן יכולים לנצל את הפונקציה הזאת, ויש מעט מאד אתרים כאלו – אני לא בטוחה ששווה להתאמץ ולנסות לחסום אותם ברמת הקוד (כי לפי מה שהבנתי, הם לא שולחים רובוט שיסרוק דפים, שאותו אפשר לחסום – אלא עושים זאת בצורה ידנית או חצי אוטומטית).
מבחינת SEO, אני לא צופה שיהיה לזה השפעה ממשית, מכיוון שגוגל בטח יקלוט את העסק מאד מהר ולא יתן לאתר ההוא קרדיט על התוכן. מה גם שהם נוטים לשכפל בעיקר עמודי בית – ולא מאמרים עם תוכן ייחודי של ממש.
אם אני הייתי גוגל, הייתי מעיפה אותם מהאינדקס כעונש, או לפחות שמה את הקישורים האלו ב-supplemental, וקצת מוזר שזה לא קרה עדיין (אבל אני לא יודעת מתי התופעה התחילה).
הגב לתגובה זו >
נקודה מעניינת פבל! לדעתי מדובר באתר שמשתמש בפונקציות ColdFusion.
יחד עם זאת, לדעתי לא נשקפת כל סכנה לרלוונטיות התוצאות שכן גוגל יזהה את השיטה ו"ילמד" מה היא עושה…
הגב לתגובה זו >
מה עם הפתרון שלך לחידה פבל?
אני עוד מחכה
הגב לתגובה זו >
מצטער על הדיליי, פרסמתי את המקור+פתרון.
אגב רועי: אני מבין שאתה מנוע מלפרסם את הפתרון (הלא תכנותי) מסיבות אסטרטגיות, אם כי זה מאד מסקרן אותנו לשמוע מהו…או לפחות לקבל איזה רמז
הגב לתגובה זו >
פוסט קידום אתרים לעניין
הגב לתגובה זו >
בהחלט פוסט שהוסיף ליד שלע
הגב לתגובה זו >
האם זה עדיין רלוונטי? אפשר לפרסם פיתרון?
הגב לתגובה זו >
אם תשים לב למעלה, כבר פרסמתי פתרון. אבל אתה מוזמן לפרסם את דעתך מבלי להציץ בפתרון
הגב לתגובה זו >
לפי דעתי בדיקה פשוטה של IP של מבקש הדף בעזרת שפת צד שרת יכול לפתור את הבעייה…
הגב לתגובה זו >
תמיד טוב ללמוד דברים חדשים. תודה על המידע
הגב לתגובה זו >