כידוע, עולם התוכן נמצא תחת מתקפה. זחלני בינה מלאכותית קוראים אתרים, מסכמים את המידע אבל מעט מאד גולשים לוחצים על קישורים. התוצאה: ירידה חדה בתנועה ממודלי AI, פגיעה בפרסום הדיגיטלי, ואיום ממשי על המודל הכלכלי של יצרני התוכן. והיום, מגיעה התשובה הטכנולוגית הראשונה.
רק לפני שבועיים מנכ”ל Cloudflare, מתיו פרינס, אמר בראיון ל-Axios:
“הבינה המלאכותית הורגת את המודל העסקי של האינטרנט. אנשים סומכים על ה-AI יותר מאי פעם ולכן הם לא טורחים לקרוא את התוכן המקורי.”
אז אתמול Cloudflare הציעה פתרון מהפכני לבעיה עם השקת מודל עסקי ראשון מסוגו בשם Pay per Crawl. המנגנון החדש יאפשר לראשונה לבעלי אתרים לגבות תשלום מזחלני בינה מלאכותית (כמו אלו של OpenAI ,Anthropic וכו’) בתמורה לגישה לתוכן באתר. מדובר בתוספת טכנולוגית לארכיטקטורת ה-Web הקיימת שמתבססת על הקוד ההיסטורי HTTP 402 Payment Required שלא היה בשימוש נרחב עד היום.
אז איך זה הולך לעבוד ומה תהיה ההשפעה על עולם ה-GEO? תמשיכו לקרוא…
ההסכם עם יוצרי התוכן הופר. לראשונה.
לפני כמעט שלושים שנה, שני סטודנטים מאוניברסיטת סטנפורד התחילו לעבוד על פרויקט שנקרא Backrub. הפרויקט הזה הפך, כמובן, לגוגל. אבל הוא היה הרבה יותר מזה: גוגל למעשה הניחו את היסודות למודל העסקי של האינטרנט.
ההסכם הלא כתוב בין גוגל לבעלי האתרים שיצרו את התוכן היה פשוט:
תנו לנו להעתיק את התוכן שלכם כדי להציג אותו בתוצאות החיפוש, אנחנו נשלח לכם תנועה ואתם, בתור היוצרים תוכלו להפיק ערך מהתנועה הזאת בשלוש דרכים: להציג פרסומות, למכור מנויים, או פשוט ליהנות מהידיעה שמישהו קורא את מה שכתבתם.
גוגל יצרה את התשתית כולה כדי לתמוך בהסכם: החיפוש ייצר טראפיק, רכישת DoubleClick והקמת AdSense עזרו להכניס ממנו כסף ורכישת Urchin הפכה ל-Google Analytics שאפשרה למדוד הכל.
הכל תקתק, העסקה עבדה לשני הצדדים.
במשך כמעט שלושה עשורים זו הייתה העסקה שהחזיקה את הרשת בחיים.
אבל עכשיו העסקה הזאת מתערערת.
לראשונה בתולדותיה, מספר החיפושים בגוגל נמצא בירידה מתמדת, ומה מחליף אותם? בינה מלאכותית.
מתיו פרינס, מנכ”ל Cloudflare, צייר תמונה ברורה:
לפני עשר שנים, גוגל סרקה 2 עמודים על כל גולש 1 ששלחה לאתר.
לפני חצי שנה, היחס כבר עמד על:
- גוגל: יחס של 6:1
- OpenAI: יחס של 250:1
- Anthropic: יחס של 6,000:1
והיום?
- גוגל: יחס של 18:1
- OpenAI: יחס של 1,500:1
- Anthropic: יחס של 60,000:1
המגמה ברורה, ההסכם ההדדי של גוגל לאט לאט מתפורר ויוצרי התוכן נשארים מחוץ למשוואה.
איך הפתרון של Cloudflare הולך לשנות את זה?
כשחושבים על זה הפתרון די גאוני. במקום לבחור בין שתי אפשרויות – או לחסום את כל הזחלנים או לאפשר להם גישה חופשית, בעלי אתרים יכולים מעתה לבחור בנתיב שלישי: לדרוש תשלום.
עבור כל בקשת תוכן מצד זחלן AI, השרת מחזיר תגובת 402 עם מחיר לגישה. אם הזחלן מוכן לשלם, הוא שולח בקשת גישה נוספת עם כוונת תשלום, ומקבל את התוכן עם תגובת 200. אם לא, אין גישה.
בעלי אתרים יוכלו להגדיר בפלטפורמה של Cloudflare שלוש אפשרויות שונות לכל זחלן:
- לאפשר גישה חינמית (HTTP 200)
- לחייב לפי מחיר קבוע לבקשה (HTTP 402 עם פירוט מחיר)
- לחסום כליל, אך עם הצהרה שמצב התשלום אפשרי בעתיד (HTTP 403)
במילים פשוטות, אנחנו מדברים על API חדש בין תוכן לבין מודלים גנרטיביים, שבו התוכן הוא לא רק מקור ידע אלא גם נכס בתשלום.
חשוב לזכור שלא מדובר בסטארטאפ בגראז’ שרוצה לעשות מהפכה באינטרנט.
לפי נתוני החברה, Cloudflare מספקת כיום תשתית CDN למעל 20% מהאתרים באינטרנט (!), כולל אתרים של גופים תקשורתיים, פלטפורמות תוכן, מותגים ומדינות. עשרות מליוני אתרים, ביניהם Reddit, Medium, Shopify, Udemy, The Guardian ועוד, עוברים דרך התשתית של Cloudflare. זה אומר דבר פשוט: אם Cloudflare רוצה, היא יכולה לעצור את הגישה של זחלני AI למידע בקנה מידה עצום.
מעבר לשליטה על תעבורת אתרים בקנה מידה עצום, Cloudflare גם יודעת בדיוק מי מבקר באתרים האלה ובאיזו תדירות.
לפי נתוני החברה, Bytespider של ByteDance (הבעלים של TikTok) נחשב לזחלן ה-AI הכי פעיל – הוא ניגש ל-40.4% מהאתרים שמוגנים ע״י Cloudflare.
אחריו נמצאים GPTBot של OpenAI עם 35.5%, ו־ClaudeBot של Anthropic עם 11.2%. מעניין לציין ש־GPTBot, למרות שהוא נחשב לזחלן ה״מיינסטרימי״ ביותר, הוא גם אחד מהבוטים שנחסמים בתדירות הכי גבוהה.
Cloudflare מציינת גם שרבים מהפאבלישרים כלל לא מודעים לכך שזחלני AI מבקרים אצלם בתדירות גבוהה, ושמדובר בתופעה נרחבת יותר ממה שנדמה.
איך Pay per Crawl ישפיע על SEO?
קודם כל חשוב לדייק, Cloudflare לא חוסמת אוטומטית את BingBot, Googlebot או זחלנים של מנועי חיפוש קלאסיים.
העדכון מתמקד במודלי AI. כלומר זחלנים של חברות כמו OpenAI ו-Anthropic , שנועדו לאסוף מידע עבור מודלים גנרטיביים ולא למטרות חיפוש רגיל.
עם זאת, Cloudflare נותנת לכל בעל אתר את האפשרות לחסום או לדרוש תשלום גם ממנועי החיפוש הקלאסיים וזה כוח שלא היה קיים קודם.
האם בעלי אתרים יעשו בזה שימוש? כנראה שלא בטווח הקרוב, בגלל החשש מאובדן טראפיק אורגני יקר ערך.
אומנם בחודש שעבר הוול סטריט ג’ורנל דיווח על ירידה בטראפיק האורגני שהפאבלישרים חווים בגלל חיפושים ב-AI, אבל עדיין הטראפיק האורגני מגוגל עומד על עשרות אחוזים מסך עוגת הטראפיק שלהם.
במילים פשוטות, כל חסימה של גוגל מסכנת מקור תנועה חיוני.
זו גם הסיבה שגוגל, בשונה ממודלי ה-AI הגנרטיביים, נהנית מ”מעמד מיוחד”, מעין חסינות שקטה. יש לי תחושה שאם היו חוזרים בזמן לרגע שבו התחיל ה-SEO, לא בטוח שהיו נותנים לגוגל גישה חופשית לאנדקס את הרשת כדי לא ליצור את התלות העתידית הזאת, אבל זו כמובן רק דעה אישית 🙂
האם זה ישפיע על אופטימיזציה למנועים גנרטיביים (GEO)?
כן, והרבה יותר עמוק ממה שנראה ממבט ראשון.
כדי להבין את הנקודה, ניקח לדוגמה את ChatGPT, שכידוע מבצע חיפושים דרך Bing. חשוב להבחין בין שני תהליכים שונים שמתרחשים מאחורי הקלעים:
- אימון המודל (Training Data): עוד לפני שמתבצעים חיפושים, זהו השלב שבו מודלי השפה (LLMs) נבנים מלכתחילה. בשלב זה, המודל “לומד את העולם” על בסיס מאגר עצום של טקסטים, תמונות, קוד ומידע מאתרים ברחבי האינטרנט. הנתונים נאספים על ידי סורקים ייעודיים כמו GPTBot של OpenAI או AnthropicBot של Anthropic, וזחלנים דומים של גוגל ומטא. עוד על תהליך האימון באתר של OpenAI.
- חיפוש מידע בזמן אמת (Real-time Retrieval): לאחר שהמודל אומן, הוא יכול לגשת למידע עדכני באמצעות חיפוש חיצוני. במקרה של ChatGPT בגרסת הפרימיום זה נעשה דרך האינטגרציה עם מנוע החיפוש של Bing.
אז לכאורה, אפשר לטעון: “אם האתר שלי לא חסם את בינג, ChatGPT ימשיך לתקשר איתו בשלב החיפוש אז מה הבעיה?”
מצד שני, כאן נכנס ההבדל הקריטי: שלב האימון הוא מה שבונה את הידע הכללי של המודל (את ההבנה שלו בשפה, בתחומים מקצועיים, בהקשרים ובמונחים). החיפוש בזמן אמת הוא תוסף מידע נקודתי ולא תחליף לידע הכללי של המודל.
ולכן, אם יותר ויותר אתרים חוסמים את הגישה לזחלני AI, שלב האימון נפגע ואז נוצרות ההשפעות הבאות:
- ירידה באיכות התשובות, גם כשיש חיפוש בזמן אמת, כי המודל לא מכיר לעומק את התחום, את סוגי השאלות או את ההקשרים גם אם הוא מצליח “להציץ” באתר מסוים דרך Bing או Brave.
- העדפה אוטומטית למקורות שפתוחים לאימון כי גם אם מודל אומן על מקורות מסוימים, הוא ייטה “לסמוך” עליהם יותר גם בשליפה בזמן אמת, כי הוא מזהה את השפה והסגנון. לעומת זאת, אתרים חדשים שהוא לא “פגש” במהלך האימון עלולים לקבל משקל נמוך יותר בתשובה או להידחק החוצה לטובת מקורות מוכרים.
- אפקט מצטבר על GEO בטווח הארוך: ככל שיותר אתרים מגבילים גישה באמצעות Pay per Crawl, מאגר הידע שהמודלים נבנים עליו הופך מצומצם ומוטה. אתרים שלא היו זמינים בשלב האימון פשוט לא ייכנסו ל”תודעה” של המודל, גם אם יהיו פתוחים בעתיד ולכן לא יופיעו בתשובות או יקבלו משקל נמוך.
בשורה התחתונה, שלב החיפוש אולי נשאר פתוח אבל בלי בסיס ידע טוב, המודלים פשוט לא ידעו לחפש נכון, לא יבינו מה חשוב, ולא יציגו אתרים שלא נחשפו אליהם מעולם. קידום ב־GEO לא מסתכם רק בנראות בחיפוש, אלא גם בשאלה האם המודל בכלל מכיר אותך, סומך עליך, ומבין אותך. וזה מתחיל באימון.
