AI Crawlers ו-llms.txt: איך אני מטפל בבוטי AI באתרי וורדפרס

עד לפני כמה שנים, השאלה מי סורק את האתר הייתה פשוטה: Googlebot, Bingbot ועוד כמה כלי SEO. היום בלוגים של כל אתר וורדפרס מופיעים גם GPTBot, ClaudeBot, PerplexityBot ועוד שמות שלא היו קיימים קודם. חלקם קוראים את התוכן כדי לאמן מודלים, חלקם כדי לצטט אתכם בתשובות, וחלקם נכנסים רק כשמשתמש בשר ודם שואל שאלה.

במדריך הזה אני מסביר מי הם ה-AI Crawlers המרכזיים, מה כל אחד מהם עושה עם התוכן שלכם, איך מחליטים מה לחסום ומה לאפשר לפי סוג העסק, ומה באמת ידוע על llms.txt. כולל שלושה קובצי robots.txt מוכנים להעתקה ובדיקות שכדאי לעשות אחרי כל שינוי.

מה זה AI Crawlers?

AI Crawlers הם בוטים של חברות בינה מלאכותית, כמו OpenAI, Anthropic, Google ו-Perplexity, שנכנסים לאתרים וקוראים את התוכן שלהם. יש שלושה סוגים: בוטים שאוספים תוכן לאימון מודלים, בוטים שבונים אינדקס למנוע חיפוש מבוסס AI, ובוטים שנכנסים לעמוד בזמן אמת כשמשתמש שואל שאלה. את רובם אפשר לנהל דרך robots.txt.

ההבחנה בין שלושת הסוגים היא הדבר הכי חשוב במדריך. חסימה של בוט אימון וחסימה של בוט חיפוש הן שתי החלטות שונות לגמרי, עם תוצאות שונות לגמרי.

1. מה השתנה בחיפוש מאז שהגיעו ה-AI Crawlers

1.1 מקליק לציטוט

משתמש שפעם קיבל עשרה קישורים בגוגל ולחץ על אחד מהם, מקבל היום לא מעט פעמים תשובה מוכנה: מ-AI Overviews בגוגל, מ-ChatGPT, מ-Claude או מ-Perplexity. מקורות שמצוטטים בתשובה מקבלים חשיפה ולפעמים גם קליק. מקורות שהמנוע לא יכול לקרוא לא מצוטטים בכלל.

כשמישהו שואל צ'אט איזה בונה אתרים כדאי לבדוק באזור מסוים, המנוע יכול להזכיר רק עסקים שהוא מכיר. לכן ההחלטה מה לעשות עם AI Crawlers היא כבר לא שאלה טכנית בלבד, אלא החלטה שיווקית.

1.2 סוף עידן תוצאות FAQ בגוגל

באוגוסט 2023 גוגל הגבילה את תצוגת שאלות ה-FAQ בתוצאות לאתרי ממשלה ובריאות בלבד, וב-7 במאי 2026 הודיעה בתיעוד הרשמי שתוצאות FAQ מועשרות כבר לא מוצגות בכלל. הדוח ב-Search Console והתמיכה בכלי בדיקת התוצאות המועשרות ירדו ביוני 2026, והתמיכה ב-API באוגוסט 2026 (התיעוד של גוגל).

מה זה אומר בפועל? סעיף שאלות נפוצות טוב עדיין עוזר לגולשים ועדיין נותן למנועים תשובות קצרות וברורות לצטט. אבל כבר אי אפשר לצפות ממנו לתוספת של שורות נפתחות מתחת לתוצאה בגוגל. על המצב העדכני של שאר הסכמות כתבתי במדריך על סוגי סכמה.

2. שלושת הסוגים של AI Crawlers

2.1 בוטי אימון (Training)

אוספים תוכן שעשוי לשמש לאימון מודלי שפה עתידיים. התוכן שלכם הופך לחלק מהידע של המודל, בלי קישור ובלי קרדיט. דוגמאות: GPTBot של OpenAI, ClaudeBot של Anthropic, Meta-ExternalAgent של Meta ו-CCBot של Common Crawl.

2.2 בוטי חיפוש (Search)

בונים אינדקס שממנו מנוע החיפוש של הצ'אט שולף מקורות ומצטט אותם עם קישור. דוגמאות: OAI-SearchBot, Claude-SearchBot ו-PerplexityBot. לפי התיעוד של OpenAI, אתר שחוסם את OAI-SearchBot לא יופיע כמקור בתשובות החיפוש של ChatGPT.

2.3 בוטים שפועלים בשם משתמש (User)

נכנסים לעמוד ספציפי רק כשמשתמש מבקש זאת, למשל כשהוא מדביק קישור לצ'אט. דוגמאות: ChatGPT-User, Claude-User ו-Perplexity-User. חשוב לדעת: OpenAI כותבת בתיעוד שלה שמכיוון שהפעולות של ChatGPT-User מופעלות על ידי משתמש, ייתכן שכללי robots.txt לא יחולו עליו (התיעוד של OpenAI). כלומר, robots.txt הוא לא כלי אמין לחסימת הסוג הזה.

2.4 טבלת AI Crawlers המרכזיים

שימו לב ל-Google-Extended: זה לא בוט נפרד אלא סימון ב-robots.txt שקובע אם מותר להשתמש בתוכן לאימון ולעיגון של Gemini. לפי גוגל, הוא לא משפיע על ההופעה בחיפוש של גוגל, וגם לא מוציא אתכם מ-AI Overviews, שנבנים מהאינדקס הרגיל של Googlebot.

3. לחסום או לאפשר AI Crawlers: ארבעה תרחישים

זו השאלה שהכי הרבה שואלים אותי בתקופה האחרונה, ואין לה תשובה אחת. ההחלטה תלויה במה העסק מוכר ובמה התוכן שווה לו.

3.1 אתר עסקי או תדמיתי: לאפשר את כל ה-AI Crawlers

נותני שירות, יועצים ועסקים מקומיים רוצים שמנועי AI יכירו אותם. התוכן באתר כזה נועד מלכתחילה להיקרא, וכל חסימה רק מקטינה את הסיכוי שהעסק יוזכר בתשובה. זו גם ההגדרה שאני משתמש בה כברירת מחדל כשאני בונה אתר לעסק, חוץ מחסימה של בוטים בודדים שרק צורכים משאבים.

3.2 תוכן בתשלום: לחסום אימון, לאפשר חיפוש

מי שמוכר קורסים, מדריכי עומק או ספרים לא בהכרח רוצה שהתוכן יהפוך לחלק ממודל. אבל הוא כן רוצה שכשמישהו שואל על הקורס, המנוע יצטט את עמוד המכירה וישלח אליו. זה המקרה הקלאסי להפרדה בין סוגי הבוטים. וכמובן, התוכן שמאחורי תשלום צריך להיות מאחורי התחברות, ולא רק מוגן ב-robots.txt.

3.3 חנות אונליין: העיקר שהמוצרים יופיעו

עבור חנות, בוטי החיפוש והבוטים שפועלים בשם משתמש הם החשובים: הם מביאים מחיר, זמינות וקישור למוצר כשמישהו מחפש המלצה. לגבי בוטי אימון אין תשובה אחת: תיאורי מוצר מקוריים הם נכס, אבל מותג שהמודל מכיר מקבל גם יתרון.

3.4 אתר חדשות או תוכן מקורי: החלטה עסקית

אתר שההכנסה שלו מגיעה מפרסום על התוכן עצמו מפסיד כשתשובה מלאה מופיעה בצ'אט. חלק מגופי החדשות הגדולים בעולם חוסמים בוטי אימון, וחלק חתמו על הסכמי רישוי עם חברות AI. לאתר קטן זו החלטה שכדאי לקבל במודע, מתוך הבנה שחסימה מלאה מורידה גם את הסיכוי להופיע כמקור.

4. שלוש רמות לשליטה ב-AI Crawlers

4.1 robots.txt: הבקשה המנומסת

קובץ robots.txt יושב בכתובת example.co.il/robots.txt ואומר לבוטים מה מותר ומה אסור. זו בקשה, לא חסימה: הבוט בוחר אם לכבד אותה. הבוטים של OpenAI, Anthropic, Google ו-Perplexity מצהירים שהם מכבדים את הקובץ (עם הסייג של בוטים בשם משתמש). על בוטים כמו Bytespider פורסמו לאורך השנים דיווחים שהם מתעלמים ממנו.

4.2 htaccess: חסימה ברמת השרת

בוט שלא מציית ל-robots.txt חוסמים בשרת עצמו, לפי ה-User Agent שלו. הבקשה מקבלת שגיאת 403 לפני שוורדפרס נטען:

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Bytespider|CCBot) [NC]
RewriteRule .* - [F,L]
</IfModule>

המגבלה: User Agent אפשר לזייף, ובוט שמתחזה לדפדפן רגיל יעבור. את כל הכללים, כולל האזהרות לפני שנוגעים בקובץ, פירטתי במדריך ל-htaccess בוורדפרס.

4.3 Cloudflare או CDN: חסימה לפני השרת

אתר שיושב מאחורי Cloudflare יכול לחסום בוטי AI עוד לפני שהם מגיעים לשרת. ב-2024 Cloudflare הוסיפה אפשרות לחסום בוטי AI בלחיצה, ובחשבונות חדשים החסימה עשויה להיות מופעלת כברירת מחדל. כאן גם הסיכון: אתר עסקי שרוצה נראות ב-AI עלול להיות חסום בלי שבעל האתר יודע. אם יש לכם Cloudflare, שווה להיכנס להגדרות הבוטים ולבדוק מה מופעל.

5. קובצי robots.txt מוכנים ל-AI Crawlers

שלוש גרסאות, לפי התרחישים שלמעלה. מחליפים את example.co.il בדומיין שלכם ומוודאים שכתובת מפת האתר נכונה (ב-Yoast SEO זו sitemap_index.xml). אם תוסף SEO מנהל אצלכם robots.txt וירטואלי, עורכים אותו דרכו. אם יש קובץ פיזי בתיקיית השורש, הוא זה שמוגש.

5.1 גרסה לאתר עסקי: פתוח ל-AI Crawlers

# robots.txt: אתר עסקי, מקסימום נראות

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# בוטים שאני חוסם גם באתר פתוח
User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /

Sitemap: https://example.co.il/sitemap_index.xml

5.2 גרסה לתוכן בתשלום: חיפוש כן, אימון לא

# robots.txt: נראות בחיפוש AI, בלי אימון

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# בוטי אימון
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
User-agent: Bytespider
Disallow: /

# בוטי חיפוש ובוטים בשם משתמש
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

Sitemap: https://example.co.il/sitemap_index.xml

כמה שורות User-agent רצופות מעל אותו כלל הן תחביר תקין לפי התקן של robots.txt, וחוסכות חזרות וטעויות העתקה.

5.3 גרסה לחסימה מלאה של AI Crawlers

# robots.txt: חסימת כל בוטי ה-AI המוכרים

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: CCBot
User-agent: Bytespider
Disallow: /

Sitemap: https://example.co.il/sitemap_index.xml

זכרו שהגרסה הזו לא מוציאה אתכם מ-AI Overviews של גוגל, שתלויים ב-Googlebot ולא ב-Google-Extended, ושבוטים בשם משתמש עשויים לא להתייחס אליה. מי שצריך חסימה אמיתית משלב אותה עם חסימה ברמת השרת או ה-CDN.

6. llms.txt: מה זה ומה באמת ידוע עליו

6.1 הרעיון

אם robots.txt אומר לבוטים מה לא לקרוא, llms.txt אמור להגיד למודלי שפה מה כן חשוב לקרוא. זה קובץ Markdown בתיקיית השורש עם שם האתר, תיאור קצר ורשימת קישורים לעמודים החשובים, מחולקים לפי נושאים. את הסטנדרט הציע Jeremy Howard בספטמבר 2024, והוא מתועד ב-llmstxt.org.

6.2 מצב התמיכה בפועל

חשוב להבין: llms.txt הוא הצעה, לא תקן שמנועי החיפוש התחייבו לו. גוגל אמרה במפורש שהיא לא משתמשת בו, וג'ון מולר מגוגל אף השווה אותו לתגית meta keywords. אז למה בכל זאת להוסיף? כי העלות אפסית, כי כלי פיתוח וסוכני AI מסוימים כן קוראים קבצים כאלה, וכי כתיבת הקובץ מכריחה אתכם להחליט מהם העמודים החשובים באתר. רק לא לצפות ממנו לשפר דירוג.

6.3 דוגמה לקובץ llms.txt

# שם העסק

> סטודיו לעיצוב ובניית אתרי וורדפרס לעסקים קטנים.
> עובדים עם לקוחות בכל הארץ.

## עמודים עיקריים

- [עמוד הבית](https://example.co.il/): מה אנחנו עושים ולמי
- [אודות](https://example.co.il/about/): רקע וניסיון
- [צור קשר](https://example.co.il/contact/): פרטי התקשרות

## מדריכים

- [מדריך ראשון](https://example.co.il/guide-1/): תיאור בשורה אחת
- [מדריך שני](https://example.co.il/guide-2/): תיאור בשורה אחת

## Optional

- [מדיניות פרטיות](https://example.co.il/privacy/)

לפי ההצעה, שם האתר הוא כותרת H1, התיאור הקצר בשורת ציטוט, והקישורים מחולקים לפי כותרות H2. קטע בשם Optional מסמן קישורים שאפשר לדלג עליהם כשצריך תקציר קצר.

6.4 כללים לקובץ תקין

1. שם מדויק: llms.txt, בתיקיית השורש של האתר.
2. קידוד UTF-8: אחרת העברית מוצגת כתווים שבורים.
3. Markdown נקי: בלי HTML.
4. רק כתובות חיות: עמודים שמחזירים 200, לא הפניות, לא 404 ולא עמודים עם noindex.
5. תחזוקה: כל שינוי כתובת או מחיקת עמוד צריכים להגיע גם לקובץ. קובץ מיושן עם קישורים שבורים גרוע מקובץ שלא קיים.

6.5 איך יוצרים llms.txt בוורדפרס

• Yoast SEO: מגרסה 25.3 (יוני 2025) יש בתוסף אפשרות ליצור את הקובץ אוטומטית מהתוכן הקיים (יומן השינויים של Yoast). זו הדרך הכי פשוטה למי שכבר משתמש בתוסף.
• תוסף ייעודי: יש במאגר התוספים של וורדפרס תוספים שמייצרים את הקובץ. לפני שמתקינים, בודקים מתי התוסף עודכן לאחרונה.
• קובץ ידני: כותבים את הקובץ לפי המבנה שלמעלה ומעלים לתיקיית השורש. שליטה מלאה, אבל צריך לזכור לעדכן אותו.

7. איך גורמים למנועי AI לצטט אתכם

לאפשר ל-AI Crawlers להיכנס זה תנאי הכרחי, אבל לא מספיק. גוגל כותבת בתיעוד שלה שאין דרישות מיוחדות או סכמה מיוחדת כדי להופיע ב-AI Overviews, ושהעקרונות הם אותם עקרונות של SEO רגיל. זה מה שאני שם במרכז:

7.1 תשובה ברורה מיד אחרי השאלה

כותרת שמנוסחת כשאלה, ומיד מתחתיה תשובה של שתיים שלוש שורות שעומדת בפני עצמה. כך בנויה ההגדרה בראש המאמר הזה, וכך בנויות התשובות בסעיף השאלות הנפוצות.

7.2 מבנה שקל לפרק

כותרות ממוספרות, פסקאות קצרות, טבלאות ורשימות. מבנה ברור מקל על כל מערכת לחלץ מהעמוד קטע מדויק שעונה על שאלה מסוימת.

7.3 סכמה שמתארת מי אתם

סכמה לא מכניסה אתכם לתשובות של AI, אבל Organization או Person, LocalBusiness ו-Article נותנים למנועים מידע מדויק על מי עומד מאחורי התוכן. גם השינויים שעשיתי בקוד של אתרים לקראת חיפוש קולי נשענים על אותו עיקרון.

7.4 ניסיון אמיתי ומקורות

מי כתב, מה הניסיון שלו, ועל אילו מקורות הוא מסתמך. אני מקשר לתיעוד הרשמי כשאני מציין נתון או כלל, כמו במאמר הזה. תוכן שמסתמך על מקורות ניתנים לבדיקה הוא תוכן שקל יותר לסמוך עליו.

7.5 עדכון שוטף

מאמר על נושא שמשתנה מהר, כמו הנושא של המאמר הזה, מתיישן תוך חודשים. תאריך עדכון אמיתי ותוכן שמשקף את המצב הנוכחי שווים יותר מעוד אלף מילים.

8. איך בודקים שההגדרות עובדות

1. robots.txt: פותחים את הכתובת example.co.il/robots.txt ומוודאים שמופיע בדיוק מה שכתבתם. ב-Search Console יש דוח robots.txt שמראה את הגרסה שגוגל קראה.
2. llms.txt: פותחים את הקובץ בדפדפן, בודקים שהעברית תקינה ולוחצים על כמה קישורים כדי לוודא שאין 404.
3. לוגים של השרת: בלוג הגישה מחפשים את שמות הבוטים מהטבלה ובודקים שבוטים מותרים מקבלים 200 ובוטים חסומים מקבלים 403.
4. Cloudflare: אם יש, בודקים בהגדרות הבוטים שאין חסימה גורפת שלא ביקשתם.
5. בדיקה מעשית: מבקשים מצ'אט עם חיפוש מופעל לתאר את העסק שלכם ובודקים אילו מקורות הוא מצטט. זו לא מדידה מדויקת, אבל היא מראה מהר אם משהו חסום.

טעויות נפוצות בטיפול ב-AI Crawlers

1. חסימה גורפת מתוך פחד. אתר עסקי שחוסם הכל מוותר על הסיכוי להופיע בתשובות של צ'אט, ולרוב לא מרוויח כלום בתמורה.
2. בלבול בין אימון לחיפוש. חסימת GPTBot לא מוציאה אתכם מחיפוש של ChatGPT. חסימת OAI-SearchBot כן. כל שורה ב-robots.txt עצמאית.
3. חסימת Google-Extended כדי לצאת מ-AI Overviews. זה לא עובד ככה. AI Overviews הם חלק מהחיפוש של גוגל.
4. חסימת /wp-includes/ או קבצי CSS ו-JS. הרבה קבצי robots.txt שמועתקים מהרשת עדיין כוללים את זה. זה מקשה על גוגל לרנדר את העמודים ולא מוסיף אבטחה.
5. llms.txt מיושן. קובץ שנוצר פעם אחת ולא עודכן מפנה לעמודים שנמחקו או הועברו. אם מוסיפים אותו, כוללים אותו בתחזוקה השוטפת.
6. לא לבדוק לוגים. בלי לבדוק את לוגי השרת אי אפשר לדעת אם ההגדרות עובדות בכלל.

סיכום: AI Crawlers הם החלטה עסקית, לא רק טכנית

אין הגדרה אחת נכונה לכולם. אתר עסקי שרוצה להימצא ירוויח מהפורמציה פתוחה, אתר שמוכר תוכן ירוויח מהפרדה בין אימון לחיפוש, ואתר חדשות צריך לשקול כל בוט לגופו. מה שכן משותף לכולם: להחליט במודע, להבין ש-robots.txt הוא בקשה ולא מנעול, ולבדוק בלוגים שמה שהחלטתם באמת קורה.

llms.txt הוא תוספת קטנה וזולה, לא אסטרטגיה. מה שבאמת משפיע על הסיכוי שתצוטטו הוא אותו דבר שמשפיע על דירוג בגוגל: תוכן ברור, מבוסס ומעודכן. אם אתם לא בטוחים מה האתר שלכם מרשה היום לבוטי AI, שלחו לי הודעה ונבדוק יחד את robots.txt, השרת וה-CDN.

שאלות נפוצות על AI Crawlers

מה זה AI Crawlers?

AI Crawlers הם בוטים של חברות בינה מלאכותית, כמו OpenAI, Anthropic, Google ו-Perplexity, שקוראים תוכן מאתרים. חלקם אוספים תוכן לאימון מודלים, חלקם בונים אינדקס לחיפוש מבוסס AI, וחלקם נכנסים לעמוד בזמן אמת כשמשתמש שואל שאלה.

האם כדאי לחסום את GPTBot?

תלוי באתר. GPTBot אוסף תוכן לאימון מודלים. חסימה שלו לא מוציאה את האתר מהחיפוש של ChatGPT, שנשלט דרך OAI-SearchBot. באתר עסקי אני בדרך כלל משאיר אותו פתוח. באתר שמוכר תוכן בתשלום יש היגיון לחסום.

האם חסימת Google-Extended מוציאה את האתר מ-AI Overviews?

לא. Google-Extended קובע אם מותר להשתמש בתוכן לאימון ולעיגון של Gemini. AI Overviews הם חלק מהחיפוש של גוגל ונשענים על האינדקס של Googlebot, ולכן חסימת Google-Extended לא משפיעה עליהם.

האם כל AI Crawlers מכבדים את robots.txt?

לא כולם. הבוטים הגדולים מצהירים שהם מכבדים אותו, אבל על בוטים כמו Bytespider פורסמו דיווחים שהם מתעלמים ממנו. גם בוטים שפועלים בשם משתמש, כמו ChatGPT-User, עשויים לא להתייחס לכללים. חסימה אמיתית דורשת הגדרה בשרת או ב-CDN.

מה זה llms.txt?

llms.txt הוא קובץ Markdown בתיקיית השורש של האתר, עם שם האתר, תיאור קצר וקישורים לעמודים החשובים. הוא הוצע ב-2024 כדי לעזור למודלי שפה להבין אתר מהר, אבל הוא לא תקן מחייב, וגוגל אמרה שהיא לא משתמשת בו.

האם llms.txt משפר את הדירוג בגוגל?

לא. גוגל לא משתמשת בקובץ לדירוג או ל-AI Overviews. שווה להוסיף אותו כי העלות נמוכה וכמה כלי AI קוראים אותו, אבל לא לצפות ממנו לתוצאות בדירוג.

איך יודעים אילו AI Crawlers נכנסים לאתר?

בודקים בלוג הגישה של השרת, שזמין ברוב פאנלי האחסון, ומחפשים בו שמות כמו GPTBot, ClaudeBot ו-PerplexityBot. אתר שיושב מאחורי Cloudflare יכול לראות את הנתונים גם בלוח הבקרה שלו.

האם אתר עסקי צריך לחסום בוטי AI?

ברוב המקרים לא. עסק שרוצה לקוחות מרוויח מכך שמנועי AI מכירים אותו ומצטטים אותו. החריגים הם בוטים שרק צורכים משאבי שרת בלי תועלת, ותוכן שמוכר בתשלום.