זה כבר לא תאורטי
אחד מספקי הפריסה והאבטחה הגדולים בעולם ממליץ לחסום אינדקס
מתוך מייל שקיבלתי
בריאן בקר מנהל אבטחת מוצר ב-Cloudflare
…אפשרויות הגדרות אבטחה חכמות יותר עבור סורקי אימון : החל מ-15 בספטמבר, ההגדרה המומלצת עבור סורקי אימון בינה מלאכותית תעבור מ"חסום " ל"אסור אימון בינה מלאכותית". " אסור אימון בינה מלאכותית" מאפשר לסורקי חיפוש גדולים - כמו Applebot, Googlebot ו-Bingbot - לאנדקס את האתר שלך עבור תוצאות חיפוש תוך הנחיה להם לא להשתמש בתוכן שלך לאימון