حصر الصفحات
افصل الصفحات العامة وموارد عرضها عن المناطق الخاصة والنسخ التي لا تحمل قيمة مستقلة.
دليل / منهج
التحكم في وصول زواحف الذكاء الاصطناعي
تبدأ سياسة الوصول بتحديد الغرض من كل صفحة عامة، لا بمجرد سرد أسماء الزواحف.
إجابة مباشرة
كيف يُضبط وصول الزواحف المرتبطة بالذكاء الاصطناعي؟
حدد الصفحات التي يمكن اكتشافها، والتي قد تظهر في البحث، والتي ينبغي استبعادها من استخدام معين. طبّق القرارات عبر robots.txt وتوجيهات الصفحة واستجابات الخادم، ثم اختبر ما يستطيع الزاحف قراءته فعلاً.
01 / منهج الفحص
منهج الفحص
تحديد الغرض
قرر الوصول للبحث التقليدي وبحث الذكاء الاصطناعي والجمع من أجل التدريب وفق الزواحف التي يوثقها كل مشغل.
فحص الاستجابة
اختبر حالة HTTP وملف robots.txt والتحويلات وتوجيهات meta robots أو X-Robots-Tag وHTML لكل لغة.
المراقبة بحذر
قارن سجلات الخادم وأدوات مشرفي المواقع والإحالات. زيارة الزاحف لا تثبت الفهرسة أو الاستشهاد.
02 / الأدلة المحفوظة
الأدلة المحفوظة
قاعدة مؤرخة
احتفظ بنسخة كل توجيه وتاريخه وسبب اعتماده.
عنوان مختبر
سجل الصفحة الدقيقة وحالتها وعنوانها المرجعي وتوجيهاتها.
زاحف محدد
ميّز بين زواحف البحث والمعاينة والتدريب المعلنة.
نتيجة مرصودة
وثق ما بقي متاحاً وما يظهر في الأدوات المتوفرة.
03 / FAQ
أسئلة شائعة
هل يضمن السماح لـ OAI-SearchBot الاستشهاد؟
لا. يتيح وصولاً قد يسمح بالظهور في بحث ChatGPT، لكنه لا يضمن استخدام الصفحة.
هل يمكن الفصل بين البحث والتدريب؟
نعم عندما يوثق المشغل زواحف منفصلة. تحقق من الأسماء والوظائف في وثائقه الرسمية.