احصل على قائمة
5,671,924 المواقع التي تستخدم Common Crawl Bot Disallow
والتي تتضمن معلومات الموقع وبيانات الاستضافة وتفاصيل الاتصال. وتتضمن القائمة 5,190,420 المواقع الحية و 481,504 المواقع الإلكترونية التي تعيد التوجيه إلى تلك المواقع. 3,371,356 من هذه المواقع في الولايات المتحدة.
ونحن نعلم أيضا 1,430,502 المواقع التي استخدمتها Common Crawl Bot Disallow سابقًا.