Obtenez une liste de
5 671 924 sites Web utilisant Common Crawl Bot Disallow
qui comprend des informations de localisation, des données d'hébergement et des coordonnées. La liste comprend 5 190 420 sites Web en direct et 481 504 sites Web redirigeant vers ces sites. 3 371 356 de ces sites sont dans les États-Unis.
Nous connaissons également 1 430 502 sites qui ont utilisé Common Crawl Bot Disallow précédemment.