Obtenga una lista de
5.671.924 sitios web que utilizan Common Crawl Bot Disallow
que incluye información de ubicación, datos de alojamiento y detalles de contacto. La lista incluye 5.190.420 sitios web en vivo y 481.504 sitios web que redirigen a esos sitios. 3.371.356 de estos sitios están en Estados Unidos.
También sabemos de 1.430.502 sitios que han utilizado Common Crawl Bot Disallow previamente.