Analizando más de 72 millones de robots.txt (opens in new tab)

Publicado el 2025-02-12 por Lino Uruñuela índice Obener y procesas robots.txt Obtener la lista de ficheros Warc Extraer el contenido de cada robots.txt SQL Consultando datos Filtrando datos Obtener para cada hostname (subdominio + dominio) los diferentes User-Agent definidos en su robots.txt ¿Cuánt…