Common Crawl y su importancia para el SEO
Si trabajas en SEO técnico o tienes responsabilidad sobre la visibilidad de dominios en buscadores y sistemas de IA, necesitas saber qué Common Crawl ha publicado un manual sobre cómo ser visible ante robots de IA.
Common Crawl no funciona como un buscador tradicional. Es la infraestructura más grande de la web que indexa contenido público para entrenar modelos de IA, académicos y otros proyectos. No es que sea imprescindible para todos los proyectos SEO aparecer ahí, pero seguro que para otros será una pieza clave para la visibilidad en IA.
Hace unos años, Common Crawl era invisible para los profesionales SEO. Nadie sabía que existía. Luego llegó la IA generativa. OpenAI, Anthropic, Google y Meta usan datos de Common Crawl para entrenar sus modelos. Sí, amigos, el GEO y cómo nos está cambiando las prioridades en esta nueva era de búsqueda.
El manual que Common Crawl publicó explica cómo funciona su proceso de rastreo (crawling) y qué debes hacer para que tu sitio sea rastreable. No han tardado en aparecer herramientas que automatizan estas revisiones.
¿Qué herramienta te permite verificar tu visibilidad?
Existe una herramienta que te permite revisar al instante si tu dominio es visible en Common Crawl. Sin necesidad de registro, accedes directamente a los archivos públicos. Introduces un dominio y obtienes información detallada. Yo he estado usando https://suganthan.com/free-seo-tools/common-crawl-checker/?domain=https%3A%2F%2Fwww.emirodgar.com pero seguro que hay muchas más.
¿Qué puedes verificar?
Capturas guardadas: cuándo fue rastreado tu sitio y qué versiones existen en el archivo
Historial de robots.txt: qué instrucciones has dado a los crawlers a lo largo del tiempo
Block fingerprints: identificadores de bloqueos que has configurado
Prueba viva de CCBot: un test en tiempo real para saber si el bot de Common Crawl puede acceder a tu dominio ahora mismo
Pero no nos volvamos ahora locos. Esto no se trata sólo de estar en Common Crawl; se trata de estar en buenas condiciones. Un robots.txt mal configurado puede bloquearte sin saberlo, a CC o a cualquier otro rastreador, por lo que yo lo veo como otra oportunidad para auditar la indexación y accesibilidad de nuestros sitios.
¿Qué hacer si tu dominio no aparece o está bloqueado?
Si verificas tu dominio y descubres que Common Crawl no puede acceder, tienes varias opciones:
Revisa tu robots.txt. Si has bloqueado CCBot explícitamente, estás saboteando tu propia visibilidad en IA. Considera desbloquear el bot si tu contenido no es sensible. Yo lo tenía bloqueado en https://emirodgar.com/robots.txt
Envía tu sitio directamente. Common Crawl permite que proporciones URLs específicas para rastrear. Si llevas tiempo sin aparecer, una solicitud directa puede acelerar las cosas.
Verifica Googlebot y otros bots. Si otros crawlers tampoco pueden acceder, el problema es más profundo. Puede haber problemas de accesibilidad o configuración del servidor.
No os volváis locos con el hecho de aparecer o no aquí, pero valoradlo en vuestras estrategias y revisad si existe algún problema técnico que limite vuestra aparición en Common Crawl.