Los crawlers de escritorio como Screaming Frog y Sitebulb envían cientos o miles de peticiones a un mismo sitio en poco tiempo, y todas desde una sola dirección IP. En tu propio sitio rara vez es un problema. En el sitio de un competidor, en un gran catálogo de ecommerce o en cualquier web protegida por un firewall estricto, el rastreo suele detenerse a medias: respuestas 403 y 429, páginas de CAPTCHA contabilizadas como contenido o un sitio que, sin avisar, sirve una versión distinta a la IP de tu oficina.
Un proxy resuelve la parte de la dirección. También es la forma de auditar un sitio tal como lo ven los visitantes de otro país, algo clave en el SEO internacional. Esta guía explica cuándo una auditoría necesita de verdad un proxy, cómo configurarlo en las principales herramientas y qué ajustes deciden si el rastreo funciona. Forma parte de nuestro trabajo más amplio de monitorización SEO, donde ver las páginas desde el lugar adecuado es la mitad del trabajo.
Cuándo necesita un proxy una auditoría web
Auditar sitios que no controlas. Las auditorías de la competencia, los análisis de content gap y las auditorías previas a la venta para clientes potenciales rastrean sitios que nunca han aceptado tu rastreo. Los firewalls y las CDN limitan la frecuencia por IP, y una ráfaga desde una sola dirección es el patrón más fácil de bloquear.
Revisar versiones localizadas. Los sitios redirigen por país, cambian precios y moneda y, a veces, ocultan secciones enteras fuera de un mercado. Un rastreo desde tu oficina solo ve una versión. Rastrear a través de una IP en cada país objetivo muestra lo que reciben los visitantes y los usuarios de búsqueda locales, y te permite comprobar si las alternativas hreflang se resuelven de verdad. Nuestra guía sobre cómo usar hreflang para encontrar todas las versiones de idioma de una página cubre esa parte de la auditoría.
Detectar trucos basados en la ubicación o la red. Algunos sitios, y muchos sitios hackeados, sirven a las redes de oficinas y centros de datos un contenido distinto del que ven los usuarios domésticos. Rastrear desde conexiones domésticas en el mercado adecuado es la forma de ver la versión real.
Cuándo no lo necesitas. Para tu propio sitio, la mejor solución es añadir la IP de tu crawler a la lista de permitidos de tu firewall o CDN, o rastrear una copia de staging. Un proxy añade coste y una pieza más a un rastreo que puedes autorizar sin más.
Configurar un proxy en Screaming Frog
El SEO Spider de Screaming Frog tiene un ajuste de proxy en File > Settings > Proxy en Windows y Linux, y en Screaming Frog SEO Spider > Settings > Proxy en macOS. Marca “Use Proxy Server”, introduce la dirección y el puerto del proxy e indica tus credenciales del proxy.
Hay tres detalles de la propia documentación de Screaming Frog que condicionan cómo usarlo:
- Solo se puede configurar un servidor proxy. No hay rotación integrada a partir de una lista, así que si quieres rotación tiene que gestionarla el propio proxy.
- Hay que reiniciar la herramienta para que los cambios del proxy se apliquen.
- No hay excepciones. O todo el tráfico HTTP y HTTPS del crawler pasa por el proxy, o no pasa nada.
El límite de un solo proxy es la razón por la que un proxy residencial de tipo gateway encaja tan bien con los crawlers: introduces un único endpoint y el gateway decide qué IP de salida usa cada petición, según la segmentación indicada en tu nombre de usuario. Si el rastreo falla nada más empezar con errores de autenticación, nuestra guía para solucionar errores 407 de autenticación de proxy recoge las causas habituales.
Configurar un proxy en Sitebulb
En Sitebulb, abre Settings desde la navegación superior y ve a la pestaña Proxy. Son ajustes globales, así que se convierten en el valor predeterminado de cada nueva auditoría que inicies. Acuérdate de desactivar el proxy antes de auditar tus propios sitios, o esas auditorías también pasarán por él.
Otras herramientas de auditoría siguen el mismo patrón: un único campo de proxy en los ajustes de la aplicación o del proyecto. Los crawlers en la nube suelen funcionar desde sus propios servidores y no admiten ningún proxy, y esa es una de las razones por las que los crawlers de escritorio siguen siendo habituales para analizar a la competencia.
Rotativo o sticky: cómo elegir el tipo de sesión
Con un gateway, eliges si cada petición recibe una IP de salida nueva o si el rastreo mantiene una misma IP durante un tiempo.
La rotación por petición reparte el rastreo entre muchas direcciones, de modo que ninguna IP envía tráfico suficiente para activar un límite de frecuencia. Funciona bien en páginas estáticas y grandes catálogos sin inicio de sesión y con pocas cookies.
Las sesiones sticky mantienen la misma IP durante un tiempo determinado. Úsalas cuando el sitio vincula a la sesión las cookies, las preferencias de consentimiento o el país elegido, o cuando cambiar de IP en mitad del rastreo provoca nuevas comprobaciones antibots. Configura una duración de sesión mayor que una ráfaga típica del rastreo para que la IP no cambie mientras se cargan páginas relacionadas.
Nuestro marco de decisión para rotar IPs de proxy analiza este equilibrio con más detalle. Para auditorías localizadas, añade el país, y si hace falta la ciudad, al nombre de usuario del proxy para que todas las peticiones salgan en el mercado que estás auditando.
Ajustes de rastreo que importan más que el proxy
Un proxy cambia el origen de las peticiones. No convierte un rastreo agresivo en aceptable, y varios ajustes del crawler importan tanto como el proxy.
Velocidad. Screaming Frog rastrea con 5 hilos de forma predeterminada y permite limitar el rastreo en URLs por segundo en Configuration > Speed. En sitios ajenos, mantén una frecuencia baja y deja que el rastreo tarde más. Repartir un rastreo rápido entre muchas IPs sigue siendo un rastreo rápido para el servidor que lo recibe.
User agent. En Configuration > User-Agent puedes rastrear como un navegador o como Googlebot. Un user agent de Googlebot desde una IP que no es de Google es fácil de detectar, y los sitios que verifican los rastreadores lo tratarán como sospechoso. Para auditorías de la competencia, un user agent de navegador normal es la opción más segura.
Qué descargas. El tráfico residencial suele facturarse por GB. Las imágenes, fuentes, vídeos y scripts pueden suponer la mayor parte del peso de una página. Si la auditoría se centra en el HTML, los títulos, los enlaces y los códigos de estado, excluye los tipos de recursos que no necesitas. El renderizado de JavaScript carga todos los recursos que cargaría un navegador, así que actívalo solo en las secciones que lo requieran.
Robots.txt. Respetar robots.txt es la opción predeterminada en ambas herramientas. Mantenla así en los sitios que no son tuyos.
Preguntas frecuentes
¿Puede Screaming Frog rotar proxies?
No a partir de una lista. Screaming Frog admite un único servidor proxy. Para rotar IPs, apúntalo a un gateway de proxy que asigne una IP de salida nueva por petición o por sesión.
¿Necesito un proxy para rastrear mi propio sitio web?
Normalmente no. Añadir la IP de tu crawler a la lista de permitidos de tu firewall o CDN es más sencillo y más barato. Usa un proxy en tu propio sitio solo cuando necesites verlo desde otro país u otra red.
¿Qué tipo de proxy funciona mejor para los crawlers SEO?
Los proxies residenciales son los más fiables en sitios con protección antibots estricta y para ver versiones localizadas, porque las peticiones salen desde conexiones domésticas en el país elegido. Los proxies de datacenter son más baratos y pueden funcionar en sitios con poca protección.
¿Por qué mi rastreo muestra errores 403 o 429?
El sitio está bloqueando o limitando la frecuencia de tus peticiones. Primero reduce la velocidad de rastreo y, si los límites son por dirección, rastrea a través de IPs rotativas.
En resumen
Los crawlers de escritorio envían todas las peticiones desde una sola IP, lo cual está bien para tu propio sitio y es un problema para los demás. Para auditorías de la competencia e internacionales, apunta Screaming Frog o Sitebulb a un único endpoint de gateway, elige sesiones rotativas o sticky según el sitio, segmenta por el país que estás auditando y mantén un rastreo lento y centrado en las páginas y los recursos que de verdad necesitas.