Si le preguntas a un proveedor de proxies por su tasa de éxito, lo habitual es que te dé una cifra muy alta. Si le preguntas cómo la ha contado, la respuesta suele ser “las peticiones que devolvieron una respuesta” o “las peticiones que devolvieron HTTP 200”. Ninguna de las dos te dice si obtuviste los datos.
Sean cuales sean los proxies residenciales que uses, la definición útil de éxito es más estricta: la respuesta contenía lo que pedías. Esta guía explica por qué los códigos de estado exageran el éxito, cómo sustituirlos por una regla de validación y cómo contar el resultado con honestidad. Se centra en la medición. Para detectar contenido envenenado o falso dentro de un scraper, consulta nuestro artículo sobre cómo detectar contenido bloqueado o falso al hacer scraping.
Por qué miente el código de estado
Los códigos de estado HTTP describen la conversación entre tu cliente y un servidor. No dicen nada sobre si ese servidor te ha dado la página. Los sitios bien protegidos tienen todos los motivos para responder con educación a una petición sospechosa:
- Páginas de desafío. Un CAPTCHA o una página intersticial de JavaScript se sirve con un 200, porque el sitio quiere que un navegador la renderice.
- Bloqueos blandos. Una página de búsqueda sin resultados, una página de producto sin el precio o una plantilla de “algo ha salido mal”, todo ello con un 200.
- Páginas de consentimiento y de redirección. Un muro de cookies o una página de aterrizaje regional que sustituye al contenido que pediste.
- Contenido equivocado. Una página de un país distinto del que elegiste como objetivo, que se procesa sin problemas y es incorrecta.
Cada una de estas respuestas se factura como tráfico y cada una cuenta como un éxito en un panel basado en códigos de estado. Así es como las tasas de éxito por código de estado se acercan a la perfección mientras la proporción de páginas utilizables es mucho menor.
Cuatro resultados, un solo éxito
Un esquema más honesto, el que usa la metodología de Atlas, clasifica cada petición en uno de cuatro resultados:
- Válida. La respuesta cumplió la condición escrita para ese objetivo: el elemento se procesó, el JSON tenía la estructura esperada o se emitió el token. Es el único éxito.
- Desafío. Llegó un CAPTCHA o una página intersticial en lugar de la página, normalmente con un 200.
- Bloqueo. El objetivo rechazó la petición sin más: un 403, un 429, una página de bloqueo o un reinicio de la conexión antes de recibir contenido.
- Timeout. No hubo una respuesta utilizable dentro del tiempo asignado a ese objetivo, incluidos los errores generados por la propia pasarela del proxy.
Separar los fallos así importa porque cada uno apunta a una causa distinta. Los bloqueos y los desafíos describen sobre todo cómo ve el objetivo la dirección de salida. Los timeouts describen sobre todo la red. Un único recuento de fallos oculta cuál es tu problema.
Cómo escribir una regla de validación
Una regla de validación es una comprobación que el código puede ejecutar sobre una respuesta sin que una persona la mire. Nombra la prueba de que la página es la auténtica. Las buenas reglas son específicas para cada objetivo:
- Página de producto: el marcado del precio y del stock está presente y se procesa.
- Página de resultados de búsqueda: se procesan al menos un número fijado de bloques de resultados orgánicos.
- Endpoint JSON: la respuesta es un JSON válido con el array esperado, no un objeto de error.
- Cola o sesión: se emitió un token.
- Página estática: el cuerpo llegó sin modificar, por ejemplo al coincidir con un hash o una longitud conocidos.
Mantén cada regla lo bastante estricta para que una página de desafío no pueda pasarla por casualidad, y lo bastante flexible para que un cambio legítimo de diseño no haga fallar todas las peticiones. Comprueba que están los datos que necesitas, no que falta la palabra “captcha”, que un nuevo proveedor de desafíos no incluirá.
Escribe la regla antes de hacer las pruebas. Una regla elegida después de ver los resultados tiende a ajustarse para que un proveedor quede bien.
Tasa de desafíos: la cifra que ocultan los códigos de estado
De los tres tipos de fallo, la tasa de desafíos merece una línea propia en cualquier informe. Es la proporción de peticiones respondidas con un CAPTCHA o una página intersticial, y se comporta de forma distinta a los bloqueos.
Los sitios tienden a escalar: primero desafían a una dirección y después la bloquean. Una tasa de desafíos en aumento suele ser la primera señal de que un pool se está usando en exceso o de que un objetivo ha endurecido sus defensas, días antes de que suban los bloqueos duros. Como los desafíos llegan como 200, un panel de códigos de estado no mostrará nada mientras esto ocurre.
Los desafíos también cuestan dinero. Una página de desafío es una respuesta completa, con cabeceras, marcado y scripts, así que en un plan por gigabyte la pagas como si fuera una página real. La página de coste real de Atlas muestra cuánto se añade al precio una vez que se valoran las peticiones fallidas.
Cómo contar con equidad
Una regla de validación arregla el numerador. El denominador necesita el mismo cuidado:
- Cuenta todos los intentos. Si tu cliente reintenta, cada reintento es una petición. Una tasa de éxito medida después de los reintentos describe tu lógica de reintentos, no la red.
- Mantén los timeouts y los errores de pasarela. Descartar las peticiones que “nunca llegaron al sitio” elimina justo los fallos de los que responde la red.
- Reparte el tiempo por igual. Una hora con mucha carga no debe tapar una hora tranquila, ni una buena tarde esconder una mala noche.
- Informa por objetivo. Una media entre una página sin protección y una protegida no describe ninguna de las dos.
- Publica el denominador. Una tasa sin su número de peticiones no se puede evaluar.
Hazlo tú mismo
Una configuración mínima para medir la tasa de éxito de un proxy en tu propio trabajo:
- Haz una lista de los objetivos por los que realmente pagas proxies.
- Escribe una regla de validación por objetivo antes de enviar ninguna petición.
- Registra cada petición con su estado, el veredicto de la regla de validación, los tiempos y la dirección de salida que vio el objetivo.
- Clasifica cada fallo como desafío, bloqueo o timeout.
- Informa por separado del éxito, la tasa de desafíos, la tasa de bloqueos y los timeouts, por objetivo y con los recuentos.
- Vigila la tasa de desafíos a lo largo del tiempo y configura las alertas sobre ella en lugar de sobre los códigos de estado.
Nuestro artículo sobre cómo monitorizar un pipeline de scraping trata la parte de las alertas una vez que ya tienes estas cifras.
Atlas juzga cada petición que envía de la misma manera, con una regla de validación escrita por objetivo, y publica el resultado de cada uno en la página de objetivos, de modo que la tasa de éxito de una red signifique siempre la proporción de peticiones que entregaron la página real.