Guías, Tutoriales e Ideas
Aprende sobre proxies residenciales, web scraping, estrategias de recopilación de datos y buenas prácticas del sector con el equipo de Shifter.
¿Quién bloquea a los rastreadores de IA? GPTBot, ClaudeBot y compañía en los 10.000 sitios principales
Leímos el robots.txt de los 10.000 dominios principales. Uno de cada cinco sitios bloquea al menos un rastreador de IA, mientras que casi todos siguen dando la bienvenida a los motores de búsqueda.
Chris Collins · 6 de octubre de 2026 El coste de un User-Agent obsoleto: midiendo el desfase de versión del navegador
Los scrapers suelen fijar una versión de navegador y olvidarla. Solicitamos 397 sitios principales simulando versiones de Chrome de hasta 6.5 años de antigüedad. Los rechazos aumentaron cada año.
Chris Collins · 5 de octubre de 2026 ¿Es tu objetivo bloqueable? Una consulta de la pila anti-bot
Antes de crear un scraper, averigua qué protege el objetivo. Revisamos los 1.000 dominios principales: qué proveedores anti-bot utilizan y cómo le fue a un cliente básico.
Chris Collins · 3 de octubre de 2026 La selección de proxies como un problema de bandido multibrazo
¿Qué configuración de proxy debería usar la siguiente solicitud? Trátalo como un problema de bandido. En nuestra simulación, la selección adaptativa quedó a menos de un 2% de la elección perfecta en retrospectiva.
James Meadow · 2 de octubre de 2026 Diseño de scrapers idempotentes: reiniciar sin duplicar
Los scrapers fallan. Matamos uno diez veces en mitad del rastreo: una versión ingenua almacenó hasta 4.3 veces las filas, una idempotente exactamente 500. Cómo construir la segunda.
Chris Collins · 2 de octubre de 2026 Codificaciones de caracteres en datos extraídos: detección de charsets y corrección de mojibake
Obtuvimos 193 páginas de inicio principales en seis países. Un valor predeterminado habitual de Python distorsionó el texto de 37 de ellas. Cómo decodificar páginas extraídas igual que lo hacen los navegadores.
Chris Collins · 1 de octubre de 2026 Conserva la respuesta en bruto: archivado de páginas extraídas en WARC para su repetición
Los parsers mejoran y los extractores se rompen, pero una página que no has conservado no se puede volver a analizar. Cómo almacenar respuestas en bruto en WARC, con código probado y tamaños reales.
Matt Brown · 1 de octubre de 2026 Encontrar la API detrás de la página: recopilar desde endpoints JSON en lugar de HTML
Muchas páginas cargan sus datos como JSON. Cómo encontrar el endpoint que los transporta, por qué a menudo está vinculado a la sesión de la página y cómo recopilarlos de forma responsable.
Chris Collins · 30 de septiembre de 2026 Sitemaps como fuente de descubrimiento: encontrar todas las URL sin rastrear el sitio entero
Los sitemaps XML enumeran las URL de un sitio, y a veces cuándo cambiaron. Cómo leerlos correctamente, y por qué nunca debes confiar en lastmod sin comprobarlo.
James Meadow · 29 de septiembre de 2026