Guías, Tutoriales e Ideas
Aprende sobre proxies residenciales, web scraping, estrategias de recopilación de datos y buenas prácticas del sector con el equipo de Shifter.
Mejora de aplicaciones PHP con la integración de una API de web scraping
Añade datos web a una aplicación PHP con una API de web scraping: un cliente sin dependencias con reintentos, extracción estructurada y solicitudes paralelas mediante curl_multi.
Economía de los reintentos: el número de intento en el que reintentar deja de compensar
Cada reintento tiene menos probabilidades de éxito que el anterior. Cómo medir en qué punto reintentar deja de compensar, usando tus propios logs y unas líneas de Python.
Construcción de pipelines de datos escalables con Node.js y APIs de web scraping
Un pipeline de Node.js que obtiene miles de páginas a través de una API de web scraping: concurrencia limitada, reintentos, salida reanudable y un diseño probado.
Cómo usar una API de web scraping: guía práctica para principiantes
Desde tu primera solicitud hasta JSON estructurado: una guía paso a paso para usar una API de web scraping, con Python probado, gestión de errores y los ajustes que importan.
¿Cuándo deberías rotar las IPs de proxy? Un marco de decisión para sesiones, coste y tasas de éxito
¿Rotar por solicitud, mantener una sesión persistente o conservar una IP fija de ISP? Un marco sencillo para decidir, basado en cómo se relacionan tus solicitudes entre sí.
Pruebas de scrapers: fixtures, repetición y suites de regresión
Los scrapers se rompen cuando los sitios cambian, y las pruebas que acceden al sitio en vivo se rompen con ellos. Cómo probar un scraper con fixtures grabados, repetición y canarios diarios.
Tu scraper es lento y probablemente no sea el proxy
Aceleramos un scraper que funcionaba con proxies residenciales 7,5 veces sin tocar el proxy. Cómo encontrar a dónde va realmente el tiempo y solucionarlo.
Eficiencia del payload: qué porcentaje de una página scrapeada es contenido superfluo que pagaste
Medimos 278 páginas de contenido de los 1.000 sitios principales. El texto que realmente quieres supone alrededor del 1% del HTML y una fracción mínima de lo que descarga un navegador.