¿Es legal extraer datos de anuncios inmobiliarios?

Recopilar datos de anuncios visibles públicamente suele ser defendible en Estados Unidos, el Reino Unido y la UE. La situación cambia detrás de un inicio de sesión, que es donde se encuentran la mayoría de los datos de MLS, porque aceptaste unos términos para obtener la cuenta. Los nombres de los agentes y los datos de contacto son datos personales y conllevan obligaciones de protección de datos. Pide asesoramiento antes de ejecutar nada a gran escala.

¿Qué tipo de proxy funciona mejor para los portales inmobiliarios?

Proxies residenciales rotativos. Los principales portales utilizan sistemas comerciales antibot que identifican los rangos de datacenter a simple vista, por lo que los proxies de datacenter fallan de inmediato. Usa proxies ISP para todo lo que esté detrás de un inicio de sesión, donde la sesión debe mantenerse, y reserva los residenciales para las páginas públicas de anuncios.

¿Cuántos proxies se necesitan para monitorizar anuncios a diario?

Trabaja a partir de la tasa de solicitudes en lugar del número de direcciones. Seguir 10.000 anuncios al día con una solicitud cada 3 segundos por dirección necesita aproximadamente entre 5 y 10 direcciones simultáneas para terminar cómodamente en unas pocas horas. Con un pool rotativo, se configura la concurrencia en lugar de comprar direcciones.

¿Por qué los sitios inmobiliarios bloquean con tanta agresividad a los scrapers?

Los datos de los anuncios son su producto. Los portales invierten mucho en obtenerlos y estructurarlos, y sus competidores quieren esos mismos datos, así que los protegen con sistemas comerciales antibot, límites de tasa agresivos y condiciones de licencia. Es una decisión de negocio más que técnica, por eso las tasas de solicitud moderadas importan más que las soluciones ingeniosas.

¿Con qué frecuencia deben actualizarse los datos de los anuncios?

A diario para los anuncios nuevos y los cambios de estado, que es donde está el valor en la mayoría de los mercados. Merece la pena comprobar los cambios de precio a diario en mercados rápidos y semanalmente en los lentos. Las actualizaciones completas del registro, incluidas descripciones y fotos, rara vez necesitan hacerse más de una vez por semana, ya que esos campos cambian con poca frecuencia una vez publicado el anuncio.

Scraping de anuncios inmobiliarios con proxies

Aprende a recopilar datos de listados de propiedades de bases de datos MLS y portales importantes utilizando proxies residenciales, tasas de solicitud seguras y rotación.

La recopilación de datos inmobiliarios consiste en extraer información estructurada sobre propiedades de portales y bases de datos: precio, estado, tamaño, ubicación, agente y las fechas en que cada uno de esos datos cambió. La dificultad técnica es que los portales que albergan estos datos los tratan como su activo principal y los defienden en consecuencia.

Eso convierte la elección del proxy en algo determinante. Esta guía cubre qué recopilar, cómo recopilarlo de los principales portales sin ser bloqueado, y qué tasas de peticiones y ciclos de actualización funcionan realmente.

Qué Configuración Necesitas

Para páginas públicas de listados, proxies residenciales rotativos. Los principales portales ejecutan sistemas comerciales antibot que clasifican los rangos de direcciones de centros de datos antes de mirar nada más, así que los proxies de centro de datos fallan en la primera petición sin importar la velocidad.

Para cualquier cosa detrás de un inicio de sesión, incluido la mayoría del acceso a MLS, proxies ISP, porque la sesión tiene que sobrevivir y una dirección que cambia la invalidará.

Todo lo demás es disciplina en la tasa de peticiones, que importa más aquí que la elección del proxy.

Qué Recopilar

Campo	Por qué importa	Actualización
ID de listado y URL	La clave con la que se une todo lo demás	Una vez
Precio e historial de precios	La señal principal en casi cualquier análisis	Diaria
Estado (activo, pendiente, vendido, retirado)	De donde viene la velocidad del mercado	Diaria
Fechas de listado y actualización	Días en el mercado, la métrica de salud principal	Diaria
Dirección, coordenadas, código postal	Agregación geográfica	Una vez
Habitaciones, baños, superficie, tamaño de parcela	Normalizar el precio en comparables	Una vez
Tipo de propiedad y año de construcción	Segmentación	Una vez
Agente e inmobiliaria	Análisis de cuota de mercado, y datos personales, así que trátalo con cuidado	Una vez
Descripción y características	Análisis de texto, extracción de amenidades	Semanal
Número de fotos y URLs	Señales de calidad del listado	Semanal

La distinción entre campos que cambian y campos que no es lo que mantiene el volumen manejable. Precio y estado necesitan comprobaciones diarias. La superficie no cambia, y volver a recopilarla a diario multiplica tu ancho de banda para nada.

Monitorización de Bases de Datos MLS

Los datos MLS son la fuente más rica y la más restringida. No es un sitio web público: el acceso se concede a participantes con licencia bajo un acuerdo, y la vía autorizada es un feed de datos en lugar de un scraper.

RESO Web API es el estándar moderno, una API estructurada que devuelve JSON, con sincronización incremental para que solo solicites los registros cambiados desde tu última consulta. Si tienes derecho a acceso MLS, esta es la integración correcta.
RETS es el estándar de feed más antiguo, aún en servicio en algunos lugares, retirándose en favor del anterior.
Consulta de forma incremental, no completa. Pide los cambios desde tu última marca de tiempo. Una actualización completa de un MLS grande es enorme e innecesaria.
Respeta la licencia. Los acuerdos MLS regulan la visualización, retención y redistribución. Incumplirlos pone en riesgo el propio acceso, lo cual es una pérdida mayor que cualquier conjunto de datos.

Los proxies importan menos aquí que en los portales públicos, porque eres un participante autenticado. Donde sí ayudan es en la estabilidad: un proxy ISP le da a la integración una dirección fija, lo cual importa cuando el acceso está vinculado a direcciones registradas.

Recopilación de Datos de los Principales Portales

Los portales públicos son donde los proxies hacen el trabajo. Cada uno se comporta de forma diferente.

Zillow

Protección antibot fuerte y limitación de tasa agresiva. Las páginas de resultados de búsqueda son el punto de entrada eficiente ya que llevan la mayoría de los campos de resumen sin visitar cada listado.

Proxy: residencial rotativo, geolocalizado en EE. UU.
Tasa: conservadora. Una petición cada 3 a 5 segundos por dirección.
Vigilar: la búsqueda basada en mapa devuelve datos a través de endpoints internos en lugar del HTML, lo cual es a la vez más eficiente y más vigilado de cerca.

Redfin

Algo más tolerante que Zillow, y mejor estructurado. Los datos a menudo están disponibles en JSON incrustado en lugar de requerir análisis de HTML.

Proxy: residencial rotativo, EE. UU.
Tasa: una petición cada 2 a 3 segundos por dirección.
Vigilar: la cobertura varía según el mercado, así que la ausencia de un listado no es prueba de que no exista.

Realtor.com

Sindicación directa de MLS, así que los datos están actualizados, con protección moderada.

Proxy: residencial rotativo, EE. UU.
Tasa: una petición cada 2 a 4 segundos por dirección.

Rightmove y Zoopla

Los dos portales dominantes en el Reino Unido. Ambos se defienden, Rightmove de forma más estricta que el otro.

Proxy: residencial rotativo, geolocalizado en el Reino Unido. Las direcciones que no son del Reino Unido ven resultados diferentes o ninguno.
Tasa: una petición cada 3 a 5 segundos por dirección.
Vigilar: ambos listan las mismas propiedades a través de agentes diferentes, así que deduplica por dirección en lugar de por ID de listado.

Tasas de Petición, Rotación y Concurrencia

La tasa es el factor individual más importante en si la recopilación sobrevive. La mayoría de las personas a las que bloquean no fueron detectadas como proxy, fueron detectadas por tener prisa.

Tasa por dirección: una petición cada 2 a 5 segundos en los portales. Más lento de lo que parece necesario, y por eso existe la concurrencia.
Concurrencia, no velocidad: para recopilar más rápido, añade direcciones en lugar de acortar el intervalo. 10 direcciones a una petición cada 3 segundos dan aproximadamente 3 peticiones por segundo en total, lo cual completa 10.000 listados en aproximadamente una hora.
Rotación: por petición al navegar páginas de listado independientes. Sesiones persistentes para paginar una búsqueda que lleva un cursor, mantenidas justo el tiempo necesario para terminar la paginación.
Añade variación aleatoria. Peticiones a intervalos exactos de 3,0 segundos son una firma. Varía entre 2 y 5 segundos.
Recopila en horas de menor actividad en la zona horaria del mercado objetivo. Un tráfico base más bajo significa que tus peticiones son una fracción menor del total, y los límites de tasa suelen ser más laxos.

Cuando empiezan los bloqueos

Lee la respuesta. Un 429 es un límite de tasa y significa que hay que ir más despacio. Una página de desafío significa que tu huella digital es el problema, no tu tasa.
Reduce la tasa a la mitad primero. Es la solución más barata y normalmente la correcta.
Revisa las cabeceras y la huella digital. Un User-Agent desnudo en una petición por lo demás vacía es una señal obvia de bot.
No reintentes contra un bloqueo. Backoff exponencial. Insistir contra un límite de tasa suave lo convierte en un bloqueo permanente de la dirección.
Reconsidera el objetivo. Si un portal cuesta más en reintentos que lo que devuelven los datos, la Web Scraping API gestiona el renderizado y los desafíos por ti a un precio unitario más alto pero con un mantenimiento mucho menor.

Cadencia de Actualización

Diaria: listados nuevos, cambios de estado, cambios de precio. Aquí es donde reside casi todo el valor analítico.
Semanal: descripciones, fotos, detalles del agente. Estos cambian raramente después de que un listado se publica.
Una vez: dirección, coordenadas, tamaño, tipo de propiedad. Hechos estructurales.

Dividir el calendario de esta forma normalmente reduce el ancho de banda en más de la mitad frente a volver a recopilar todo diariamente, sin perder señal.

Conclusión

La recopilación de datos inmobiliarios es sobre todo un problema de disciplina más que técnico. Usa proxies residenciales porque los portales clasifican las direcciones de centros de datos a simple vista, mantén las tasas de petición por dirección lentas y añade concurrencia en su lugar, y divide tu calendario de actualización según la frecuencia con la que realmente cambia cada campo.

Para la mecánica del scraping en general consulta proxies para web scraping, para la aplicación comercial inteligencia de precios, y para el terreno legal legalidad de proxies y scraping. Los proxies residenciales de Shifter cubren la geolocalización que requieren estos portales, con tarifas en la página de precios.

Proxies para datos inmobiliarios: cómo monitorizar y extraer listados