A coleta de dados imobiliários significa extrair informações estruturadas sobre imóveis a partir de portais e bancos de dados: preço, status, tamanho, localização, corretor e as datas em que cada um desses itens mudou. A dificuldade técnica é que os portais que detêm esses dados os tratam como seu ativo principal e os defendem de acordo.
Isso torna a escolha do proxy determinante. Este guia aborda o que coletar, como coletá-lo dos principais portais sem ser bloqueado, e quais taxas de requisição e ciclos de atualização realmente funcionam.
Qual Configuração Você Precisa
Para páginas públicas de listagem, proxies residenciais rotativos. Os principais portais operam sistemas comerciais de anti-bot que classificam faixas de endereço de datacenter antes mesmo de analisar qualquer outra coisa, então proxies de datacenter falham já na primeira requisição, independentemente da taxa.
Para qualquer coisa atrás de login, incluindo a maior parte do acesso a MLS, proxies ISP, porque a sessão precisa sobreviver e um endereço em mudança irá invalidá-la.
Todo o resto é disciplina de taxa de requisição, o que importa mais aqui do que a escolha do proxy.
O Que Coletar
| Campo | Por que importa | Atualização |
|---|---|---|
| ID e URL da listagem | A chave à qual tudo o mais se vincula | Uma vez |
| Preço e histórico de preços | O principal sinal em quase toda análise | Diária |
| Status (ativo, pendente, vendido, retirado) | De onde vem a velocidade do mercado | Diária |
| Datas de listagem e atualização | Dias no mercado, a métrica central de saúde | Diária |
| Endereço, coordenadas, CEP | Agregação geográfica | Uma vez |
| Quartos, banheiros, área do piso, tamanho do lote | Normalização do preço em comparáveis | Uma vez |
| Tipo de imóvel e ano de construção | Segmentação | Uma vez |
| Corretor e imobiliária | Análise de participação de mercado, e dados pessoais, então trate com cuidado | Uma vez |
| Descrição e características | Análise de texto, extração de comodidades | Semanal |
| Contagem de fotos e URLs | Sinais de qualidade da listagem | Semanal |
A distinção entre campos que mudam e campos que não mudam é o que mantém o volume administrável. Preço e status precisam de verificações diárias. A área do piso não muda, e recoletá-la diariamente multiplica sua largura de banda para nada.
Monitorando Bancos de Dados MLS
Os dados MLS são a fonte mais rica e a mais restrita. Não é um site público: o acesso é concedido a participantes licenciados sob um acordo, e a via sancionada é um feed de dados, não um scraper.
- RESO Web API é o padrão moderno, uma API estruturada que retorna JSON, com sincronização incremental para que você solicite apenas os registros alterados desde sua última consulta. Se você tiver direito ao acesso MLS, essa é a integração correta.
- RETS é o padrão de feed mais antigo, ainda em serviço em alguns lugares, sendo descontinuado em favor do anterior.
- Faça polling incremental, não completo. Solicite as alterações desde seu último timestamp. Uma atualização completa de um MLS grande é enorme e desnecessária.
- Respeite a licença. Os acordos de MLS regem exibição, retenção e redistribuição. Violá-los arrisca o próprio acesso, o que é uma perda maior do que qualquer conjunto de dados.
Proxies importam menos aqui do que para portais públicos, porque você é um participante autenticado. Onde eles ajudam é na estabilidade: um proxy ISP dá à integração um endereço fixo, o que importa quando o acesso está vinculado a endereços registrados.
Coletando Dados dos Principais Portais
Portais públicos são onde os proxies fazem o trabalho. Cada um se comporta de forma diferente.
Zillow
Proteção anti-bot pesada e limitação agressiva de taxa. As páginas de resultado de busca são o ponto de entrada eficiente, já que carregam a maioria dos campos de resumo sem precisar visitar cada listagem.
- Proxy: residencial rotativo, com segmentação geográfica nos EUA.
- Taxa: conservadora. Uma requisição a cada 3 a 5 segundos por endereço.
- Fique atento a: a busca baseada em mapa retorna dados por meio de endpoints internos em vez de HTML, o que é ao mesmo tempo mais eficiente e mais vigiado.
Redfin
Um pouco mais tolerante que o Zillow, e melhor estruturado. Os dados costumam estar disponíveis em JSON embutido em vez de exigir análise de HTML.
- Proxy: residencial rotativo, EUA.
- Taxa: uma requisição a cada 2 a 3 segundos por endereço.
- Fique atento a: a cobertura varia por mercado, então a ausência de uma listagem não é evidência de que ela não existe.
Realtor.com
Sindicação direta de MLS, então os dados são atuais, com proteção moderada.
- Proxy: residencial rotativo, EUA.
- Taxa: uma requisição a cada 2 a 4 segundos por endereço.
Rightmove e Zoopla
Os dois portais dominantes no Reino Unido. Ambos se defendem, o Rightmove de forma mais rigorosa entre os dois.
- Proxy: residencial rotativo, com segmentação geográfica no Reino Unido. Endereços fora do Reino Unido veem resultados diferentes ou nenhum.
- Taxa: uma requisição a cada 3 a 5 segundos por endereço.
- Fique atento a: ambos listam os mesmos imóveis por meio de diferentes corretores, então deduplique pelo endereço, não pelo ID da listagem.
Taxas de Requisição, Rotação e Concorrência
A taxa é o fator isolado mais importante para se a coleta sobrevive. A maioria das pessoas que são bloqueadas não foi detectada como proxy, foi detectada por estar com pressa.
- Taxa por endereço: uma requisição a cada 2 a 5 segundos em portais. Mais lento do que parece necessário, e é por isso que a concorrência existe.
- Concorrência, não velocidade: para coletar mais rápido, adicione endereços em vez de encurtar o intervalo. 10 endereços a uma requisição a cada 3 segundos dá aproximadamente 3 requisições por segundo no total, o que finaliza 10.000 listagens em cerca de uma hora.
- Rotação: por requisição ao navegar por páginas de listagem independentes. Sessões fixas para paginar uma busca que carrega um cursor, mantidas apenas pelo tempo necessário para concluir a paginação.
- Adicione jitter. Requisições em intervalos exatos de 3,0 segundos são uma assinatura. Varie entre 2 e 5 segundos.
- Colete fora do horário de pico no fuso horário do mercado-alvo. Tráfego básico mais baixo significa que suas requisições são uma fração menor do total, e os limites de taxa costumam ser mais flexíveis.
Quando os bloqueios começam
- Leia a resposta. Um 429 é um limite de taxa e significa que você deve desacelerar. Uma página de desafio significa que o problema é sua fingerprint, não sua taxa.
- Reduza a taxa à metade primeiro. É a correção mais barata e geralmente a correta.
- Verifique cabeçalhos e fingerprint. Um
User-Agentisolado em uma requisição por outro lado vazia é um sinal óbvio de bot. - Não tente novamente dentro de um bloqueio. Backoff exponencial. Insistir contra um limite de taxa suave o transforma em um banimento permanente do endereço.
- Reconsidere o alvo. Se um portal custa mais em novas tentativas do que os dados retornam, a Web Scraping API lida com renderização e desafios por você a um preço unitário mais alto, mas com manutenção muito menor.
Cadência de Atualização
- Diária: novas listagens, mudanças de status, mudanças de preço. É aqui que reside quase todo o valor analítico.
- Semanal: descrições, fotos, detalhes do corretor. Raramente mudam depois que uma listagem entra no ar.
- Uma vez: endereço, coordenadas, tamanho, tipo de imóvel. Fatos estruturais.
Dividir o cronograma dessa forma normalmente reduz a largura de banda em mais da metade em comparação a recoletar tudo diariamente, sem perda de sinal.
Conclusão
A coleta de dados imobiliários é, na maior parte, um problema de disciplina, não técnico. Use proxies residenciais porque os portais classificam endereços de datacenter à primeira vista, mantenha as taxas de requisição por endereço lentas e adicione concorrência em vez disso, e divida seu cronograma de atualização de acordo com a frequência real com que cada campo muda.
Para a mecânica de scraping em geral, veja proxies para web scraping, para a aplicação comercial price intelligence, e para o embasamento legal legalidade de proxies e scraping. Os proxies residenciais da Shifter cobrem a segmentação geográfica que esses portais exigem, com taxas na página de preços.