Equipes de PropTech tendem a descrever sua necessidade de dados como “dados de imóveis”, como se avaliações, aluguéis e taxas de hipoteca fossem três colunas de uma mesma tabela. São três problemas diferentes. Vêm de fontes diferentes, carregam restrições de licenciamento e privacidade diferentes e, o mais importante, significam coisas diferentes.
As falhas que resultam de tratá-los como um único conjunto de dados não são falhas de coleta. São falhas de rotulagem, e elas aparecem muito mais tarde, quando um usuário contesta um número que seu produto apresentou como fato.
Três tipos de dados, três realidades de obtenção
Antes de escrever um coletor, deixe claro qual desses tipos você está realmente adquirindo, porque a resposta determina tanto o método quanto o que você pode afirmar.
| Tipo de dado | Fonte autoritativa | O que a web oferece | O que não é |
|---|---|---|---|
| Preços de transação | Registros públicos: cartório de registro de imóveis, escrituras, cadastros de avaliação | Preços vendidos, datas de transferência, atributos do lote | Não é o valor de mercado atual |
| Valores avaliados | Cadastros de avaliação fiscal | Uma avaliação para fins tributários | Não é uma avaliação de mercado |
| Estimativas de portais | O modelo próprio do portal | O resultado de um modelo proprietário | Não é um laudo, não é um fato |
| Aluguéis pedidos | Anúncios ativos | O que os proprietários estão pedindo hoje | Não é o que os inquilinos estão pagando |
| Aluguéis efetivos | Conjuntos de dados licenciados, dados de operadores | Raramente públicos | Não são derivados de anúncios |
| Taxas de hipoteca | Páginas de taxas de credores, séries estatísticas oficiais | Taxas publicadas por produto e faixa | Não é a taxa que qualquer tomador obteve |
A disciplina mais útil em dados de PropTech é manter “observado”, “avaliado”, “pedido” e “estimado” em colunas separadas e nunca deixar que colapsem em um único campo chamado value.
Comece pelas fontes que devem ser usadas
Trabalhe nesta ordem, e só chegue à camada inferior para o que as camadas acima genuinamente não cobrem.
Fontes oficiais e em lote primeiro. Cartórios de registro de imóveis, órgãos de avaliação fiscal e agências estatísticas frequentemente publicam arquivos em lote ou APIs. São autoritativas, são permitidas e carregam um histórico que você não consegue reconstruir externamente. Para preços de transação e atributos de lote, isso geralmente já é a resposta completa.
Feeds licenciados em segundo lugar. Dados de corretores e de múltiplas listagens geralmente estão disponíveis sob licença. Onde seu produto precisa de cobertura completa de anúncios com campos confiáveis, uma licença é mais barata do que a exposição de engenharia e jurídica da alternativa.
Observação pública da web por último, para o que as duas primeiras camadas não fornecem: aluguéis pedidos e suas concessões, inventário ao vivo, tabelas de taxas de credores publicadas, e como qualquer um desses varia por mercado.
Pular direto para a camada inferior é o erro mais comum e mais caro nessa categoria. O lado dos anúncios desse trabalho é abordado em proxies para dados imobiliários.
Avaliações: nunca apresente um modelo como uma medição
As estimativas de portais são resultados de modelos treinados em dados que você não pode ver, com distribuições de erro que o portal pode ou não publicar. São úteis como uma característica no seu próprio modelo e não são uma avaliação.
Três regras mantêm isso defensável. Armazene a estimativa com sua fonte e a data em que foi observada, nunca como um número isolado. Não a rotule novamente: uma estimativa é uma estimativa, não “valor de mercado”. E se o seu próprio produto produz uma avaliação, publique um intervalo de confiança junto com ela, porque uma estimativa pontual apresentada sem isso será lida como uma precisão que você não tem.
Para qualquer coisa que se aproxime de uma avaliação formal, os dados coletados são um insumo para um processo profissional, não um substituto para ele.
Aluguéis: pedido não é efetivo, e a concessão está no texto
Aluguéis de anúncios são aluguéis pedidos. Em um mercado fraco, eles ficam acima do que os inquilinos realmente pagam, e a diferença é onde vivem as concessões: um mês grátis, taxas dispensadas, uma vaga de garagem incluída, um prazo mais curto por um preço diferente.
Essas concessões geralmente estão na descrição em texto livre, e não em um campo estruturado, o que significa que uma série de aluguéis pedidos construída apenas a partir do campo de aluguel está sistematicamente errada exatamente nas condições que as pessoas mais querem medir. Analise a descrição em busca de linguagem de concessão e armazene-a como um campo próprio, mesmo que tudo o que você consiga extrair seja um sinalizador e a frase bruta.
Mais duas questões práticas. Normalize para uma unidade comparável, tipicamente aluguel por período por número de quartos ou por área do piso, já que uma mediana entre tipos de unidade mistos mede a composição tanto quanto o mercado. E mantenha as observações a nível de unidade e a nível de edifício separadas, porque um anúncio de edifício com uma unidade não é um edifício alugando a esse preço.
Dados de hipoteca: taxas são uma matriz, não um número
As taxas de credores publicadas variam por produto, prazo, faixa de relação empréstimo-valor (LTV), faixa de tomador, região e às vezes canal. Um raspador que armazena “a taxa” de uma página de credor capturou uma célula de uma matriz e descartou os eixos.
Registre o produto, o prazo, a faixa de LTV, quaisquer condições declaradas do tomador, pontos ou taxas, se o valor é uma taxa nominal ou uma APR, a data de vigência que o credor declara, e a data em que você observou. A distinção entre nominal e APR é a que causa mais confusão a jusante, porque os dois não são comparáveis e ambos aparecem na mesma página.
As séries estatísticas oficiais de bancos centrais e agências de habitação são a verdade de referência para verificar a sanidade da sua coleta. Quando sua média coletada diverge da série publicada, geralmente é a coleta que mudou.
Um limite que não é negociável: colete taxas e prazos publicados, nunca dados a nível de tomador. Solicitações individuais, arquivos de crédito e detalhes financeiros pessoais não são dados públicos da web, e nada em um roteiro de PropTech justifica ir atrás deles.
A camada de coleta
Duas propriedades dessas fontes fazem do ponto de vantagem parte do método.
Tabelas de taxas de credores e conteúdo de portais são regionalizados, portanto a taxa ou o anúncio que você vê depende de onde a solicitação parece se originar. E as taxas, em particular, podem diferir por estado ou região dentro de um mesmo país, o que significa que um único ponto de vantagem nacional relata silenciosamente as taxas de uma região como se fossem as do mercado inteiro.
Com o gateway Shifter, o ponto de vantagem e a sessão vão nas credenciais contra p.shifter.io:443:
customer-USERNAME-country-us-state-tx-sid-rates-tx-11-ttl-600:PASSWORDcountry-us e state-tx colocam a solicitação no mercado cujas taxas você está lendo, sid-rates-tx-11 mantém uma saída fixa ao longo de toda a varredura da tabela de taxas para que cada célula de um snapshot venha de uma única sessão, e ttl-600 mantém esse endereço por dez minutos. ttl só faz efeito junto com sid; sem um identificador de sessão, o gateway rotaciona a cada solicitação, o que é correto para consultas independentes e errado para uma tabela paginada. A troca envolvida está descrita em proxies residenciais fixos vs rotativos.
Adicione strict-true quando uma correspondência regional exata for mais importante do que obter uma resposta, para que o gateway retorne um 502 em vez de silenciosamente atender você com uma região próxima.
O ritmo deve seguir a rapidez com que cada série realmente se move. As taxas de credores justificam coleta diária e, às vezes, intradiária. Anúncios e aluguéis pedidos são diários. Registros públicos são atualizados em sua própria programação, muitas vezes semanal ou mensal, e coletá-los mais rápido do que publicam só produz linhas duplicadas. Mantenha as taxas de solicitação em níveis comuns com recuo real, como em limitação de taxa e controle de requisições.
O esquema que mantém a honestidade
Todo registro deve carregar, além do número em si: o tipo de observação da tabela acima, a fonte, a data de vigência que a fonte declara, a data em que você observou, o mercado e o local de saída de onde você observou, e um sinalizador de confiança ou validação.
Data de vigência e data de observação são campos diferentes, e confundi-los é um bug real. Uma tabela de taxas de um credor com vigência na terça-feira passada, coletada hoje, é uma taxa de terça-feira. Um índice construído sobre datas de observação vai mostrar um movimento que não aconteceu quando seu rastreador chegou atrasado.
O argumento geral para registrar onde e quando uma observação foi feita está em o caso para um padrão de ponto de vantagem.
Privacidade e conformidade
Dados de imóveis estão mais próximos dos indivíduos do que a maioria dos dados comerciais da web, e as regras variam bastante por jurisdição.
Registros públicos em alguns países nomeiam proprietários; em outros, essa informação é restrita. Trate nomes de proprietários, dados de contato e qualquer coisa que identifique um ocupante como dados pessoais por padrão, colete-os apenas onde você tiver uma base legal, e remova-os na ingestão onde seu produto não precisar deles. Um índice de aluguéis não precisa do nome de um inquilino.
Respeite os termos de cada fonte, mantenha os volumes proporcionais e, onde uma licença é o caminho pretendido, obtenha a licença. O enquadramento geral está em proxies residenciais e conformidade com o GDPR e proxies residenciais éticos para coleta de dados de IA.
Perguntas frequentes
Posso usar estimativas de portais como avaliações no meu produto?
Não como avaliações. Como uma característica, ou como uma estimativa de terceiros claramente atribuída, sim, sujeito aos termos do portal. A rotulagem é a parte que importa.
Como faço para obter aluguéis efetivos em vez de aluguéis pedidos?
Geralmente por meio de conjuntos de dados licenciados ou parcerias com operadores. Os anúncios não os contêm, e inferi-los a partir de aluguéis pedidos é modelagem, o que deve ser divulgado como tal.
É necessário raspar registros públicos se já existem arquivos em lote?
Não, e os arquivos em lote são melhores: autoritativos, completos e permitidos. Use a web apenas para o que não é publicado em lote.
Por que nossas taxas de hipoteca divergem da média nacional publicada?
Geralmente porque você coletou uma região, uma faixa de LTV ou uma faixa de tomador e fez a média sobre uma composição não representativa. Registre os eixos e a divergência geralmente se explica sozinha.
Conclusão
Avaliações, aluguéis e taxas de hipoteca são três problemas de coleta que compartilham um vocabulário e nada mais. As equipes que constroem dados de PropTech confiáveis recorrem primeiro a fontes oficiais e licenciadas, usam a web pública para o restante, e mantêm observado, avaliado, pedido e estimado como campos separados e rotulados, com uma data de vigência e uma data de observação.
Colete cada mercado a partir desse mercado, mantenha as sessões coerentes ao longo de uma tabela ou de um conjunto de resultados, e nunca deixe que o resultado de um modelo seja armazenado como um fato. Transformar essas observações em uma série de mercado ao vivo é abordado em construindo um feed de dados do mercado imobiliário em tempo real. A visão do produto está na página de proxies residenciais para coleta de dados, com preços na página de preços.