“실시간 주택 데이터”라는 말은 지연 시간 문제처럼 들리지만, 실제로는 그렇지 않다. 주택 시장에는 가격 틱이 없다. 거래는 드물고, 개별적으로 협상되며, 완료된 지 몇 주에서 몇 달 뒤에 공공 등기부에 기록된다. 기초 시장에서 초 단위로 움직이는 것은 아무것도 없다.
빠르게 움직이는 것은 매물 표면이다. 매물이 등록되고, 가격이 바뀌고, 오퍼가 걸리고, 철회되고, 다시 올라온다. 이런 사건들은 매일 일어나며 거래 기록보다 훨씬 앞서 나타난다. 따라서 실시간 주택 피드는 사건 탐지 시스템이며, 그 역할은 매물 표면의 변화를 유용할 만큼 빠르게, 신뢰할 만큼 일관되게 포착하는 것이다.
여기서 어려운 두 가지 문제는 수집 속도가 아니다. 매물의 신원(identity)과 안정적인 커버리지다.
매물 라이프사이클을 사건으로 모델링하라
모든 매물의 야간 스냅샷을 저장하면 지금 시장에 무엇이 나와 있는지는 알 수 있다. 하지만 무슨 일이 일어났는지는 알 수 없고, 바로 그 일어난 일이 신호다.
연속된 관측값에서 사건을 도출하여 별도의 레코드로 저장하라:
| 사건 | 중요한 이유 |
|---|---|
| 신규 매물 등록 | 새로운 공급, 체인상 가장 이른 선행 지표 |
| 가격 인하 또는 인상 | 폭과 빈도가 지역 모멘텀을 가장 명확하게 보여줌 |
| 오퍼 진행 중 또는 계약 조건부 매매로 상태 변경 | 수요를 나타내며, 등기부보다 훨씬 빠름 |
| 철회 | 종종 약세 시장 신호이며, 매매와 쉽게 혼동됨 |
| 재등록 | 대개 동일한 매물이 다시 나타나는 경우이며, 데이터 무결성이 무너지는 지점 |
| 등록 완료, 공공 등기부 기준 | 권위 있는 결과지만 늦게 도착함 |
각 사건에는 사건을 연 관측값과 닫은 관측값, 그리고 경계가 실제로 관측된 것인지 아니면 단지 수집 간격에 의해 한정된 것인지를 말해줄 만큼의 신뢰도 메타데이터가 필요하다. 매일 수집한다면, 가격이 하루 안에 바뀌었다는 것은 알 수 있어도 정확히 언제 바뀌었는지는 알 수 없다.
매물 신원이 시스템의 전부다
같은 매물이 여러 포털에 서로 다른 참조 번호로 올라오고, 주소 형식도 다르며, 때로는 유닛 지정자가 다른 필드에 있거나 아예 없기도 하다. 시간이 지나면 몇 달 뒤 새 매물로 다시 나타나기도 한다.
신원 해석이 실패하면 두 가지 문제가 동시에 발생한다. 재고가 부풀려진다. 하나의 매물이 세 개로 계산되기 때문이다. 그리고 시장 체류 일수(days-on-market)가 무너진다. 재등록된 매물이 새것처럼 보이기 때문이다.
이 두 번째 문제는 특히 주의가 필요한데, 일부 시장에서는 체류 일수를 리셋하기 위해 의도적으로 재등록하는 관행이 있기 때문이다. 모든 재등록을 새로운 공급으로 취급하는 피드는, 그 수치가 가장 중요한 바로 그 시장에서 재고가 얼마나 오래 머무는지를 체계적으로 과소평가하게 된다.
신뢰도 순서로 정리한 실행 가능한 신원 전략은 다음과 같다: 관할 구역이 제공하는 경우 필지 또는 등기 식별자; 정규화된 주소에 유닛 지정자를 더하고, 좁은 허용 오차로 좌표에 지오코딩; 그다음 동점을 깨기 위한 면적, 침실 수, 매물 유형의 속성 매칭. 각 포털 고유의 참조 번호를 정규(canonical) 매물에 연결해두고, 매물이 시간이 지나며 여러 에피소드를 가지면서도 이력을 잃지 않도록 등록 에피소드 레코드를 유지하라.
표본을 수작업으로 검토하여 일치율을 측정하고 이를 공개하라. 알려진 중복 제거 오류율이 없는 재고 수치는 아무도 규모를 가늠할 수 없는 숫자다.
커버리지 폭보다 커버리지 안정성이 중요하다
주택 지수는 시계열로 읽히기 때문에, 볼 수 있는 범위가 조금이라도 바뀌면 시장의 변화처럼 기록된다.
시리즈 중간에 포털을 추가하면 공급이 급증한 것처럼 보인다. 차단으로 하나를 잃으면 공급이 감소한 것처럼 보인다. 더 깊은 페이지까지 수집하기 시작하면 재고가 늘어난다. 이 중 어느 것도 실제 주택 시장의 변화가 아니지만, 모두 정확히 그렇게 보인다.
그러니 시작하기 전에 패널을 고정하라: 정의된 포털 집합, 정의된 지리적 범위, 정의된 쿼리 집합, 쿼리당 정의된 깊이를 두고, 각각 완전히 수집하거나 명시적으로 불완전 표시하라. 패널에 버전을 부여하고, 모든 행에 버전을 표시하며, 패널에 대한 어떤 변경도 조용한 개선이 아니라 문서화된 방법론 단절로 취급하라.
이는 모든 종단적(longitudinal) 웹 패널을 지배하는 것과 동일한 규율이며, 더 자세한 논의는 구인 게시판 데이터와 노동시장 인텔리전스에 있다. 그대로 적용된다.
지리는 관측의 일부다
포털은 지역화된다. 검색 결과, 노출되는 매물, 때로는 표시되는 필드까지도 요청이 어디서 오는 것처럼 보이는지에 따라 달라지며, 여러 국가를 서비스하는 포털은 아예 다른 사이트를 반환하기도 한다.
지역 시장을 보고하는 피드라면, 수집도 해당 지역에서 이루어져야 한다. Shifter 게이트웨이를 사용하면 관측 지점과 세션은 p.shifter.io:443에 대한 인증 정보에 담긴다:
customer-USERNAME-country-gb-city-manchester-sid-feed-mcr-04-ttl-600:PASSWORDcountry-gb는 ISO 알파-2 코드를 사용하고, city-manchester는 시장을 좁히며, sid-feed-mcr-04는 페이지네이션을 포함한 전체 검색에 걸쳐 하나의 출구를 유지하여 결과 집합이 내부적으로 일관되도록 한다. ttl-600은 해당 주소를 10분간 유지한다. 요청당이 아니라 쿼리당 하나의 세션을 쓰는 것이, 4페이지가 1페이지와 다른 관측 지점에 속하게 되는 상황을 막는다.
로케일 신호는 출구와 일관되게 유지하라. 불일치는 일부 포털이 반환하는 내용을 바꾸기 때문이며, 이는 프록시 지리, 시간대, 로케일 일치시키기에서 다룬다. 요청 빈도는 실제 백오프를 두어 평범하게 유지하라. 속도 제한과 요청 스로틀링에서 다루는 방식과 같다.
전역 설정이 아니라 시리즈별 주기
매물 표면의 거의 모든 것에는 일간 수집으로 충분한데, 매물이 시간 단위로 바뀌지 않기 때문이며 일간 패스만으로도 다음 날 사건 탐지가 가능하다.
두 가지 경우에는 더 빠른 주기가 정당화된다. 오퍼 진행 상태가 몇 시간 안에 바뀌는 호황 시장의 작은 워치리스트, 그리고 신축 분양의 출시 기간이다. 공공 등기부 데이터는 자체 일정에 따라 갱신되며, 이를 발행 주기보다 더 자주 수집하면 중복만 생길 뿐이다.
빈도보다 더 중요한 것은 규칙성이다. 매일 같은 시간에 수집하라. 아침에서 저녁으로 표류하는 패스는 측정 중인 사건 경계 자체를 움직이게 만든다.
도출되는 지표들
사건과 신원 체계가 갖춰지면 산출물은 단순해지며, 각 지표에는 제품 안에 명시해야 할 주의사항이 있다.
신규 공급과 재고는 모두 중복 제거 품질에 좌우된다. 시장 체류 일수는 재등록 정책을 공개해야 하는데, 에피소드를 연결해 처리하느냐에 따라 수치가 크게 달라지기 때문이다. 가격 변경 빈도와 폭은 매물에서 얻을 수 있는 가장 깨끗한 모멘텀 지표다. 철회율은 유용하지만 매매와 쉽게 혼동된다. 호가 지수는 거래가 지수가 아니며 그런 것처럼 표기해서는 안 된다. 관측된 값, 평가된 값, 호가, 추정치 간의 구분은 평가액, 임대료, 모기지 데이터 스크래핑에 설명되어 있다. 호가 대비 매매가 비율과 흡수율은 등기부 데이터가 필요하므로 지연된다.
두 가지 발행 원칙이 피드의 신뢰성을 지킨다. 커버리지 지표를 지수와 나란히 발행하여, 독자가 시장 변화와 수집 변화를 구분할 수 있게 하라. 그리고 작은 셀은 억제하라. 우편번호 하나에서 9개 매물로 계산한 중앙값은 소수점이 붙은 잡음일 뿐이며, 스크린샷될 가능성이 가장 높은 숫자이기도 하다.
신선도 계약
모든 행에는 관측 시간이 붙어야 하며, 모든 소비자는 테이블이 최신이라고 믿는 대신 자체적인 노후화 임계값을 적용해야 한다. 이 단 하나의 설계 결정이, 지연된 크롤링이 조용히 보고된 시장 변화로 둔갑하는 것을 막는다. 이는 실시간 경쟁 가격 피드 구축하기에서 설명한 것과 같은 계약이며, 여기서도 변함없이 적용된다.
데이터와 함께 자체 수집 상태도 추적하라: 포털별, 시장별 성공률, 그리고 반환된 결과 대 예상 결과. 공급이 감소한 것처럼 보일 때, 첫 번째로 물어야 할 질문은 시장이 변했는지 커버리지가 변했는지다. 이 기준선을 세우는 방법은 프록시 속도, 성공률, 위치 정확도 테스트하기에 있다.
FAQ
주택 데이터는 실제로 얼마나 실시간일 수 있는가?
일간 패스에서 다음 날 사건 탐지는 달성 가능하며 거의 모든 용도에 충분하다. 일중(intraday) 수집은 작은 워치리스트에만 그만한 가치가 있다. 거래 기록은 수집 방식과 무관하게 항상 몇 주에서 몇 달씩 지연될 것이다.
우리의 재고 수치가 왜 포털 자체 수치를 초과하는가?
거의 항상 포털 간 중복 때문이다. 세 명의 중개인에게 등록된 매물 하나는 매물 하나다. 어떤 재고 수치든 신뢰하기 전에 일치율을 측정하라.
재등록도 신규 공급으로 계산해야 하는가?
규칙을 정하고, 문서화하고, 전체 이력에 걸쳐 일관되게 적용하라. 에피소드를 하나의 매물로 연결하는 것이 대개 더 정직한데, 실제 시장 체류 시간을 보존하기 때문이다.
호가 지수를 주택 가격 지수로 발행해도 되는가?
안 된다. 호가는 특히 시장이 전환될 때 거래가와 선행하고 괴리된다. 있는 그대로 표기하면 지수는 진정으로 유용해진다.
결론
실시간 주택 피드는 느린 시장 위에 놓인 사건 파이프라인이다. 속도는 쉬운 부분이다. 누군가 이를 신뢰할 수 있는지 여부를 결정하는 것은, 매물을 안정적인 신원으로 해석하는 것, 커버리지 변화가 시장 변화로 위장되지 않도록 패널을 고정하는 것, 그리고 늦게 도착하는 거래 데이터에 대비해 호가 신호를 정직하게 표기하는 것이다.
각 시장은 해당 시장에서 수집하고, 결과 집합 전체에 걸쳐 세션을 일관되게 유지하며, 모든 행에 관측 시간을 붙이고, 커버리지를 지수 옆에 발행하라. 제품 관점은 데이터 수집 파이프라인 페이지에서, 요금은 가격 페이지에서 확인할 수 있다.