노동시장 인텔리전스는 얼핏 스크래핑 문제처럼 보이지만 실제로는 측정 문제다. 결과물은 누군가 채용 동향의 신호로 읽어낼 시계열 데이터이며, 실패 양상은 다운된 작업이 아니다. 노동시장과 아무 상관없는 이유로 움직이는 차트가 실패다.
이번 달 특정 지역 공고 수가 18퍼센트 감소했다면 두 가지 설명이 가능하다. 고용주가 채용 공고를 줄였거나, 수집 과정에서 일부를 놓쳤거나. 파이프라인 내부에서는 이를 구분할 수 있도록 설계하지 않는 한 두 경우를 구별할 수 없다. 바로 이 지점이 인덱스를 구축하는 것과 단순히 리스트를 가져오는 것을 가르며, 대다수 구인 게시판 패널이 조용히 잘못되는 지점이기도 하다.
집계 측정이 아니라 채용 워크플로에 관심이 있다면 관련 글인 채용 및 구인 시장 데이터를 위한 레지덴셜 프록시를 참고하기 바란다. 이 글은 패널에 관한 것이다.
커버리지 공백은 트렌드처럼 보인다
노동시장 시계열 데이터의 핵심 속성은 시간에 따라 자기 자신과 비교된다는 점이다. 절대값보다 변화량(델타)이 훨씬 중요한데, 이는 보이는 범위에 생긴 어떤 변화든 실제 존재하는 것의 변화로 기록된다는 뜻이다.
실제로는 아무것도 변하지 않았는데도 커버리지를 상시적으로 바꾸는 세 가지가 있다.
부분 차단. 게시판이 쿼리당 반환하는 결과 수를 줄이거나, 결과 세트의 뒷부분 페이지에서 챌린지를 제공하기 시작한다. 여전히 데이터는 얻어지므로 아무것도 고장 나 보이지 않지만, 카운트는 하락한다.
지리적 편차. 요청이 발생한 것으로 보이는 위치가 바뀌면 결과 세트도 함께 바뀐다. 대부분의 게시판은 근접성으로 공고를 필터링하므로, 이는 지역별 카운트를 직접적으로 움직인다.
조용한 페이지네이션 잘림. 예전에는 8페이지를 수집했는데 이제는 3페이지만 수집한다. 후반부 페이지가 첫 페이지보다 더 강하게 방어되기 때문이다. 물량은 줄어들지만 어떤 페이지가 사라졌는지는 아무도 알아채지 못한다.
이들 각각은 깔끔하고 그럴듯하지만 틀린 숫자를 만들어낸다. 어느 것도 오류를 일으키지 않는다.
공고는 위치 기준으로 서빙된다
거의 모든 주요 게시판은 사용자의 위치로 추정되는 곳을 기준으로 쿼리를 해석한다. 위치 없이 “warehouse associate”를 검색하면 지역별 결과를 받는다. 위치를 지정한 상태에서 그 위치로부터 수백 킬로미터 떨어진 IP로 접속하면, 현지 지원자가 보는 것도 아니고 전국 단위 뷰도 아닌 결과 세트를 받게 된다.
지역별 채용 동향을 측정하려는 패널에게 이것이 관건이다. 위치 신호는 시계열 데이터 전체 기간에 걸쳐 안정적이어야 하며, 명시된 위치 파라미터와 요청의 표면상 출처가 일치해야 한다. 측정 대상 지역의 레지덴셜 exit를 사용하면 이 둘이 일치하게 되는데, 이것이 바로 운영상 “현지 뷰”의 의미다.
관련된 함정은 로케일 불일치다. IP는 특정 국가를 가리키는데 브라우저 헤더는 다른 국가를 가리키는 경우다. 이 불일치는 국제 게시판에서 결과 세트를 바꾸며, 초기에 제거할 가치가 있다. 자세한 내용은 프록시 지역, 시간대, 로케일 일치시키기를 참고하라.
패널을 설계한 뒤 수집하라
노동시장 데이터를 쓸모 있게 만드는 원칙은 수집기를 작성하기 전에 패널이 무엇인지 결정하고, 그 후 함부로 바꾸지 않는 것이다.
고정된 소스 목록. 정의된 게시판 집합을 일정하게 유지한다. 시계열 중간에 게시판을 추가하면 계단식 변화가 생기며, 이를 소급 반영하거나 시리즈에 버전을 표시하지 않는 한 채용 증가로 잘못 읽힌다.
고정된 지리적 범위. 각 지역에 대해 정의된 위치 파라미터를 가진 정해진 지역 집합. “요청이 어디서 왔든”이 아니다.
고정된 쿼리 세트. 동일한 직업 쿼리를 동일한 방식으로, 동일한 주기로 실행한다.
고정된 깊이. 쿼리당 명시된 결과 페이지 수를 완전히 수집하거나 불완전으로 표시한다. 최선을 다하는 방식(best-effort)은 절대 안 된다.
이들 중 어느 하나라도 바뀌면 방법론적 변경이며 그렇게 기록해야 한다. 모든 행에 버전 번호를 찍어야 한다. 분석가는 문서화된 시리즈 단절은 다룰 수 있다. 문서화되지 않은 단절은 다룰 수 없다.
수집 계층 구성하기
Shifter 게이트웨이에서는 지역과 세션이 p.shifter.io:443에 대한 자격 증명에 인코딩된다.
customer-USERNAME-country-gb-city-manchester-sid-mcr01-ttl-600:PASSWORDcountry-gb는 ISO alpha-2 코드를 사용하는데, uk가 아니라 gb다. city-manchester는 측정 대상 공고가 속한 대도시권으로 exit를 좁힌다. sid-mcr01은 고정 세션을 유지하여, 페이지네이션을 포함한 전체 쿼리가 단일 IP에서 실행되도록 한다. ttl-600은 해당 IP를 10분간 유지한다. 요청 단위가 아니라 지역과 쿼리 단위로 세션 식별자를 두는 것이 페이지네이션된 결과 세트의 내부 일관성을 유지하는 방법이다.
지역 및 도시 필터가 너무 좁아 채울 수 없는 경우, 게이트웨이는 인근 exit로 대체하는 대신 502를 반환한다. 측정 패널로서는 이것이 올바른 동작이다. 눈에 보이는 결측 관측치가 눈에 보이지 않는 조용한 대체보다 낫다.
수집 주기는 일정하고 눈에 띄지 않아야 한다. 일관된 시간에 매일 또는 매주 수집하며, 적절한 동시성과 오류 시 실질적인 백오프를 적용하면 공격적인 스윕보다 더 깨끗한 시리즈를 만들 수 있고, 방어 기제를 자극하여 커버리지를 바꿀 가능성도 훨씬 낮다. 구체적인 메커니즘은 속도 제한 및 요청 스로틀링에서 다룬다.
중복 제거는 측정에 관한 결정이다
동일한 채용 공고가 여러 게시판, 회사 채용 페이지에 나타나고, 2주 후 재게시로 다시 나타나는 일은 흔하다. 이를 어떻게 처리하느냐가 인덱스가 실제로 측정하는 것을 결정하며, 중립적인 선택지는 없다.
실용적인 접근법은 정규화된 고용주, 정규화된 직함, 위치, 게시 날짜 구간의 복합 키를 사용하고, 각 병합에 대해 결정 사항을 기록하는 것이다. 구체적인 알고리즘보다 중요한 것은 규칙이 고정되고 문서화되어 전체 기간에 걸쳐 동일하게 적용되어야 한다는 점이다. 중복 제거 로직을 소급하여 바꾸는 것은 과거를 다시 쓰는 것이며, 과거가 계속 바뀌는 노동시장 시계열은 시계열이 아니다.
재게시는 별도의 처리가 필요하다. 매달 재게시되는 채용 공고는 채우기 어려운 결원이거나 상시 공고이며, 둘 다 흥미로운 정보지만, 새로운 수요와 구별할 수 있어야만 의미가 있다.
커버리지를 가정하지 말고 검증하라
방어 가능한 패널과 그렇지 않은 패널을 가르는 단 하나의 관행은, 공고뿐 아니라 자신의 수집 과정 자체를 측정하는 것이다.
동일 지역 내 두 개의 서로 다른 exit에서 동일한 소규모 통제 쿼리 세트를 수집 윈도우당 두 번 실행하고 결과 수를 비교하라. 수렴한다면 뷰가 안정적이라는 뜻이다. 발산한다면 게시판이 요청의 어떤 특성에 반응하고 있다는 뜻이며, 해당 윈도우의 시리즈는 의심해야 한다.
데이터 자체와 함께 운영 지표도 추적하라. 게시판별 성공률, 예상 페이지 대비 실제 수집된 페이지, 그리고 시간에 따른 쿼리별 결과 수. 공고 수의 20퍼센트 하락이 자체 성공률 하락과 동시에 발생한다면, 이는 노동시장 이야기가 아니라 수집 이야기이며, 누군가 이를 바탕으로 예측을 세우기 전에 어느 쪽인지 알아야 한다.
수집 계층 자체에 대한 방어 가능한 기준선이 필요한 팀은 프록시 속도, 성공률, 위치 정확도 테스트하기에서 측정 방법을 다루고 있다.
데이터 관련 윤리적 경계 지키기
구인 공고는 사람들이 읽으라고 게시되는 것이며, 이는 이를 수집할 진정한 근거가 되지만 무제한적인 것은 아니다.
공고에는 흔히 담당 채용 담당자 이름, 직통 전화번호, 이메일 주소가 포함된다. 이는 개인정보이며, 채용 수요 인덱스에는 필요하지 않다. 저장한 뒤 사용하지 않겠다고 약속하기보다는 수집 시점에 제거하라. 발행하는 데이터는 집계 형태로 하고, 각 게시판의 명시된 이용약관을 준수하며, 요청 볼륨을 적절히 유지하고, 게시판이 연구 목적 접근 경로를 제공하는 경우 트래픽의 정체를 정직하게 밝혀라.
전반적인 프레임워크는 AI 데이터 수집을 위한 윤리적 레지덴셜 프록시에 있으며, 노동시장 작업은 대부분의 상업적 데이터 수집보다 개인에 더 가까이 위치하므로 여기서 더 강하게 적용된다.
자주 묻는 질문
신뢰할 만한 전국 패널에는 몇 개의 지역이 필요한가?
단일 대도시권이 집계를 지배하지 않을 만큼 충분해야 하고, 첫 관측치부터 일관되게 유지되어야 한다. 잘 선정된 10개 지역을 1년간 동일하게 수집하는 것이 40개 지역을 3개월간 불균일하게 수집하는 것보다 낫다.
급여 필드도 수집해야 하는가?
그렇다. 그리고 파싱된 값과 함께 원본 문자열도 저장하라. 급여 공개 여부는 관할권과 게시판에 따라 다르므로, 급여 정보가 포함된 공고 비율의 증가는 시장 변화가 아니라 정책 변화인 경우가 많으며, 이를 구별하려면 원본 텍스트가 필요하다.
왜 공개 API가 있는 단일 게시판을 사용하지 않는가?
한 게시판의 커버리지는 그 게시판의 사업 특성이며, 전체 공고에서 차지하는 비중은 시간에 따라 변하기 때문이다. 단일 소스 시리즈는 그 소스만 측정한다. 이것이 받아들일 만한지는 무엇을 주장하려는지에 달려 있다.
국제 커버리지에도 적용되는가?
가능하다. 국가별 exit와 그에 맞는 로케일 설정이 필요하다. 대부분의 시장에서는 전국 단위 게시판이 지배적일 것으로 예상되며, 이는 방법론이 아니라 소스 목록을 바꾼다. 관련 내용은 채용 사용 사례에 있다.
결론
구인 게시판 데이터가 노동시장 인텔리전스가 되는 지점은, 자체 파이프라인이 일으킨 변동을 포함하여 시리즈의 모든 움직임을 설명할 수 있게 되는 때다. 이를 위해서는 고정된 패널, 지리적으로 일관된 수집, 안정적인 중복 제거 규칙, 그리고 정직한 커버리지 지표가 필요하다.
레지덴셜 프록시는 지리적 범위를 실제적이고 반복 가능하게 만드는 요소이며, 이를 통해 지역별 숫자가 말하는 그대로의 의미를 갖게 된다. 나머지는 방법론이며, 방법론이야말로 그 숫자를 인용할 가치가 있게 만드는 것이다. 이러한 형태의 패널에 대한 대역폭 계획은 월간 레지덴셜 프록시 대역폭 추정하기에서 다루며, 요금은 레지덴셜 프록시 가격 페이지에서 확인할 수 있다.