스크래핑 팀에게 상황이 어떤지 물어보면 보통 하나의 숫자를 듣게 된다. 성공률이다. 이는 당연한 지표이고 실제로 유용하지만, 그것만으로는 파이프라인을 운영하는 데 거의 쓸모가 없다. 팀 리더가 실제로 답을 알아야 하는 두 가지 질문을 가려버리기 때문이다. 우리가 수집하는 데이터가 정확한가, 그리고 그것을 수집하는 데 지불하는 비용이 합리적인가.
파이프라인은 98%의 성공률을 보고하면서도 조용히 창고를 챌린지 페이지로 채우고 있을 수 있고, 이번 달과 지난달에 같은 숫자를 보고하면서도 비용은 두 배가 될 수 있다. 다음은 이 두 가지를 모두 잡아내는 지표 세트로, 각각의 용도별로 정리했다.
모두가 잘못 알고 있는 지표부터 시작하자
검증된 성공률. 200을 반환한 요청의 비율이 아니라, 당신이 원하는 데이터를 반환한 요청의 비율이다.
이 구분은 대부분의 팀이 모니터링에서 할 수 있는 가장 가치 있는 변화다. 챌린지 페이지, 빈 결과 집합, 잘린 목록, 동의 화면, 일반적인 지역 리디렉션 모두 200 상태와 함께 도착할 수 있다. 상태 코드를 신뢰하는 카운터는 데이터셋이 저하되는 동안에도 정상이라고 보고할 것이고, 당신은 자신의 대시보드가 아니라 차트가 이상해 보인다고 묻는 비즈니스 사용자로부터 그 사실을 알게 될 것이다. 대상별 유효성 검사, 즉 예상되는 요소, 그럴듯한 콘텐츠 길이, JSON의 필수 필드를 정의하고, 차단되거나 가짜 콘텐츠 감지하기에서 설명한 것처럼 그것을 통과한 응답만 세어라.
대상별, 지역별로 추적하고 전체를 하나의 값으로 뭉뚱그리지 마라. 전체 95%는 모든 대상이 95%인 경우일 수도 있고, 19개 대상이 100%이고 하나가 0%인 경우일 수도 있으며, 이 둘은 완전히 다른 대응이 필요하다.
데이터 품질 지표
유효성을 넘어서, 세 가지 숫자가 출력이 신뢰할 만한지 알려준다.
커버리지. 이번 실행에서 예상했던 레코드 중 실제로 얻은 것은 몇 개인가? 모든 요청에서 성공하지만 페이지네이션이 깨지거나 검색 단계가 더 적게 반환해서 어제보다 적은 요청을 하는 작업은 성공률 상으로는 완벽해 보이지만 실제로는 상당히 불완전할 것이다. 커버리지는 이것을 잡아낸다.
신선도. 소스별 최신 데이터는 얼마나 오래되었는가? 가격이나 재고처럼 빠르게 변하는 작업에서는, 기술적으로는 모든 것이 성공했더라도 오래된 데이터는 결함이다. 따라서 대상별로 가장 최근에 성공적으로 수집된 데이터의 나이를 추적하고, 유스 케이스가 허용하는 범위를 초과하면 경고하라.
필드 수준 완전성. 수집된 레코드 중 필요한 모든 필드를 가진 비율은 얼마인가? 속성 하나를 제거하는 레이아웃 변경은 요청을 실패시키는 경우가 거의 없다. 그저 조용히 컬럼을 null로 만들 뿐이며, 필드 수준 추적만이 이를 조기에 드러낸다.
이 세 가지를 합치면 “데이터가 정확한가”에 답할 수 있으며, 이는 성공률만으로는 알 수 없는 것이다.
효율성 및 비용 지표
이것들은 “우리가 지불하는 것이 합리적인가”에 답하며, 대체로 가장 계측이 부족한 부분이다.
레코드당 바이트. 전체 세트에서 가장 유용한 비용 지표다. 대상별로 소비된 대역폭을 추출된 유용한 레코드 수로 나눈다. 이는 규모가 다른 작업들을 정규화하고, 대상들을 비교 가능하게 만들며, 갑작스러운 상승은 거의 항상 데이터 엔드포인트로 충분한 곳에서 누군가 전체 페이지를 렌더링하고 있다는 뜻이다. 레지덴셜 프록시는 전송된 데이터로 요금이 부과되므로, 이 숫자는 당신의 단위 비용에 가깝고, 이를 조절하는 방법은 프록시 대역폭 비용 절감하기와 헤드리스 브라우저가 필요한 시점 선택하기에 있다.
레코드 천 개당 비용. 레코드당 바이트에 요금을 곱한 값으로, 대상별로 표현한다. 어떤 데이터 소스가 수집할 가치가 있는지 묻는 사람 앞에 내놓을 숫자가 바로 이것이다. 인프라를 비즈니스가 이미 사용하는 언어로 변환해주기 때문이며, 월간 대역폭 추정하기의 예측을 구체적으로 만들어주는 것도 이 지표다.
재시도 비율. 대상별로, 전체 요청 대비 재시도의 비율이다. 이것은 선행 지표다. 성공률이 떨어지기 전에 먼저 상승하는데, 정상처럼 보이는 결과에 도달하기 위해 재시도를 거듭하는 파이프라인은 문제를 해결하는 것이 아니라 숨기고 있는 것이기 때문이다. 또한 대역폭 기반 과금 상품에서는 순전한 낭비이기도 하므로, 동시에 건강 신호이자 비용 항목이며, 이것이 재시도와 백오프의 핵심에 자리하는 이유다.
대상별 대역폭. 실제로 돈이 나가는 곳이다. 팀들은 하나의 대상이 플랜의 대부분을 소비하고 있다는 사실을 발견하고 자주 놀라며, 일단 눈에 보이면 대체로 해결 비용은 저렴하다.
성능 지표
평균이 아닌 레이턴시 백분위수. 대상별로 p50, p95, p99를 추적하라. 레지덴셜 연결은 본질적으로 직접 연결보다 느리므로, 절대값보다는 형태와 추세가 더 중요하다. 평균은 꼬리 부분을 완전히 숨기며, 시간 제한이 있는 작업이 끝날 수 있는지를 결정하는 것은 바로 그 꼬리 부분이다.
계획 대비 처리량. 시간당 레코드 수를 일정이 요구하는 값과 비교한다. 이것으로 더 많은 동시성, 더 나은 페이싱, 또는 다른 수집 전략이 필요한지 알 수 있으며, 실제로 필요한 프록시 IP 수에서 다루는 분산 문제에 대한 실질적인 입력값이기도 하다.
차단 및 챌린지 비율. 실패한 요청과는 구분되는, 구체적으로 차단, 캡차, 또는 챌린지였던 응답의 비율이다. 성공률은 안정적인데 챌린지 비율이 상승한다는 것은 같은 결과를 위해 더 힘들게 일하고 있다는 뜻이며, 대상의 방어 체계가 바뀌었다는 조기 경고다.
추적하지 말아야 할 것
두 가지가 많이 측정되지만 받는 관심보다 덜 받아야 마땅하다.
풀 크기. 이것은 벤더 숫자이지 성능 지표가 아니며, 당신의 결과를 예측하지 못한다. 실제로 수집하는 국가들의 밀도가 그것을 예측하며, 그것을 아는 유일한 방법은 지역별 자체 성공률이다.
원시 요청 수. 유효성 없는 양은 활동이지 산출물이 아니다. 사용 가능한 레코드 수는 동일하게 유지하면서 요청을 두 배로 늘린 파이프라인은 더 나빠진 것이지만, 요청 카운터는 그것을 성장이라고 부를 것이다.
마찬가지로 가동시간(uptime) SLA를 어떻게 사용하는지에도 주의해야 한다. 제공업체의 가용성은 실재하고 지켜볼 가치가 있지만, 이는 당신의 대상들이 트래픽을 받아들이는지 여부와는 다른 축이며, 이 둘을 혼동하면 계약상으로는 보호받지만 운영상으로는 눈이 먼 상태가 되는데, 이것이 프록시 SLA와 가동시간 보장에서 논의된 경계다.
지표를 알림으로 전환하기
아무도 보지 않는 대시보드는 장식품이다. 위 지표들에 연결된 소수의 알림이야말로 실제로 파이프라인을 보호하는 것이다.
대상별 검증된 성공률이 임계값 아래로 떨어지면 알림을 보내라. 하나의 숫자로는 모든 사이트에 맞지 않기 때문이다. 커버리지가 지난주 같은 실행에 비해 떨어지면 알림을 보내라. 이는 조용한 축소를 잡아낸다. 신선도가 유스 케이스의 허용 범위를 초과하면 알림을 보내라. 레코드당 바이트가 급격히 상승하면 알림을 보내라. 이는 비용 회귀이며 대체로 코드 변경 때문이다. 그리고 재시도 비율이 상승하면 알림을 보내라. 이는 무엇보다도 가장 먼저 발동하기 때문이다.
두 가지 실용적인 규칙이 이것들을 다룰 만하게 만든다. 고정된 숫자가 아니라 롤링 베이스라인과 비교하라. 대상마다 고유한 리듬이 있고, 정적 임계값은 늑대가 나타났다고 계속 외치거나 아예 발동하지 않기 때문이다. 그리고 단일한 나쁜 구간이 아니라 지속적인 편차를 요구하라. 5분간의 나쁜 구간 하나는 노이즈일 뿐이다. 계측 자체는 웹 스크래핑 파이프라인 모니터링하기에서 다룬다.
최소한의 출발 세트
처음부터 계측한다면, 대상별로 여섯 개의 지표가 대부분의 가치를 준다. 검증된 성공률, 예상 대비 커버리지, 최신 레코드의 신선도, 레코드당 바이트, 재시도 비율, p95 레이턴시다. 처음 두 개에는 지역을 차원으로 추가하라. 지리는 다중 시장 파이프라인이 조용히 실패하는 지점이기 때문이다. 나머지는 이 여섯 개 중 하나가 답할 수 없는 질문을 제기할 때까지 기다려도 된다.
결론
성공률은 요청이 완료되었는지에 답하며, 이는 팀 리더가 가진 세 가지 질문 중 가장 덜 흥미로운 것이다. 돌아온 것을 성공으로 세기 전에 검증하고, 커버리지, 신선도, 필드 완전성을 측정해 데이터가 정확한지 알아내며, 레코드당 바이트, 레코드 천 개당 비용, 재시도 비율을 측정해 가격이 합리적인지 알아내라. 모든 것을 전체가 아니라 대상별, 지역별로 추적하고, 롤링 베이스라인으로부터의 지속적인 편차에 대해 알림을 보내며, 풀 크기나 원시 요청량으로 인프라를 판단하려는 유혹을 뿌리쳐라. 중요한 지표는 결정을 바꾸는 지표이며, 위의 것들이 바로 그렇다.
네트워크 자체를 기준으로 측정하는 것은 별개의 작업이며, 속도, 성공률, 위치 정확도 테스트하기에서 다룬다. 그 아래에 있는 레지덴셜 프록시는 GB당 요금이 부과되며, 이것이 바로 레코드당 바이트가 지켜볼 가치가 있는 비용 지표인 이유다. 이는 당신의 청구서를 구성하는 숫자다.