프록시 제공업체에 성공률을 물으면 대개 매우 높은 숫자를 듣게 됩니다. 어떻게 집계했는지 물으면 “응답을 반환한 요청” 또는 “HTTP 200을 반환한 요청”이라는 답이 자주 돌아옵니다. 둘 다 원하는 데이터를 실제로 받았는지는 알려 주지 않습니다.
어떤 레지덴셜 프록시를 사용하든, 유용한 성공의 정의는 더 좁습니다. 응답에 요청한 것이 들어 있어야 합니다. 이 가이드는 상태 코드가 성공을 과대평가하는 이유, 상태 코드를 통과 규칙으로 대체하는 방법, 그리고 그 결과를 정직하게 집계하는 방법을 설명합니다. 측정에 초점을 맞춘 글입니다. 스크레이퍼 내부에서 오염되었거나 가짜인 콘텐츠를 찾아내는 방법은 차단되었거나 가짜인 콘텐츠 탐지하기 글을 참고하세요.
상태 코드가 거짓말을 하는 이유
HTTP 상태 코드는 클라이언트와 서버 사이의 통신 상태를 나타냅니다. 서버가 페이지를 실제로 내어 주었는지는 알려 주지 않습니다. 방어가 강한 사이트는 의심스러운 요청에도 정중하게 응답할 이유가 충분합니다.
- 챌린지 페이지. CAPTCHA나 JavaScript 인터스티셜은 브라우저가 렌더링하기를 사이트가 원하기 때문에 200으로 제공됩니다.
- 소프트 차단. 결과가 0건인 검색 페이지, 가격이 빠진 상품 페이지, “문제가 발생했습니다” 템플릿이 모두 200으로 내려옵니다.
- 동의 및 리디렉션 페이지. 요청한 콘텐츠를 대신하는 쿠키 월이나 지역별 랜딩 페이지입니다.
- 잘못된 콘텐츠. 타겟으로 지정한 국가가 아닌 다른 국가의 페이지로, 파싱은 문제없이 되지만 틀린 데이터입니다.
이 모든 경우에 트래픽 요금이 부과되고, 상태 코드 대시보드에서는 모두 성공으로 집계됩니다. 그래서 상태 코드 기준 성공률은 거의 완벽에 가까운데 사용 가능한 페이지의 비율은 훨씬 낮은 일이 생깁니다.
네 가지 결과, 하나의 성공
더 정직한 방식은 Atlas 방법론이 사용하는 방식으로, 모든 요청을 네 가지 결과 중 하나로 분류합니다.
- 통과. 응답이 해당 타겟에 대해 문서로 정해 둔 조건을 충족했습니다. 요소가 파싱되었거나, JSON이 기대한 구조였거나, 토큰이 발급된 경우입니다. 이것만이 유일한 성공입니다.
- 챌린지. 페이지 대신 CAPTCHA나 인터스티셜이 돌아왔습니다. 대개 200으로 옵니다.
- 차단. 타겟이 노골적으로 거부했습니다. 403, 429, 차단 페이지, 또는 콘텐츠가 오가기 전의 연결 재설정이 해당합니다.
- 타임아웃. 해당 타겟에 정해 둔 시간 안에 사용 가능한 응답이 오지 않았습니다. 프록시 게이트웨이 자체에서 발생한 오류도 포함합니다.
실패를 이렇게 나누는 것이 중요한 이유는 각각 다른 원인을 가리키기 때문입니다. 차단과 챌린지는 주로 타겟이 출구 주소를 어떻게 보는지를 나타냅니다. 타임아웃은 주로 네트워크 상태를 나타냅니다. 실패 건수를 하나로 합치면 어떤 문제가 있는지 알 수 없습니다.
통과 규칙 작성하기
통과 규칙은 사람이 직접 보지 않아도 코드가 응답에 대해 실행할 수 있는 검사입니다. 해당 페이지가 진짜라는 증거를 명시합니다. 좋은 규칙은 타겟에 맞게 구체적입니다.
- 상품 페이지: 가격과 재고 마크업이 존재하고 파싱됩니다.
- 검색 결과 페이지: 정해 둔 개수 이상의 오가닉 결과 블록이 파싱됩니다.
- JSON 엔드포인트: 응답이 오류 객체가 아니라 기대한 배열을 담은 유효한 JSON입니다.
- 대기열 또는 세션: 토큰이 발급되었습니다.
- 정적 페이지: 알려진 해시나 길이와 일치하는 등, 본문이 변경 없이 도착했습니다.
각 규칙은 챌린지 페이지가 우연히 통과하지 못할 만큼은 좁게, 정상적인 레이아웃 변경이 모든 요청을 실패로 만들지 않을 만큼은 느슨하게 유지하세요. 필요한 데이터가 있는지를 검사해야 하며, “captcha”라는 단어가 없는지를 검사해서는 안 됩니다. 새로운 챌린지 업체는 그 단어를 쓰지 않을 수 있기 때문입니다.
테스트하기 전에 규칙을 먼저 적어 두세요. 결과를 본 뒤에 정한 규칙은 특정 제공업체가 좋아 보이도록 조정되기 쉽습니다.
챌린지 비율: 상태 코드가 숨기는 숫자
세 가지 실패 유형 중에서 챌린지 비율은 어떤 보고서에서든 별도의 항목으로 다룰 가치가 있습니다. CAPTCHA나 인터스티셜로 응답받은 요청의 비율이며, 차단과는 다르게 움직입니다.
사이트는 단계적으로 강화하는 경향이 있습니다. 먼저 주소에 챌린지를 걸고, 그다음에 차단합니다. 챌린지 비율이 오르는 것은 풀을 너무 강하게 사용하고 있거나 타겟이 방어를 강화했다는 첫 신호인 경우가 많으며, 하드 차단이 늘기 며칠 전에 나타나기도 합니다. 챌린지는 200으로 도착하기 때문에, 이런 일이 벌어져도 상태 코드 대시보드에는 아무 변화가 보이지 않습니다.
챌린지에는 비용도 듭니다. 챌린지 페이지는 헤더, 마크업, 스크립트를 갖춘 완전한 응답이므로 기가바이트 단위 요금제에서는 실제 페이지와 똑같이 요금을 냅니다. Atlas의 실제 비용 페이지는 실패한 요청까지 가격에 반영했을 때 비용이 얼마나 늘어나는지 보여 줍니다.
공정하게 집계하기
통과 규칙은 분자를 바로잡아 줍니다. 분모에도 같은 주의가 필요합니다.
- 모든 시도를 집계하세요. 클라이언트가 재시도하면 각 재시도도 하나의 요청입니다. 재시도 후에 측정한 성공률은 네트워크가 아니라 재시도 로직을 설명합니다.
- 타임아웃과 게이트웨이 오류를 포함하세요. “사이트에 도달하지 못한” 요청을 제외하면 네트워크에 책임이 있는 실패가 정확히 빠져 버립니다.
- 시간대를 고르게 반영하세요. 바쁜 시간대가 한가한 시간대를 묻어 버리거나, 좋은 오후가 나쁜 밤을 가려서는 안 됩니다.
- 타겟별로 보고하세요. 방어가 없는 페이지와 방어가 있는 페이지의 평균은 어느 쪽도 설명하지 못합니다.
- 분모를 공개하세요. 요청 수가 없는 비율은 평가할 수 없습니다.
직접 측정하기
자신의 작업에서 프록시 성공률을 측정하기 위한 최소한의 구성은 다음과 같습니다.
- 실제로 프록시 비용을 지불하는 타겟을 나열합니다.
- 요청을 보내기 전에 타겟마다 통과 규칙을 하나씩 작성합니다.
- 모든 요청을 상태, 통과 규칙의 판정, 소요 시간, 타겟이 본 출구 주소와 함께 기록합니다.
- 각 실패를 챌린지, 차단, 타임아웃으로 분류합니다.
- 성공, 챌린지 비율, 차단 비율, 타임아웃을 타겟별로 건수와 함께 따로 보고합니다.
- 시간에 따른 챌린지 비율을 지켜보고, 상태 코드가 아니라 챌린지 비율에 알림을 설정합니다.
이러한 숫자를 확보한 뒤의 알림 설정은 스크래핑 파이프라인 모니터링하기 글에서 다룹니다.
Atlas는 보내는 모든 요청을 타겟별로 문서화한 통과 규칙으로 같은 방식으로 판정하며, 각 타겟의 결과를 타겟 페이지에 공개합니다. 따라서 Atlas에서 네트워크의 성공률은 항상 실제 페이지를 전달한 요청의 비율을 의미합니다.