무료 프록시와 유료 프록시에 대한 질문을 솔직하게 말하면, 이는 추상적인 품질에 관한 문제가 아니다. 어떤 실패를 감당할 의지가 있느냐에 관한 문제다. 무료 프록시는 실제로 무료이며, 공개 페이지에 소수의 요청을 보내는 정도라면 때때로 작동한다. 유료 프록시는 비용이 들지만, 수집 작업이 비즈니스에 중요해지는 순간 비용이 커지는 문제 범주를 제거해준다.
무료 프록시 목록의 실체
무료 프록시 목록은 몇 가지 예외를 제외하면 인터넷 전체를 스캔한 결과물이다. 스캐너는 일반적인 프록시 포트에서 응답하는 호스트를 찾아 주소 공간을 훑고, 요청을 전달하는지 확인한 다음, 그렇게 하는 호스트를 목록으로 공개한다. 이런 호스트는 세 가지 그룹으로 나뉜다.
일부는 잘못된 설정 때문이다. 서버, 라우터 또는 장치가 열린 프록시 포트를 가진 채로 배치되었고 소유자는 이를 모른다. 누군가 알아채고 닫을 때까지 계속 작동하는데, 그 시점은 내일일 수도 있다.
일부는 공공 유틸리티라는 발상을 좋아하는 사람들이 의도적으로 운영하는 오픈 릴레이다. 이는 최선의 경우이며 가장 드문 경우이기도 하다.
그리고 일부는 다른 사람들의 트래픽 중간에 위치하는 것을 목적으로 운영된다. 이는 확보하기에 저렴하면서도 유지할 가치가 있는 위치인데, 운영자가 그곳을 지나가는 모든 것을 볼 수 있기 때문이다.
이 세 가지 중 어느 것도 당신에게 의무를 지지 않고, 용량을 보장하지 않으며, 내일 작업을 실행할 때 그 자리에 여전히 있어야 할 이유도 없다.
보안 문제를 정확하게 짚어보면
흔히 나오는 경고는 무료 프록시가 데이터를 훔친다는 것이다. 이 말은 너무 부정확해서 쉽게 무시되기 마련이니, 정확한 설명을 해보자.
프록시 운영자는 당신이 보내는 모든 요청의 목적지를 볼 수 있다. 일반 HTTP의 경우, 운영자는 양방향의 전체 내용을 볼 수 있고 이를 수정할 수도 있다. HTTPS의 경우 전송 구간이 종단 간 암호화되므로 운영자는 내용이 아니라 호스트명과 트래픽 패턴만 볼 수 있다. 이것이 프록시 사용을 그나마 감당할 수 있게 만드는 보호 장치다.
문제가 발생하는 방식은 그다음이다. 내용을 원하는 운영자는 자체 인증서를 제시하며 클라이언트가 이를 받아들이기를 바랄 수 있다. 올바르게 설정된 클라이언트는 이를 거부하고 요청은 실패한다. 실제로 벌어지는 일은, 무료 프록시를 통해 연결되지 않는 스크래퍼를 디버깅하던 사람이 인증서 검증을 비활성화하면, 요청이 작동하기 시작하지만 중요했던 유일한 보호 장치가 사라진다는 것이다. 이제 프록시는 스크립트가 보내는 자격 증명을 포함해 모든 것을 읽을 수 있다.
따라서 규칙은 좁지만 명확히 말할 가치가 있다: 운영자가 누구인지 알 수 없는 프록시로는 인증이 필요한 트래픽, 자격 증명, 개인 데이터, 또는 상업적으로 민감한 어떤 것도 절대 보내서는 안 된다. 공개 페이지를 읽는 것과 계정에 로그인하는 것은 서로 다른 위험 범주에 속한다.
물량이 늘어날 때 먼저 무너지는 것
보안은 극적으로 들리는 반론이다. 실험을 끝내는 것은 신뢰성 문제다.
무료 목록은 몇 시간 만에 쇠퇴한다. 상당수 항목은 게시되는 시점에 이미 죽어 있고, 응답하는 항목 중에서도 많은 것들이 이미 목표 사이트에 알려져 있는데, 수천 명의 다른 사람들이 같은 주소로 트래픽을 밀어 넣고 있기 때문이다. 당신이 받는 것은 새로운 IP가 아니라, 이미 공개적으로 알려진 평판과 당신이 만들지 않은 이력을 가진 주소다.
처리량은 관리되지 않는다. 목록에 있는 모든 호스트는 그 목록을 찾은 모든 사람이 사용하고 있으므로, 요청마다 지연 시간이 몇 배 단위로 달라지고 연결이 응답 중간에 끊긴다. 타임아웃은 더 이상 오류 상황이 아니라 일반적인 경우가 되며, 이는 재시도 로직과 파서 모두를 노이즈를 감안해 작성해야 한다는 뜻이다.
이름값을 할 만한 지역 타겟팅은 존재하지 않는다. 항목에는 국가가 표시되어 있지만 그 표시는 자주 틀리며, 도시나 ASN, 통신사 제어는 전혀 없다. 현지 사용자가 보는 대로 페이지를 확인하는 것이 목적인 작업이라면, 추측은 전략이 될 수 없다.
세션 제어도 없다. 여러 단계에 걸쳐 같은 주소가 필요한 작업, 즉 커서 뒤에 있는 페이지네이션, 저장된 위치 선택, 다단계 흐름은 수행할 수 없는데, 같은 주소를 두 번 요청할 방법이 없기 때문이다.
그리고 가시성도 없다. 작업이 예상 결과의 절반만 산출했을 때 들여다볼 수 있는 것이 아무것도 없다. 성공률도 없고, 오류 분류도 없고, 요청별 로그도 없다. 대상이 바뀌었는지, 파서가 고장났는지, 아니면 프록시가 그냥 실패했는지 추측만 남는다.
비용을 지불하면 실제로 달라지는 것
유료 네트워크는 무료 목록이 제공할 수 없는 것들을 판매한다: 출처가 알려진 주소, 하나의 주소가 전체 작업 부하를 감당하지 않을 만큼 충분히 큰 풀, 희망 사항이 아니라 실제로 정확한 지역 제어, 요청마다 선택할 수 있는 세션 동작, 그리고 누군가가 책임지는 성공률.
레지덴셜 프록시는 실제 소비자 연결을 통해 라우팅되며, 이 점이 성숙한 봇 관리 체계를 갖춘 소비자 대상 사이트에서도 작동하게 만드는 이유다. ISP 프록시는 동일한 신뢰도를 유지하면서 고정된 주소를 제공하는데, 이는 상태를 유지해야 하는 흐름에 필요한 것이다. 데이터센터 프록시는 요청당 가장 저렴한 선택지로 남아 있으며, 자체 방어 수단이 없는 대상에는 적절한 답이다. 이들 사이에서 선택하는 것은 라우팅 결정이며, 유료 접근은 그것을 희망이 아니라 실제 결정으로 만들어준다.
소싱 방식도 구매하는 것의 일부이며 물어볼 가치가 있다. 레지덴셜 네트워크는 트래픽을 전달하는 기기를 가진 피어들로 구성되는데, 그 피어들이 이에 대해 알고 동의했는지 여부는 제공업체 사이의 실질적인 차이이며, 윤리적인 측면뿐 아니라 시간이 지나도 풀이 얼마나 안정적인지에도 영향을 미친다. 계약 전에 어떤 업체에든 물어볼 만한 정당한 질문이다.
무료가 정답인 경우
무료 프록시는 사기가 아니며, 비용을 지불하는 것이 무의미한 경우도 있다.
다른 나라에서 페이지가 다르게 렌더링되는지 한 번 확인해볼 때. 요금제를 결정하기 전에 프록시 설정이 어떻게 작동하는지 배울 때. 실패해도 대가가 없고 재시도가 무료인, 공개적이고 민감하지 않은 페이지를 읽을 때. 두 번 다시 실행하지 않을 일회성 실험일 때.
공통점은 요청의 성공 여부에 아무것도 걸려 있지 않다는 것이다. 보고서든, 가격 피드든, 모니터링 작업이든, 마감일이 있는 무언가든 뭔가가 걸리는 순간, 계산은 뒤바뀐다.
계산해보면
유료를 선택해야 하는 이유는 보통 품질을 근거로 제시된다. 하지만 비용 측면에서 더 설득력이 있다.
간단한 작업을 예로 들어보자: 하루에 공개 페이지 수천 건. 무료 인프라에서는 대부분의 요청이 실패하거나 챌린지 페이지를 반환하므로 크롤러가 재시도하고, 재시도 역시 실패한다. 엔지니어는 설계상 신뢰할 수 없는 주소 풀에 대응하기 위해 로테이션, 상태 확인, 재시도 로직을 구축하는 데 일주일을 쓰고, 목록이 계속 바뀌면서 매달 이를 유지하는 데 시간을 쓴다. 그 일주일은 소규모 프록시 요금제 몇 년 치보다 값이 나간다.
동일한 작업의 유료 버전은 대역폭 기준으로 가격이 매겨진다. 이미지와 폰트를 차단한 텍스트 페이지 대상으로 GB당 $1.00의 레지덴셜 트래픽을 사용하면, 이런 작업은 월 한 자릿수 달러 수준에 들어간다. 엔지니어링 시간은 인프라를 우회하는 데 쓰이는 대신 파서와 분석에 투입된다.
이것이 논지의 전부다. 무료 프록시는 비용이 전혀 들지 않는 것이 아니라, 청구서에서 엔지니어링 일정으로 비용을 옮길 뿐이며, 여기에 아무런 이점도 없는 위험 범주까지 더한다.
유료 제공업체를 선택하는 방법
결정을 내리고 나면, 유용한 평가 기준은 겉모습이 아니라 운영 측면에 있다. 풀 크기와 국가 수는 눈에 띄는 숫자이지만 정보 가치는 가장 낮다. 중요한 것은 수집 기간 동안 성공률이 유지되는지, 지역 타겟팅이 요청한 도시나 ASN으로 정확히 해석되는지, 로테이팅과 스티키 세션을 하나의 계정에서 모두 사용할 수 있는지, 동시 연결 수에 제한이 있는지, 그리고 사용량을 월말이 아니라 실시간으로 확인할 수 있는지다.
이 부분에서는 독립적인 측정이 제공업체의 주장보다 신뢰할 수 있으며, 그래서 우리 네트워크 수치는 글 속에서 주장되는 대신 방법론을 함께 첨부한 벤치마크 페이지에 게시되어 있다. Shifter의 레지덴셜 네트워크는 195+개국에 걸쳐 205M+ 개의 IP를 도시 단위 및 ASN 타겟팅과 함께 커버하며, 로테이팅 및 스티키 세션, 무제한 동시 연결을 제공하고, 가격은 IP당 과금 없이 GB당으로 책정된다.
요약
무료 프록시는 단순한 궁금증을 해소하는 데는 적합하지만 그 외의 용도에는 적합하지 않다. 구조적으로 신뢰할 수 없고, 누가 운영하는지 불투명하며, 자격 증명이 개입되는 순간 위험해진다.
유료 프록시가 더 나은 이유는 비용이 든다는 사실 때문이 아니다. 풀에 대해 누군가 책임을 지고, 지리적 위치가 실제이며, 세션이 제대로 작동하고, 실패가 눈에 보이기 때문에 더 나은 것이다. 사람이나 보고서가 걸려 있는 어떤 수집 작업에서든, 이는 프리미엄이 아니라 최소한의 요구 사항이다.
Read next: 스크래핑 시 차단을 피하는 방법.