온라인에서 무언가를 하려다 막힌 경험 때문에, 혹은 어떤 튜토리얼이 이유는 설명하지 않고 레지덴셜 프록시가 필요하다고만 말해서 여기까지 왔다면, 여기가 출발점이다. 사전 지식은 필요 없으며, 등장하는 용어는 그때그때 설명한다.
프록시가 실제로 하는 일
보통 컴퓨터는 웹사이트에 직접 연결하고, 웹사이트는 인터넷 제공업체가 당신의 연결에 할당한 번호인 당신의 IP 주소를 본다. 프록시는 그 중간에 위치한다. 당신은 요청을 프록시로 보내고, 프록시는 이를 웹사이트로 전달하며, 웹사이트는 당신의 주소 대신 프록시의 주소를 보게 된다.
메커니즘 전체가 이것이다. 나머지는 모두 누구의 주소를 빌리느냐에 관한 문제다.
주소 유형이 중요한 이유
웹사이트는 주소가 어디서 왔는지에 따라 다르게 취급하며, 이것이 초보자를 놀라게 하는 부분이다.
데이터센터 주소는 호스팅 회사, 즉 서버가 있는 곳에 속한다. 이런 주소는 저렴하고 빠르지만, 사람이 아니라는 사실도 명백하다. 해당 대역은 공개적으로 등록되어 있어서 웹사이트는 요청이 서버에서 왔다는 것을 즉시 알 수 있고, 많은 사이트가 이를 차단하거나, 확인 절차를 거치게 하거나, 다른 콘텐츠를 제공하는 근거로 삼는다.
레지덴셜 주소는 실제 가정용 인터넷 연결에 속하며, 일반 소비자용 제공업체가 가구에 할당한 것이다. 웹사이트 입장에서는 집에서 접속하는 평범한 사람처럼 보이며, 그래서 데이터센터 주소로는 작동하지 않는 사이트에서도 작동한다. 이런 주소는 자신의 연결을 공유하기로 동의한 사람들에게서 나오기 때문에 비용이 더 높다. 공급량이 데이터센터 주소와 달리 유한하기 때문이다.
다른 유형들도 있으며, 전체 용어 목록은 용어집에 있지만, 이 구분만으로도 초보자가 알아야 할 대부분이 설명된다.
실제로 필요한 경우
레지덴셜 프록시는 다음 두 가지 중 하나에 작업이 달려 있을 때 비용을 들일 가치가 있다.
다른 곳 사람들이 보는 것을 그대로 보기. 가격, 검색 결과, 상품 재고, 광고는 국가별로, 종종 도시별로도 다르다. 독일 고객이 무엇을 보는지 알아야 한다면 독일에서 요청해야 하며, 독일의 레지덴셜 주소가 그 방법이다. 여기에는 가격 모니터링, 다른 시장에서 자신의 사이트나 광고가 어떻게 보이는지 확인하는 것, 지역별로 달라지는 조사 데이터를 수집하는 것이 포함된다.
하나의 연결로는 감당할 수 없는 규모로 공개 데이터를 수집하기. 어떤 사이트든 하나의 주소에서 수천 건의 요청이 오면 이를 알아채고 거부하기 시작한다. 그 물량을 여러 주소에 분산시키는 것이 대규모 수집 작업이 계속 작동하게 만드는 방법이다.
둘 다 해당하지 않는다면 레지덴셜 프록시가 전혀 필요하지 않을 수도 있다. 방어되지 않은 대상이나 자신의 인프라라면 더 저렴한 데이터센터 주소로도 충분하며, 필요하지 않은 곳에 레지덴셜을 쓰는 것은 그저 비용만 늘릴 뿐이다. 정직한 비교는 레지덴셜 대 데이터센터에 있다.
두 가지 동작 방식
이 개념이 사람들을 가장 혼란스럽게 하지만, 일단 설명하면 단순하다.
로테이팅은 각 요청이 매번 다른 주소를 통해 나가는 것을 의미한다. 이것이 기본값이며 데이터 수집에는 올바른 선택이다. 요청을 여러 주소에 분산시키는 것이야말로 어느 하나의 주소도 주목받지 않게 만드는 방법이기 때문이다.
고정 방식은 한동안 같은 주소를 유지하는 것을 의미한다. 사이트가 요청 사이에 당신을 기억해야 하는 경우, 예를 들어 로그인하거나, 여러 페이지에 걸친 검색을 진행하거나, 중간에 주소가 바뀌면 마치 도중에 다른 사람이 나타난 것처럼 보이는 모든 경우에 이것이 필요하다. 사용자 이름에 세션 식별자를 추가하면 이를 얻을 수 있으며, 정해진 시간 동안 유지된 후 로테이션된다.
대부분의 프로젝트는 둘 다 사용한다. 대량 수집에는 로테이팅을, 순서가 있는 작업에는 고정 방식을 사용한다. 자세한 내용은 고정 대 로테이팅에 있다.
비용 지불 방식
레지덴셜 프록시는 사용하는 주소 개수가 아니라 이동시키는 데이터양, 즉 기가바이트 단위로 청구된다. 이는 사람들을 종종 당황하게 만드는데, IP 개수를 구매하는 것이 아니라 대역폭을 추정해야 한다는 뜻이기 때문이다.
실질적으로 이는 요청 횟수보다 무엇을 가져오는지가 더 중요하다는 것을 의미한다. 페이지의 근본 데이터를 가져오는 것은 몇 킬로바이트에 불과하지만, 모든 이미지, 폰트, 스크립트를 포함해 브라우저에서 페이지를 완전히 로드하면 수 메가바이트가 될 수 있다. 두 번째 방식으로 구현한 동일한 작업은 100배 더 많은 비용이 들 수 있다. 이 트레이드오프는 대역폭 추정하기와 대역폭 비용 절감하기에서 다룬다.
첫 요청 보내기
필요한 것은 네 가지, 호스트, 포트, 사용자 이름, 비밀번호다. 호스트와 포트는 절대 바뀌지 않는다. 타겟팅은 사용자 이름에 넣는다.
# 가장 단순한 형태: 로테이팅, 위치 선호 없음
curl -x customer-USERNAME:PASSWORD@p.shifter.io:443 https://ipinfo.io/json
# 동일한 요청이지만 독일을 경유
curl -x customer-USERNAME-country-de:PASSWORD@p.shifter.io:443 https://ipinfo.io/json첫 번째 요청을 두 번 실행하면 서로 다른 두 주소가 보여야 하며, 이는 로테이션이 작동하고 있음을 확인해준다. 고정 세션과 도시 타겟팅을 포함한 전체 형식은 레지덴셜 프록시 연결 방법에 있다.
초보자가 저지르는 네 가지 실수
프록시가 차단 문제를 스스로 해결해줄 것이라 기대하는 것. 주소는 여러 신호 중 하나일 뿐이다. 요청이 다른 면에서 브라우저처럼 보이지 않는다면 여전히 차단될 수 있으며, 그다음으로 고쳐야 할 것은 대개 헤더다.
너무 빠르게 진행하는 것. 신규 사용자는 종종 코드가 허용하는 한 최대한 빠르게 요청을 보내는데, 이는 차단으로 가는 가장 빠른 길이다. 의도적으로 속도를 늦춰라. 신중한 속도는 단지 예의를 갖추는 것을 넘어 성공률을 높게 유지해주며, 속도 제한과 스로틀링을 참고하라.
200 응답을 그대로 신뢰하는 것. 페이지는 “성공”을 반환하면서도 확인 절차, 빈 결과, 또는 원하던 것의 일반화된 버전을 담고 있을 수 있다. 데이터로 취급하기 전에 콘텐츠가 예상한 것이 맞는지 확인하라. 차단되거나 가짜인 콘텐츠 감지하기를 참고하라.
데이터를 직접 가져올 수 있는데도 전체 페이지를 로드하는 것. 많은 사이트는 브라우저 네트워크 패널에서 확인 가능한 근본 엔드포인트에서 콘텐츠를 가져온다. 그것을 직접 호출하는 것이 더 빠르고, 파싱하기 더 쉬우며, 비용도 훨씬 저렴하다. 이 판단은 헤드리스 브라우저가 필요한 경우에서 다룬다.
올바르게 사용하기
프록시는 요청이 어디서 오는 것처럼 보이는지를 바꿀 뿐이다. 무엇을 해도 되는지를 바꾸지는 않는다. 공개 데이터를 수집하고, 각 사이트의 서비스 약관과 robots 지침을 존중하며, 요청 속도를 예의 있게 유지하고, 개인 데이터에는 주의를 기울여라. 지역에 따라 정당하게 달라지는 콘텐츠에 접근하는 것은 평범한 업무이지만, 자신에게 적용되도록 되어 있는 제한을 우회하기 위해 프록시를 사용하는 것은 그렇지 않으며, 도구가 이를 바꾸지는 않는다. 정당한 사용 범위는 지역 제한을 합법적으로 우회하기에 있다.
다음으로 볼 것
첫 요청이 작동하고 나면, 규모 산정을 위해 적절한 플랜 선택하기, 누군가 그 질문을 던진다면 실제로 필요한 프록시 IP 개수, 아직 평가 중이라면 구매 전 테스트할 것들을 참고하라. 문제가 생겼을 때는 가장 흔한 두 가지 초기 문제를 다루는 IP가 로테이션되지 않을 때와 407 오류 해결하기를 참고하라.
핵심 요약
프록시는 요청을 전달해 사이트가 당신의 주소 대신 프록시의 주소를 보게 만들며, 레지덴셜 프록시는 실제 가정용 연결을 빌리기 때문에 평범한 방문자로 취급받는다. 특정 장소의 사람들이 보는 것을 봐야 하는 작업, 또는 하나의 연결로는 감당할 수 없는 물량으로 공개 데이터를 수집해야 하는 작업에 이것이 필요하다. 기본적으로 로테이션하고, 사이트가 순서를 추적하고 있을 때는 고정 세션을 유지하며, 전송된 데이터에 대해 비용을 지불한다는 점을 기억하라. 즉 더 적게 가져오는 것이 비용을 좌우하는 주된 지렛대다. 단순한 요청 하나로 시작해서, 로테이션이 되는지 확인한 다음, 타겟팅 플래그를 하나씩 추가하라.
준비가 되면, 레지덴셜 프록시는 여기서 설명한 국가 및 도시 타겟팅, 로테이션과 고정 세션을 하나의 연결로 제공하며, GB당 가격 덕분에 작은 첫 프로젝트도 적은 비용으로 시작할 수 있다.