스타트업이 프록시를 찾게 되는 데는 특정한 이유가 있다. 공개되어 있지만 규모 있게 수집하기는 까다로운 데이터가 필요하고, 데이터 팀을 꾸릴 여력이 생기기 전부터 그 데이터가 필요하기 때문이다. 이 가이드는 초기 단계에서 어떤 사용 사례가 비용 지출을 정당화하는지, 각 사례가 실제로 무엇을 요구하는지, 그리고 첫 달 비용이 얼마나 드는지를 다룬다.
이 틀을 이해하는 것이 중요하다. 대기업은 아래의 모든 사용 사례를 동시에 운영할 수 있다. 매출이 없는 5인 팀은 그럴 수 없고, 그렇게 하려고 해서도 안 된다.
소규모 팀이 감당할 수 있는 범위
사용 사례를 선택하기 전에, 대기업에는 적용되지 않는 세 가지 제약이 있다.
- 예산은 수천 달러가 아니라 월 수십 달러 단위로 측정된다. 입문용 레지덴셜 플랜은 약 10달러부터 시작하며, 이는 엔지니어 하루 인건비에 비하면 오차 범위 수준이다. 이것이 올바른 관점이다. 문제는 데이터가 무료인지가 아니라, 하루치 수작업을 절약해 주는지 여부다.
- 엔지니어링 시간이 진짜 비용이다. 스크래퍼를 작성하는 데는 하루가 걸리며, 대상 사이트가 마크업을 바꿀 때마다 다시 손봐야 한다. 유지보수 비용을 예산에 반영하거나, 관리형 API를 사용해서 시간이 아닌 돈으로 지불하라.
- 하나의 사용 사례로 시작하라. 경쟁사 가격을 잘 추적하는 팀이, 네 가지 일을 어설프게 하는 팀보다 낫다. 매출과 가장 가까운 것을 선택하라.
어떤 사용 사례부터 시작할 것인가
| 사용 사례 | 프록시 유형 | 일반적인 사용량 | 설정 난이도 | 다음의 경우 여기서 시작 |
|---|---|---|---|---|
| 경쟁사 및 시장 가격 조사 | 로테이팅 레지덴셜 | 월 2~10GB | 낮음~보통 | 비교 가능한 경쟁사가 있는 제품을 판매하는 경우 |
| SEO 및 SERP 모니터링 | 로테이팅 레지덴셜 | 월 1~5GB | 낮음 | 오가닉 검색이 실질적인 유입 채널인 경우 |
| 리드 및 시장 조사 | 로테이팅 레지덴셜 | 월 1~5GB | 보통 | B2B를 판매하며 현재 잠재고객 발굴을 수작업으로 하는 경우 |
| 다지역 브랜드 및 광고 점검 | 로테이팅 레지덴셜 | 월 2GB 미만 | 낮음 | 두 개 이상의 국가에서 유료 캠페인을 운영하는 경우 |
| 다계정 운영 | ISP 프록시 | IP당 정액 | 낮음 | 여러 지역이나 클라이언트의 계정을 관리하는 경우 |
경쟁사 및 시장 가격 조사
제품을 판매하는 누구에게나 매출과 가장 직접적으로 연결되는 사례다. 경쟁사의 가격, 재고 상태, 프로모션을 일정한 주기로 수집하면, 추측이 아니라 의도적으로 가격을 책정할 수 있다.
설정할 것: 5~20개 경쟁사 제품 페이지를 대상으로 하루 한두 번 실행되는 스크래퍼를 만들어 스프레드시트나 소규모 데이터베이스에 기록한다. 로테이팅 레지덴셜 프록시를 사용하는데, 소매 사이트는 지역별로 가격을 다르게 매기고 대량 수집을 방어하기 때문이다.
현실적인 사용량: 하루 두 번 20개 경쟁사 페이지를 수집하면 한 달에 약 1,200페이지다. 페이지당 1~2MB라면 3GB 미만이다.
주의할 점: 방문자 위치에 따라 가격이 달라질 수 있다. 실제로 판매하는 지역에서 수집하지 않으면 수치를 비교할 수 없다.
SEO 및 SERP 모니터링
검색 결과는 개인화되고 지역화되어 있어서, 자신의 컴퓨터에서 자신의 순위를 확인해도 알 수 있는 것이 거의 없다. 프록시를 사용하면 각 시장의 일반 방문자가 보는 것과 동일한 결과를 볼 수 있다.
설정할 것: 판매 대상 지역 전반에서 목표 키워드에 대한 순위 추적을 설정한다. 도시 단위 타겟팅이 가능한 로테이팅 레지덴셜 프록시를 사용하거나, 직접 검색 스크래퍼를 유지보수하고 싶지 않다면 SERP API를 사용한다. 검색 스크래퍼는 유지하기 까다로운 축에 속한다.
현실적인 사용량: 소량이다. 하루 수백 건의 키워드 확인은 월 1GB에 훨씬 못 미친다.
리드 및 시장 조사
공개 디렉토리, 업계 목록, 공개 프로필에서 기업 데이터를 수집한 뒤, 이를 영업 프로세스에서 사용할 수 있는 형태로 보강하는 작업이다.
설정할 것: 소수의 공개 출처에서 구조화된 목록으로 데이터를 수집한다. 로테이팅 레지덴셜 프록시를 사용한다.
주의할 점: 이 사용 사례는 개인정보를 다룰 가능성이 가장 높으며, 해당 페이지가 공개되어 있었는지 여부와 무관하게 개인정보 보호 의무가 따른다. 규모를 키우기 전에 법적 근거를 이해해야 한다. 프록시 및 스크래핑의 합법성에 관한 가이드에서 자세히 다룬다.
다지역 브랜드 및 광고 점검
광고를 집행하고 있다면, 다른 나라의 고객이 무엇을 보는지 직접 확인할 수 없다. 프록시를 사용하면 대상 시장에서 광고 배치, 크리에이티브, 랜딩 페이지를 확인하고 광고 사기나 잘못된 배치를 찾아낼 수 있다.
설정할 것: 광고를 집행하는 각 지역에서 주기적으로 점검한다. 사용량이 매우 적으며, 이 목록에서 운영 비용이 가장 저렴한 항목 중 하나다.
다계정 운영
성장하는 기업이라면 한 플랫폼에서 여러 계정을 운영해야 할 정당한 이유가 흔히 있다. 지역 시장별 별도 계정, 클라이언트 계정을 개별적으로 보유하는 에이전시, 또는 메인 비즈니스 프로필과 분리해서 유지하는 브랜드 모니터링 계정 등이다.
설정할 것: 규정이 엄격한 플랫폼에서 계정당 하나의 고정 주소를 사용하며, ISP 프록시를 사용해 주소가 절대 바뀌지 않도록 한다. 매핑 기록을 남겨두어야 한다. 계정을 새 주소로 옮기는 것이 가장 흔한 자초 문제이기 때문이다.
분명히 짚어둘 점: 이는 정당하게 보유할 권리가 있는 계정을 깔끔하고 분리된 방식으로 운영하는 것에 관한 이야기다. 보유 가능한 계정 수에 대한 플랫폼 규정을 우회하는 기법이 아니다. 플랫폼은 IP 주소 이상의 훨씬 다양한 방법으로 그런 규정을 시행하며, 이를 회피하기 위해 만든 계정은 하룻밤 사이에 사라질 수 있는 자산이다.
비용은 얼마나 드는가
프록시 가격 체계는 두 가지 모델 중 하나로 작동한다.
기가바이트당 과금은 로테이팅 레지덴셜에 사용된다. 주소가 아니라 트래픽에 대해 비용을 지불하므로, 비용은 수집량에 비례한다. 입문용 플랜은 GB당 약 56달러이며, 사용량이 늘면 GB당 1달러 수준까지 내려간다. 1GB는 일반적인 HTML 페이지 약 5002,000개에 해당하므로, 텍스트 수집에서는 생각보다 훨씬 오래 간다.
IP당 월 정액 과금은 ISP 프록시에 사용된다. 트래픽과 무관하게 주소당 정액 요금을 지불하며, 소수의 주소가 지속적으로 작업을 수행하는 계정 작업에 적합하다.
첫 달 비용 추정하기
- 페이지 수를 계산한다. 출처 수 곱하기 출처당 페이지 수, 곱하기 하루 확인 횟수, 곱하기 30.
- 페이지 용량을 곱한다. 일반적인 페이지는 1~2MB로 계산한다. 대상 사이트에 JavaScript 렌더링이 필요하다면 스크립트, 스타일, 이미지까지 함께 가져오므로 훨씬 커진다.
- 재시도분으로 30%를 추가한다. 일부 요청은 실패해서 다시 시도된다. 이를 예산에 반영해야 한다.
- 입문용 요금제와 비교한다. 초기 단계의 대부분 사용 사례는 한 자릿수 초반 GB에 해당하며, 이는 가장 작은 플랜 규모다.
가장 흔한 추정 실수는 차단된 요청도 대역폭을 소비한다는 사실을 잊는 것이다. 실패율이 높은 저렴한 공급업체는 성공한 페이지 하나당 비용이 더 나은 공급업체보다 오히려 높을 수 있다.
현재 요금은 요금 페이지에서 확인할 수 있으며, 레지덴셜 프록시 페이지에서는 타겟팅과 세션 옵션을 다룬다.
성장하면서 요구사항은 어떻게 바뀌는가
출시 단계: 사용 사례 하나, 입문용 플랜, 스프레드시트 출력. 목표는 이 데이터가 의사결정을 바꾼다는 것을 입증하는 것이다.
성장 궤도 단계: 두세 가지 사용 사례, 실제 데이터베이스로의 정기 수집, 수십 GB 단위의 사용량. 이 시점부터 GB당 요금이 중요해지고, 관리형 API를 엔지니어링 시간과 비교해 가격을 따져볼 가치가 생긴다.
규모 확장 단계: 수집 작업이 인프라가 된다. 인증이 필요한 작업을 위한 전용 주소, 실패율 모니터링, 그리고 이를 전담하는 담당자가 필요하다. 비용에 대한 논의는 플랜 가격에서 스크래퍼 유지보수의 총비용으로 옮겨간다.
한 단계 올려야 할 신호는 대역폭 한도에 도달하는 것이 아니다. 누군가 매주 몇 시간씩 수집 작업을 유지하는 데 쓰고 있다는 것을 알아차릴 때다.
결론
프록시는 충분히 저렴해서, 스타트업에게 진짜 질문은 요금제 가격이 아닌 경우가 대부분이다. 진짜 질문은 그 데이터가 의사결정을 바꾸는지, 그리고 그것을 계속 수집할 엔지니어링 역량이 있는지다.
매출과 가장 가까운 사용 사례부터 시작해서, 입문용 레지덴셜 플랜으로 운영해 보고, 실제로 행동에 반영할 만한 결과가 나올 때만 확장하라.
프록시 유형 선택에 관해서는 프록시 유형을, 수집 관련 세부 내용은 웹 스크래핑 프록시를 참고하라.