오늘 저희는 차세대 Shifter 레지덴셜 프록시를 출시합니다. 이는 최초의 레지덴셜 게이트웨이를 선보인 이후 이 제품에 가해진 가장 큰 변화이며, 1년간의 고객 피드백을 세 가지로 집약한 것으로, 대규모 프로덕션 프록시 트래픽 운영 경험을 실질적으로 개선한다고 저희는 생각합니다.
급하신 분들을 위해 요약하면: 엔드포인트는 하나이며, GB당 요금을 지불하고, 모든 플랜에서 추가 비용 없이 국가, 지역, 도시, ASN 단위로 타겟팅할 수 있으며, IP 풀은 195개 이상의 국가에 걸쳐 31M+에서 205M+ 레지덴셜 IP로 증가했습니다. 속도도 전반적으로 향상되었습니다.
이 글의 나머지 부분에서는 무엇이 바뀌었는지, 왜 바뀌었는지, 그리고 기존 고객이 알아야 할 사항을 설명합니다.
한눈에 보는 새로운 점
단일 통합 게이트웨이. 단일 엔드포인트인 p.shifter.io:443을 사용합니다. 모든 요청, 모든 국가, 모든 세션이 동일한 호스트와 동일한 포트를 사용합니다. 타겟팅 힌트는 요청 시점에 사용자 이름 문자열에 인코딩되므로, 플랜별 서브도메인이나 포트별 할당을 관리할 필요가 없습니다.
전반적인 대역폭 기반 요금제. 실제로 사용한 데이터에 대해서만 비용을 지불합니다. 포트도, 요청당 요금도, 동시 접속 제한도 없습니다. 플랜은 대규모 기준 $1.00/GB부터 시작하며, 전체 요금표는 가격 페이지에서 확인할 수 있습니다.
모든 플랜에서 제공되는 도시 및 ASN 타겟팅. 과거에는 엔터프라이즈 전용 기능이었던 것이 이제 추가 비용 없이 모든 플랜에 포함됩니다. 저희가 커버리지를 보유한 모든 도시(대부분의 도시, Locations 참조)로 라우팅하거나, 사용자 이름에 쿼리 스타일 플래그를 하나 추가하는 것만으로 특정 ASN으로 제한할 수 있습니다.
이 세 가지 변화는 저희 머릿속에서 긴밀하게 연결되어 있으며, 세 가지의 독립적인 제품 결정이 아니라 하나의 아키텍처 재설계의 결과물입니다. 하지만 실제로 바뀐 것은 구매자 측 경험입니다: 더 단순한 엔드포인트, 더 단순한 청구서, 그리고 이 가격대에서 대부분의 팀이 기대했던 것보다 더 높은 정밀도입니다.
왜 단일 게이트웨이인가
저희가 몇 년 전 처음 출시했던 오리지널 레지덴셜 제품은 포트 기반 플랜을 사용했습니다. 포트 100개를 구매하면 각 포트마다 50개의 동시 연결을 사용할 수 있었고, 각 포트는 고유한 host:port 쌍을 가졌습니다. 이는 당시로서는 합리적인 모델이었고, 저희와 그 위에 진지한 인프라를 구축한 고객들에게 수년간 잘 작동했습니다.
포트 모델을 더 이상 적합하지 않은 기본 단위로 만든 두 가지 변화가 있습니다:
풀이 충분히 커지면서 동시 접속이 더 이상 제약 요인이 아니게 되었습니다. 풀에 205M개의 IP가 있으면 “네트워크가 5,000개의 동시 연결을 처리할 수 있는가”라는 질문은 더 이상 흥미롭지 않습니다. 답은 예스입니다. 흥미로운 질문은 어떤 IP를, 어떤 지역에서, 어떤 세션 동작으로 사용할 것인가이며, 이는 포트로는 답할 수 없는 질문이었습니다.
워크로드가 더욱 동적으로 변화했습니다. 현대의 데이터 파이프라인은 한 달 내내 100개의 정적인 스크레이퍼를 꾸준히 실행하지 않습니다. 웹훅이나 스케줄에 의해 촉발되는 버스트성 팬아웃을 실행하며, 동시 접속 수는 몇 시간 사이에 1에서 1,000까지 달라질 수 있습니다. 고정된 포트 할당은 이러한 버스트를 제대로 처리하지 못하거나, 유휴 용량에 대해 과도한 비용을 청구하게 만들었습니다.
통합 게이트웨이는 이 두 가지 문제를 모두 해결합니다. 하나의 엔드포인트, 엣지에서 파싱되는 타겟팅, 동시 접속 제한 없음. 요청 시점에 적절한 풀에서 IP를 할당하고, 라우팅하고, 반환합니다. 고객의 사고 모델은 더 단순해집니다: 하나의 URL, 하나의 인증, 하나의 자격 증명 세트, 하나의 청구서.
왜 대역폭 기반 요금제인가
이번 변화 중 이 부분이 가장 파급력이 크면서도 설명하기 가장 쉽습니다. 대역폭은 실제로 소비하는 자원입니다. 포트는 대역폭, 즉 동시 접속 수 × 처리량을 나타내는 하나의 프록시(단어의 또 다른 의미에서)였습니다. 대역폭은 그 기저에 있는 물리적 자원입니다. 기저 자원을 기준으로 요금을 책정한다는 것은 청구서가 실제 사용량과 일치한다는 뜻입니다.
구체적으로, 새로운 요금제에서는:
- 예를 들어 중간 티어에서는 월 100GB의 대역폭 할당량을 구매합니다.
- 이 할당량은 원하는 대로 사용할 수 있습니다. 100GB 파일을 스트리밍하는 요청 1건이든, 각각 1KB API 응답을 가져오는 요청 1억 건이든 상관없습니다.
- 동시 접속 무제한, 요청 속도 무제한, 포트 제한 없음.
- 초과 사용량은 지갑에서 차감되는 종량제 요금으로 자동 전환되며, 월 중간에 플랜을 업그레이드할 필요가 없습니다.
대부분의 팀에게 이는 사용량 예측 방식을 크게 바꿔줍니다. “다음 달에 얼마나 많은 데이터를 이동시킬 것인가”라는 질문은 간단한 어림 계산만으로 답할 수 있습니다. “포트가 몇 개나 필요한가”라는 질문은 몇 주간 워크로드를 실제로 운영해 본 뒤에야 경험적으로 답할 수 있는 질문이었습니다.
기존에 포트 플랜을 사용 중이며 전환을 고려하고 계시다면, 지원팀이 사용 이력을 확인하여 이에 상응하는 대역폭 플랜이 어떤 모습일지 안내해 드릴 수 있습니다. hi@shifter.io로 문의해 주시면 함께 수치를 계산해 드리겠습니다.
왜 모든 곳에서 도시 및 ASN 타겟팅을 제공하는가
국가 단위 타겟팅은 작은 문제를 해결합니다. 도시 및 ASN 단위 타겟팅은 실제로 저희 매출을 만들어주는 워크로드에게 훨씬 더 큰 문제를 해결해 줍니다.
미국 전역의 대도시별 전자상거래 가격을 모니터링하는 팀에게는 도시 단위 정밀도가 필요합니다. 뉴욕, LA, 시카고, 휴스턴, 마이애미의 Amazon 가격은 서로 다른 다섯 개의 가격이며, 국가 단위 프록시는 그중 하나만 반환할 뿐 어느 도시의 가격인지 알 방법이 없습니다. 광고 노출을 검증하는 팀은 샌프란시스코에서 제공된 광고가 실제로 샌프란시스코용 크리에이티브를 포함하고 있는지 확인해야 합니다. 음식 배달 서비스를 스크레이핑하는 팀은 각 DoorDash 시장을 개별적으로 가져와야 합니다.
과거에는 엔터프라이즈 계약을 통해서만 이용할 수 있었던 기능이 이제는 모든 플랜에 포함됩니다. 이유는 간단합니다. 특정 도시 IP를 통해 요청을 라우팅하는 비용은 국가 IP를 통해 라우팅하는 비용과 다르지 않습니다. 고객 측에 존재했던 제한은 기술적인 문제가 아니라 요금 정책상의 결정이었습니다. 저희는 그 제한을 없앴습니다.
ASN 타겟팅도 마찬가지입니다. Comcast(AS7922), Verizon(AS701), BT(AS2856)처럼 특정 ISP가 필요하다면 사용자 이름에 -asn-<number>를 추가하면 해당 위치로 트래픽이 라우팅됩니다. 추가 비용도, 별도 플랜도 필요 없습니다.
전체 지역 플래그 목록:
customer-USERNAME-country-us # 국가customer-USERNAME-country-us-region-california # 주/지역customer-USERNAME-country-us-city-new_york # 도시customer-USERNAME-country-us-asn-7922 # ASN (Comcast)customer-USERNAME-country-us-strict-true # 정확히 일치하지 않으면 실패이 플래그들은 자유롭게 조합할 수 있습니다. country + city, country + asn, 또는 네 가지를 모두 함께 사용할 수도 있습니다. 게이트웨이가 이를 파싱하여 라우팅합니다.
기존 고객이 해야 할 일
오리지널 포트 기반 플랜을 사용 중이시라면, 기존 플랜과 포트 기반 자격 증명은 계속 정상적으로 작동합니다. 새로운 게이트웨이는 다른 요금 모델(포트 대신 대역폭)을 사용합니다. 전환에 별도 수수료는 없으며, 기존 고객을 위한 할인도 제공됩니다. 지원팀에 문의하시면 사용량에 맞는 적절한 마이그레이션 플랜과 가격을 함께 정해 드리겠습니다.
신규 고객이시라면, 그냥 가입하시면 됩니다. 새로운 게이트웨이가 기본값입니다. 요금은 레지덴셜 프록시 가격 페이지에서, 전체 문서는 /docs/products/residential-proxies에서 확인하실 수 있습니다.
다음 단계
이번 출시는 약 1년간 진행된 작업 중 눈에 보이는 부분일 뿐입니다. 눈에 잘 띄지 않는 부분은 운영 측면으로, 요청별 동작에 대한 더 나은 관측 가능성, 대역폭 및 세션 지표를 위한 더 나은 대시보드, 더 많은 언어를 지원하는 더 나은 SDK 등이 있습니다. 이 중 일부는 이미 출시되었고, 나머지는 대기 중입니다. 흥미로운 부분들은 준비되는 대로 글로 소개하겠습니다.
그동안, 새로운 레지덴셜 프록시는 이미 정식으로 제공되고 있습니다. 요금, 문서, 가입 링크는 모두 위에 있습니다. 도시 단위 정밀도의 가격이 내려가기를 기다리셨다면, 방금 그렇게 되었습니다. 포트가 사라지기를 기다리셨다면, 포트는 사라지지 않았지만 더 이상 신경 쓰실 필요가 없습니다. 그리고 오늘 처음부터 시작하시는 분이라면, 환영합니다. 막히는 부분이 있으시면 hi@shifter.io에서 채팅으로 저희 팀과 대화하실 수 있습니다.