블로그

가이드, 튜토리얼 및 인사이트

레지덴셜 프록시, 웹 스크래핑, 데이터 수집 전략 및 업계 모범 사례를 Shifter 팀으로부터 배우세요.

뉴스
뉴스 3 분 소요

자동 지갑 충전 기능 소개

임계값과 충전 금액을 설정하면 Shifter 지갑이 자동으로 충전되어 사용량 기반 요금으로 인해 프록시가 중단되는 일이 없습니다. 월별 한도 설정 가능, 언제든지 해제 가능.

James Meadow James Meadow · 2026년 7월 30일
지식
지식 7 분 소요

Node.js에서 Axios와 Got로 레지덴셜 프록시 사용하는 방법

Node.js의 프록시: Axios가 https-proxy-agent와 proxy:false를 필요로 하는 이유, Got의 agent 옵션, fetch를 위한 undici의 ProxyAgent, 그리고 요청별 지역 로테이션.

Chris Collins Chris Collins · 2026년 7월 29일
지식
지식 8 분 소요

쿠버네티스로 레지덴셜 프록시 스크래핑 워크로드를 확장하는 방법

쿠버네티스에서 스크래핑을 실행하는 방법: Secrets로 관리하는 프록시 자격 증명, Downward API를 통한 파드별 세션 식별, 큐 기반 오토스케일링, 그리고 정상적인 종료 처리까지.

Chris Collins Chris Collins · 2026년 7월 28일
스크래핑
스크래핑 6 분 소요

웹 스크래핑 모범 사례: 스크래핑 대상 사이트에 피해를 주지 않고 데이터를 수집하는 방법

책임감 있는 웹 스크래핑: robots.txt를 준수하고, 요청 속도를 제한하고, 429 응답 시 백오프하고, 캐싱하고, 트래픽이 적은 시간대에 스크래핑하세요. 매너 있게 행동하면 차단당하는 일도 훨씬 줄어듭니다.

Chris Collins Chris Collins · 2026년 7월 27일
지식
지식 7 분 소요

PHP에서 cURL과 Guzzle로 레지덴셜 프록시 사용하는 방법

PHP에서의 프록시: cURL의 CURLOPT_PROXY와 CURLOPT_PROXYUSERPWD, Guzzle의 proxy 옵션, CURLOPT_HTTPPROXYTUNNEL, 요청별 지역 로테이션.

Chris Collins Chris Collins · 2026년 7월 26일
지식
지식 7 분 소요

Java에서 OkHttp와 Apache HttpClient로 레지덴셜 프록시 사용하는 방법

Java의 프록시: OkHttp의 proxyAuthenticator 함정, Apache HttpClient의 기본값 5인 라우트당 풀 제한, 엔티티 소비, 요청별 지역 로테이션.

Chris Collins Chris Collins · 2026년 7월 25일
지식
지식 7 분 소요

Go에서 net/http와 Colly로 레지덴셜 프록시 사용하는 방법

Go에서의 프록시: 트랜스포트 설정, 연결 재사용을 망치는 body-drain 및 MaxIdleConnsPerHost 함정, 요청별 지역 로테이션, 그리고 Colly의 SetProxyFunc.

Chris Collins Chris Collins · 2026년 7월 24일
지식
지식 8 분 소요

레지덴셜 프록시 요청이 타임아웃되는 이유

프록시 타임아웃 진단 가이드: 연결과 읽기의 차이, 지나치게 좁은 지역 필터, 데이터센터에 맞춰진 타임아웃 설정, 그리고 실제 원인을 빠르게 찾는 점검 방법

Matt Brown Matt Brown · 2026년 7월 23일
지식
지식 9 분 소요

레지덴셜 프록시 페일오버: 안정적인 다중 지역 데이터 파이프라인 구축하기

재시도는 잘못된 요청을 처리합니다. 페일오버는 잘못된 의존성을 처리합니다. 차단 물결, 지역 성능 저하, 장애를 견디는 프록시 기반 파이프라인을 설계하는 방법.

Chris Collins Chris Collins · 2026년 7월 22일