Screaming Frog나 Sitebulb 같은 데스크톱 크롤러는 짧은 시간 안에 한 사이트로 수백에서 수천 건의 요청을 보내며, 이 모든 요청이 하나의 IP 주소에서 나갑니다. 자사 사이트라면 문제가 되는 일은 드뭅니다. 하지만 경쟁사 사이트, 대규모 이커머스 카탈로그, 엄격한 방화벽 뒤에 있는 사이트에서는 크롤링이 중간에 멈추는 경우가 많습니다. 403과 429 응답이 돌아오거나, CAPTCHA 페이지가 콘텐츠로 집계되거나, 사이트가 사무실 IP에 조용히 다른 버전을 제공하는 식입니다.
프록시는 이 중 주소와 관련된 부분을 해결합니다. 또한 다른 국가의 방문자가 보는 그대로 사이트를 감사하는 방법이기도 하며, 이는 국제 SEO에서 중요합니다. 이 가이드에서는 감사에 실제로 프록시가 필요한 경우, 주요 도구에서 프록시를 설정하는 방법, 그리고 크롤링의 성공 여부를 좌우하는 설정을 다룹니다. 이는 올바른 위치에서 페이지를 보는 것이 일의 절반을 차지하는 더 넓은 SEO 모니터링 작업의 일부입니다.
사이트 감사에 프록시가 필요한 경우
직접 관리하지 않는 사이트 감사. 경쟁사 감사, 콘텐츠 격차 조사, 잠재 고객을 위한 영업 전 감사는 모두 크롤링에 동의한 적 없는 사이트를 크롤링합니다. 방화벽과 CDN은 IP 단위로 속도를 제한하며, 하나의 주소에서 몰려오는 요청은 가장 쉽게 차단할 수 있는 패턴입니다.
현지화 버전 확인. 사이트는 국가별로 리디렉션하고, 가격과 통화를 바꾸며, 때로는 특정 시장 밖에서 섹션 전체를 숨기기도 합니다. 사무실에서 크롤링하면 늘 하나의 버전만 보입니다. 대상 국가별 IP를 통해 크롤링하면 방문자와 현지 검색 사용자가 무엇을 받는지 알 수 있고, hreflang 대체 페이지가 실제로 연결되는지도 확인할 수 있습니다. 감사의 이 부분은 hreflang으로 페이지의 모든 언어 버전 찾기 가이드에서 다룹니다.
지역 또는 네트워크 기반의 속임수 발견. 일부 사이트, 그리고 해킹된 사이트의 상당수는 사무실과 데이터센터 네트워크에 가정 사용자와는 다른 콘텐츠를 제공합니다. 해당 시장의 가정용 회선에서 크롤링해야 실제 버전을 볼 수 있습니다.
프록시가 필요 없는 경우. 자사 사이트라면 방화벽이나 CDN에서 크롤러의 IP 주소를 허용 목록에 추가하거나 스테이징 사본을 크롤링하는 것이 더 나은 방법입니다. 그냥 허용하면 되는 크롤링에 프록시를 쓰면 비용이 들고 관리할 요소가 하나 더 늘어납니다.
Screaming Frog에서 프록시 설정하기
Screaming Frog의 SEO Spider는 Windows와 Linux에서는 File > Settings > Proxy, macOS에서는 Screaming Frog SEO Spider > Settings > Proxy에 프록시 설정이 있습니다. “Use Proxy Server”를 체크하고 프록시 주소와 포트를 입력한 뒤 프록시 인증 정보를 입력합니다.
Screaming Frog 공식 문서에 나오는 세 가지 사항이 사용 방식을 결정합니다.
- 프록시 서버는 하나만 설정할 수 있습니다. 목록 기반 로테이션 기능이 내장되어 있지 않으므로, 로테이션이 필요하다면 프록시 자체가 이를 처리해야 합니다.
- 프록시 변경 사항을 적용하려면 도구를 다시 시작해야 합니다.
- 예외는 없습니다. 크롤러의 HTTP와 HTTPS 트래픽은 모두 프록시를 거치거나, 전혀 거치지 않거나 둘 중 하나입니다.
프록시를 하나만 설정할 수 있다는 제약 때문에 게이트웨이 방식의 레지덴셜 프록시가 크롤러에 잘 맞습니다. 엔드포인트 하나만 입력하면, 사용자 이름에 담긴 타기팅 설정에 따라 각 요청이 어떤 출구 IP를 사용할지 게이트웨이가 결정합니다. 크롤링이 시작하자마자 인증 오류로 실패한다면, 407 프록시 인증 오류 해결 가이드에서 흔한 원인을 확인하세요.
Sitebulb에서 프록시 설정하기
Sitebulb에서는 상단 내비게이션에서 Settings를 열고 Proxy 탭으로 이동합니다. 이는 전역 설정이므로 새로 시작하는 모든 감사의 기본값이 됩니다. 자사 사이트를 감사하기 전에 프록시를 다시 끄는 것을 잊지 마세요. 그러지 않으면 해당 감사도 프록시를 거쳐 실행됩니다.
다른 감사 도구도 같은 방식으로, 애플리케이션 또는 프로젝트 설정에 프록시 입력란이 하나 있습니다. 클라우드 기반 크롤러는 보통 자체 서버에서 실행되며 프록시를 아예 받지 않는데, 이것이 경쟁사 분석에서 데스크톱 크롤러가 여전히 널리 쓰이는 이유 중 하나입니다.
로테이션과 스티키: 세션 유형 선택
게이트웨이를 사용하면 요청마다 새 출구 IP를 받을지, 아니면 일정 시간 동안 하나의 IP로 크롤링을 계속할지 선택할 수 있습니다.
요청별 로테이션은 크롤링을 여러 주소로 분산하므로, 어느 한 IP도 속도 제한에 걸릴 만큼 많은 트래픽을 보내지 않습니다. 로그인이 없고 쿠키가 적은 정적 페이지와 대규모 카탈로그에 잘 맞습니다.
스티키 세션은 설정한 시간 동안 같은 IP를 유지합니다. 사이트가 쿠키, 동의 선택, 선택한 국가를 세션에 연결하는 경우나, 크롤링 도중 IP가 바뀌면 새로운 봇 검사가 발생하는 경우에 사용하세요. 관련 페이지가 로드되는 동안 IP가 바뀌지 않도록 세션 시간을 크롤링의 일반적인 버스트보다 길게 설정합니다.
프록시 IP 로테이션 의사결정 프레임워크에서 이 트레이드오프를 더 자세히 다룹니다. 현지화 감사의 경우 프록시 사용자 이름에 국가와, 필요하다면 도시까지 추가해 모든 요청이 감사 대상 시장에서 나가도록 하세요.
프록시보다 중요한 크롤링 설정
프록시는 요청이 어디에서 오는지를 바꿉니다. 공격적인 크롤링을 용인되게 만들어 주지는 않으며, 크롤러의 여러 설정도 그만큼 중요합니다.
속도. Screaming Frog는 기본적으로 5개 스레드로 크롤링하며, Configuration > Speed에서 초당 URL 수로 크롤링 속도 상한을 설정할 수 있습니다. 다른 사람의 사이트에서는 속도를 낮게 유지하고 크롤링에 시간이 걸리도록 두세요. 빠른 크롤링을 여러 IP로 분산해도 이를 받는 서버 입장에서는 여전히 빠른 크롤링입니다.
사용자 에이전트. Configuration > User-Agent에서 브라우저로 크롤링할지 Googlebot으로 크롤링할지 선택할 수 있습니다. Google이 아닌 IP에서 온 Googlebot 사용자 에이전트는 쉽게 드러나며, 크롤러를 검증하는 사이트는 이를 의심스럽게 취급합니다. 경쟁사 감사에는 일반 브라우저 사용자 에이전트가 더 안전한 선택입니다.
가져오는 대상. 레지덴셜 트래픽은 보통 GB 단위로 과금됩니다. 이미지, 폰트, 동영상, 스크립트가 페이지 용량의 대부분을 차지할 수 있습니다. 감사 대상이 HTML, 제목, 링크, 상태 코드라면 필요 없는 리소스 유형은 제외하세요. JavaScript 렌더링은 브라우저가 로드하는 모든 리소스를 로드하므로, 필요한 섹션에서만 활성화하세요.
Robots.txt. 두 도구 모두 robots.txt 준수가 기본 설정입니다. 소유하지 않은 사이트에서는 이 설정을 그대로 유지하세요.
자주 묻는 질문
Screaming Frog는 프록시를 로테이션할 수 있나요?
목록 기반으로는 불가능합니다. Screaming Frog는 프록시 서버 하나만 받습니다. IP를 로테이션하려면 요청별 또는 세션별로 새 출구 IP를 할당하는 프록시 게이트웨이를 지정하세요.
자사 웹사이트를 크롤링할 때도 프록시가 필요한가요?
보통은 필요 없습니다. 방화벽이나 CDN에서 크롤러의 IP를 허용 목록에 추가하는 편이 더 간단하고 저렴합니다. 자사 사이트에 프록시를 쓰는 것은 다른 국가나 네트워크에서 사이트를 확인해야 할 때뿐입니다.
SEO 크롤러에는 어떤 프록시 유형이 가장 적합한가요?
봇 차단이 엄격한 사이트나 현지화 버전 확인에는 레지덴셜 프록시가 가장 안정적입니다. 선택한 국가의 가정용 회선에서 요청이 나가기 때문입니다. 데이터센터 프록시는 더 저렴하며 보호 수준이 낮은 사이트에서는 효과가 있을 수 있습니다.
크롤링에서 403이나 429 오류가 나타나는 이유는 무엇인가요?
사이트가 요청을 차단하거나 속도를 제한하고 있기 때문입니다. 먼저 크롤링 속도를 낮추고, 제한이 주소 단위라면 로테이션되는 IP를 통해 크롤링하세요.
핵심 정리
데스크톱 크롤러는 모든 요청을 하나의 IP에서 보냅니다. 자사 사이트에서는 문제가 없지만 다른 모든 사이트에서는 문제가 됩니다. 경쟁사 감사와 국제 감사에서는 Screaming Frog나 Sitebulb에 단일 게이트웨이 엔드포인트를 지정하고, 사이트에 맞춰 로테이션 또는 스티키 세션을 선택하고, 감사 대상 국가를 타기팅하며, 크롤링은 느리게 유지하면서 실제로 필요한 페이지와 리소스에 집중하세요.