SEO 업무를 클라이언트와 함께 해본 사람이라면 익숙한 대화가 있다. 순위 추적 도구는 특정 타깃 키워드에 대해 3위를 보고한다. 클라이언트가 브라우저를 열고 검색해보면 7위가 나온다. 누군가는 도구가 고장났다고 말하고, 다른 누군가는 클라이언트가 개인화된 결과를 보고 있는 것이라고 말하지만, 회의는 답을 찾지 못한 채 넘어간다.
두 숫자 모두 사실일 수 있다. 검색 결과는 고정된 단일 목록이 아니며, 순위는 검색이 어디에서, 누구를 위해, 어떤 기기에서 이루어졌는지를 명시해야만 의미를 가진다. 하지만 추적 도구가 이따금씩 다른 게 아니라 지속적으로 틀린다면, 그 원인은 대개 이런 사용자 측 변수들이 아니다. 원인은 체크가 통과하는 네트워크, 구체적으로는 검색 엔진에 요청을 보내는 것이 집에 있는 사람처럼 보이는지 아니면 데이터센터에 있는 서버처럼 보이는지에 있다.
순위를 확인할 때 검색 엔진이 보는 것
순위 체크는 특정 IP 주소에서 도착하는 검색 쿼리다. 어느 지역 인덱스를 제공할지, 어떤 로컬 결과를 포함할지, 그리고 정직하게 응답할지 여부까지, 엔진이 그 쿼리에 대해 결정하는 모든 것이 그 주소에 의해 좌우된다.
데이터센터 주소는 손쉽게 식별된다. 이런 주소는 호스팅 제공업체 소유이고, 공개적으로 등록된 대역에 속하며, 검색 엔진은 이런 곳에서 오는 자동화된 것처럼 보이는 트래픽을 일반 소비자 광대역 회선에서 오는 트래픽과 다르게 취급할 충분한 이유가 있다. 이 구분은 레지덴셜 프록시와 데이터센터 프록시 비교에서 다루었으며, 순위 추적에 있어서는 네 가지 구체적인 실패 양상을 낳는다.
응답 대신 챌린지를 받는다. 가장 눈에 띄는 결과로, 결과 페이지 대신 캡차나 인터스티셜이 나타난다. 눈에 보이는 실패는 오히려 나은 경우인데, 무언가 잘못됐다는 것을 알 수 있기 때문이다.
저하되거나 일반화된 결과 페이지를 받는다. 눈에 덜 띄지만 훨씬 더 큰 피해를 준다. 엔진은 거부하는 대신 실제 사용자가 받는 것보다 더 빈약하거나 덜 개인화된 결과를 제공할 수 있다. 파서는 그것을 읽고 순위를 추출해, 내부적으로는 일관되지만 틀린 숫자를 저장한다. 이는 SERP에 적용된 차단되거나 가짜인 콘텐츠 문제와 정확히 같다.
잘못된 위치를 받는다. 이것이 3위 대 7위 논쟁을 가장 잘 설명하는 원인이다. 검색 결과는 매우 공격적으로 지역화되며, 엔진은 위치를 주로 IP로부터 추론한다. 데이터센터 주소는 데이터센터가 위치한 곳으로 지오로케이션되므로, 클라우드 리전에서 실행한 “미국” 체크는 클라이언트 고객이 사는 도시가 아니라 버지니아나 오리건의 특정 시설에서 검색한 것과 같다. 로컬 의도가 있는 검색어라면 결과 집합이 실제로 다르게 나타나며, 추적 도구는 실제 고객이라면 결코 보지 못할 순위를 충실하게 보고하고 있는 셈이다.
속도 제한을 받아 커버리지가 나빠진다. 속도 제한은 집중된 소스에 가장 크게 작용한다. 체크는 실패하고 나중에 재시도되며, 결과적으로 일별 데이터 시리즈에는 공백과 일관성 없는 수집 시간이 생겨 트렌드 분석을 조용히 훼손한다.
데이터센터와는 전혀 무관한 다섯 번째 원인도 있다. 바로 주소 평판이다. 공유되었거나, 과도하게 사용되었거나, 이전에 오용된 적이 있는 주소는 그 유형과 무관하게 챌린지와 결과 변조를 유발한다. 그러므로 명목상 레지덴셜이라 하더라도 지친 저품질 풀은 나쁜 데이터를 만들어낸다. 이것이 IP 평판이 주소 유형만큼이나 중요한 이유이며, 레지덴셜로 판매되는 데이터센터 IP를 가려내는 방법에서처럼 풀이 주장하는 그대로인지 검증할 가치가 있는 이유이기도 하다.
레지덴셜 프록시가 해결하는 것
레지덴셜 프록시는 쿼리를 실제 가정용 인터넷 연결을 통해 라우팅하여 네트워크 계층의 원인을 직접적으로 해결한다.
쿼리는 집에서 검색하는 평범한 사람처럼 보이는 주소에서 도착하므로, 챌린지를 받거나 저하되지 않고 응답을 받아 실제 사용자가 받는 페이지를 얻게 된다. 주소가 실제 장소의 소비자 ISP에 속하므로, 엔진이 적용하는 지역화는 그 장소의 거주자가 경험할 지역화와 같으며, 키워드에 로컬 의도가 있는 경우 서버가 우연히 위치한 도시를 그대로 받아들이는 대신 도시 단위 타기팅으로 더 좁힐 수 있다. 볼륨이 여러 주소에 분산되므로 주소별 속도 제한이 더 이상 제약이 되지 않고, 일별 커버리지가 유지되어 시리즈에 공백이 없다. 그리고 국가와 도시를 매개변수로 두면, 같은 키워드를 여러 시장에서 추적하는 것이 인프라 프로젝트가 아니라 설정상의 세부사항이 된다. 이는 SEO 모니터링을 위한 로테이팅 레지덴셜 프록시와 지역화된 Google 검색 결과에서 설명하는 모델이다.
해결하지 못하는 것
레지덴셜 프록시가 순위 정확성에 대한 완전한 답은 아니라는 점을 분명히 해둘 필요가 있다.
레지덴셜 프록시는 개인화를 해결하지 못한다. 체크가 로그인 상태로 실행되거나 이력이 있는 쿠키를 가지고 있다면, 개인화된 결과를 측정하고 있는 것이며, 해결책은 다른 IP가 아니라 로그아웃된 깨끗한 세션이다. 기기 불일치도 해결하지 못한다. 모바일과 데스크톱은 서로 다른 결과 페이지이므로, 데스크톱을 추적하는데 클라이언트가 휴대폰으로 확인한다면 영원히 의견이 엇갈릴 것이다. 일관성 없는 타이밍도 해결하지 못한다. 결과는 하루 동안 변동하므로, 아침에 캡처한 것과 저녁에 캡처한 것을 비교하면 일어나지 않은 변화를 만들어내게 된다. 그리고 단일 측정값을 의미 있게 만들지도 못한다. 결과는 변동하며, 신호는 트렌드이지 하나의 데이터 포인트가 아니기 때문이다.
이런 것들은 네트워크 문제라기보다는 방법론 문제이며, 통제해야 할 전체 변수 목록은 정확한 키워드 순위 측정하기에 나와 있다. 레지덴셜 프록시는 방법론만으로는 해결할 수 없는 계층을 해결하며, 방법의 일관성이 나머지를 해결한다.
추적 도구가 거짓말을 하고 있는지 확인하는 방법
세 가지 체크를 노력이 적게 드는 순서대로 소개한다.
제대로 수행한 수동 체크와 비교한다. 단순히 브라우저를 여는 것이 아니라, 프라이빗 창을 사용해 로그아웃 상태로, 추적 도구가 측정한다고 주장하는 시장으로 위치를 설정하고, 같은 기기 클래스에서 확인한다. 대부분의 보고된 불일치는 이 단계에서 해소되는데, 원래 비교가 미국 데스크톱 로그아웃 체크와 계정에 로그인된 상태로 집에서 휴대폰을 사용하는 클라이언트 사이의 비교였기 때문이다.
추적 도구가 실제로 캡처한 것을 검증한다. 원본 결과 페이지를 저장하는지 물어보라. 저장한다면 하나를 살펴보라. 예상되는 개수의 오가닉 결과, 예상되는 로컬 팩, 실제 사용자가 보는 기능들이 포함되어 있는가? 빈약하거나 일반적인 페이지는 엔진이 실제 SERP가 아닌 다른 것을 제공했다는 신호다. 도구가 순위 숫자만 저장한다면 이를 확인할 수 없고 감사할 수도 없다.
요청한 위치가 아니라 실제 출구 위치를 확인한다. 체크가 통과한 주소가 실제로 요청한 시장으로 지오로케이션되는지 확인하고, 더 중요하게는 타깃이 마치 실제로 그곳에 있는 것처럼 반응했는지, 즉 로컬 결과, 관련이 있다면 로컬 통화, 로컬 언어를 확인한다. 시카고를 요청했는데 버지니아로 출구가 나가는 추적 도구는 안정적이고 재현 가능하지만 틀린 데이터를 생산한다.
그런 다음에는 계속 지켜봐야 한다. 시장별 성공률과 커버리지는 대시보드에 표시되어야 한다. 특정 지역에서 조용히 나타나는 하락은 다른 무엇이기 이전에 왜곡된 트렌드이기 때문이다. 이는 파이프라인 모니터링의 원칙이며, SERP 변동성 감지에서 다루는 분석의 전제조건이다.
직접 구축할 것인가, 구매할 것인가
정확한 순위를 얻는 방법에는 두 가지 경로가 있으며, 둘 다 같은 요구사항에 기반한다.
직접 수집을 운영한다. 레지덴셜 프록시를 사용해서, 어떤 시장, 어떤 기기 프로필, 어떤 일정, 무엇을 저장할지, 순위를 어떻게 파싱할지 등 모든 변수를 완전히 제어한다. 원본 SERP를 소유하게 되므로 나중에 경쟁사 분석이나 변동성 작업을 하고 싶을 때 유용하며, 파싱, 페이싱, 그리고 결과 레이아웃이 바뀔 때의 유지보수도 직접 처리한다.
관리형 API를 사용한다. 그리고 가져오기 계층을 건너뛴다. 키워드와 위치를 보내면 파싱된 결과를 받게 되며, 수집 인프라와 레이아웃 변경은 대신 처리된다. 정확한 순위 추적을 위한 SERP API가 바로 이것이다. 동일한 지리적으로 정확한 수집을, 직접 파싱해야 하는 페이지가 아니라 구조화된 결과로 제공하는 것이다. 이는 일부 제어권을 운영 부담의 대폭적인 감소와 교환하는 것이며, 여러 시장에 걸쳐 많은 클라이언트를 추적하는 에이전시에게는 대개 옳은 선택이다.
어느 쪽이든 원칙은 동일하다. 측정하려는 시장에서 쿼리를 보내고, 로그아웃 상태를 유지하고, 기기를 고정하고, 일관된 일정으로 샘플링하고, 엔진의 이용 약관을 존중하고 페이스를 정중하게 조절하며, 반환된 것이 보고서의 숫자가 되기 전에 실제 결과 페이지인지 검증하는 것이다.
결론
순위 추적 도구가 현실과 어긋날 때, 첫 번째 용의자는 파서도 클라이언트의 브라우저도 아니다. 체크가 통과한 네트워크다. 데이터센터 주소는 챌린지를 받고, 저하되고, 속도 제한을 받고, 위치가 잘못 지정된다. 이 중에서도 위치 오지정이 가장 나쁜데, 아무도 수행하지 않은 검색을 설명하는 확신에 찬, 재현 가능한 숫자를 만들어내기 때문이다. 레지덴셜 주소는 쿼리를 실제 장소에서 검색하는 평범한 사람처럼 보이게 만들며, 이것이 그 장소의 검색자들이 실제로 보는 것을 볼 수 있는 유일한 방법이다. 여기에 깨끗한 방법론, 즉 로그아웃 상태, 고정된 기기, 일관된 타이밍, 그리고 캡처된 페이지의 검증을 결합하면 숫자가 실제 세계와 맞아떨어지기 시작한다.
이 수집 계층을 제공하는 것이 레지덴셜 프록시다. 국가 및 도시 타기팅을 갖춘 실제 가정용급 주소를 통해 각 시장을 내부에서 측정할 수 있으며, 많은 키워드와 시장에 걸친 작고 빈번한 체크 워크로드에 적합한 GB당 가격 정책을 제공한다.