모든 SEO 플랫폼은 스택 최하단에 동일한 의존성을 갖는다. 많은 키워드에 대해, 많은 위치에서, 매일 안정적으로 검색 결과를 공급받아야 한다는 점이다. 그리고 이런 플랫폼을 만드는 모든 창업자는 그 공급을 직접 구축할 것인지 아니면 구매할 것인지에 대해 초기에 동일한 결정을 마주하게 된다.
이 결정은 보통 비용 비교로 프레이밍되지만, 이는 잘못된 프레임이다. 올바른 질문은 수집이 당신의 제품의 일부인가 하는 것이며, 거의 모든 SEO 플랫폼에 있어 솔직한 답은 아니오다. 고객은 분석, 워크플로우, 리포팅, 인터페이스에 대해 비용을 지불한다. 벤더가 결과 페이지 파싱을 잘한다는 이유로 계약을 갱신한 사람은 아무도 없다.
실제로 구매하는 것
SERP API는 러닝 수집이 실제로 무엇을 수반하는지 나열해 보기 전까지는 그저 편의 기능처럼 보인다.
파싱 유지보수. 결과 페이지 레이아웃은 예고 없이 바뀌며, 모든 변화는 당신 쪽에서 조용한 데이터 품질 사고로 이어진다. 이것이 팀을 놀라게 하는 반복적 비용인 이유는, 결코 끝나지 않으며 항상 불편한 시점에 발생하기 때문이다.
지리적 커버리지. 지역화된 결과를 얻으려면 각 시장 내부에서 요청이 이루어져야 하며, 이는 국가 및 도시 타겟팅이 가능한 레지덴셜 네트워크를 갖추거나 이를 처리해주는 API를 사용해야 함을 의미한다. 그 이유의 메커니즘은 정확한 순위 추적에 레지덴셜 프록시가 필요한 이유에 있다.
처리량과 속도 조절. 검색 엔진은 요청을 제한하므로, 처리량은 얼마나 많은 워커를 운영하는지가 아니라 분산과 정중함(politeness)의 함수다.
당신이 통제할 수 없는 가동 시간. 제품이 매일 업데이트를 약속한다면, 당신의 수집 레이어는 그 약속을 그대로 물려받는다.
SERP API를 구매하는 것은 이 모든 것을 하나의 요청과 응답으로 전환한다. 이를 직접 구축하는 것은 그것을 팀의 지속적인 책임으로 전환한다. 둘 다 정당한 선택이지만, 후자가 옳은 경우는 수집이 당신에게 진정으로 차별화 요소일 때뿐이며, 인사이트를 판매하는 플랫폼에게는 대개 그렇지 않다.
모델을 결정하는 단위 경제
어느 쪽을 택하든, 당신의 비즈니스를 지배하는 숫자는 추적 키워드당 체크당 비용이다. 이 숫자가 모든 것에 곱해지기 때문이다.
명시적으로 계산해보자. 500개 키워드를 두 개 위치와 두 개 디바이스에서 매일 체크하는 고객 한 명은 하루 2,000회 체크, 월 60,000회 체크에 해당한다. 이런 규모의 계정이 100개면 월 600만 회 체크에 이르며, 어느 방향이든 1센트 미만의 차이가 당신의 매출총이익을 결정하는 항목이 된다.
이 산술은 대부분의 창업자가 암묵적으로 내리지만 의도적으로 내려야 할 세 가지 제품 결정을 좌우한다.
요금제 티어가 실제로 측정하는 것. 추적 키워드 수는 판매하기 자연스러운 단위이지만, 당신의 비용을 좌우하는 것은 체크 횟수이며, 이는 키워드 수에 위치, 디바이스, 빈도를 곱한 값이다. 키워드는 판매하면서 위치는 무제한으로 허용하는 요금제는, 제품을 가장 많이 사용하는 바로 그 고객들에게서 당신의 마진을 역전시킨다.
기본 체크 빈도. 매일 체크가 기대치이지만, 추적되는 키워드 중 상당수는 거의 움직이지 않는다. 변동성이 큰 키워드는 더 자주, 안정적인 키워드는 덜 자주 체크하는 적응형 빈도는 고객이 중요한 부분에서 차이를 느끼지 않으면서도 비용을 상당히 절감한다. 변동성을 식별하려면 전체 결과 집합이 필요하며, 이것이 SERP 변동성 감지에서 다루는 논지다.
테넌트 간 중복 제거. 여러 고객이 동일한 위치에서 동일한 키워드를 추적하는 경우가 빈번하다. 아키텍처가 결과를 고객이 아니라 키워드, 위치, 디바이스를 키로 하여 저장한다면 한 번의 체크로 이 모두를 처리할 수 있다. 대규모에서는 이것이 종종 이용 가능한 가장 큰 비용 절감이며, 나중에 이식하기는 매우 어렵기 때문에 세 번째 스키마가 아니라 첫 번째 스키마에 포함되어야 한다.
성장에도 살아남는 아키텍처
성공적인 형태는 지루하지만, 초기에 제대로 갖춰둘 가치가 있다.
수집 레이어를 고객 레이어와 분리하라. 수집은 측정 단위, 즉 키워드 더하기 위치 더하기 디바이스 더하기 타임스탬프를 키로 삼고, 고객은 측정치를 구독한다. 이 분리가 중복 제거를 가능하게 하고, 속도 제한을 고객별 문제가 아니라 전역 문제로 만들어준다.
각 고객의 순위만이 아니라 전체 결과 집합을 저장하라. 경쟁사의 움직임이 있어야 고객 자신의 움직임을 해석할 수 있고, AI 개요 같은 기능은 순위의 가치를 바꾸며, 지난주 화요일의 SERP로 돌아갈 수는 없다. 저장은 저렴하지만, 사라진 히스토리는 그렇지 않다.
하나의 일일 작업이 아니라 신선도 티어로 스케줄링하라. 엔터프라이즈 계정은 오전 배송이 필요할 수 있고, 셀프서브 티어는 하루 종일 분산시킬 수 있으며, 분산은 무료 처리량이다.
실패를 명시적으로 기록하라. 멀티테넌트 제품에서는 결측이 곧 지원 티켓이 되기 때문이다. 안정적인 날과 구분이 안 되는 결측일은 자신의 수치에 대한 신뢰를 가장 빠르게 잃는 방법이며, 이 파이프라인 패턴은 일일 키워드 순위 모니터링 자동화에 있다.
규모가 커질 때 실제로 깨지는 것
창업자들이 겪는 고통 대부분은 네 가지 실패 모드에서 비롯된다.
한 시장에서의 조용한 성능 저하. 한 국가에서 수집이 작동을 멈추면, 대시보드는 오류가 아니라 평평한 순위를 보여준다. 시장별 성공률 모니터링과, 캡처된 페이지가 실제 결과 페이지인지에 대한 검증으로 방어하라. 자세한 내용은 차단되거나 가짜인 콘텐츠 감지하기에 있다.
측정 드리프트. 기본 위치, 디바이스 또는 타이밍의 변경은 모든 고객에게 동시에 움직임을 발생시키며, 지원팀은 이를 실제 순위 변동 사건과 구분할 수 없다. 이 요소들을 상수로 고정하고 버전을 관리하라. 자세한 내용은 정확한 키워드 순위 측정하기에 있다.
단일 계정으로 인한 비용 급증. 20개 위치에 걸쳐 수천 개의 키워드를 추가하는 엔터프라이즈 고객 한 명이 하루 만에 당신의 수집 비용을 두 배로 만들 수 있다. 체크 단위로 측정하고 계정 단위 성장에 대해 경보를 설정하라.
의견 불일치로 인한 지원 부담. 고객이 당신의 수치를 다른 도구와 비교하고 티켓을 연다. 답은 측정 계약을 문서화하는 것이며, 이는 또한 당신의 데이터를 방어 가능하게 만드는 것이기도 하다. 사용하는 위치, 디바이스, 언어, 개인화 모델을 명시하라. 서로 다르게 측정하는 두 도구는 서로 다른 결과를 보이는 것이 당연하기 때문이다.
대신 경쟁해야 할 곳
수집이 비용 센터라면, 차별화는 그 위의 모든 곳에 있다. 순위를 인사이트로 전환하는 분석, 점유율과 경쟁사 움직임, 고객의 나머지 스택과의 통합, 사람들이 실제로 클라이언트에게 보낼 만한 리포팅, 그리고 다음에 무엇을 해야 할지 알려주는 워크플로우가 그것이다. 이것들이 고객이 왜 계속 사용하는지 설명할 때 언급하는 요소들이며, 그중 어느 것도 파서를 소유한다고 해서 개선되지 않는다.
수집을 직접 구축해야 하는 경우는 오직 당신의 제품 가치 제안이 일반 API가 할 수 없는 무언가를 진정으로 포함할 때뿐이다. 이례적인 표면, 캡처 시점의 독점적 후처리, 또는 경제성이 역전되는 규모 등이다. 이런 사례들은 존재한다. 하지만 구축하고 싶은 본능이 시사하는 것보다는 훨씬 드물다.
결론
제품이 인사이트인 플랫폼에게 검색 데이터는 차별화 요소가 아니라 입력값이며, 따라서 구축 대 구매 질문은 수집이 당신이 판매하는 것의 일부인지에 달려 있다. 구매는 파싱 유지보수, 지리적 커버리지, 속도 조절, 가동 시간을 하나의 API 호출로 전환한다. 구축은 이것들을 팀의 영구적 책임으로 만든다. 어느 쪽이든, 키워드당이 아니라 체크당 비용을 모델링하라. 위치, 디바이스, 빈도가 당신의 마진을 결정하는 승수이기 때문이다. 그리고 첫 스키마부터 테넌트 간 중복 제거를 설계하라. 이것이 가장 큰 절감이자 가장 이식하기 어려운 것이기 때문이다. 수집을 고객으로부터 분리하고, 전체 결과 집합을 저장하며, 실패를 명시적으로 기록하고, 측정 계약을 문서화하여 다른 도구와의 불일치가 당혹스러운 것이 아니라 설명 가능한 것이 되도록 하라.
구매가 답이라면, SERP API는 지리적 커버리지가 이미 처리된 파싱 결과를 제공한다. 구축이 답이라면, 그 아래의 수집 레이어는 국가 및 도시 타겟팅이 가능한 레지덴셜 프록시이며, GB당 과금되어 당신의 단위 경제성을 명확하게 유지해준다.