세일즈 인텔리전스를 위한 인텐트 시그널 스크래핑

대부분의 영업팀은 구매자 의도 데이터를 처음 접할 때 그것을 구매해야 하는 것으로 알게 된다. 벤더가 점수를 판매하고, 그 점수는 어떤 계정이 구매 시장에 있다고 말하지만, 회사 안 누구도 그 숫자가 어떻게 산출되었는지 설명하지 못한다.

이것이 한 종류의 의도 데이터다. 공개적으로 볼 수 있는 또 다른 종류가 있는데, 이는 구매한 종류에서는 대체로 찾아볼 수 없는 특성을 가진다. 바로 그것을 유발한 구체적인 이벤트를 정확히 짚어낼 수 있다는 점이다. 어떤 회사가 채용 공고를 올렸다. 어떤 회사가 가격 페이지를 변경했다. 어떤 회사가 지난 분기에는 없던 리뷰 사이트 카테고리에 등장했다. 이것들은 타임스탬프가 찍힌 관찰 가능한 사실이며, 영업팀은 78점이라는 점수에는 할 수 없는 방식으로 하나의 사실에 대해 행동할 수 있다.

구매자 의도 데이터가 실제로 무엇인가

이 용어는 마치 하나인 것처럼 논의되는 세 가지 다른 것을 포괄한다.

**퍼스트파티 의도(First-party intent)**는 자사 자산에서의 행동이다. 누군가 가격 페이지를 세 개 읽었고, 비교 자료를 다운로드했고, 두 번 다시 방문했다. 이 데이터는 회사가 직접 보유하며, 가장 신뢰할 수 있는 종류이지만, 이미 회사를 발견한 계정에 대해서만 존재한다.

**서드파티 의도(Third-party intent)**는 퍼블리셔 네트워크나 공동 조합 전반에서 관찰된 행동으로, 집계되어 판매된다. 퍼스트파티 데이터가 갖지 못한 도달 범위를 가지며, 그 대가로 대체로 근본 이벤트를 볼 수 없거나 방법론을 검증할 수 없다.

**공개 웹 의도(Public-web intent)**는 기업이 변화하면서 남기는 관찰 가능한 흔적이다. 채용, 기술, 자금 조달, 제품, 가격, 공개적인 불만 등이다. 이는 점수가 아니기 때문에 아무도 점수로 판매하지 않는다. 직접 수집하고 해석해야 하는 이벤트의 흐름이다.

이 글이 다루는 것은 세 번째 범주다. 수집 계층이 무엇을 볼 수 있는지를 결정하는 범주이기 때문이다.

수집할 가치가 있는 신호들

공개된 모든 것이 신호는 아니다. 구매 대화에 앞서 안정적으로 나타나는 것들은 한 가지 특성을 공유한다. 그것을 만들어내는 데 회사가 무언가를 들여야 한다는 점이며, 그래서 위조하기 어렵고 실제 헌신을 나타낸다.

채용 공고. 가장 강력한 단일 공개 신호다. 데이터 엔지니어 세 명을 채용하는 회사는 무언가를 구축하고 있는 것이다. 첫 컴플라이언스 담당자를 채용하는 회사는 규제 문턱을 넘은 것이다. 공고는 도구를 직접 명시하기도 하는데, 이는 모호한 신호를 구체적인 신호로 바꾼다. 이 표면에 대한 수집 메커니즘은 채용 게시판 데이터와 노동 시장 인텔리전스에서 다룬다.

기술 변화. 새로운 태그, 새로운 서브도메인, 공개 DNS나 페이지 소스에서 보이는 마이그레이션. 도구의 카테고리를 추가한다는 것은 대개 예산이 이미 배정되었음을 의미한다.

가격 및 패키징 변화. 새로운 요금제, 삭제된 플랜, 좌석당 과금에서 사용량 기반 과금으로의 전환. 이런 것들은 종종 그 회사의 고객들 자신에 의한 비교 쇼핑의 물결을 앞서는데, 이는 한 계정이 아니라 시장 세그먼트 전체에 대한 의도 신호다.

리뷰 사이트 움직임. 어떤 회사가 새 카테고리에 나타나거나 기존 카테고리에서 불만이 쌓이는 것은 대체 신호다. 기존 업체에 대한 공개적인 불만족은 존재하는 것 중 가장 직접적인 구매 의도다.

자금 조달 및 리더십 변화. 기존 데이터 벤더들이 잘 다루고 있으므로, 직접 수집하는 것의 한계 가치는 낮다. 가질 가치는 있지만 구축할 가치는 없다.

공개 질문. 커뮤니티 게시물에서 자사 제품이 해결하는 문제를 어떻게 해결하는지 묻는 것. 높은 의도, 낮은 볼륨, 그리고 신호 대 잡음비가 나쁘기 때문에 잘 해내기 가장 어렵다.

최신성이 가치의 대부분이다

가장 많은 노력을 낭비하게 만드는 실수는 의도 신호를 이벤트가 아니라 속성으로 취급하는 것이다.

지난주 채용 공고는 전화할 이유다. 6개월 전의 같은 공고는 배경 정보일 뿐이다. 파이프라인이 감쇠 없이 신호를 저장한다면, 점수는 지금 무언가를 하고 있는 회사가 아니라 한때 신호를 많이 만들어냈던 회사 쪽으로 편향되는데, 이는 의도 데이터의 목적과 거의 정반대다.

실질적인 결과는 주기가 가치를 결정한다는 것이다. 매일 변하는 신호를 주 단위로 수집한다면, 수집 자체가 아무리 훌륭해도 그것은 후행 지표다. 신호 유형별로 그 신호가 실제로 얼마나 빨리 움직이는지에 맞춰 갱신 주기를 정하고, 빠른 신호를 느리게 크롤링하는 것은 의도 데이터가 아니라 역사라는 사실을 솔직히 인정하라.

여기서 두 가지 함의가 따른다. 신호뿐 아니라 관찰 타임스탬프를 저장하라. 그리고 점수를 매길 때 명시적인 감쇠 함수를 적용하여, 새로운 일이 일어나지 않으면 계정 점수가 자체적으로 하락하도록 하라.

수집이 어려운 이유

이 신호들은 대량으로 읽히도록 만들어지지 않은 표면 위에 존재하며, 세 가지 속성이 이를 까다롭게 만든다.

지역 필터링이 되어 있다. 채용 게시판은 근접성에 따라 결과를 반환한다. 리뷰 사이트와 앱 스토어는 카탈로그와 콘텐츠 모두를 현지화한다. 회사의 독일어 채용 공고는 미국 관측 지점에서 보이지 않을 수 있는데, 이는 국제적인 커버리지 주장을 조용히 국내 전용 주장으로 바꿔버린다.

페이지가 나뉘어 있고 방어되어 있다. 흥미로운 결과는 첫 페이지에 있는 경우가 드물며, 더 깊은 페이지가 대체로 속도 제한이 시작되는 지점이다.

모두에게 같은 페이지가 보이는 것은 그런 것처럼 보일 때까지만이다. 개인화와 A/B 테스트는 두 개의 수집기가 페이지 내용에 대해 서로 다르게 말할 수 있음을 의미하는데, 이는 이벤트를 기록할 때 중요한 문제가 된다.

이 지점에서 레지덴셜 프록시 계층은 구현 세부사항이기를 멈춘다. 지역이 일치하는 출구는 지역 신호가 실제로 지역적이도록 만든다. 고정 세션(sticky session)은 페이지로 나뉜 결과 집합을 내부적으로 일관되게 유지하여, 4페이지가 1페이지와 같은 쿼리에 속하도록 한다.

Shifter 게이트웨이를 사용하면, 두 가지 모두 p.shifter.io:443에 대한 자격증명에 들어간다:

customer-USERNAME-country-de-city-berlin-sid-intent01-ttl-600:PASSWORD

country-de와 city-berlin은 관측 지점을 설정하고, sid-intent01은 전체 쿼리에 걸쳐 하나의 출구를 유지하며, ttl-600은 그것을 10분 동안 유지한다. 요청당이 아니라 쿼리당 하나의 세션이 결과 집합을 일관되게 유지하는 규칙이다.

주기는 훑어보기(sweep)가 아니라 관심(interest)처럼 보여야 한다. 수집을 하루에 걸쳐 분산시키고, 동시성을 적당히 유지하며, 오류를 통해 재시도하기보다는 물러서라. 그 메커니즘은 속도 제한과 요청 스로틀링에서 다룬다.

신호를 담당자가 쓸 수 있는 것으로 바꾸기

이벤트의 흐름은 영업 인텔리전스가 아니다. 세 단계가 그 간극을 메운다.

계정으로 해소하라. 회사명, 도메인, 자회사를 정규화하여 채용 공고, 리뷰, 기술 변화가 하나의 레코드에 모이도록 하라. 이는 화려하지 않은 작업이며, 대부분의 사내 의도 프로젝트가 여기서 막힌다.

볼륨이 아니라 구체성으로 가중치를 부여하라. 경쟁사 제품을 명시한 채용 공고 하나가 일반적인 채용 공고 40개보다 가치 있다. 이벤트 수를 세는 스코어링은 대기업을 크다는 이유만으로 보상한다.

점수가 아니라 근거를 전달하라. 담당자는 “이 업무를 맡길 두 사람을 채용하고 계신 걸 봤습니다”로 대화를 시작할 수 있지만 “귀사 계정 점수가 78점입니다”로는 아무것도 할 수 없다. 근본 이벤트를 CRM 레코드로 전달하라. 이 하나의 선택이 어떤 모델링 개선보다 도입에 더 큰 도움이 된다.

이것이 공급하는 더 넓은 계정 데이터 파이프라인은 B2B 리드 생성을 위한 레지덴셜 프록시에서 다루며, 제품 관점은 리드 생성 페이지에 있다.

선을 어디에 그을 것인가

공개 웹 의도 수집은 기업에 관한 것이며, 그 범위를 지키는 한 깨끗하게 유지된다.

조직이 스스로에 대해 공개한 것을 수집하라. 개인의 행동 프로필을 만들기 위해 개인에 관한 개인정보를 수집하지 말고, 로그인이나 자동화하지 않기로 동의한 계정 뒤의 콘텐츠를 스크래핑하지 말고, 채용 공고에 있는 특정 채용 담당자의 전화번호를 기술적으로 보였다는 이유로 자산으로 취급하지 말라. 개인 식별 정보는 저장한 뒤 절제를 약속하기보다 수집 시점에 제거하라.

그 구분은 미묘하지 않다. 데이터 엔지니어를 채용하는 회사는 비즈니스 사실이고, 특정 개인의 활동은 한 사람이다. 전자는 의도 데이터다. 후자는 영업 자료를 곁들인 감시다. 일반적인 프레임은 AI 데이터 수집을 위한 윤리적 레지덴셜 프록시에 있으며, 여기에도 동일한 강도로 적용된다.

FAQ

공개 웹 의도가 구매한 의도 데이터보다 나은가?

더 설명 가능하고 더 검증 가능하지만, 도달 범위는 더 적다. 이를 잘 해내는 대부분의 팀은 둘 다 사용하는데, 구매 데이터는 폭을 위해, 공개 신호는 실제로 작업 중인 계정을 위해 사용한다.

신호는 얼마나 자주 갱신해야 하는가?

신호가 움직이는 속도에 갱신 주기를 맞춰라. 채용 공고와 리뷰 활동은 매일 또는 거의 매일 수집할 가치가 있다. 기술 및 가격 변화는 주 단위로도 괜찮다. 자금 조달은 이벤트 기반이며 구매하는 편이 낫다.

최소한의 실행 가능한 버전은 무엇인가?

하나의 신호를 제대로 수집하고, 계정으로 해소하고, 근거를 첨부하여 CRM에 전달하는 것. 채용 공고가 통상적인 출발점인데, 신호가 강력하고 표면이 잘 이해되어 있기 때문이다.

국내에서만 판매한다면 지역 타겟팅이 필요한가?

계정이 국내에 있다면, 하나의 관측 지점으로 충분할 수 있다. 국제 커버리지를 주장하는 순간, 고정되지 않은 수집기는 해외 시장이 조용한 것처럼 보이는 방식으로 그것을 과소 보고하게 된다.

결론

구매자 의도 데이터는 반드시 구매해야 하는 제품이 아니다. 그 상당 부분은 공개적이고, 이벤트 형태이며, 날짜가 찍혀 있는데, 이는 구매한 점수가 결코 가질 수 없는 방식으로 설명 가능하게 만든다.

작업은 수집 계층과 배관 작업에 있다. 올바른 관측 지점에서 지역 신호를 보는 것, 신호가 도착했을 때 여전히 행동 가능할 만큼 빠르게 갱신하는 것, 이벤트를 계정으로 해소하는 것, 숫자 대신 근거를 전달하는 것이다. 이 파이프라인을 위한 대역폭 계획은 가격 페이지에 있다.