모든 브랜드 모니터링 도구는 시간에 따른 언급량 차트를 만들어내지만, 그 차트는 배후에 있는 커버리지만큼만 정직하다. 언급량 하락은 사람들이 더 이상 이야기하지 않는다는 뜻일 수 있다. 하지만 어떤 포럼이 수집기에 속도 제한을 걸기 시작했거나, 리뷰 사이트가 수집 대상 지역에 다른 카탈로그를 제공하기 시작했다는 뜻일 수도 있다.
이 둘은 대시보드 안에서는 똑같아 보인다. 이것이 언급 추적의 핵심 문제이며, 감성 문제이기 이전에 커버리지 문제다.
표면마다 작동 방식이 다르다
“인터넷”을 하나의 소스로 취급하는 것이 대부분의 자체 구축 모니터링을 취약하게 만드는 원인이다. 각 표면은 저마다의 접근 방식, 저마다의 구조, 저마다의 실패 방식을 갖고 있다.
소셜 플랫폼. 공식 API가 존재하고 필요한 것을 커버한다면 그것을 사용하라. 안정적이고, 허용된 방식이며, 커버리지를 은밀히 바꾸지 않는다. 보통의 제약은 과거 데이터의 깊이, 요청 속도 상한, 어떤 필드를 노출하는지다.
포럼과 커뮤니티. 레딧 형태의 애그리게이터, 틈새 기술 게시판, 업계 특화 커뮤니티. 구조적으로는 단순하지만 종종 가장 가치 있는 언급이 나오는 곳이며, 가장 파편화되어 있다. 단일한 접근 경로가 없기 때문에 소스별 작업이 여기서 누적된다.
리뷰 사이트. 소프트웨어 디렉토리, 소매 리뷰, 앱스토어 리뷰. 지역화가 심하게 이루어지며, 이는 아래에서 다룰 함정이다. 리뷰 콘텐츠는 구조화되어 있어서 점수화하기 가장 쉬운 표면이며, 그만큼 과대평가하기도 가장 쉽다.
뉴스와 블로그. 기존 피드와 애그리게이터로 잘 커버된다. 보통 별도의 전용 수집을 구축할 가치가 없다.
질문과 답변 사이트. 물량은 적지만 의도는 강하며, 자사 제품에 대한 질문이 종종 결정으로 이어지기 직전이라는 점에서 지켜볼 가치가 있다.
실무적인 조언은, 각 표면을 수집하기 얼마나 쉬운지가 아니라 실제로 청중이 어디에 있는지를 기준으로 순위를 매기라는 것이다. 쉬운 두 표면은 잘 커버하면서 정작 중요한 표면은 전혀 커버하지 않는 모니터링 프로그램은 흔하면서도 비용이 큰 결과다.
지리적 위치는 “언급”의 정의 자체를 바꾼다
이것이 국제 고객을 둔 팀들을 함정에 빠뜨리는 실패 지점이다.
앱스토어는 스토어별로 다른 카탈로그와 다른 리뷰 세트를 제공한다. 소프트웨어 디렉토리는 목록과 리뷰 모두를 현지화한다. 소셜 플랫폼은 지역에 따라 노출되는 내용이 달라진다. 독일의 고객이 남긴 언급이 미국 수집기에서는 완전히 보이지 않을 수 있으며, 결과 자체에는 무언가 빠졌다는 어떤 표시도 나타나지 않는다.
그 결과, 단일 관측 지점에서 수집한 결과가 전역적인 관점이라는 라벨을 달고 나온 지역적 관점이 되어버린다. 국제 매출을 가진 경영진에게 “언급이 12퍼센트 증가했다”고 보고한다면, 그 숫자는 그 매출이 발생하는 시장들에서 수집된 것이어야 한다.
국가 및 도시 타겟팅이 가능한 레지덴셜 프록시가 지역적 관점을 실제로 지역적인 것으로 만들어준다. Shifter 게이트웨이를 사용하면, 관측 지점과 세션은 p.shifter.io:443에 대한 인증 정보에 다음과 같이 담긴다:
customer-USERNAME-country-de-sid-mentions-de-ttl-600:PASSWORD페이지가 있는 스레드나 리뷰 목록이 내부적으로 일관성을 유지하도록, 시장별 및 쿼리별로 세션 하나를 유지하라. 수집 도중에 세션을 교체해서 서로 다른 관측 지점에서 가져온 페이지를 이어 붙이지 말아야 한다. 이 워크플로우의 제품 관점은 브랜드 모니터링 프록시 페이지에 있다.
쿼리 세트를 신중하게 구축하라
커버리지는 무엇을 검색하는지에 의해 한계 지어지며, 대부분의 팀은 너무 적게 검색하다가 이후에는 너무 많이 검색한다.
명백한 것부터 시작하라: 브랜드명, 제품명, 도메인. 그런 다음 실제 사람들이 실제로 입력하는 것을 추가하라: 흔한 오탈자, 공백 없는 이름, 약어, 리브랜딩했다면 예전 이름. 그런 다음 직접 이름이 언급되지 않고도 등장하는 맥락을 추가하라: 경쟁사와의 비교, 카테고리 용어와 불만 표현의 결합, 임원 이름.
반대의 문제는 브랜드명이 흔한 단어일 때 발생한다. 일반적인 이름은 실제 언급을 노이즈 속에 묻어버리며, 해법은 더 나은 모델이 아니라 더 촘촘한 쿼리다: 함께 등장하는 용어를 요구하거나, 관련 커뮤니티로 제한하거나, 단어 대신 도메인을 매칭하는 것이다. 이것은 쿼리 설계 단계에서 결정해야 한다. 노이즈가 많은 코퍼스는 이후 모든 과정을 오염시키기 때문이다.
쿼리 세트를 버전이 관리되는 산출물로 기록해두라. 다음 분기에 언급량이 급증할 때, 세상이 변한 것인지 쿼리가 변한 것인지 알아야 한다.
집계하기 전에 중복을 제거하라
같은 발언이 여러 경로로 도달한다. 보도자료는 수십 개의 매체에 신디케이션된다. 소셜 게시물은 인용되고, 스크린샷으로 찍히고, 재공유된다. 리뷰는 애그리게이터에 의해 미러링된다. 포럼 스레드는 여러 곳에 교차 게시된다.
이것들을 모두 별개의 언급으로 집계하면 물량이 부풀려지는데, 이는 관심도가 아니라 신디케이션과 상관관계가 있는 부풀림이다. 더 나쁜 것은, 단 하나의 시끄러운 사건이 광범위한 여론처럼 보이게 만든다는 점이다.
실용적인 규칙은, 정규화된 작성자, 정규화된 텍스트, 시간 창을 조합한 복합 키를 사용하고, 원본이 사본들보다 우선하도록 정규 소스 우선순위를 두는 것이다. 구체적인 알고리즘보다 중요한 것은 그것이 고정되어 있고 문서화되어 있다는 점이다. 중복 제거 로직을 소급 변경하면 자신의 과거 기록을 다시 써버리게 되기 때문이다.
사본들은 폐기하지 말고 정규 레코드에 연결된 상태로 유지하라. 확산은 실재하는 신호이며, 다만 물량과는 다른 신호일 뿐이다.
수집 주기는 균일함이 아니라 위험을 따라야 한다
모든 것을 매시간 수집하는 것은 비용이 크고 대부분 낭비다. 모든 것을 매주 수집하는 것은 문제가 이미 나쁘게 마무리된 후에야 알게 된다는 뜻이다.
표면을 등급화하라. 불만이 빠르게 확산되는 곳, 대체로 소셜과 해당 카테고리에서 가장 활발한 커뮤니티는 짧은 간격을 정당화한다. 리뷰 사이트와 디렉토리는 하루 단위로 충분할 만큼 느리게 움직인다. 뉴스 애그리게이션은 대체로 피드를 통해 이미 거의 실시간이다.
여기에 이벤트 기반 계층을 추가하라: 출시, 장애, 가격 변경, 언론 보도 사이클이 있을 때는 그 이야기가 퍼질 만한 표면에서 일시적으로 수집 주기를 높여야 한다. 고정된 스케줄은 이것을 할 수 없으며, 놓치는 순간들이야말로 이 프로그램이 존재하는 바로 그 이유다.
자신의 커버리지를 측정하라
신뢰할 수 있는 모니터링 프로그램과 신뢰할 수 없는 차트를 가르는 원칙: 언급과 함께 수집 상태도 추적하라.
소스별 성공률, 기대 결과 대비 실제 반환된 결과, 수집 가능한 페이지 대비 실제 수집된 페이지를 기록하라. 언급량이 떨어질 때, 첫 번째 질문은 자체 성공률도 함께 떨어졌는지다. 그렇다면 이는 수집의 문제이며, 이를 대화의 감소로 보고하는 것은 잘못이다.
동일 지역의 서로 다른 두 출구로부터, 수집 창마다 각 표면에 대해 소규모 대조 쿼리를 두 번씩 실행하라. 수렴한다면 관점이 안정적이라는 뜻이고, 발산한다면 소스가 요청의 어떤 특성에 반응하고 있다는 뜻이다. 이 기준선을 설정하는 방법은 프록시 속도, 성공률, 위치 정확도 테스트하기에 있으며, 요청 속도 조절 측면은 요청 속도 제한과 스로틀링에 있다.
발견한 것으로 무엇을 할 것인가
어떤 라우팅 결정도 만들어내지 않는 모니터링은 아무도 읽지 않는 보고서다. 시작하기에는 세 가지 범주로 충분하다.
즉시 조치. 식별 가능한 고객으로부터의 구체적인 불만, 제품에 대한 사실 오류 주장, 보안 관련 주장. 소스 링크와 함께 사람에게 전달하라.
집계. 감성, 물량, 경쟁사 대비 점유율. 주 단위로, 추세 형태로, 추세를 신뢰할 수 있도록 커버리지 지표를 함께 첨부하라.
보관. 그 외 나머지 전부. 검색 가능하되, 노출하지 않는다.
여기서 평판 방어 측면, 즉 언급 추적이 위조품 및 오용 탐지와 만나는 지점은 프록시로 브랜드 보호하기에서 다룬다. 앱스토어 관련 세부 사항은 App Store 및 Google Play 데이터 스크래핑에 있다.
FAQ
API를 사용해야 할까, 공개 페이지를 수집해야 할까?
가능하면 API를 우선하라. API가 존재하고 필요한 것을 커버한다면 어디서든 그렇다. 공개 페이지 수집은 빈틈을 채우는데, 실무에서는 대부분의 포럼, 대부분의 리뷰 사이트, 그리고 대부분의 롱테일 커뮤니티가 여기에 해당한다.
과거 데이터는 얼마나 거슬러 올라가 수집해야 할까?
비교할 수 있는 기준선을 세울 만큼이면 충분하며, 이는 보통 한 분기를 의미한다. 몇 년치를 소급 수집하는 것은 비용이 크고 결정에 영향을 주는 경우가 드물다.
아무 일도 없었는데 왜 언급량이 갑자기 뛰는가?
대개 단일 항목의 신디케이션이거나 쿼리 변경 때문이다. 관심도에 대해 어떤 결론을 내리기 전에 중복 제거 결과와 쿼리 버전을 먼저 확인하라.
이미 유료 모니터링 도구가 있다면 이것도 필요한가?
그 도구에게 표면별, 지역별 커버리지가 무엇인지 물어보라. 자체 구축 작업이 존재하는 이유는 대체로 특정한 중요 커뮤니티, 혹은 특정 시장이 그 도구에 의해 커버되지 않기 때문이다.
결론
언급 추적은 조용히 실패한다. 커버리지 공백은 침묵처럼 보이고, 신디케이션은 여론의 합치처럼 보이며, 국내 관측 지점은 전역적 관점처럼 보인다.
쿼리 세트를 신중하게 구축하고, 방어할 수 있는 규칙으로 중복을 제거하고, 위험에 따라 수집 주기를 등급화하고, 실제 고객이 있는 시장에서 수집하며, 언급 자체와 함께 자신의 커버리지도 측정하라. 그것이 누구에게든 보여줄 만한 가치가 있는 차트를 만든다. 요금제와 가격은 가격 페이지에 있다.