광고 게재를 검증하기 시작하는 대부분의 팀은 스크립트와 URL 목록으로 출발하며, 스크립트는 작동한다. 6주 후에 무너지는 것은 그 주변의 모든 것이다. 무엇을 실패로 간주할지 아무도 합의하지 않았고, 검사는 중요한 게재면이 아니라 도달하기 쉬운 게재면을 다루며, 증거는 파트너에게 제시할 만큼 충분하지 않고, 발견 사항은 아무도 관리하지 않는 스프레드시트에 쌓여만 간다.
검증은 스크립트가 아니라 프로그램이다. 여기서는 실제로 변화를 만들어내는지를 결정하는 구성 요소를 설계하는 방법을 다룬다.
무엇을 검증할지 결정하라
“광고가 실행되고 있는가”는 사실 네 가지 별개의 질문이며, 이를 뭉뚱그리면 아무도 조치할 수 없는 발견 사항만 나온다. 각각을 독립된 검사로 정의하고 각자의 통과 기준을 두어야 한다.
존재 여부. 크리에이티브가 예약된 슬롯에 실제로 렌더링되었는가?
게재 품질. 페이지의 어느 위치에, 어떤 크기로, 폴드 위인지 아래인지, 어떤 콘텐츠 옆에 배치되었는가? 겹쳐 쌓이거나 1픽셀 크기인 컨테이너에 렌더링된 광고는 기술적으로는 서빙되었지만 아무런 효과도 전달하지 못한 것이다.
타겟팅 충실도. 올바른 크리에이티브가 올바른 시장, 언어, 기기에 서빙되었는가? 이는 해당 시장 내부에서만 확인할 수 있으므로 다른 어디에서도 관찰이 불가능한 항목이다.
목적지 무결성. 클릭이 예상된 리디렉션을 거쳐 올바른 곳으로 이동하며, 로드되고 오퍼와 일치하는 페이지에 도달하는가? 깨진 랜딩 페이지는 부정 행위만큼이나 철저하게 예산을 낭비시킨다.
브랜드 안전성과 맥락. 게재면을 둘러싼 콘텐츠가 무엇인가. 이는 이분법이 아니라 판단의 영역이므로, 사건이 발생한 후가 아니라 사전에 관심 대상 카테고리를 정의해두어야 한다.
각 항목에 대해 기계가 평가할 수 있는 방식으로 통과 기준을 작성하라. “괜찮아 보인다”는 규모 앞에서는 버티지 못한다.
샘플링 전략을 설계하라
모든 것을 지속적으로 확인할 수는 없으며, 그렇지 않은 척하면 감당할 수 없는 프로그램이 되거나 정직하지 못한 프로그램이 된다. 샘플링은 핵심 설계 결정이다.
세 가지 요인으로 커버리지의 가중치를 정하라. 지출, 예산의 대부분을 차지하는 게재면이 가장 많은 검사를 받아야 한다. 위험, 불일치 이력이 있는 파트너, 거래소, 시장, 그리고 가시성이 가장 낮은 프로그래매틱 구매 항목을 의미한다. 최신성, 신규 캠페인과 신규 크리에이티브에 오류가 집중되므로 출시 시점에는 샘플링을 대폭 늘리고 게재면이 안정적임이 입증되면 줄여나간다.
그런 다음 남은 부분에 대해 명확히 밝혀라. 어떤 신뢰 수준으로 무엇을 다루지 않는지 명시해서, 아무도 샘플을 전수조사로 오해하지 않도록 하라. 전체 커버리지를 암시하면서 실제로는 게재면의 4%만 조용히 확인하는 프로그램은 거버넌스 문제를 예고하는 것이다.
문제가 지속되어도 감내할 수 있는 시간에 따라 빈도를 정하라. 상당한 지출을 초래하는 잘못된 게재면을 2시간 이내에 잡아내야 한다면, 그것이 해당 등급의 샘플링 간격을 결정하고 나머지는 거기서 파생된다.
관측 지점을 올바르게 설정하라
타겟팅 충실도와 지리적 검증은 해당 시장 내부에서만 관찰 가능하다. 배송 결정이 요청자가 누구로 보이는지에 달려 있기 때문이다. 사무실이나 클라우드 리전에서 확인하면 그 위치에 서빙되는 것을 보게 될 뿐, 실제 오디언스가 보는 것을 보는 것이 아니다.
즉, 구매하는 시장 각각에, 구매하는 세분화 단위로 레지덴셜 IP 출구가 필요하다는 의미다. 전국 캠페인이라면 국가 단위, 지역 캠페인이라면 도시 단위로 말이다. 또한 검증 중인 세그먼트에 맞춰 기기와 로케일을 일치시켜야 한다. 데스크톱 검사는 모바일 게재면에 대해 아무것도 알려주지 못하며, 로케일이 일치하지 않으면 무엇이 서빙되는지 달라질 수 있다. 지역, 시간대, 로케일 일치시키기 참고.
이것이 광고 검증의 운영 핵심이며, 프록시 선택에 대한 고려사항은 광고 검증을 위한 최적의 프록시에 있다.
증거 기준을 설정하라
검증의 결과물은 대개 돈에 관해 파트너와 나누는 대화이므로, 어떤 발견 사항이 조치 가능하려면 무엇을 포함해야 하는지 사전에 정하라. 실무적으로는 확인 시점의 스크린샷, 광고 요소의 렌더링된 크기와 위치, 크리에이티브 식별자와 리디렉션 후 최종 랜딩 URL, 사용된 시장·기기·로케일, 그리고 정확한 타임스탬프가 필요하다.
두 가지 규칙이 증거를 유효하게 만든다. 나중에 재구성하지 말고 확인 시점에 캡처하라. 누군가 물어볼 때쯤이면 게재면은 이미 바뀌어 있을 것이기 때문이다. 그리고 파생된 판정뿐 아니라 원본 캡처도 보관하라. 분쟁은 대개 검사가 실행되었는지 여부가 아니라 해석에 관한 것이기 때문이다.
보존 기간도 중요하다. 청구 분쟁 주기를 지원할 만큼 충분히 길게, 그러나 데이터 정책이 허용하는 한도 이내로, 특히 캡처에 개인 데이터가 우연히 포함될 수 있는 경우 더욱 그렇다.
필요해지기 전에 에스컬레이션 경로를 구축하라
이것이 대부분의 프로그램이 건너뛰는 단계이며, 검증이 실제로 변화를 만드는지를 결정하는 단계다.
각 실패 유형별로 무슨 일이 일어날지 사전에 합의하라. 어떤 발견 사항이 게재면을 자동으로 중지시키는지, 어떤 것이 파트너와 티켓을 여는지, 어떤 것이 조치 전에 사람의 검토를 요구하는지, 어떤 것이 트렌드 분석용으로만 기록되는지를 말이다. 각 유형마다 담당자와 대응 시간을 지정하라. 그런 다음 상업적 대화를 위한 임계값에 합의하라. 즉, 어느 기간 동안 몇 건의 발견 사항이 보상(make-good) 요청으로 제기할 만한 패턴을 구성하는지 말이다.
이것이 없으면 검증은 늘어나는 관찰 목록을 만들 뿐 아무런 결과도 낳지 못한다. 이는 검증을 하지 않는 것보다 나쁘다. 예산을 소모하면서 통제하고 있다는 잘못된 안도감을 만들어내기 때문이다.
프로그램 자체를 계측하라
검증 시스템은 특정하고도 위험한 방식으로 조용히 실패한다. 한 시장이 결과를 반환하지 않게 되면, 발견 사항의 부재가 문제의 부재로 읽히는 것이다.
시장별, 파트너별로 몇 건의 검사가 시도되었는지, 몇 건이 성공적으로 완료되었는지, 그리고 로드에 실패했거나 챌린지를 반환한 페이지가 아니라 몇 건이 유효한 캡처를 생성했는지를 추적하라. 완료된 검사 건수의 감소는 그 자체로 하나의 사고이며, 어떤 광고 관련 발견 사항보다 먼저 경고를 울려야 한다. 이는 대규모 프록시 상태 모니터링과 차단되거나 가짜인 콘텐츠 탐지와 동일한 원칙이다.
그런 다음 활동이 아니라 프로그램 성과를 보고하라. 파트너별 불일치율, 발생부터 탐지까지의 시간, 보호된 지출액, 그리고 몇 건의 발견 사항이 회수로 이어졌는지 말이다. 이러한 수치가 프로그램 자체의 예산을 정당화한다.
측정으로 유지하고 개입하지 마라
검증 프로그램은 관찰할 뿐 참여하지 않는다. 즉, 광고를 테스트하기 위해 클릭하지 않고, 리포팅에 반영되는 임프레션을 생성하지 않으며, 검증 대상 퍼블리셔의 실제 트래픽에 비해 무시할 만한 수준으로 검사 속도를 조절해야 한다는 뜻이다. 이는 올바른 태도일 뿐 아니라 스스로의 데이터를 깨끗하게 유지해준다. 배송을 왜곡하는 시스템은 결국 자기 자신을 측정하는 셈이기 때문이다.
구축 순서
아무것도 없는 상태에서 시작한다면: 검사 유형과 통과 기준을 정의하고, 지출 기준으로 첫 번째 등급의 게재면을 선정하고, 해당 시장을 위한 관측 지점을 확보하고, 증거 기준을 설정하고, 자동 평가를 연결하고, 담당자와 함께 에스컬레이션 경로에 합의하고, 프로그램 자체의 상태를 계측한 다음, 커버리지를 확장하라. 이 순서대로 진행하면 처음 만들어내는 발견 사항부터 이미 조치 가능하며, 이것이 프로그램의 다음 투자 단계를 정당화한다.
결론
검증을 스크립트가 아니라 세 가지로 설계된 구성 요소를 가진 프로그램으로 취급하라. “실행 중인가”를 존재 여부, 게재 품질, 타겟팅 충실도, 목적지 무결성, 브랜드 안전성으로 나누고 각각에 기계 평가 가능한 기준을 두어라. 지출, 위험, 최신성에 가중치를 두어 의도적으로 샘플링하고, 무엇을 다루지 않는지 공개적으로 밝혀라. 구매하는 세분화 단위로 각 시장 내부에서 확인하라. 타겟팅 충실도는 다른 어디에서도 보이지 않기 때문이다. 파트너 분쟁을 견딜 수 있는 증거 기준을 설정하고, 확인 시점에 캡처하라. 첫 발견 사항이 나오기 전에 에스컬레이션 경로를 정하라. 그렇지 않으면 발견 사항이 아무 데도 이어지지 않는다. 그리고 프로그램 자체를 계측하라. 한 시장에서의 침묵이 성공처럼 보이는 실패 양상이기 때문이다.
이를 뒷받침하는 시장 커버리지는 레지덴셜 프록시 위에서 실행되는 광고 검증이며, 국가 및 도시 타겟팅을 통해 각 검사가 검증 대상 시장 안에 위치하도록 하고, GB당 가격 정책 덕분에 샘플링 빈도를 라이선스 문제가 아니라 프로그램 결정 사항으로 다룰 수 있다.