투자 회사는 분기 보고서에 나타나기 전에 무슨 일이 벌어지고 있는지 확인하기 위해 웹 데이터를 사용한다. 수천 개 제품의 가격 변동, 구인 공고의 증감, 매장 개점, 리뷰, 앱 순위, 배송 시간 등이 그 예다. 제대로 수집하면 이 대체 데이터는 금융 리서치 팀에게 실질적인 우위가 된다. 잘못 수집하면 펀드를 수년간 따라다닐 수 있는 규제 및 법적 리스크가 된다.
대체 데이터에 관한 대부분의 글은 무엇을 수집할지를 다룬다. 그 주변의 컴플라이언스 계층, 즉 데이터가 투자 결정에 사용되기 전에 펀드의 컴플라이언스 팀이 알아야 할 것과 데이터 제공업체가 증명할 수 있어야 할 것을 다루는 글은 훨씬 적다. 이 가이드는 둘 다 다룬다. 이것은 일반적인 정보이며 법률 자문이 아니다. 투자 회사는 자체 컴플라이언스 및 법률 자문을 참여시켜야 한다.
대체 데이터에 별도의 컴플라이언스 검토가 필요한 이유
일반적인 시장 데이터는 오랫동안 확립된 규칙을 가진 거래소와 라이선스를 받은 벤더로부터 나온다. 웹 데이터는 누군가의 거래에 입력값이 되는 것에 동의한 적이 없는 출처로부터 나온다. 이는 데이터가 사용되기 전에 컴플라이언스 팀이 답해야 할 질문을 제기한다.
- 중요한 비공개 정보를 포함할 수 있는가? 데이터는 합법적으로 공개 출처에서 얻었고 기밀 유지 의무를 위반하지 않을 때에만 거래에 사용하기에 안전하다. 미국의 투자 자문사는 중요한 비공개 정보의 오용을 방지하도록 설계된 서면 정책을 유지해야 하며, 데이터 출처도 이러한 정책의 범위에 포함된다.
- 합법적으로 수집되었는가? 서비스 약관, 로그인, 기술적 제약, 데이터 보호법은 모두 데이터가 무엇인지뿐만 아니라 어떻게 수집되었는지에도 적용된다.
- 개인정보를 포함하는가? 많은 웹 데이터셋은 리뷰어, 직원, 앱 사용자 등 개인과 관련이 있다. 유럽의 데이터 보호법은 그 데이터가 공개되었는지 여부와 관계없이 적용된다.
- 벤더가 말하는 그대로인가? 데이터셋의 가치는 어떻게 구축되었는지에 달려 있다. 이를 잘못 설명하는 것은 단순한 상업적 문제가 아니다.
마지막 지점은 2021년에 규제 문제가 되었다. 미국 증권거래위원회(SEC)는 모바일 앱 데이터 제공업체인 App Annie와 공동 창립자를 데이터 도출 방식을 잘못 설명한 혐의로 증권 사기로 기소했다. SEC는 이 회사가 거래 회사에 판매한 추정치를 변경하기 위해 비집계, 비익명화 데이터를 사용했으면서도 고객에게는 다르게 말했다고 밝혔다. App Annie는 1,000만 달러의 벌금을 지불하는 데 동의했다. 이는 SEC가 대체 데이터 제공업체를 증권 사기로 기소한 첫 번째 집행 조치였으며, 데이터셋의 내용뿐만 아니라 그 이면의 방법론도 조사 대상이 되었다.
펀드의 컴플라이언스 팀이 물어볼 것들
바이사이드 기업들은 데이터 벤더를 위한 상당히 표준화된 질문 세트로 수렴해왔다. 금융 데이터 업계 단체인 FISD는 Alternative Data Council을 통해 많은 펀드가 출발점으로 사용하는 실사 설문지를 발행하며, 전체 벤더 검토, 짧은 데이터 트라이얼, 그리고 최근에는 생성형 AI를 위한 버전도 있다. 질문은 몇 가지 그룹으로 나뉜다.
| 영역 | 알고자 하는 것 |
|---|---|
| 출처 | 데이터가 어디서 오는지, 각 출처가 이러한 사용을 허용하는지 |
| 수집 | 어떻게 수집되는지: 공개 페이지인지 로그인 뒤인지, 어떤 방법으로, 어떤 속도로 |
| 권리 | 벤더가 데이터를 라이선스할 권리가 있는지, 라이선스가 무엇을 허용하는지 |
| 개인정보 | 포함 여부, 필터링 또는 익명화 방법, 법적 근거 |
| MNPI | 기밀 또는 비공개 정보가 데이터셋에 포함되지 않도록 하는 통제 |
| 방법론 | 원시 데이터가 어떻게 제공되는 제품이 되는지, 변경 사항이 어떻게 전달되는지 |
| 거버넌스 | 정책, 감사, 불만 처리, 출처가 이의를 제기할 경우의 대응 |
펀드를 위한 대체 데이터를 구축한다면 모든 항목에 서면으로 답할 준비를 해야 한다. 펀드에서 직접 데이터를 수집하는 일을 한다면, 컴플라이언스 팀이 당신에게도 똑같은 질문을 할 것이다.
가장 중요한 네 가지 통제
1. 공개 출처, 접근 통제를 위반하지 않고 수집. 로그인하거나, 특별 약관에 동의하거나, 기술적 제약을 우회하지 않고 어떤 방문자든 볼 수 있는 것을 수집한다. 계정을 오용하거나 유료 장벽을 우회해 얻은 데이터는 컴플라이언스 팀이 절대 받아들일 수 없는 종류다. 법무팀이 스크래핑 프로젝트를 승인하기 전에 물어볼 것들에 관한 가이드에서 수집 관련 질문을 자세히 다룬다.
2. 개인정보를 처음부터 배제한 설계. 대부분의 투자 신호는 개인을 필요로 하지 않는다. 지원자를 저장하지 않고 구인 공고 수를 세고, 리뷰어 신원을 보관하지 않고 리뷰를 집계하고, 사용자 데이터 없이 앱 순위를 측정한다. 수집 시점에서 필터링하는 것이 나중에 익명화하는 것보다 방어하기 훨씬 쉽다. GDPR 개요에서 수집 팀을 위한 기본 사항을 다룬다.
3. 문서화되고 정직한 방법론. 원시 데이터가 어떻게 제품이 되는지를 기록한다: 출처, 샘플링, 정제, 가중치, 보간, 모델링된 추정치. 방법이 바뀌면 고객에게 알린다. App Annie 사례는 설명된 방법론과 실제 사용된 방법론 사이의 격차 자체가 위반이 될 수 있음을 보여준다.
4. 증명 가능한 출처 추적. 모든 레코드에 대해 출처, 수집 시간, 방법을 보관하고, 원시 캡처는 합리적인 기간 동안 보관한다. 펀드든 규제 기관이든 숫자가 어디서 나왔는지 물으면 설명하는 것이 아니라 보여줄 수 있어야 한다.
권리: 라이선스할 수 있는 것
데이터 제공업체는 라이선스할 권리가 있는 것만 라이선스할 수 있다. 가격이나 개수 같은 사실은 일반적으로 누구에게도 소유되지 않는다. 기사 텍스트와 사진 같은 창작물은 그 저자에게 속한다. 그리고 유럽에서는 일부 데이터베이스가 사실만 포함하더라도 보호받는다. 지수, 개수, 트렌드 같은 파생 신호를 판매하는 것은 웹사이트 콘텐츠의 사본을 재배포하는 것과는 매우 다르다. 스크래핑된 데이터의 소유권에 관한 가이드에서 이러한 계층과 재판매에 대한 의미를 다룬다.
인프라 문제
펀드는 점점 더 프록시 네트워크를 포함한 수집 이면의 인프라에 대해서도 묻는다. 이러한 우려는 타당하다. 제공업체의 IP 주소가 자신의 연결을 공유하는 데 동의하지 않은 기기 소유자로부터 나온 것이라면, 데이터셋도 그 문제를 물려받는다. 프록시 제공업체에게 주소가 어떻게 조달되는지, 기기 소유자가 어떤 동의를 했는지, 악용이 어떻게 처리되는지 물어본다. 제공업체가 레지덴셜 IP를 윤리적으로 조달하는 방법에 관한 설명 글에서 무엇을 물어볼지 나열한다. 수집 자체를 위해서는 레지덴셜 프록시가 현지 고객이 보는 것과 동일하게 가격과 목록을 확인하는 데 종종 필요하며, 이는 소비자가 실제로 지불하는 금액을 바탕으로 구축된 신호에 중요하다.
종합하기
대체 데이터셋을 위한 실용적인 컴플라이언스 패키지는 몇 개의 문서에 담긴다.
- 출처 등록부: 모든 출처, 접근 유형, 약관, robots.txt 상태를 명시된 날짜에 확인한 것.
- 수집 설명: 방법, 속도, 그리고 로그인, 유료 장벽, 접근 통제가 우회되지 않았다는 진술.
- 개인정보 평가: 무엇이 제외되었는지, 어떻게, 그리고 유지된 것의 법적 근거.
- 방법론 문서, 변경 이력 포함.
- 출처 기록: 레코드별 출처와 시간, 원시 캡처 보관.
- 불만 및 삭제 절차: 출처의 이의 제기를 누가 처리하는지, 해당 출처로부터의 수집을 얼마나 빨리 중단할 수 있는지.
이 패키지가 있으면 벤더는 실사 설문지에 며칠 안에 답할 수 있고, 펀드는 신호가 어떻게 구축되었는지 규제 기관에 보여줄 수 있다. 대체 데이터를 위한 레지덴셜 프록시에 관한 이전 글에서 같은 작업의 수집 측면을 다룬다.
자주 묻는 질문
투자를 위해 스크래핑된 웹 데이터를 사용하는 것이 합법적인가요?
일반적으로, 데이터가 공개되어 있고 합법적으로 수집되었으며 중요한 비공개 정보와 불법적으로 처리된 개인정보가 없을 때는 합법이다. 세부 사항은 관할권, 출처, 데이터 수집 방법에 따라 달라지므로 펀드는 사용 전에 각 데이터셋을 검토한다.
대체 데이터를 위한 실사 설문지란 무엇인가요?
투자 회사가 데이터 벤더에게 출처, 수집 방법, 권리, 개인정보, MNPI 통제, 방법론, 거버넌스에 관해 보내는 표준화된 질문 세트다. FISD의 Alternative Data Council은 널리 사용되는 버전을 발행한다.
SEC는 왜 대체 데이터 제공업체를 기소했나요?
2021년 SEC는 App Annie와 그 공동 창립자가 데이터 도출 방식을 잘못 설명한 혐의로 증권 사기로 기소했으며, 회사는 1,000만 달러의 벌금을 지불하는 데 동의했다. 이는 SEC가 대체 데이터 제공업체를 상대로 한 첫 번째 이러한 사례였다.
대체 데이터에 개인정보가 포함될 수 있나요?
리뷰, 구인 공고, 프로필을 통해 종종 포함될 수 있다. 가장 안전한 접근법은 수집 시점에 개인정보를 처음부터 배제하도록 설계하고 집계된 신호만 유지하는 것이다.
결론
대체 데이터는 컴플라이언스 검토를 통과할 때만 우위가 된다. 접근 통제를 우회하지 않고 공개 출처에서 수집하고, 개인정보를 처음부터 배제하도록 설계하고, 방법론을 정직하게 문서화하고, 모든 레코드에 대해 출처를 보관한다. 펀드의 실사 질문에 서면으로 답할 수 있는 벤더가 사업을 따낸다. 그러한 질문을 하는 펀드는 다른 누군가의 문제를 물려받는 것을 피한다.
출처 및 참고자료
- 미국 증권거래위원회, SEC Charges App Annie and its Founder with Securities Fraud, 2021년 9월 14일.
- FISD, Alternative Data Council, 실사 설문지 포함.