웹 역사의 대부분 동안, 공개 데이터는 그저 수집되기 위해 존재했고, 유일한 질문은 수집이 가능한지 여부였다. 이제 상황이 바뀌고 있다. 플랫폼, 퍼블리셔, 데이터 소유자들은 점점 더 자사의 데이터를 라이선스, 유료 API, 공식 데이터 접근 계약 뒤에 두고 있으며, 자동화된 수집과 AI 학습을 정면으로 겨냥한 약관을 작성하고 있다.
웹 데이터를 수집하는 조직들에게 이것은 단순한 제약만은 아니다. 데이터 접근 계약은 직접 수집하는 것보다 더 깨끗한 데이터, 명확한 권리, 더 적은 법적 위험을 제공할 수 있다. 데이터를 공개하는 조직들에게는 누가 어떤 조건으로 데이터를 사용할지 결정하는 방법이 된다. 이 가이드는 이러한 계약이 무엇을 담고 있는지, 각 당사자가 언제 계약을 활용해야 하는지, 그리고 일반적인 공개 페이지 수집과 어떻게 공존하는지를 다룬다.
이 내용은 일반 정보이며 법률 자문이 아니다. 계약과 관련 법률은 상황에 따라 다르므로, 서명하기 전에 반드시 법률 자문을 받아야 한다.
데이터 접근 계약이 확산되는 이유
세 가지 변화가 데이터 소유자들을 공식 계약으로 이끌었다:
- AI 학습이 데이터의 가치를 높였다. 텍스트, 이미지, 구조화된 데이터가 학습 자료가 되면서, 소유자들은 이에 대한 대가를 요구하거나 사용 조건을 설정하기 시작했다.
- 주요 플랫폼들이 접근을 유료 API 뒤로 옮겼다. 2023년 여러 대형 소셜 플랫폼들이 이전에는 무료였거나 저렴했던 API 접근에 대해 요금을 신설하거나 큰 폭으로 인상하면서, 접근 자체가 상업적 관계로 바뀌었다.
- 옵트아웃 신호가 법적 무게를 얻었다. EU에서는 권리 보유자가 기계 판독 가능한 방식으로 자신의 콘텐츠를 상업적 텍스트 및 데이터 마이닝에서 제외할 수 있으며, AI 제공업체는 이러한 제외 신청을 존중해야 한다. robots.txt, AI 옵트아웃, 예약 신호에 관한 가이드에서 이 작동 방식을 다룬다.
그 결과 웹은 더 명시적인 조건을 갖추게 되었다: 일부 데이터는 여전히 자유롭게 수집 가능하고, 일부는 라이선스 하에서만 이용 가능하며, 그 경계는 점점 더 문서화되고 있다.
데이터 접근 계약이 다루는 내용
계약은 저마다 다르지만, 대부분 다음과 같은 동일한 질문들을 다룬다:
| 조항 | 결정하는 내용 |
|---|---|
| 범위 | 어떤 데이터, 어떤 필드, 어떤 이력, 얼마나 최신인지 |
| 전달 방식 | API, 대량 파일 또는 피드, 어떤 형식으로 |
| 허용된 사용 | 내부 분석, 제품, 재판매, AI 학습, 각각 허용 여부 |
| 용량 및 속도 | 얼마나 많이, 얼마나 자주, 한도를 초과하면 어떻게 되는지 |
| 출처 표시 | 출처를 밝혀야 하는지, 어떻게 밝혀야 하는지 |
| 개인정보 | 누가 관리자인지, 무엇을 보관할 수 있는지, 삭제가 어떻게 반영되는지 |
| 기간 및 해지 | 얼마나 지속되는지, 종료 시 무엇을 삭제해야 하는지 |
| 비용 | 고정, 호출당, 레코드당, 또는 수익 배분 |
| 감사 및 보고 | 라이선스 사용자가 자신의 사용에 대해 무엇을 보여줘야 하는지 |
대부분의 구매자에게 가장 중요한 조항은 허용된 사용이다. 내부 분석을 허용하는 계약이 재판매나 모델 학습은 금지할 수 있으며, 데이터 자체가 공개되어 있더라도 범위를 벗어난 사용은 계약 위반이 될 수 있다.
데이터 수집자를 위한 조언: 계약이 수집보다 나은 경우
공개 페이지 수집은 여전히 합법적이며 대체로 올바른 선택이다. 하지만 다음과 같은 경우에는 계약을 고려할 가치가 있다:
- 공개되지 않은 데이터가 필요한 경우, 예를 들어 이력, 식별자, 또는 페이지에 전혀 나타나지 않는 필드.
- 재판매하거나 데이터로 학습할 명확한 권리가 필요한 경우. 계약은 수집만으로는 결코 얻을 수 없는 권리를 부여할 수 있다. 스크래핑한 데이터의 소유권에 관한 가이드에서 수집만으로는 소유권이 생기지 않는 이유를 설명한다.
- 출처가 자주 차단하거나 변경되어서, 수집기를 유지하는 비용이 라이선스 비용보다 더 드는 경우.
- 고객이나 컴플라이언스 팀이 출처 증명을 필요로 하는 경우, 서명된 계약은 크롤링 로그보다 이를 더 잘 문서화한다.
반면, 많은 출처, 많은 시장에 걸쳐 사용자가 보는 그대로의 공개 화면이 필요하고, 계약이 존재하지 않거나 출처가 계약 제공에 관심이 없는 경우에는 수집이 더 적합하다. 각 시장을 현지 방문자처럼 보는 것, 이것이 바로 레지덴셜 프록시의 용도다.
계약에 서명할 경우의 모범 사례:
- 서명하기 전에 향후 제품과 AI 작업을 포함해 계획하는 모든 사용에 허용된 사용을 대조해본다.
- 라이선스된 데이터와 수집한 데이터를 분리하여 보관하고, 모든 레코드에 출처를 기록해 어떤 조건이 적용되는지 항상 파악할 수 있도록 한다.
- 해지에 대비한다: 무엇을 삭제해야 하는지 알고, 그렇게 할 수 있도록 저장 구조를 설계한다.
- 독점 조항이나 최혜 조건을 주의해서 살핀다, 이런 조항은 다른 활동을 제한할 수 있다.
데이터 소유자를 위한 조언: 데이터에 대한 통제권 되찾기
다른 사람이 수집하는 데이터를 공개하고 있다면, 계약은 그 사용 방식을 결정하는 여러 수단 중 하나다:
- 무엇이 진정으로 공개되어야 하는지 결정한다. 색인되고 노출되기를 원하는 콘텐츠는 동시에 수집자로부터 보호하기 어렵다. 라이선스하고 싶은 콘텐츠는 API나 로그인 뒤에 두는 것이 적합할 수 있다.
- 조건을 명확하고 기계 판독 가능하게 명시한다. 이용 약관, robots.txt, 그리고 EU의 경우 텍스트 및 데이터 마이닝에 대한 기계 판독 가능한 예약 신호 모두 자신의 입장을 알린다. 명확한 신호는 계약 협상을 쉽게 하고 위반을 입증하기 쉽게 만든다.
- 합법적인 경로를 제공한다. 문서화된 API나 라이선스는 진지한 사용자들에게 비용을 지불하고 준수할 방법을 주며, 당신의 데이터를 누가 사용하는지 기록을 남긴다.
- 용량뿐 아니라 용도에 맞춰 가격을 책정한다. 분석, 재판매, AI 학습은 매우 다른 가치를 지닌다.
- 집행을 현실에 맞춘다. 기술적 조치, 속도 제한, 계약 claim은 각각 한계가 있다. 법원은 데이터가 어떻게 접근되었는지에 관한 claim과 누가 공개 데이터를 소유하는지에 관한 claim을 다르게 다뤄왔다.
법적 배경, 간단히
계약은 아직 정립되어가고 있는 법적 체계 위에 놓여 있다. 미국에서는 법원이 플랫폼의 약관이 로그아웃 상태의 공개 데이터 수집을 막지 못한다고 판단한 반면, 가짜 계정이나 서버 부담처럼 데이터에 접근한 방식에 근거한 claim은 인정받은 바 있다. EU에서는 계약 조건이 별도로 보호받지 않는 데이터베이스의 사용을 제한할 수 있고, 독자적 데이터베이스권(sui generis database right)은 데이터베이스에 대한 상당한 투자를 보호하며, 데이터 보호법은 어떻게 수집되었든 개인정보에 적용된다.
수집이든 계약이든 어느 쪽에 의존하기 전에, 법무팀은 범위, 접근, 권리, 개인정보에 관해 동일한 질문들을 던진다. 법무팀이 스크래핑 프로젝트를 승인하기 전에 묻는 질문들에 관한 체크리스트에서 이를 다룬다.
FAQ
데이터 접근 계약이란 무엇인가?
데이터 소유자가 다른 당사자에게 자사 데이터에 대한 접근 권한을 부여하는 계약으로, 보통 API, 파일, 또는 피드를 통해 이루어지며, 어떤 데이터인지, 어떻게 사용될 수 있는지, 얼마나, 얼마 동안, 어떤 가격에 이루어지는지를 명시한다.
데이터를 라이선스하는 것이 나은가, 스크래핑하는 것이 나은가?
필요에 따라 다르다. 비공개 데이터, 명확한 재판매 또는 AI 학습 권리, 자주 변경되는 출처에는 라이선스가 적합하다. 계약이 제공되지 않는 많은 출처와 시장에 걸쳐 보이는 그대로의 화면이 필요할 때는 공개 페이지 수집이 적합하다.
데이터 접근 계약이 공개된 데이터를 제한할 수 있는가?
계약은 라이선스 사용자가 해당 계약에 따라 수신한 데이터의 사용 방식을 제한할 수 있으며, 이는 그 데이터가 공개되어 있는 경우에도 마찬가지다. 사이트의 일반 약관이 다른 사람의 공개 페이지 수집을 제한하는지 여부는 관할 지역과 그 약관이 수집자를 구속하는지에 따라 달라진다.
웹사이트가 자신의 데이터 사용 방식을 어떻게 통제할 수 있는가?
무엇을 공개할지 결정하고, 조건과 옵트아웃을 명확하고 기계 판독 가능하게 명시하며, 합법적인 사용자를 위한 라이선스 경로를 제공하고, 자사의 약관을 위반하거나 서비스에 피해를 주는 수집에 대해 집행함으로써 가능하다.
결론
데이터 접근 계약은 웹 데이터가 거래되는 방식의 정상적인 일부가 되어가고 있다. 수집자에게는 비용을 지불하는 대신 수집만으로는 얻을 수 없는 권리와 데이터를 제공하며, 소유자에게는 누가 어떻게 자신의 데이터를 사용할지 결정할 방법을 제공한다. 수집으로는 얻을 수 없는 것을 제공하는 경우에 계약을 활용하고, 라이선스된 데이터와 수집한 데이터를 분리해서 관리하며, 다른 무엇보다 허용된 사용 조항을 먼저 읽어라.