프록시는 미국, 영국, EU에서 사용이 합법입니다. 중개 서버를 통해 트래픽을 라우팅하는 것 자체는 불법이 아니며, 규모를 막론한 여러 기업이 테스트, 모니터링, 보안 연구, 데이터 수집을 위해 일상적으로 이를 활용합니다.
더 어려운 질문은 프록시가 합법인지 여부가 아니라 그것으로 무엇을 하는지이며, 바로 여기서 답이 구체화됩니다. 데이터의 종류, 관할권, 그리고 로그인이 관련되어 있는지에 따라 달라집니다.
이 글은 일반적인 정보로, 법률 자문이 아닙니다. 어떤 규모의 프로젝트든 시작하기 전에 본인의 상황에 맞는 자문을 받으시기 바랍니다.
수집이 합법인 것과 그렇지 않은 것
가장 중요한 구분은 기술적인 것이 아닙니다. 데이터가 접근 장벽 뒤에 있는지 여부입니다.
일반적으로 방어 가능한 경우:
- 계정 없이 누구나 볼 수 있는 공개 데이터: 제품 목록, 가격, 공개 프로필, 게시된 기사, 검색 결과.
- 다른 누구에게도 서비스 품질을 저하시키지 않는 속도로 수집하는 데이터.
- 저작권으로 보호되지 않는 사실, 가격 및 기타 정보.
상당히 위험이 큰 경우:
- 로그인 뒤에 있는 모든 것, 특히 계정을 얻기 위해 약관에 동의한 경우.
- 단순히 공개 페이지를 요청하는 것이 아니라 기술적 접근 통제를 회피하는 경우.
- 식별 가능한 개인에 관한 개인정보로, 페이지가 공개되어 있었는지 여부와 무관하게 데이터 보호법이 적용됩니다.
- 저작권이 있는 콘텐츠를 대량으로 복제하거나, 보호되는 데이터베이스의 상당한 부분을 추출하는 경우.
서비스 약관은 계약이지 범죄가 아니다
사이트의 약관은 자동화된 접근을 금지할 수 있습니다. 이를 위반하는 것은 일반적으로 계약상의 문제입니다. 계약 위반 청구를 뒷받침할 수 있고 실질적인 법적 위험이지만, 컴퓨터 오용 관련 법률과는 다른 범주입니다.
이 구분은 명시적으로 약관에 동의한 경우, 통상적으로 계정을 생성한 경우에 좁아집니다. 약관에 동의한 적이 없는 공개 페이지를 스크래핑하는 것은, 클릭으로 동의한 약관이 있는 계정 내부에서 스크래핑하는 것보다 훨씬 더 확고한 근거를 갖습니다.
저작권과 데이터베이스 권리
사실은 저작권 대상이 아닙니다. 가격은 사실입니다. 제품 목록은 대체로 사실적입니다. 기사 텍스트, 사진 또는 설명을 그대로 복제하는 것은 다른 문제이며, 이를 대량으로 수집하여 재게시하는 것은 저작권 청구를 유발하는 가장 명확한 방식입니다.
EU는 저작권과는 별도로 특정한 데이터베이스 권리를 추가하는데, 개별 사실이 보호되지 않더라도 데이터베이스 편찬에 투입된 상당한 투자를 보호합니다. 그러한 데이터베이스의 상당 부분을 추출하는 것은 개별 항목이 보호되지 않더라도 침해가 될 수 있습니다.
개인정보가 모든 것을 바꾼다
수집한 것이 실존하는 개인을 식별한다면, 페이지가 공개되어 있었는지 여부와 무관하게 데이터 보호법이 적용됩니다. GDPR에서는 처리에 대한 합법적 근거가 필요하며, 정당한 이익을 근거로 삼으려면 입증 가능한 형태의 이익 균형 검토가 필요합니다. 정보주체의 권리, 보관 기한, 투명성 의무가 뒤따릅니다. 공개된 LinkedIn 프로필은 공개 데이터이면서 동시에 개인정보입니다.
지역별 규정 차이
| 지역 | 주요 프레임워크 | 공개 스크래핑에 대한 입장 | 주요 함정 |
|---|---|---|---|
| 미국 | 컴퓨터 사기 및 남용 방지법(CFAA), 주법 | 법원은 공개 페이지 스크래핑을 무단 접근으로 취급하기를 꺼려왔음 | 계약 청구 및 CCPA와 같은 주 차원의 개인정보 보호법 |
| 영국 | 컴퓨터 오용법, UK GDPR, 데이터베이스 권리 | 공개 데이터 수집은 본질적으로 불법이 아님 | UK GDPR은 개인정보에 적용되며, 데이터베이스 권리는 편찬된 데이터 집합을 보호함 |
| EU | GDPR, 데이터베이스 지침, DSM 지침 | 영국과 유사하며, 연구를 위한 명시적인 텍스트 및 데이터 마이닝 예외가 있음 | GDPR은 엄격하며, 데이터베이스 권리는 대부분의 예상보다 범위가 넓음 |
관할권은 단일한 답으로 정리되는 경우가 드뭅니다. 세 가지 위치가 동시에 중요합니다: 본인이 있는 곳, 서버가 있는 곳, 대상 사이트와 그 사용자가 있는 곳. EU 거주자에 관한 독일 사이트를 스크래핑하는 미국 기업은 스크래퍼가 어디서 실행되든 EU 법을 다루게 됩니다.
윤리적인 IP 소싱
레지덴셜 프록시 네트워크는 실제 사람들의 가정용 인터넷 연결로 구축됩니다. 이러한 사람들이 어떻게 참여하게 되었는지는 이 업계에서 가장 중요한 미해결 질문이며, 구매 전에 직접 물어볼 가치가 있습니다.
잘 운영되는 네트워크는 자신이 무엇에 동의하는지 아는 참가자를 모집합니다. 보통 광고 없는 등급이나 유료 보상 등 가치 있는 무언가를 제공받는 대가로 유휴 대역폭의 일부를 공유하는 애플리케이션 사용자들입니다. 이들은 명확하게 안내받고, 언제든 떠날 수 있으며, 제공업체는 자사 코드를 탑재한 애플리케이션을 감사합니다.
잘못 운영되는 네트워크는 아무도 읽지 않는 작은 글씨의 약관으로 이 기능을 무료 소프트웨어에 끼워 넣거나, 더 나쁘게는 사용자가 의도적으로 설치한 적 없는 애플리케이션 안에 이를 심어 배포합니다. 이런 방식으로 구축된 네트워크는 단속 조치의 대상이 되었으며, 손상된 기기와의 연관성을 밝힌 연구의 대상이 되기도 했습니다.
이는 윤리적인 문제일 뿐 아니라 상업적으로도 중요합니다. 동의 없이 조성된 풀은 불안정하고, 손상된 기기를 포함할 가능성이 더 높으며, 제공업체가 뉴스거리가 될 경우 평판 위험에 노출됩니다.
구매 전에 물어야 할 것
- 참가자는 어떻게 네트워크에 가입하며, 무엇을 안내받는가?
- 그 대가로 무엇을 받으며, 언제든 탈퇴할 수 있는가?
- SDK를 탑재한 애플리케이션을 감사하는가?
- 어떤 컴플라이언스 인증을 보유하고 있으며, 관련 보고서를 제시할 수 있는가?
- 특정 주소에 대해 남용이 신고되었을 때의 정책은 무엇인가?
Shifter는 SOC 2 Type II, GDPR, HIPAA 준수를 유지하고 있으며, 이는 다른 어떤 제공업체에게든 신뢰가 아니라 증거로서 확인해볼 가치가 있는 종류의 자격입니다.
프록시는 안전한가?
안전성은 두 가지 질문으로 나뉩니다.
트래픽은 안전한가? 신뢰할 수 있는 유료 제공업체라면 그렇습니다. 프록시와의 연결은 암호화되어 있으며, 제공업체는 이를 보호할 상업적인 이유가 있습니다. 무료 공개 프록시라면 그렇지 않습니다. 운영자는 실제 대역폭 비용을 지불하며 이를 어떻게든 회수합니다. 지나가는 내용을 로깅하거나, 콘텐츠를 삽입 또는 대체하거나, 연결을 재판매하는 방식입니다. 무료 목록은 또한 수천 명의 낯선 사람들과 공유되며 이미 대부분의 상업 사이트에서 차단되어 있습니다.
당신은 익명인가? 아닙니다. 이 부분은 솔직하게 짚을 가치가 있습니다. 프록시는 웹사이트가 보는 IP 주소를 바꿉니다. 쿠키, 브라우저 핑거프린트, 로그인 상태, 계정 이력에는 손대지 않으며, 제공업체는 당신의 트래픽을 볼 수 있습니다. 프록시는 프라이버시를 보장하는 수단이 아니라 위치와 요청 속도를 관리하는 도구로 다루십시오.
실무 지침
- 공개 데이터를 우선하십시오. 로그인 밖에서는 법적 입지가 훨씬 명확합니다.
- robots.txt와 속도 제한을 존중하십시오. 대부분의 관할권에서 이는 법적 구속력이 없지만, 무시하면 분쟁 시 방어하기가 더 어려워지고 타인의 서비스 품질을 저하시킵니다.
- 최소한만 수집하십시오. 좁은 범위의 수집은 데이터 보호법과 데이터베이스법 양쪽에서 노출을 줄여줍니다.
- 충분히 검토하지 않았다면 개인정보 수집을 피하십시오. 수집해야 한다면, 시작하기 전에 합법적 근거를 문서화하십시오.
- 기록을 남기십시오. 무엇을, 언제, 왜, 어떤 근거로 수집했는지. 나중에 문제가 제기될 경우 당시의 기록이 중요합니다.
- 규모가 크거나 규제 산업에 속하거나 개인정보가 관련된 경우 법률 자문을 받으십시오.
결론
프록시는 합법입니다. 웹 스크래핑은 공개 데이터를 다루는 대다수의 경우에 합법입니다. 위험은 세부 사항에 있습니다. 로그인, 개인정보, 저작권이 있는 콘텐츠, 상당한 규모의 데이터베이스 추출이며, 이는 관할권에 따라 달라집니다.
IP 주소의 출처를 설명할 수 있는 제공업체를 선택하고, 가능한 한 공개 데이터로 수집을 제한하며, 큰 규모의 작업을 시작하기 전에 자문을 받으십시오.
수집의 기술적인 측면에 대해서는 웹 스크래핑 프록시를 참고하시고, 더 넓은 분류에 대해서는 프록시의 종류를 참고하시기 바랍니다.