Wikipedia는 AI 학습과 답변 엔진에서 가장 많이 사용되는 출처 중 하나이며, 운영 기관은 이것이 어떻게 이루어지기를 원하는지 점점 더 강하게 밝히고 있다. 웹 데이터로 모델과 AI 제품을 구축하는 팀들에게 이는 한 웹사이트를 넘어서는 문제다. 주요 오픈 소스 지식원이 AI 기업에 무엇을 기대하는지 명시하고 이를 실제로 집행하는 지금까지 가장 명확한 사례이기 때문이다.
처음 헤드라인이 나온 이후 상황은 계속 진행되었다. 이 글에서는 Wikimedia Foundation이 실제로 요구한 사항, 이를 어떻게 집행하고 있는지, 그리고 오늘날 데이터에 접근하는 실질적인 경로들을 다룬다.
Wikipedia가 실제로 요구한 것
2025년 11월 10일, Foundation은 AI 개발자들에게 두 가지를 요청했다: “출처 표시와 재정 지원”이다. 두 번째 요구는 대부분의 AI 개발자가 “Wikimedia Enterprise 플랫폼을 통해 Wikipedia 콘텐츠에 적절히 접근해야 한다”는 의미였으며, 이 플랫폼을 “유료 옵트인 제품”이라고 설명했다. 해당 게시글에는 “스크래핑”이라는 단어가 사용되지 않았다. 헤드라인 문구는 이를 보도한 매체에서 나온 것이었다.
2026년 들어 어조는 더 강해졌다. 7월에 Foundation은 악의적인 행위자들이 “크롤링과 스크래핑을 위해 우리 공개 API 인프라에 계속 부담을 주고 있다”고 썼으며, 대규모 사용자에게 Enterprise는 “있으면 좋은 것이 아니라 반드시 해야 하는 것”이라고 밝혔다. 또한 공개 API 접근을 중단할 계획은 “지금도, 앞으로도” 없다고 밝혔다. 그리고 2026년 10월 법원 제출 서류 관련 게시글에서는 프로젝트에 대한 스크래핑이 “지속 가능한 방식으로, 공개 API 요청 제한에 맞게, 혹은 Enterprise API 제품을 통해 이루어져야 한다”고 썼다.
왜 지금인가
Foundation이 내세우는 이유는 서로 반대 방향으로 움직이는 두 가지 수치로 요약된다.
방문자는 줄고 있다. 2025년 10월 보고에 따르면 인간 페이지뷰는 2024년 같은 기간 대비 약 8% 감소했다. 이는 브라질에서 주로 발생한 비정상적인 트래픽을 조사한 결과 탐지를 회피하도록 만들어진 봇임이 밝혀진 후 봇 탐지 체계를 개선한 뒤 나온 수치다. Foundation은 이 수치를 신중하게 해석해 달라고 요청했으며, 2026년 10월에 탐지 체계를 다시 업데이트했기 때문에 이후 수치는 달라질 수 있다.
기계는 비용이 더 든다. 2025년 4월 보고에 따르면 봇은 페이지뷰의 약 35%를 차지했지만, 가장 많은 리소스를 소비하는 트래픽의 최소 65%를 차지했다. 이는 봇이 캐시되지 않은 인기 없는 페이지를 가져오기 때문이다. 멀티미디어 다운로드용 대역폭은 2024년 1월 이후 50% 증가했다. 게시글은 이를 다음과 같이 표현했다: “우리 콘텐츠는 무료지만, 우리 인프라는 무료가 아니다”.
방문자 감소는 잠재적인 편집자와 후원자 감소로도 이어지며, 이 때문에 Foundation은 출처 표시를 단순한 예의 이상으로 취급한다.
집행 방식
이는 더 이상 단순한 요청에 그치지 않는다. 2026년 4월까지 Foundation은 정책을 위반하는 크롤러로부터의 자동화된 요청 약 30%를 차단하거나 제한하고 있다고 밝혔다. 전역 API 요청 제한은 2026년 6월에 전면 도입이 완료되었다.
| 규칙 | 내용 |
|---|---|
| API, 식별 정보 없음 | 분당 10회 요청 |
| API, 식별 가능한 User-Agent, 로그인 없음 | 분당 200회 요청 |
| 크롤링 (robot 정책) | robots.txt 준수, 초당 평균 20회 미만, 동시 연결 10개 미만 |
| 봇에서 브라우저 user agent 사용 | 봇과 유사한 행동은 “악의적인 것으로 간주됨” |
| 덤프 사이트 | IP당 3개 연결 |
| 대용량 사용 | 외부 사용자는 Enterprise로 안내됨 |
데이터 접근 경로
헤드라인이 암시하는 것보다 합법적인 선택지는 더 많다.
| 경로 | 적합한 용도 | 제한 사항 |
|---|---|---|
| 공개 API | 소규모, 식별 가능한 조회 | 위에 명시된 요청 제한 |
| Enterprise 무료 계정 | 프로토타입 및 적당한 사용 | 월 On-demand 요청 50,000건, Snapshots 30건, 월간 업데이트 |
| Enterprise 유료 | 프로덕션, 최신성, Realtime | 가격은 문의 시 제공 |
| Kaggle 데이터셋 | 구조화된 JSON 실험용 | 베타, 영어 및 프랑스어 |
| 덤프 및 콘텐츠 내보내기 | 전체 오프라인 복사본 | XML 덤프는 2027년 1월 종료 |
| Wikidata | 구조화된 사실 데이터 | CC0로 배포되어 출처 표시 불필요 |
상업적 활용은 실제로 존재하지만 아직 규모는 작다. 2026년 1월, Wikimedia Enterprise는 Amazon, Meta, Microsoft, Mistral AI, Perplexity를 새 파트너로 지명했으며, 이는 Google 등 기존 파트너에 합류한 것이다. 2024-25 회계연도 기준, 유료 등급의 상업 고객 13곳으로부터 830만 달러의 수익을 올렸다고 보고했다.
접근과 라이선스는 다르다
놓치기 쉬운 부분이 하나 있다. Foundation은 Enterprise의 상업 전략이 “라이선스 기반이 아니라 접근 기반”이라고 밝혔다. 비용을 지불하면 안정적인 전달을 구매하는 것이지, 다른 권리를 사는 것이 아니다. 어떤 경로를 이용하든 텍스트는 CC BY-SA 4.0 라이선스 하에 있다: 재사용 시 링크 등을 통한 출처 표시가 필요하며, 수정된 텍스트는 동일한 라이선스를 유지해야 한다. 사실 그 자체는 자유롭게 재사용할 수 있다.
텍스트로 모델을 학습시키는 것이 이러한 조건을 발동시키는지는 아직 명확하지 않다. 2026년 10월 30일 공개된 New York Times 대 OpenAI 소송의 의견서(amicus brief)에서 Foundation은 새롭고 다른 모델을 학습시키는 것은 라이선스 조건 충족을 요구하지 않을 수 있지만, 콘텐츠를 검색하여 그대로 반복하는 답변 엔진 사용은 “공정하다고 볼 수 없다”고 주장했다. 이는 한쪽 당사자의 주장일 뿐 판결이 아니며, 법원의 결정과 다를 수 있다. 스크랩된 데이터의 소유권에 대한 가이드에서 더 폭넓은 질문들을 다루고 있으며, 구체적인 사용 사례는 법률 자문을 받아야 한다.
실무적인 요점은 어느 쪽이든 동일하다: 검색 제품은 출처 표시를 할 강력한 이유가 있다는 것이다. Foundation은 전용 Attribution API가 다음 단계 중 하나라고 밝혔으므로, 지금부터 이를 염두에 두고 설계하는 것이 좋다.
AI 및 데이터 팀이 해야 할 일
- 현재 어떻게 사용하고 있는지 파악한다. 크롤러 로그와 벤더 계약을 확인한다. Wikipedia 데이터가 제3자 데이터셋을 통해 전달된다면, 해당 데이터가 어떻게 수집되었는지 확인한다.
- 필요에 맞는 경로를 선택한다. 일회성 말뭉치는 내보내기나 Snapshot만으로 충분할 수 있다. 실시간 답변 엔진은 Enterprise가 필요할 가능성이 높다.
- 클라이언트를 식별한다. 연락처 정보가 포함된 설명적인 User-Agent를 사용하고, 공개된 제한 범위 내에서 작동하며, robots.txt를 준수한다.
- 덤프 변경에 대비한다. 파이프라인이 XML 덤프에 의존한다면 2027년 1월 전에 이전한다.
- 출처 기록을 유지한다. 모든 문서에 대해 페이지 URL과 리비전을 저장하여 출처 표시와 삭제가 가능하도록 한다. AI 학습 파이프라인의 출처 추적 가이드에서 방법을 소개한다.
- 접근을 비용 항목으로 계획한다. Wikipedia는 크롤러 통행료와 라이선스 표준과 함께 더 큰 변화의 일부다.
레지덴셜 프록시에 대한 참고
Foundation은 일부 크롤러 운영자가 자사의 제한을 우회하는 방법 중 하나로 레지덴셜 프록시를 지목한다. 우리는 레지덴셜 프록시를 판매하는 회사이기 때문에 분명히 밝힌다: 이런 용도로 사용하지 말라. Wikipedia는 대량 데이터, 무료 등급, 그리고 더 높은 사용량을 위한 명문화된 경로를 제공하며, 대량 트래픽은 그 경로를 이용해 달라고 요청했다. 여기서 크롤러를 위장할 타당한 이유는 없으며, Wikipedia의 정책에 따르면 그런 클라이언트는 차단될 수 있다.
레지덴셜 프록시는 다른 용도를 위한 것이다. 예를 들어 서로 다른 시장에서 현지 방문자에게 공개 페이지가 어떻게 보이는지 확인하는 용도다. Wikipedia 데이터에 적합한 도구는 Wikipedia가 제공하는 그것이다.
결론
Wikipedia의 메시지는 요청에서 요청 제한과 차단으로 뒷받침되는 정책으로 발전했으며, 공식 경로를 이용하는 누구에게나 열려 있는 문이 있다. 대부분의 팀에게 답은 간단하다: 내보내기, 무료 등급, 또는 Enterprise를 사용하고, 클라이언트를 식별하며, 출처 표시를 위한 기록을 유지하고, 법원이 라이선스 문제를 어떻게 다루는지 지켜보는 것이다. 이는 다른 오픈 소스들이 앞으로 어떻게 행동할지에 대한 유용한 본보기이기도 하다.
출처 및 참고 자료
- Wikimedia Foundation, In the AI era, Wikipedia has never been more valuable (2025년 11월 10일): wikimediafoundation.org
- Wikimedia Foundation, on Wikimedia Enterprise and protecting Wikipedia (2026년 7월 16일): wikimediafoundation.org
- Wikimedia Foundation, amicus brief in New York Times v. OpenAI (2026년 10월 30일): wikimediafoundation.org
- Diff, New user trends on Wikipedia (2025년 10월 17일): diff.wikimedia.org
- Diff, How crawlers impact the operations of the Wikimedia projects (2025년 4월 1일): diff.wikimedia.org
- Diff, Quo vadis, crawlers? (2026년 3월 26일): diff.wikimedia.org
- Diff, Wikimedia Enterprise financial report, fiscal year 2024-2025: diff.wikimedia.org
- Wikimedia Enterprise, partners (2026년 1월 15일) and pricing: enterprise.wikimedia.com, enterprise.wikimedia.com/pricing
- Wikimedia Enterprise, Kaggle dataset: enterprise.wikimedia.com
- Wikimedia APIs, rate limits: mediawiki.org
- Wikimedia robot policy: wikitech.wikimedia.org
- Wikimedia User-Agent policy and Terms of Use: foundation.wikimedia.org, foundation.wikimedia.org
- Wikimedia dumps: dumps.wikimedia.org