대부분의 웹 데이터는 현재에 관한 것이다. 오늘의 가격, 오늘의 순위, 오늘의 페이지. 하지만 많은 질문은 과거를 필요로 한다. 경쟁사의 가격 페이지가 3년 동안 어떻게 바뀌었는가? 정책 페이지에 특정 조항이 언제 추가되었는가? 리디자인 전에 사이트는 어떤 모습이었는가? 웹 데이터를 수집하는 팀에게 웹 아카이브는 종종 그 답이 여전히 존재하는 유일한 곳이다.
가장 큰 아카이브는 Internet Archive의 Wayback Machine이다. 이 가이드는 그것이 무엇을 보유하고 있는지, 어떻게 조회하는지, 데이터가 어디서 부족한지, 그리고 왜 접근이 점점 어려워지고 있는지를 다룬다.
Wayback Machine이 보유한 것
2025년 10월 22일, Internet Archive는 Wayback Machine을 통해 이용 가능한 “1조 개의 웹 페이지 보존”을 기념했다. 2026년 인프라 팀의 발표에 따르면 현재 속도는 하루 약 8억 페이지 캡처이며, Archive의 전체 컬렉션에 걸쳐 210페타바이트 이상의 고유 데이터가 있다.
이 숫자에 대해 두 가지를 짚어야 한다. 첫째, 여기서 “페이지”란 하나의 캡처를 의미하므로, 인기 있는 URL은 수천 번 나타날 수 있다. 둘째, Archive는 보유한 고유 URL의 수를 공개하지 않으므로, 1조라는 숫자는 웹 전체의 폭보다는 일부 페이지의 깊이에 대해 더 많은 것을 말해준다.
대조적으로, Common Crawl의 2026년 8월 크롤은 21억 4천만 페이지를 보유했으며, 대량으로 공개 다운로드가 가능하다. 둘은 서로 다른 질문에 답한다. Common Crawl은 넓은 월간 샘플이고, Wayback Machine은 특정 URL의 긴 역사다. Common Crawl에 관한 가이드는 그런 종류의 데이터셋으로 충분한 경우를 다룬다.
조회 방법
Wayback Machine에는 프로그래밍 방식 접근을 위한 두 가지 문서화된 인터페이스가 있다.
| 인터페이스 | 반환하는 것 | 적합한 용도 |
|---|---|---|
| CDX Server API | 캡처당 한 줄: URL 키, 타임스탬프, 원본 URL, MIME 타입, 상태 코드, 콘텐츠 다이제스트, 길이 | 캡처 목록 작성 및 필터링 |
| Availability API | 특정 날짜에 가장 가까운 단일 캡처 | 한 시점의 URL 하나 확인 |
대부분의 작업은 CDX API가 담당한다. 상태 코드나 MIME 타입으로 필터링하고, 인접한 중복 항목을 축소하며, 대량 결과를 페이지로 넘길 수 있다. 문서에서는 대량 조회 시 페이지네이션을 권장한다. 가장 많은 수고를 덜어주는 요령은 콘텐츠 다이제스트로 축소하는 것인데, 그러면 페이지가 실제로 변경된 캡처만 보게 된다.
import time
import requests
UA = "research-pipeline/1.0 (data-team@example.com)"
def captures(url, start="2020", end="2026"):
params = {
"url": url,
"output": "json",
"fl": "timestamp,original,statuscode,digest",
"filter": "statuscode:200",
"collapse": "digest", # keep only captures where the content changed
"from": start,
"to": end,
}
r = requests.get("https://web.archive.org/cdx/search/cdx",
params=params, headers={"User-Agent": UA}, timeout=60)
r.raise_for_status()
rows = r.json()
return [dict(zip(rows[0], row)) for row in rows[1:]]
def fetch(capture):
# id_ returns the archived bytes without the Wayback banner or rewritten links
url = f"https://web.archive.org/web/{capture['timestamp']}id_/{capture['original']}"
time.sleep(5) # one request at a time, with a pause
return requests.get(url, headers={"User-Agent": UA}, timeout=60)
for c in captures("example.com/pricing"):
print(c["timestamp"], c["digest"])CDX 목록부터 시작해서, 실제로 필요한 캡처를 결정하고, 그것만 가져온다. 2,000개의 캡처 목록이 종종 몇십 개의 고유한 버전으로 축소되곤 한다.
커버리지가 부족한 부분
아카이브는 캡처된 것만 보유하며, 캡처는 균일하지 않다.
- 모든 것이 아카이브되지는 않는다. 여러 출처에서 가져온 URL을 대상으로 한 연구에 따르면, 샘플에 따라 웹의 35%에서 90% 사이가 최소 한 번 아카이브된 사본을 가지고 있으며, URL의 31.3%를 넘지 않는 비율만이 한 달에 한 번 이상 아카이브되었다.
- 웹은 계속 사라진다. Pew Research는 2024년에 2013년에 존재했던 페이지의 38%가 더 이상 실제 웹에서 접근할 수 없다는 것을 발견했다. 이 중 많은 경우, 사본이 있다면 아카이브 사본이 남아 있는 전부다.
- 커버리지는 국가별로 다르다. 오랫동안 연구들은 아카이브 커버리지가 국가와 언어에 따라 다르며, 국가 웹 아카이브는 종종 자국 도메인을 더 잘 커버한다는 것을 발견해왔다.
- JavaScript는 콘텐츠를 숨긴다. 아카이브된 페이지에 대한 한 연구에서는 JavaScript가 누락된 임베디드 리소스의 52.7%를 차지한다는 것을 발견했다. 단일 페이지 애플리케이션, 스크립트로 로드되는 가격, 동의 장벽 뒤의 콘텐츠는 종종 누락되거나 비어 있다.
따라서 아카이브에 없다는 것이 무언가가 존재한 적이 없었다는 증거는 아니다. 아카이브 커버리지를 하나의 샘플로 취급하고, 데이터와 함께 샘플링 공백을 기록하라.
품질이 부족한 부분
존재하는 캡처라도 방문자가 본 것을 보여주지 못할 수 있다.
한 페이지 내의 시간 드리프트. 페이지의 HTML, 이미지, 스크립트, 스타일시트는 종종 서로 다른 시점에 캡처된다. 15개 아카이브에 걸친 82,425개의 아카이브된 페이지를 대상으로 한 한 연구에서는 단 38.7%만이 시간적으로 일관되었으며, 일관되면서 완전했던 것은 약 다섯 개 중 하나, 즉 17.9%에 불과했다.
주제와 무관한 캡처. URL의 히스토리에는 주차된 도메인, 오류 페이지, 하이재킹된 콘텐츠가 포함될 수 있다. 한 연구에서는 샘플링한 캡처 히스토리의 24%에서 주제와 무관한 페이지를 발견했다.
조용한 오류. 상태 코드 200인 캡처라도 차단 페이지, 동의 장벽, 소프트 404일 수 있다. 실시간 스크래핑에서의 조용한 실패에 대해 우리가 권장하는 것과 동일한 점검이 여기에도 적용된다. 상태 코드뿐 아니라 콘텐츠 자체를 검증하라.
분석 측면에서 이는 스크린샷이 아니라 버전 간의 텍스트와 구조화된 필드를 비교하고, 추출한 각 값마다 캡처 타임스탬프를 함께 보관해야 한다는 것을 의미한다. 변경 감지에 관한 우리 가이드는 노이즈에 빠지지 않고 버전을 비교하는 방법을 다룬다.
접근이 점점 어려워지는 이유
두 가지 압력이 아카이브가 제공할 수 있는 범위를 좁히고 있다.
사이트들이 아카이브를 차단하고 있다. 2025년 8월, Reddit은 AI 기업들이 아카이브에서 자사 데이터를 스크래핑했다고 밝히며 Wayback Machine의 접근을 제한하기 시작했다. 2026년 1월까지, Nieman Lab은 9개국 1,167개 뉴스 사이트 중 241개가 Internet Archive의 크롤러 중 최소 하나를 차단했다는 것을 발견했다. The New York Times는 이렇게 밝혔다. “우리는 Internet Archive의 봇이 Times에 접근하는 것을 차단하고 있습니다.” Archive 자체의 FAQ는 발행사들이 아카이브를 통해 스크래핑하는 특정 AI 기업을 지목할 수 없었다고 밝혔지만, 어느 쪽이든 커버리지의 공백은 실재한다.
Archive는 스스로를 방어하고 있다. 2026년 9월, Internet Archive는 Wayback Machine이 “대규모 자동화 트래픽의 물결에 타격을 받았다”고 밝히며, 보호 조치를 마련했고 차단된 요청은 429 오류를 받는다고 설명했다. FAQ에는 이렇게 쓰여 있다. “우리는 남용적인 접근을 방지하기 위해 속도 제한, 필터링, 모니터링을 사용합니다.” 그리고 “Wayback Machine은 인간 독자를 위해 만들어졌습니다.”
Archive는 비영리 도서관이며, 이전에도 대량 트래픽으로 인해 오프라인이 된 적이 있다. 과도한 사용자가 바로 이러한 보호 조치가 존재하는 이유다.
아카이브를 잘 활용하는 방법
- 페이지가 아니라 인덱스를 조회하라. CDX API를 사용해 필요한 캡처를 찾고, 다이제스트로 축소하고, 최소한만 가져온다.
- 천천히, 자신을 식별하며 진행하라. 한 번에 하나의 요청을, 사이에 간격을 두고, 설명적인 User-Agent와 함께. 대규모 프로젝트라면 먼저 Archive에 연락하라.
- 다른 아카이브도 확인하라. Memento 표준을 통해 접근 가능한 국가 도서관과 다른 아카이브들이 공백을 채워줄 수 있다.
- 출처를 기록하라. AI 학습 파이프라인에서의 출처에 관한 우리 가이드가 설명하듯, 각 값마다 캡처 타임스탬프, 원본 URL, 다이제스트를 함께 보관하라.
- 공백을 보고하라. 캡처가 없거나 사용 가능한 캡처가 없었던 URL이 몇 개였는지 밝혀서, 독자가 결과를 판단할 수 있게 하라.
프록시가 적합한 곳, 그리고 적합하지 않은 곳
Wayback Machine의 제한을 우회하기 위해 프록시를 사용하지 마라. 그것은 공공의 사명을 가진 도서관이며, 보호 조치는 대량 자동화 트래픽 때문에 존재하고, 429를 피하기 위해 IP를 로테이션하는 것은 정확히 그것이 방어하고 있는 행위다. 만약 당신의 프로젝트가 정중한 접근 이상을 필요로 한다면, Archive에 직접 문의하라.
레지덴셜 프록시는 다른 용도를 위한 것이다. 오늘날 실제 방문자가 보는 그대로의 살아있는 웹을 수집하는 것이다. 많은 역사적 데이터셋이 바로 거기서 시작된다. 지금 당신이 관심 있는 시장에서 관심 있는 페이지를 캡처해 둔다면, 나중에 다른 누군가의 아카이브에 의존할 필요가 없을 것이다.
결론
Wayback Machine은 웹의 과거에 대한 가장 깊은 기록이며, CDX API는 이를 실용적으로 사용할 수 있게 해준다. 하지만 그 커버리지는 하나의 샘플이고, 캡처는 서로 다른 시점을 뒤섞을 수 있으며, 점점 더 많은 사이트가 접근을 막고 있다. 인덱스를 조회하고, 적게 가져오고, 받은 것을 검증하고, 모든 값이 어디서 왔는지 기록하고, 아카이브를 그것이 실제로 속한 공공의 공유 자원으로 대하라.
출처 및 참고 자료
- Internet Archive, one trillion web pages archived (22 October 2025): blog.archive.org
- Jonah Edwards, Internet Archive materials update, Designing Storage Architectures meeting (2026): digitalpreservation.gov
- Wayback CDX Server API documentation: github.com
- Wayback Machine APIs: archive.org
- RFC 7089, HTTP Framework for Time-Based Access to Resource States (Memento): rfc-editor.org
- Common Crawl, August 2026 crawl archive: commoncrawl.org
- Ainsworth et al., How much of the web is archived?: arxiv.org
- Pew Research Center, When online content disappears (17 May 2024): pewresearch.org
- AlSum et al., profiling web archive coverage: arxiv.org
- Brunelle et al., the impact of JavaScript on archivability (2016): doi.org
- Ainsworth, Nelson and Van de Sompel, temporal coherence of archived pages (2015): ws-dl.blogspot.com
- AlNoamany, Weigle and Nelson, detecting off-topic pages in web archives (2016): doi.org
- Nieman Lab, News publishers limit Internet Archive access (28 January 2026): niemanlab.org
- Engadget, Reddit restricts the Wayback Machine (August 2025): engadget.com
- Internet Archive, An update on Wayback Machine access (15 September 2026): blog.archive.org
- Internet Archive, FAQ on publishers blocking the Wayback Machine: help.archive.org