10년 전만 해도 “웹”과 “오픈 웹”은 거의 같은 의미였다. URL을 입력하면 HTML이 나왔고, 그것을 읽었다. 검색 엔진은 그것을 색인했다. 연구자들은 그것을 인용했다. 애그리게이터는 그것을 노출시켰다. 공개된 주소 공간과 공개된 프로토콜이 있었고, 그 위에 있는 것들은 도달 가능하다는 기본 전제가 있었다.
이는 수년간 조용히 침식되어 왔다. 그것이 어디까지 왔는지 짚어볼 필요가 있는데, 다음 세대 데이터 제품에 미치는 영향이 크기 때문이다.
”오픈”이 의미했던 것
2010년대 초반의 오픈 웹은 대체로 당연하게 여겼던 세 가지 속성을 가지고 있었다.
도달 가능성(Reachability). 페이지에는 URL이 있었다. URL을 가져오면 페이지가 반환되었다. 페이지에는 다른 페이지로의 링크가 있었고, 그 페이지들에도 URL이 있었다. 그래프는 순회 가능했다.
렌더링 가능성(Renderability). URL에 대한 요청은 HTML 혹은 그에 준하는 것을 반환했다. JavaScript를 실행하지 않고도 읽을 수 있었고, 실행해도 겉모습만 다를 뿐 같은 콘텐츠를 얻었다.
아이덴티티의 안정성(Stability of identity). 지난주에 존재했던 페이지는 오늘도 대체로 같은 URL에, 비슷한 콘텐츠로 존재했다. 인용할 수 있었다. 확인할 수 있었다.
이 속성들 중 오늘날 보장되는 것은 하나도 없다.
오픈 웹을 잠식한 것들
몇 가지 힘이 대체로 병렬적으로, 대체로 개별적으로는 합리적인 동기를 가지고 작용했다.
페이월(Paywalls). 언론사들은 수익이 필요했다. 대부분의 주요 매체는 모든 콘텐츠 앞에 완전한 혹은 계량형 페이월을 설치했다. 콘텐츠는 여전히 해당 URL에 존재하지만, 계정과 신용카드 없이는 읽을 수 없다. 검색 엔진은 로그아웃한 사람과는 다른 버전을 본다.
로그인 장벽(Login walls). 소셜 플랫폼들은 예전에는 오픈 웹에서 도달 가능했다. 2014년에는 계정 없이 트위터 스레드를 읽을 수 있었다. 오늘날 LinkedIn, X, Instagram, Reddit(간헐적으로), Facebook의 대부분은 게이트로 막혀 있다. 콘텐츠는 여전히 존재하지만, URL이 더는 그것으로 연결되지 않는다.
앱 우선(App-first). 점점 더 많은 콘텐츠가 웹 버전이 없는 앱 안에서만 존재한다. TikTok과 다수의 버티컬 특화 앱들이 그렇다. URL이 없다. 페이지가 없다. 콘텐츠는 오직 닫힌 런타임 안에서만 존재한다.
안티 스크래핑(Anti-scraping). URL이 여전히 작동하더라도, 그 뒤의 콘텐츠는 Cloudflare, Akamai, 그리고 십여 개의 전문 업체에 의해 점점 더 방어되고 있다. 페이지는 가정용 방문자에게는 정상적으로 렌더링되지만, 그 외의 모든 사람에게는 CAPTCHA 챌린지를 반환한다.
개인화(Personalization). 같아 보이는 페이지가 실제로는 같지 않다. 대형 이커머스 사이트에서 보는 상품 목록은 당신의 위치, 브라우징 이력, 추정된 소득 구간, A/B 테스트 그룹에 맞춰 개인화되어 있다. 더 이상 표준 버전이라는 것은 없다. 방문자별 버전이 있을 뿐이다.
이 각각에는 나름의 합리적인 옹호자가 있다. 어느 것도 되돌려지지 않을 것이다. 순효과는 오픈 웹이 예전보다 더 작고 더 파편화되었다는 것이며, 공개된 웹을 대표성 있는 데이터셋으로 여기는 데 드는 비용이 상승했다는 것이다.
AI가 판돈을 키우는 이유
이전 시대에는 오픈 웹이 주로 개별 페이지를 읽는 인간과 그것을 색인하는 검색 엔진에 의해 소비되었다. 어떤 페이지든 경제적 가치는 비교적 낮았다.
그것이 바뀌었다. 현대 AI 시스템은 세 가지 뚜렷한 방식으로 웹을 자신의 데이터셋으로 취급한다.
학습(Training). 최첨단 모델들은 웹 규모의 코퍼스로 학습된다. 그 코퍼스의 구성이 모델이 무엇을 알고 질문에 어떻게 답하는지를 결정한다.
그라운딩(검색 증강 생성, Grounding). 최신 정보, 날짜, 가격, 뉴스, 규제 업데이트가 필요한 프로덕션 시스템은 추론 시점에 실시간 웹에서 검색해 온다. 검색 대상은 실제 HTML을 반환하는 실제 URL이다.
에이전틱 브라우징(Agentic browsing). 사용자를 대신해 웹을 탐색하는 새로운 부류의 AI 시스템들이 항공편을 예약하고, 가격을 비교하고, 양식을 작성한다. 이 시스템들은 실제 페이지에 접근하며 그것이 올바르게 렌더링되어야 한다.
이 세 가지 경우 모두에서, 오픈 웹이 직접 제공할 수 있는지 여부가 AI 시스템이 무엇을 할 수 있는지를 결정한다. 페이지가 페이월 뒤에 있거나, 로그인 뒤에 있거나, 앱 안에서만 렌더링된다면, 그것은 사실상 AI 계층에는 존재하지 않는 것이다. 봇에게 사람과 다르게 서빙된다면, AI는 저하된 버전을 보게 된다. 네트워크 계층에서 차단된다면, AI는 아무것도 보지 못한다.
불완전한 오픈 웹의 비용은 AI 계층에서 복리로 커지는데, AI가 접근을 배가시키기 때문이다. 예전에는 스크래핑 하나가 실패하면 데이터 포인트 하나가 빠지는 것에 그쳤다. 오늘날에는 같은 공백이 백만 개의 모델 응답에서 나타난다.
인프라가 이와 관련해 할 수 있는 일
프록시 네트워크는 이 문제의 한 부분에 대한 지루한, 배관 계층의 해답이다. 페이월을 고치지도, 앱을 여는 것도, 안티봇 업체들을 밀어내는 것도 아니다. 이들이 하는 일은 대표성 있는 접근을 어느 정도 복원하는 것이다. 요청이 실제 지리적 위치에 있는, 실제 네트워크 평판을 가진, 실제 레지덴셜 연결에서 발생하도록 하여, 여전히 열려 있는 오픈 웹이 실제로 그 요청에 대해 열리도록 하는 것이다.
이는 훨씬 더 큰 문제에 대한 좁은 범위의 해결책이다. 우리는 그렇지 않은 척하지 않는다. “오픈 웹을 어떻게 계속 작동하게 할 것인가”에 대한 온전한 답은 규제 압력, 공공 인프라 투자, 개인화 및 게이팅에 대한 투명성 요구사항, 그리고 AI 소비 시대에 “공개적으로 이용 가능한”이 무엇을 의미해야 하는지에 대한 전반적인 재논의를 필요로 할 것이다. 그중 어느 것도 올해 안에 해결되지는 않을 것이다.
그동안, 여전히 공개되어 있는 웹의 부분들은 그것에 도달해야 하는 시스템들에게 실제로 도달 가능해야 한다. 그것이 우리가 작업하는 작은 부분이며, 우리 레지덴셜 네트워크에 대한 최근 투자 확대를 대체로 동기부여한 작은 부분이기도 하다.
솔직한 버전
더 접근 가능한 오픈 웹은 AI 그라운딩, 연구, 저널리즘, 가격 투명성, 소비자 선택에 좋으며, 게이팅으로부터 직접 지대를 취하는 주체들을 제외한 거의 모두에게 좋다. 추세선은 그에 반한다. 우리가 내놓는 그 어떤 것도 이 추세를 되돌리지는 못할 것이다.
우리가, 그리고 더 넓은 인프라 계층이 할 수 있는 일은, 여전히 공개되어 있는 웹의 부분들이 그것을 필요로 하는 시스템들에게 계속 도달 가능하도록 유지하는 것이다. 이는 “오픈 웹을 구하자”보다 작은 목표다. 하지만 달성 가능하며, AI가 웹이 제공하는 것의 주된 소비자가 되어감에 따라 해마다 더 중요해지고 있다.