Uma década atrás, “a web” e “a web aberta” eram quase a mesma coisa. Você digitava uma URL, recebia HTML, lia. Os mecanismos de busca indexavam. Pesquisadores citavam. Agregadores exibiam. Havia um espaço de endereços público e um protocolo público e uma suposição padrão de que as coisas nele eram acessíveis.
Isso vem sendo silenciosamente corroído há anos. Vale dizer em voz alta aonde isso chegou, porque as implicações para a próxima geração de produtos de dados são grandes.
O que “aberto” costumava significar
A web aberta do início dos anos 2010 tinha três propriedades que, na maioria das vezes, considerávamos garantidas:
Acessibilidade. Uma página tinha uma URL. Buscar a URL retornava a página. A página tinha links para outras páginas, que também tinham URLs. O grafo era percorrível.
Renderizabilidade. Uma requisição para a URL retornava HTML ou algo próximo disso. Você podia ler sem executar JavaScript, ou podia executar JavaScript e obter o mesmo conteúdo com adornos visuais.
Estabilidade de identidade. Uma página que existia na semana passada provavelmente existia hoje, na mesma URL, com conteúdo semelhante. Você podia citá-la. Você podia verificá-la.
Nenhuma dessas propriedades é garantida hoje.
O que consumiu a web aberta
Algumas forças, em sua maioria atuando em paralelo, cada uma com motivações individuais razoáveis:
Paywalls. Organizações jornalísticas precisavam de receita. A maioria dos grandes veículos colocou um paywall rígido ou medido na frente de tudo. O conteúdo ainda existe na URL, mas você não consegue lê-lo sem uma conta e um cartão de crédito. Os mecanismos de busca veem uma versão diferente da que veem os humanos deslogados.
Barreiras de login. As plataformas sociais costumavam ser acessíveis a partir da web aberta. Você podia ler um thread do Twitter sem conta em 2014. Hoje, a maior parte do LinkedIn, X, Instagram, Reddit (intermitentemente) e Facebook está bloqueada por login. O conteúdo ainda está lá, mas a URL não resolve mais para ele.
Prioridade a aplicativos. Uma parcela crescente do conteúdo vive em aplicativos que não têm equivalente na web, TikTok e uma longa cauda de aplicativos verticais específicos. Não há URL. Não há página. O conteúdo existe apenas dentro de um ambiente de execução fechado.
Anti-scraping. Mesmo quando a URL ainda funciona, o conteúdo por trás dela é cada vez mais defendido por Cloudflare, Akamai e uma dezena de especialistas. A página renderiza normalmente para um visitante doméstico e retorna um desafio CAPTCHA para todos os demais.
Personalização. Páginas que parecem iguais, na verdade, não são. A listagem de produtos que você vê em um grande site de e-commerce foi personalizada para a sua localização, seu histórico de navegação, sua faixa de renda inferida, seu grupo de teste A/B. Não existe mais uma versão canônica. Existe uma versão por visitante.
Cada uma dessas forças tem defensores razoáveis. Nenhuma vai se reverter. O efeito líquido é que a web aberta é menor e mais fragmentada do que era, e o custo de tratar a web pública como um conjunto de dados representativo aumentou.
Por que a IA eleva os riscos
Na era anterior, a web aberta era consumida principalmente por humanos lendo páginas individuais e por mecanismos de busca indexando-as. O valor econômico de qualquer página específica era relativamente baixo.
Isso mudou. Os sistemas de IA modernos tratam a web como seu conjunto de dados de três formas distintas:
Treinamento. Modelos de fronteira são treinados em corpora em escala da web. A composição desse corpus determina o que o modelo sabe e como ele responde a perguntas.
Fundamentação (geração aumentada por recuperação). Sistemas em produção que precisam de informações atuais, a data, o preço, a notícia, a atualização regulatória, recuperam da web ao vivo no momento da inferência. O alvo da recuperação são URLs reais retornando HTML real.
Navegação por agentes. Uma nova classe de sistemas de IA navega na web em nome dos usuários, reservando voos, comparando preços, preenchendo formulários. Esses sistemas acessam páginas reais e precisam que elas sejam renderizadas corretamente.
Nos três casos, o que a web aberta consegue ou não servir diretamente determina o que um sistema de IA pode fazer. Se uma página está atrás de um paywall, atrás de um login, ou renderizada apenas dentro de um aplicativo, ela funcionalmente não existe para a camada de IA. Se ela é servida de forma diferente para bots do que para humanos, a IA vê uma versão degradada. Se está bloqueada na camada de rede, a IA não vê nada.
O custo de uma web aberta incompleta se multiplica na camada de IA porque a IA multiplica o acesso. Um scraping malsucedido costumava ser um ponto de dado ausente. Hoje, a mesma lacuna aparece em um milhão de respostas de modelos.
O que a infraestrutura tem a ver com isso
As redes de proxy são a resposta chata, de camada de encanamento, para uma parte deste problema. Elas não corrigem paywalls, não desbloqueiam aplicativos e não enfrentam os fornecedores de anti-bot. O que elas fazem é restaurar uma medida de acesso representativo, permitir que uma requisição se origine de uma conexão residencial real, em uma geografia real, com uma reputação de rede real, para que a web aberta que ainda está aberta de fato se abra para ela.
Essa é uma solução estreita para um problema muito maior. Não fingimos o contrário. A resposta completa para “como mantemos a web aberta funcional” vai exigir pressão regulatória, investimentos em infraestrutura pública, requisitos de transparência sobre personalização e bloqueio, e uma reavaliação geral do que “publicamente disponível” deveria significar na era do consumo por IA. Nada disso vai se resolver este ano.
Enquanto isso, as partes da web que ainda são públicas deveriam de fato ser acessíveis, para os sistemas que precisam acessá-las. Essa é a pequena parte em que trabalhamos, e essa é a pequena parte que, em grande medida, motivou a última rodada de investimento em nossa rede residencial.
A versão honesta
Uma web aberta mais acessível é boa para a fundamentação de IA, boa para a pesquisa, boa para o jornalismo, boa para a transparência de preços, boa para a escolha do consumidor, boa para quase todo mundo, exceto para as entidades que capturam rendas diretamente do bloqueio. A tendência vai contra isso. Nada do que lançamos vai reverter essa tendência.
O que podemos fazer, e o que a camada de infraestrutura mais ampla pode fazer, é garantir que as partes da web que ainda são públicas permaneçam acessíveis para os sistemas que precisam delas. Essa é uma meta menor do que “salvar a web aberta”. Também é alcançável, e importa cada vez mais a cada ano em que a IA se torna a principal consumidora daquilo que a web tem a oferecer.