O mercado de proxies residenciais tem uma característica estrutural que raramente é discutida em público: muitas das “redes” das quais você pode comprar não são donas da maior parte dos endereços que vendem. Elas compram no atacado de um número menor de operadores e revendem uma fatia, às vezes com valor agregado real em roteamento, segmentação e ferramentas, às vezes sem nada além da margem.
Isso não é um escândalo. A revenda é normal em todo mercado de infraestrutura, de redes móveis a hospedagem em nuvem. O problema é que ela é invisível no momento da compra e distorce silenciosamente três decisões que os compradores tomam o tempo todo: qual provedor usar como reserva, quanta capacidade eles realmente têm e qual é um preço justo.
A boa notícia é que isso pode ser medido. Este guia explica como funciona a cadeia de fornecimento, o que a sobreposição faz com essas decisões e como medi-la sem os erros de amostragem que tornam a maioria dos números de sobreposição inúteis.
Como o fornecimento residencial realmente funciona
Uma saída residencial é uma conexão doméstica real que concordou, geralmente por meio de um app ou SDK, em encaminhar tráfego para uma rede. Montar essa oferta é lento e caro: exige parcerias com apps, fluxos de consentimento, pagamentos, controle de fraude e anos de gestão de rotatividade. Só um punhado de operadores faz isso em escala.
Em torno deles existe um mercado em camadas:
- Operadores obtêm os dispositivos e mantêm a infraestrutura que encaminha o tráfego por eles.
- Atacadistas compram capacidade de um ou mais operadores e a revendem em grande volume, às vezes combinando várias fontes atrás de um único gateway.
- Revendedores compram de um operador ou de um atacadista e vendem sob a própria marca, muitas vezes com painel, planos e suporte próprios, enquanto o tráfego sai pelas saídas de outra empresa.
Uma mesma marca pode estar em mais de uma camada: oferta própria em alguns países, oferta comprada em outros e um fornecimento atacadista para cobrir lacunas nos picos de demanda. Nada disso aparece na página de preços.
As três decisões que ela distorce
Redundância. O conselho padrão quando um provedor falha com você é manter um segundo. Se os dois usam o mesmo pool, você comprou uma segunda fatura, e não uma segunda fonte. Quando um alvo passa a recusar um bloco de endereços, ele os recusa para os dois provedores ao mesmo tempo, que é exatamente o momento em que a reserva deveria ajudar. Se 70% das saídas da sua reserva são compartilhadas com o provedor principal, 70% do tráfego da reserva cai em endereços que o alvo acabou de aprender a desconfiar. Em geral você descobre isso durante um incidente.
Capacidade. Os provedores anunciam o tamanho de seus pools, e os compradores somam os números. Suponha que uma rede grande mostre 1.000.000 de saídas distintas e uma menor mostre 70.000, das quais 50.000 também aparecem na grande. Usar as duas dá 1.020.000 saídas distintas, não 1.070.000. O segundo provedor acrescentou 2% a mais de endereços, não 7%, e você paga o plano inteiro dele.
Preço. O custo de um revendedor é o preço do fornecedor a montante mais a margem dele. Isso pode ser aceitável se o revendedor agrega algo que você valoriza. É um mau negócio se você poderia comprar as mesmas saídas na origem por menos, e muitos compradores não sabem que existe um fornecedor a montante.
A direção é a descoberta inteira
Um único percentual de sobreposição esconde a parte mais útil da medição. Os endereços compartilhados precisam ser lidos pelos dois lados.
Tome o exemplo acima: 50.000 endereços em comum entre uma rede com 70.000 saídas observadas e outra com 1.000.000.
| Rede pequena | Rede grande | |
|---|---|---|
| Saídas distintas observadas | 70.000 | 1.000.000 |
| Compartilhadas com a outra | 50.000 | 50.000 |
| Parcela do próprio pool que é compartilhada | 71% | 5% |
| Parcela exclusiva | 29% | 95% |
Esse formato, com a maior parte do pool pequeno dentro do grande e apenas uma fração do grande dentro do pequeno, é a assinatura de uma revenda. A relação corre em um só sentido: a rede pequena está a jusante.
Compare com dois operadores independentes que obtêm saídas de ISPs de consumo nos mesmos países. Digamos que um mostre 400.000 saídas, o outro 300.000, e que compartilhem 6.000. Isso é 1,5% de um e 2% do outro: uma sobreposição pequena nos dois sentidos, aproximadamente o que se espera de duas redes que por acaso alcançam alguns dos mesmos domicílios. Simétrica e pequena significa duas redes fazendo a mesma coisa separadamente. Assimétrica e grande significa que uma compra da outra.
A armadilha da amostragem
Este é o erro por trás da maioria dos números de sobreposição que você vai ver: uma amostra pequena faz até pools idênticos parecerem não relacionados.
Imagine duas marcas que vendem exatamente o mesmo pool de 2.000.000 de endereços. Você coleta 20.000 saídas de cada uma. Em média, apenas cerca de 200 vão coincidir, cerca de 1% de cada amostra. Lido de forma ingênua, isso diz que as duas redes quase não se sobrepõem. Na verdade, são a mesma rede.
Isso acontece porque um pool rotativo entrega uma fatia diferente a cada vez que você olha. A sobreposição bruta é sempre um piso: dois pools podem compartilhar muito mais do que você viu, nunca menos. A questão é como distinguir “pools diferentes” de “mesmo pool, amostra pequena”. Há duas maneiras.
Compare com a sobreposição de cada pool consigo mesmo. Colete duas amostras do mesmo provedor, na mesma janela e do mesmo modo, e meça quanto elas se sobrepõem entre si. Essa é a linha de base: o máximo de sobreposição que você poderia esperar ver entre duas amostras de um pool. Depois compare a sobreposição entre provedores com ela.
relative overlap = overlap between A and B ÷ overlap of A with itself
Uma sobreposição relativa próxima de 1 significa que as saídas de B, até onde suas amostras permitem dizer, vêm do pool de A. Próxima de 0 significa independentes. Valores intermediários indicam compartilhamento parcial, como o de uma rede que compra parte de sua oferta.
Estime o tamanho real do pool a partir de avistamentos repetidos. A mesma autossobreposição dá uma estimativa aproximada de quantos endereços um provedor consegue de fato alcançar, usando o método de captura-recaptura que os ecólogos usam para contar peixes em um lago:
estimated pool size ≈ (sample 1 size × sample 2 size) ÷ addresses seen in both
Se duas amostras de 40.000 saídas de um provedor compartilham 8.000, o provedor está alcançando cerca de 200.000 endereços distintos nos seus alvos naquela janela, seja qual for o discurso de marketing. A estimativa supõe que todo endereço tem a mesma chance de ser entregue, o que nunca é bem verdade, então trate-a como uma ordem de grandeza, e não como um censo. Ainda assim, fica muito mais perto da realidade do que o tamanho de pool anunciado.
Sinais além dos endereços compartilhados
A sobreposição de endereços é a prova. Alguns outros sinais apontam na mesma direção e muitas vezes são mais fáceis de notar primeiro:
- Incidentes compartilhados. Se duas redes começam a falhar no mesmo alvo na mesma hora e se recuperam juntas, provavelmente estão roteando pelas mesmas saídas. Incidentes correlacionados ao longo de semanas são difíceis de explicar de outra forma.
- Os mesmos erros de localização. Toda rede associa endereços a países e cidades com algum erro. Quando duas redes erram os mesmos endereços do mesmo jeito, é provável que estejam lendo os mesmos dados de localização do fornecedor a montante, ou enviando o mesmo tráfego.
- Comportamento idêntico do gateway. As mesmas páginas de erro, a mesma sintaxe de parâmetros de sessão, as mesmas peculiaridades em sessões fixas ou os mesmos cabeçalhos de resposta da camada de proxy sugerem a mesma infraestrutura por baixo.
- Combinação igual de ASN e países. Dois pools com participações quase idênticas por ASN e país são um indício. Isoladamente não prova nada (veja abaixo), mas, ao lado de uma sobreposição assimétrica, completa o quadro.
O que a sobreposição não prova
É fácil interpretar demais essa medição, então vale dizer os limites com clareza.
Revenda não é fraude. Um revendedor que seleciona saídas por velocidade, oferece melhor segmentação ou ferramentas, ou responde mais rápido no suporte está vendendo algo real. Um revendedor pode até ser o produto mais rápido de uma comparação, porque a curadoria está fazendo diferença. O problema é pagar um valor a mais por inventário revendido sem saber, ou contar com ele para uma independência que ele não pode oferecer.
ASNs compartilhados não são endereços compartilhados. Duas redes que obtêm saídas do mesmo grande ISP parecem semelhantes em uma divisão por ASN, mesmo sem compartilhar nenhum endereço real. A semelhança no nível do ASN é uma pista; só a correspondência no nível do endereço é evidência.
Vizinhos não são coincidências. No IPv4, duas saídas no mesmo /24 muitas vezes são domicílios diferentes. No IPv6, um domicílio normalmente detém um /64 inteiro, então a correspondência exata de endereços deixa passar dispositivos compartilhados: compare as saídas IPv6 por /64. Misturar as duas regras esconde sobreposição real ou a inventa.
A direção pode mudar com o tempo. Uma rede que começa como revendedora e constrói a própria oferta mostra uma sobreposição em queda mês a mês. Um atacadista que adiciona um novo fornecedor a montante mostra um salto repentino. Uma única janela é uma foto; a tendência diz mais.
O que um segundo provedor realmente traz
Depois que você conhece as sobreposições, dá para calcular quanto vale uma configuração com vários provedores. Para dois provedores, os endereços que você pode de fato alcançar são:
reachable exits = A + B − shared
Com três, some os três, subtraia cada sobreposição entre pares e some de volta os endereços que os três compartilham. Na prática, o número útil é mais simples: para cada candidato, quantas saídas ele acrescentaria que você ainda não consegue alcançar? Essa é a parcela exclusiva dele na sua configuração, não o tamanho do pool, e é o número a pesar contra o preço.
Para redundância, a pergunta é ainda mais estreita. O que importa não é a sobreposição total, mas a sobreposição nos alvos em que você precisa da reserva. Duas redes podem ser independentes em sites fáceis e compartilhar a maior parte de suas saídas funcionais em um site difícil, porque só uma pequena parte de cada pool passa por lá.
Como usar isso na hora de comprar
Verifique a sobreposição antes de escolher uma reserva. Se você está adicionando um segundo provedor para redundância, a sobreposição dele com o seu principal nos seus alvos críticos é o número mais importante da comparação. Ela pesa mais do que a taxa de sucesso de qualquer uma das redes.
Desconte as alegações de pool pela exclusividade. O número útil não é o pool anunciado, nem mesmo o medido. É o pool medido multiplicado pela sua parcela exclusiva: os endereços que você realmente não consegue alcançar de nenhum outro jeito.
Pergunte sobre a origem da oferta por escrito. Um provedor que é dono da sua oferta normalmente diz isso com clareza. Uma resposta vaga para “vocês operam as saídas que vendem, em quais países?” já é, em si, um dado.
Trate uma assinatura de revenda como risco de negócio, não apenas técnico. O produto de um revendedor muda quando mudam os termos, os preços ou a qualidade do fornecedor a montante, e você não tem nenhuma relação com ele. Para um protótipo, isso quase não importa. Para qualquer coisa com prazo associado, isso deve entrar no seu registro de riscos.
Fazendo você mesmo
Se você tem contas com dois ou mais provedores, isso dá um dia de trabalho:
- Rode os dois ao mesmo tempo. Envie as mesmas requisições por cada provedor na mesma janela. Os pools giram o tempo todo, então amostrar um na segunda-feira e o outro na quinta-feira não diz nada.
- Registre o que o alvo viu. Grave em log o endereço de saída obtido por uma verificação do lado do alvo, como um serviço de eco de IP, em cada requisição, e não o que o painel do provedor informa. Os painéis podem estar em cache, errados ou descrevendo o gateway.
- Colete duas amostras por provedor. Divida o tráfego de cada provedor em duas metades de tamanho igual, para poder medir a sobreposição dele consigo mesmo.
- Colete amostras suficientes. Mire em dezenas de milhares de saídas distintas por provedor. Abaixo de alguns milhares, toda sobreposição parece pequena e a comparação com a autossobreposição vira ruído.
- Normalize os endereços. Compare IPv4 de forma exata e IPv6 por /64.
- Calcule os dois sentidos. A contagem compartilhada como parcela de cada pool e, depois, a sobreposição relativa em relação à autossobreposição de cada pool.
- Repita no mês seguinte. A mudança entre janelas costuma ser o resultado mais revelador.
Como o Atlas mede isso
O Atlas faz essa medição para cada par de redes que testa e a publica na página de sobreposição de pools de proxies, incluindo a direção de cada sobreposição e a parcela exclusiva de cada rede. Cada rede é testada na mesma janela com as mesmas requisições, e os endereços de saída entregues por cada uma são cruzados par a par. A metodologia descreve exatamente como isso é feito e quais são seus limites.
Poucas comparações publicam algo parecido. Isso é estranho, já que esta é uma das poucas coisas nesse mercado que podem ser verificadas em vez de apenas alegadas.