A pergunta surge em toda avaliação, geralmente formulada como um pedido de tabela de classificação. Ela merece uma resposta mais útil do que uma lista, porque disponibilidade não é uma propriedade fixa de um país. Ela varia por provedor, muda ao longo do dia, difere entre o nível de país e o nível de cidade, e o único número que afeta seu projeto é aquele nos mercados específicos de onde você coleta, na concorrência que você realmente executa.
Aqui está o que determina a disponibilidade, quais países tendem a ser profundos e quais tendem a ser rasos, e como medir a resposta por conta própria em vez de confiar no gráfico de qualquer um.
O que realmente impulsiona a disponibilidade
Três fatores definem quantos endereços utilizáveis existem em um país em um dado momento.
População e penetração de banda larga. Um pool residencial é composto de conexões domésticas reais, então seu tamanho em um país é limitado por quantos domicílios têm banda larga e quantos deles participam. Países grandes e altamente conectados têm pools profundos quase por definição, e países pequenos ou de baixa conectividade não têm, independentemente de como o provedor opera.
Como o pool é obtido. A participação ocorre por meio de acordos divulgados, geralmente aplicativos e SDKs, e esses têm sua própria distribuição geográfica. Um provedor cujo suprimento vem de aplicativos populares em uma região será forte ali e mais raso em outros lugares. É por isso que dois provedores que citam totais globais semelhantes podem diferir substancialmente no mesmo país.
Hora do dia. Este fator é rotineiramente esquecido e importa. Endereços residenciais pertencem a dispositivos que estão ligados e conectados, então o pool disponível de um país segue a atividade humana: mais profundo nas noites locais, mais raso nas madrugadas. Um trabalho executado às 04:00 no horário local em um mercado pequeno está utilizando um conjunto materialmente menor do que o mesmo trabalho às 20:00.
O padrão geral
Sem pretender apresentar um ranking que ficaria desatualizado até o próximo trimestre, o padrão é previsível.
A disponibilidade mais profunda está em mercados grandes e de alta conectividade: Estados Unidos, Reino Unido, Alemanha, França, Brasil, Índia, Japão, Canadá e economias comparáveis. Nesses, geralmente é possível executar trabalho em nível de país com concorrência significativa, e frequentemente trabalho em nível de cidade nas principais regiões metropolitanas, sem precisar pensar na profundidade do pool.
A disponibilidade de nível médio cobre a maior parte da Europa, grande parte da América Latina e do Sudeste Asiático, e os maiores mercados africanos. A segmentação em nível de país é tipicamente confortável; a segmentação em nível de cidade fora das maiores cidades começa a ficar rasa, e a concorrência tem um teto mais baixo antes de você começar a extrair os mesmos endereços repetidamente.
A disponibilidade mais rasa está em países pequenos, pouco povoados, e locais com banda larga residencial limitada. O trabalho em nível de país costuma funcionar bem com volume modesto; a filtragem em nível de cidade ou de ASN pode retornar muito pouco, e é aí que o comportamento de fallback e o agendamento começam a importar.
A conclusão útil não são as camadas em si, mas o que elas implicam: ajuste sua ambição ao mercado. A segmentação em nível de cidade nas principais regiões metropolitanas dos EUA é rotineira, enquanto a mesma abordagem em um mercado pequeno pode simplesmente não ser sustentável, o que é a decisão de julgamento discutida em quando a segmentação de proxy em nível de cidade importa.
A métrica que realmente importa
Os números gerais de pool são praticamente inúteis para essa decisão, porque um número que cobre 195 países não diz nada sobre o país que você precisa. Quatro coisas dizem.
Disponibilidade concorrente no seu país, ou seja, quantos endereços distintos você pode realmente estar usando ao mesmo tempo ali, em vez de quantos a rede já viu alguma vez. É isso que limita um trabalho grande em um mercado pequeno.
Profundidade abaixo do nível de país, se você precisar dela. A segmentação por cidade só funciona onde há endereços suficientes naquela cidade, e o mesmo se aplica à segmentação por ASN quando você precisa de uma operadora específica.
Estabilidade ao longo do tempo, já que um pool que é adequado às 20:00 e raso às 04:00 vai produzir um trabalho que funciona nos testes e falha na sua programação real.
Precisão de geolocalização, que é um eixo completamente separado. Um endereço pode genuinamente estar em um país enquanto os bancos de dados que um alvo usa discordam disso, então o teste prático é se o alvo se comporta como se você estivesse lá, não se um serviço de consulta afirma isso.
Medindo você mesmo
Isso leva vinte minutos e supera qualquer número publicado.
Amostre saídas no país que interessa a você e conte endereços distintos e organizações distintas ao longo de algumas centenas de requisições. Repetição indica que o pool efetivo para o seu filtro é pequeno; uma ampla dispersão de ISPs de consumidores indica que ele é saudável. A mesma amostragem, aliás, indica se o pool é genuinamente residencial, conforme identificar IPs de datacenter vendidos como residenciais.
Depois execute a amostra na concorrência que você realmente pretende usar, porque disponibilidade com uma requisição por vez e disponibilidade com cinquenta simultâneas são questões diferentes. E execute nos horários em que seu trabalho vai rodar, incluindo os menos glamorosos, já que é aí que os mercados rasos se revelam.
Por fim, teste contra um alvo real em vez de um endpoint de eco de IP, confirmando que o site entrega conteúdo local na moeda e no idioma locais. O método completo está em testando velocidade, taxa de sucesso e precisão de localização.
Trabalhando com um mercado raso
Quando um país genuinamente não tem a profundidade desejada, várias coisas ajudam antes de você concluir que é impossível.
Amplie o filtro. Desça de cidade para região, ou de região para país. Na maioria das vezes, a precisão geográfica que você pediu é mais fina do que os dados realmente exigem.
Entenda o fallback. Por padrão, quando nada corresponde a um filtro muito estreito naquele momento, o gateway recorre a um pool mais amplo para que a requisição ainda seja concluída, o que geralmente é o que você quer. Quando uma correspondência exata importa mais do que a requisição ter sucesso, strict-true faz com que ela retorne um 502 em vez disso, e saber qual comportamento você está recebendo é importante: um fallback silencioso em um trabalho sensível à geolocalização produz dados plausíveis, porém errados.
Reduza a concorrência e alongue a janela. Um mercado raso muitas vezes suporta o volume que você precisa, só não a taxa. Distribuir o mesmo trabalho ao longo de mais horas pode transformar um trabalho impossível em rotineiro.
Agende conforme a atividade local. Executar quando o país está acordado te dá um pool mais profundo de graça.
Reconsidere o requisito. Às vezes, dados em nível de país são genuinamente suficientes e o requisito de nível de cidade veio do hábito, não da necessidade.
Conclusão
Não existe um ranking estável de países, e um número global de pool responde a uma pergunta que ninguém está realmente fazendo. A disponibilidade é definida pela penetração de banda larga, por como um provedor obtém seu suprimento, e pela hora do dia, e é por isso que mercados grandes e conectados são consistentemente profundos e os pequenos não são, e por que o mesmo país pode parecer diferente às 04:00 e às 20:00. O que importa para o seu projeto é a disponibilidade concorrente nos seus mercados específicos, a profundidade abaixo do nível de país se você precisar de precisão de cidade ou ASN, a estabilidade ao longo das horas em que você opera, e se os alvos realmente te tratam como local. Meça isso você mesmo com uma pequena compra em vez de confiar em um gráfico, e quando um mercado for raso, amplie o filtro, decida deliberadamente entre fallback e correspondência estrita, reduza a taxa em vez de abandonar o mercado, e execute quando os residentes daquele lugar estiverem online.
Em proxies residenciais o pool abrange 195 países com filtros de país, região, cidade e ASN e um fallback documentado, e o preço por GB significa que o teste de disponibilidade descrito acima custa apenas a largura de banda que utiliza.