Todo provedor de proxies publica um preço por gigabyte, toda tabela comparativa ordena por ele e, sozinho, ele serve para quase nada na hora de escolher uma rede.
Ninguém compra banda por si só. Você compra resultados: uma página de produto com o preço, uma página de busca com resultados, um perfil que realmente carregou. A banda é apenas a unidade em que a fatura calha de ser escrita. Uma rede a $1,50/GB que falha um terço das vezes nos seus alvos pode custar mais por resultado do que uma a $3,00/GB que raramente falha, e nenhuma tabela de preços vai mostrar isso.
Este guia percorre o que existe entre o preço anunciado e o custo de um resultado entregue, na ordem em que isso costuma pesar: requisições com falha, o tamanho dessas falhas, como o sucesso muda conforme o alvo, quanto do plano você realmente usa e as regras de cobrança nas letras miúdas.
Quanto custa uma requisição que falhou
Quando uma requisição feita por um proxy falha, os bytes ainda trafegam, e você paga por eles. Mas as falhas não são todas iguais, e a diferença importa para a conta:
- Páginas de desafio. Um CAPTCHA ou um desafio de JavaScript é uma resposta HTTP completa, muitas vezes com scripts, fontes e imagens atrás. Pode ser tão grande quanto a página que você queria, às vezes maior.
- Bloqueios suaves. Uma página de busca que carrega com zero resultados, ou uma página de produto sem o preço, parece um sucesso para uma checagem de código de status. Em geral é o peso total da página, cobrado por inteiro, e não entrega nada.
- Bloqueios diretos. Um 403 ou 429 curto é pequeno. Custa um espaço de requisição e algum tempo, mas poucos bytes.
- Timeouts e resets. Cobram o que foi transferido antes de a conexão cair, o que pode ser desde um handshake até quase toda a página.
As falhas caras são as que parecem sucessos até você checar o conteúdo. É por isso que o sucesso precisa ser julgado pelo que voltou, e não pelo código de status. O guia de taxa de sucesso mostra como escrever essas checagens.
O imposto das novas tentativas
Se uma parcela p das suas requisições tem sucesso, você precisa, em média, de 1 ÷ p tentativas para cada resultado que guarda. O acréscimo sobre o preço anunciado, se as falhas forem tão grandes quanto os sucessos, é:
retry tax = (1 ÷ success rate) − 1
| Taxa de sucesso | Tentativas por resultado | Imposto das novas tentativas |
|---|---|---|
| 99% | 1,01 | 1% |
| 95% | 1,05 | 5% |
| 90% | 1,11 | 11% |
| 80% | 1,25 | 25% |
| 75% | 1,33 | 33% |
| 60% | 1,67 | 67% |
| 50% | 2,00 | 100% |
| 40% | 2,50 | 150% |
| 30% | 3,33 | 233% |
O ponto está na curva. Entre 99% e 90%, o imposto quase não se move. Abaixo de 80% ele sobe rápido, e abaixo de 50% as falhas custam mais do que os resultados. Duas redes que parecem próximas em taxa de sucesso, digamos 92% e 84%, estão mais distantes em custo do que suas tabelas de preços sugerem.
Falhas não têm o mesmo tamanho dos sucessos
A fórmula simples supõe que toda falha pesa tanto quanto um sucesso. O tráfego real raramente é assim. A versão mais precisa conta bytes:
bytes per result = success size + ((1 − p) ÷ p) × failure size
Considere uma página de 450 KB e uma taxa de sucesso de 60%:
| Como são as falhas | Bytes por resultado | Imposto das novas tentativas |
|---|---|---|
| 403 curtos, cerca de 20 KB | 463 KB | 3% |
| Páginas completas sem dados, cerca de 450 KB | 750 KB | 67% |
| Páginas de desafio pesadas, cerca de 900 KB | 1.050 KB | 133% |
Mesma taxa de sucesso, três faturas muito diferentes. É por isso que a mesma rede pode ser barata em um site e cara em outro: o alvo decide como ela falha. Um site que responde ao tráfego indesejado com um 403 rápido é barato para falhar. Um site que responde com uma página de desafio completa é caro para falhar, e os sites que fazem isso costumam ser os mais valiosos.
Custo por requisição bem-sucedida
Juntando as peças, o número que vale comparar, na cobrança por gigabyte, é:
cost per 1,000 results =
1,000 × bytes per result ÷ 1,048,576 KB per GB × price per GB
Com falhas do mesmo tamanho dos sucessos, isso se reduz à forma conhecida:
cost per 1,000 results =
(1,000 × payload in KB ÷ 1,048,576) × price per GB ÷ success rate
Cada entrada precisa vir de medição, e não de uma página de vendas:
Payload. Meça a partir do seu próprio tráfego. O HTML de uma página e a mesma página carregada em um navegador de verdade podem diferir em uma ordem de grandeza, e se você usa um navegador, paga por cada imagem, script e fonte que ele baixa.
Preço por GB. Use a tarifa do plano em que você realmente vai estar, não o preço “a partir de”, que normalmente pertence a uma faixa que a maioria dos compradores nunca alcança. O Atlas usa o plano de 200 GB de cada rede justamente por isso: é um volume que equipes reais compram, e as redes que ele mede publicam um preço para ele.
Taxa de sucesso. Medida nos seus alvos, com checagens de conteúdo. É a entrada que mais vezes muda a resposta, e a que mais vezes é copiada da página inicial de um fornecedor.
A rede mais barata depende do alvo
Uma única taxa de sucesso por rede esconde a parte mais útil do quadro. O sucesso varia muito mais entre alvos do que entre redes, então o ranking pode se inverter conforme muda a sua mistura de sites.
Aqui estão três redes ilustrativas, com preço calculado sobre uma página de 450 KB:
| Rede | Preço por GB | Sucesso, sites fáceis | Sucesso, sites difíceis | Por 1.000, fáceis | Por 1.000, difíceis |
|---|---|---|---|---|---|
| A | $1,50 | 92% | 31% | $0,70 | $2,08 |
| B | $3,00 | 96% | 84% | $1,34 | $1,53 |
| C | $4,50 | 98% | 95% | $1,97 | $2,03 |
Em sites fáceis, A custa cerca de metade de B. Em sites difíceis, A é a mais cara das três. A tabela de preços as ordena como A, B, C sempre, e só acerta nos alvos fáceis.
Pondere pelo seu próprio tráfego e a resposta aparece. Com 30% das requisições em sites difíceis, A ainda vence, com $1,11 por 1.000 contra $1,40 de B. Acima de cerca de 54% de tráfego difícil, B passa a ser a mais barata das duas. C custa mais em qualquer mistura aqui, mas em sites difíceis é apenas um terço mais cara que B, embora sua tabela de preços seja 50% maior e o triplo da de A.
Duas consequências práticas:
- Calcule o preço do seu tráfego, não de uma média. Separe as requisições por alvo, meça o sucesso por alvo e pondere o custo pelo volume. Uma taxa de sucesso combinada supõe, sem avisar, que a sua mistura é igual à de quem fez a combinação.
- Acompanhe como a mistura se move. As equipes adicionam alvos mais difíceis com o tempo, raramente mais fáceis. A rede mais barata hoje para trabalho fácil pode virar a cara um trimestre depois, sem nenhuma mudança no preço.
O preço real por GB não está na tabela de preços
Antes de qualquer requisição falhar, o preço por gigabyte que você paga já pode ser diferente do que lhe foi cotado.
Utilização. A maioria dos planos residenciais vende uma franquia mensal, e o tráfego que você não usa muitas vezes expira no fim do período. Um plano de $300 com 100 GB sai a $3,00/GB no papel. Se você usa 60 GB, pagou $5,00 por cada gigabyte que trabalhou. Compare o que você pagaria no volume que realmente usa e verifique se o tráfego não usado é acumulado para o período seguinte.
Gasto mínimo. Abaixo de certo volume, o compromisso, e não o seu uso, é a sua fatura. Uma rede com metade da tarifa e um piso mensal de $500 custa mais do que uma com tarifa cheia e sem piso, se você gasta $200 por mês. Calcule a fatura no seu volume real, não no volume em que o desconto parece melhor.
O que conta como tráfego. As redes geralmente cobram bytes nos dois sentidos, e em requisições pequenas a própria requisição e seus cabeçalhos passam a ser uma fração visível do total. Se os seus payloads são pequenos, a forma como a rede conta pode pesar mais do que alguns centavos na tarifa. Compare a banda no painel do provedor com a sua própria contagem durante um dia antes de confiar em qualquer uma das duas.
Excedente. Passar da franquia costuma ser cobrado a uma tarifa maior que a do plano. Se o seu uso tem picos, o preço efetivo por GB é definido pelo seu mês mais movimentado, não pela média.
Outros modelos de cobrança
A cobrança por gigabyte é o modelo mais comum para tráfego residencial, mas não o único, e o mesmo raciocínio vale:
- Por requisição. O tamanho do payload sai da conta, e a pergunta passa a ser se as requisições com falha são cobradas. Se forem, o custo por resultado é
price per request ÷ success rate, e o imposto das novas tentativas se aplica integralmente, qualquer que seja o peso da página. Se só os sucessos são cobrados, a rede arca com o custo das falhas, e você deve esperar ver isso no preço dela. - Por IP ou por porta. Ofertas estáticas e dedicadas cobram o acesso, não o tráfego. Aqui o custo por resultado depende da vazão: quantas requisições bem-sucedidas um endereço consegue entregar antes que um alvo comece a recusá-lo. Compare resultados por endereço por dia, não o preço por endereço.
- Planos ilimitados. Eles transferem o limite dos bytes para threads, velocidade ou regras de uso justo. O custo por resultado é o preço do plano dividido pelos resultados que você realmente consegue passar por esses limites. O guia de proxies ilimitados mostra onde esses limites costumam ficar.
O tempo também é um custo
Uma requisição que falha não custa só bytes. Custa o tempo que levou para falhar e o tempo de tentar de novo.
Se uma rede responde em 1,5 segundo e tem sucesso em 60% das vezes, cada resultado leva cerca de 2,5 segundos de tempo de conexão, em média. Uma que responde em 0,9 segundo e tem sucesso em 95% das vezes precisa de menos de um segundo. Para entregar os mesmos resultados por minuto, a primeira precisa de cerca de duas vezes e meia a concorrência: mais threads, mais workers e, em planos por porta, mais portas. O guia de latência mostra por que é a cauda lenta, e não a mediana, que define isso.
Depois há a engenharia. Uma rede que falha um quarto das vezes exige lógica de novas tentativas, backoff, deduplicação, tratamento de dead-letter e alguém para investigar quando o padrão de falhas muda. Isso é um custo recorrente em salário e, ao longo de um ano, costuma ser maior do que a diferença entre duas tabelas de preços.
Reduzindo tudo a um número
Um modelo de custo mensal que se sustenta em uma revisão de orçamento fica assim:
monthly cost = max(minimum spend, traffic used × effective price per GB)
traffic used = sum over targets of (results needed × bytes per result)
bytes per result = success size + ((1 − success rate) ÷ success rate) × failure size
Divida pelos resultados de que você precisava, some o tempo de engenharia que cada opção exige e compare esse valor. Não a tabela de preços.
Uma lista de verificação antes de fechar
- Separe o seu tráfego por alvo e estime o volume de cada um.
- Meça o sucesso por alvo com checagens de conteúdo, não com códigos de status.
- Meça o tamanho dos sucessos e das falhas a partir do seu próprio tráfego.
- Calcule o preço de cada candidata no plano que você realmente vai usar, incluindo tráfego não usado e qualquer gasto mínimo.
- Calcule o custo por 1.000 resultados para cada alvo e depois pondere pela sua mistura.
- Veja como o ranking muda se os alvos difíceis crescerem.
- Estime o tratamento de novas tentativas e a concorrência que cada opção exige.
- Só então olhe a tabela de preços, como uma checagem de sanidade e não como um ranking.
Como o Atlas calcula
A página de custo real publica o custo por requisição bem-sucedida de cada rede que o Atlas mede, ao lado da tabela de preços, para você ver exatamente onde a ordem muda. Cada valor usa o preço do plano de 200 GB da rede e a taxa de sucesso que o Atlas mede em todos os seus alvos com checagens de conteúdo, e conta as novas tentativas de que uma requisição com falha precisa, como a sua fatura contaria. Os gastos mínimos ficam de fora, porque dependem do seu volume e não da rede.
A metodologia mostra como cada valor é calculado, e o conjunto de dados completo por trás do Atlas pode ser baixado em um único arquivo, caso você queira conferir a conta ou refazê-la com a sua própria mistura de tráfego.