Hoje estamos lançando a nova geração dos Shifter Residential Proxies. É a maior mudança no produto desde que lançamos o gateway residencial original, e ela consolida um ano de feedback de clientes em três pontos que, acreditamos, melhoram substancialmente a experiência de rodar tráfego de proxy em produção e em escala.
Se você estiver com pressa: é um único endpoint, você paga por GB, pode segmentar por país, região, cidade ou ASN em todos os planos sem custo adicional, e o pool saltou de mais de 31 milhões para mais de 205 milhões de IPs residenciais em mais de 195 países. A velocidade aumentou em todos os aspectos.
O restante deste post explica o que mudou, por quê, e o que os clientes existentes precisam saber.
O que há de novo, em uma única tela
Um gateway unificado. Um único endpoint, p.shifter.io:443. Toda requisição, todo país, toda sessão, o mesmo host, a mesma porta. As dicas de segmentação são codificadas na string de nome de usuário no momento da requisição, sem subdomínios específicos de plano nem alocações por porta para gerenciar.
Preços baseados em banda em todos os planos. Você paga pelos dados que efetivamente transfere. Sem portas, sem cobranças por requisição, sem limites de concorrência. Os planos começam em $1,00/GB em escala; a página de preços traz a tabela completa.
Segmentação por cidade e ASN em todos os planos. O que antes era um recurso restrito a contratos empresariais agora está incluído em todos os planos, sem sobretaxa. Você pode rotear o tráfego por qualquer cidade em que tenhamos cobertura (a maioria delas, veja Locations) ou restringir a um ASN específico, adicionando um sinalizador no estilo de query ao seu nome de usuário.
Essas três mudanças estão fortemente ligadas em nossa concepção: são o resultado de uma única reformulação arquitetônica, não de três decisões de produto independentes. Mas o que mudou, do ponto de vista de quem compra, foi isto: um endpoint mais simples, uma fatura mais simples e mais precisão do que a maioria das equipes esperava ter nesse patamar de preço.
Por que um único gateway
O produto residencial original, quando o lançamos anos atrás, usava planos baseados em porta. Comprava-se 100 portas, obtinha-se 50 conexões simultâneas em cada uma, cada uma com seu próprio par host:porta. Era um modelo defensável para a época e atendeu bem a nós, e aos clientes que construíam infraestrutura séria em cima dele, por anos.
Duas coisas mudaram que tornaram o modelo de porta a abordagem errada:
Os pools ficaram grandes o suficiente para que a concorrência deixasse de ser a restrição. Quando você tem 205 milhões de IPs no pool, a pergunta “a rede aguenta 5.000 conexões simultâneas” deixou de ser interessante. A resposta é sim. As perguntas interessantes são sobre quais IPs, em quais geografias, com que comportamento de sessão, perguntas que as portas não ajudavam a responder.
As cargas de trabalho ficaram mais dinâmicas. Um pipeline de dados moderno não roda 100 scrapers em regime estável durante um mês. Ele executa picos disparados por webhooks ou agendamentos, com concorrência variando de 1 a 1.000 ao longo de horas. Alocações estáticas de portas ou atendiam mal esses picos, ou cobravam a mais por capacidade ociosa.
O gateway unificado resolve os dois problemas. Um único endpoint, segmentação analisada na borda, sem limite de concorrência. Alocar IPs do pool correto no momento da requisição, rotear, retornar. O modelo mental do cliente fica mais simples: uma URL, uma autenticação, um conjunto de credenciais, uma fatura.
Por que preços baseados em banda
Esta parte da mudança é a mais relevante e a mais fácil de explicar. Banda é o que você efetivamente consome. As portas eram uma aproximação (em outro sentido da palavra) para a banda, concorrência × vazão. Banda é o recurso físico subjacente. Precificar sobre o recurso subjacente significa que a fatura corresponde à realidade.
Concretamente, no novo modelo de preços:
- Você compra uma alocação de banda, por exemplo, 100 GB/mês no nosso plano intermediário.
- Você pode usá-la como quiser, 1 requisição que transmite um arquivo de 100 GB ou 100 milhões de requisições que buscam, cada uma, uma resposta de API de 1 KB.
- Concorrência ilimitada, taxa de requisições ilimitada, sem limites de porta.
- O excedente é convertido em preços pré-pagos, debitados da sua carteira, sem necessidade de upgrade de plano no meio do mês.
Para a maioria das equipes, isso muda drasticamente a forma de prever o uso. “Quantos dados vamos transferir no próximo mês” é uma pergunta que se pode responder com um cálculo aproximado. “Quantas portas precisamos” era uma pergunta que só se podia responder empiricamente após rodar a carga de trabalho por algumas semanas.
Se você estava em um plano de porta e está considerando migrar, a equipe de suporte pode consultar seu histórico de uso e mostrar como seria o plano de banda equivalente. Entre em contato pelo hi@shifter.io e faremos as contas juntos.
Por que segmentação por cidade e ASN em todos os planos
A segmentação por país resolve um problema pequeno. A segmentação por cidade e por ASN resolve um problema muito maior para as cargas de trabalho que efetivamente pagam nossas contas.
Uma equipe que monitora preços de e-commerce em áreas metropolitanas dos EUA precisa de precisão de cidade, os preços da Amazon em Nova York, Los Angeles, Chicago, Houston e Miami são cinco preços diferentes, e um proxy no nível de país retorna um deles sem nenhuma forma de saber qual. Uma equipe que verifica a veiculação de anúncios precisa confirmar que o anúncio exibido em São Francisco realmente contém o criativo de São Francisco. Uma equipe que faz scraping de entrega de comida precisa buscar cada mercado do DoorDash separadamente.
O que antes era um recurso restrito a contratos empresariais agora está em todos os planos. O motivo é simples: não custa mais para nós rotear uma requisição por um IP de cidade específica do que por um IP de país. A restrição do lado do cliente era uma decisão de cobrança, não uma decisão técnica. Removemos a restrição.
O mesmo vale para a segmentação por ASN. Se você precisa de um provedor específico, Comcast (AS7922), Verizon (AS701), BT (AS2856), adicione -asn-<number> ao nome de usuário e é para lá que seu tráfego será roteado. Sem sobretaxa, sem plano adicional.
O conjunto completo de sinalizadores geográficos:
customer-USERNAME-country-us # countrycustomer-USERNAME-country-us-region-california # state/regioncustomer-USERNAME-country-us-city-new_york # citycustomer-USERNAME-country-us-asn-7922 # ASN (Comcast)customer-USERNAME-country-us-strict-true # fail if no exact matchCombine quantos quiser. country + city, country + asn, os quatro juntos. O gateway analisa e roteia.
O que os clientes existentes precisam fazer
Se você está em um plano original baseado em porta, seu plano e suas credenciais existentes baseadas em porta continuam funcionando. O novo gateway usa um modelo de preços diferente (banda em vez de portas). Não há custo para migrar, e temos descontos disponíveis para clientes existentes. Entre em contato com o suporte e definiremos juntos o plano de migração e o preço adequados ao seu uso.
Se você é um cliente novo: basta se cadastrar. O novo gateway é o padrão. Os preços estão na página de preços dos Residential Proxies e a documentação completa está em /docs/products/residential-proxies.
O que vem a seguir
Este lançamento é a parte visível de cerca de um ano de trabalho. A parte menos visível é o lado operacional, melhor observabilidade do comportamento por requisição, melhores painéis para métricas de banda e sessão, melhores SDKs em mais linguagens. Parte disso já foi lançada; o restante está na fila. Escreveremos sobre as partes interessantes conforme forem chegando.
Enquanto isso, os novos Residential Proxies já estão no ar. Preços, documentação e cadastro estão todos linkados acima. Se você estava esperando o preço da precisão em nível de cidade cair, ele caiu. Se você estava esperando as portas desaparecerem, elas não desapareceram, mas você não precisa mais pensar nelas. E se você está começando do zero hoje, seja bem-vindo. Nossa equipe está disponível no chat em hi@shifter.io caso você tenha alguma dúvida.