Monitoramento de sites e uptime em vários países com proxies

Um monitor de uptime que faz ping na sua página inicial a partir de um servidor diz uma única coisa: que esse servidor alcança o seu site. Ele não diz nada sobre o cliente na Alemanha que recebe uma página de desafio, nem sobre o visitante no Brasil cujo edge da CDN está devolvendo erros. Se você vende ou ranqueia em vários países, verificar a disponibilidade e o conteúdo a partir desses países faz parte do monitoramento de SEO, e isso pega problemas que uma sonda única nunca vê.

Este guia mostra o que as checagens de um só local não veem, o que testar em cada mercado, por que o IP de origem importa e um script simples que você pode rodar de forma agendada.

O que checagens de uptime de um só local não veem

Uma página de status verde a partir de uma única sonda pode esconder tudo isto:

• Falhas regionais da CDN. Uma CDN responde a partir do edge mais próximo do visitante. Um edge pode falhar ou servir erros em cache enquanto os outros funcionam.
• Redirecionamentos geográficos quebrados. Uma regra que manda visitantes franceses para /fr/ pode entrar em loop, apontar para uma página que não existe mais ou mandar um país para a loja errada.
• Bloqueios de países inteiros pelas suas próprias regras de segurança. Uma regra de firewall ou antibot endurecida depois de um ataque pode começar a desafiar todos os visitantes de uma região.
• Problemas de DNS e roteamento. O geo DNS pode mandar um mercado para uma origem fora do ar, e alguns resolvers locais mantêm registros antigos muito tempo depois da sua mudança.
• O conteúdo errado. A página carrega, mas com a moeda errada, sem o banner de consentimento, no idioma errado ou com o bloco de preços vazio.

Nada disso aparece como “fora do ar” no seu servidor de monitoramento. Tudo isso custa visitas, vendas e, se o Googlebot também encontrar, posições.

O que verificar em cada mercado

Trate cada país como um site separado. Em cada checagem, registre:

1. Código de status e URL final depois dos redirecionamentos. Um 200 na URL errada é uma falha.
2. Tempo de resposta, para notar um mercado que fica lento antes de cair.
3. Um marcador de conteúdo, como um texto que só aparece na versão local correta: o símbolo da moeda, um telefone local ou um título traduzido.
4. Sinais de bloqueio, como o título de uma página de desafio, um formulário CAPTCHA ou um 403 da sua própria CDN.
5. Qual edge respondeu, a partir de cabeçalhos como cf-ray, x-amz-cf-pop ou x-served-by, para saber onde procurar quando uma região falha.

Comece pelas páginas que geram receita: página inicial, uma categoria principal, uma página de produto e o início do checkout. Inclua busca e login se os seus usuários dependem deles.

Por que o IP de origem importa

A maioria dos serviços comerciais de uptime roda suas sondas a partir de data centers em algumas dezenas de cidades. Isso serve para saber se o servidor está no ar, mas não é assim que os seus clientes chegam. CDNs e regras antibot costumam tratar endereços de data center de forma diferente de conexões domésticas, então uma sonda pode passar direto enquanto visitantes reais são desafiados, ou ser bloqueada enquanto os visitantes não têm problema nenhum.

Checagens por meio de proxies residenciais no país de destino fecham essa lacuna. A requisição sai de uma conexão doméstica naquele mercado, então o geo DNS, a sua CDN e as suas regras de segurança a tratam como um cliente de lá. Em mercados grandes, você também pode descer até a cidade, por exemplo verificando a partir de várias regiões dos Estados Unidos em vez de uma só.

Mantenha os papéis separados: use as checagens residenciais para ver o que cada mercado recebe e se funciona, e use o seu monitor de data center ou os dados de usuários reais para os tempos de resposta exatos, já que uma requisição por proxy tem um salto a mais.

Um pequeno verificador multilocal

Este script verifica uma lista de URLs a partir de vários países, segue os redirecionamentos e procura um marcador de conteúdo. Substitua USERNAME e PASSWORD pelas suas credenciais de proxy.

import requests

USER = "USERNAME"
PASS = "PASSWORD"
GATEWAY = "p.shifter.io:443"

CHECKS = {
    "de": ("https://www.example.com/", "€"),
    "gb": ("https://www.example.com/", "£"),
    "us": ("https://www.example.com/", "$"),
    "br": ("https://www.example.com/", "R$"),
}

def check(country, url, marker):
    proxy = f"http://customer-{USER}-country-{country}:{PASS}@{GATEWAY}"
    try:
        r = requests.get(url, proxies={"http": proxy, "https": proxy},
                         timeout=30, allow_redirects=True)
    except requests.RequestException as e:
        return country, "ERROR", str(e)[:80]
    blocked = "captcha" in r.text.lower() or r.status_code in (403, 429)
    ok = r.status_code == 200 and marker in r.text and not blocked
    edge = r.headers.get("cf-ray") or r.headers.get("x-amz-cf-pop") or "-"
    return country, "OK" if ok else "FAIL", f"{r.status_code} {r.url} edge={edge} {r.elapsed.total_seconds():.2f}s"

for country, (url, marker) in CHECKS.items():
    print(*check(country, url, marker))

Rode-o pelo cron ou pelo agendador do seu CI, grave cada linha em um log ou em um pequeno banco de dados e alerte quando houver falhas. Dois hábitos tornam os resultados confiáveis:

• Confirme antes de alertar. Quando uma checagem falhar, repita uma vez com um IP novo do mesmo país. Alerte só se a segunda também falhar.
• Alerte por padrões, não por linhas isoladas. Três falhas seguidas em um país são um incidente. Um timeout por semana é ruído.

Transformando checagens em rotina

1. Escolha os seus mercados a partir do Search Console e do analytics: os países que trazem tráfego e receita, mais aqueles em que você quer crescer.
2. Defina intervalos pelo valor. A cada poucos minutos para o checkout nos seus principais mercados, de hora em hora para o resto.
3. Verifique depois de cada deploy e de cada mudança na CDN, a partir de todos os mercados, não só do escritório.
4. Revise toda semana quais países falham mais e por quê.

Se um mercado está no ar mas lento, o nosso guia para testar a velocidade do site a partir de outros países mostra como encontrar a causa. Se você suspeita que algumas regiões recebem outro conteúdo de propósito, o método para detectar cloaking de SEO a partir de vários locais usa as mesmas requisições por país.

Resumindo

Uptime é local. Um site pode estar no ar para o seu monitor e fora do ar para um país inteiro. Verifique as suas páginas de receita a partir de cada mercado que importa, observe status, URL final, conteúdo e sinais de bloqueio, confirme as falhas com um segundo IP, e você vai saber dos problemas regionais antes que os seus clientes avisem.