Para revendedores e analistas de e-commerce, o eBay tem uma coisa que quase nenhum outro marketplace oferece publicamente: anúncios vendidos. A maioria dos sites mostra preços pedidos. O eBay mostra pelo que as coisas realmente foram vendidas, em que data, em que condição, de qual vendedor. Isso não é um sinal de preço, é dado de transação, e é por isso que o eBay funciona como um oráculo público de preços para tudo, de tênis a peças industriais.
Coletar isso de forma confiável é a parte difícil. O eBay opera marketplaces regionais separados com preços e demanda diferentes, se defende contra acesso automatizado e personaliza resultados para o visitante. Se você extrair esses dados de um único IP de escritório, terá a visão de apenas um país, cheia de lacunas. Este guia cobre o que vale a pena coletar, quando usar a API oficial em vez disso, e como coletar o restante com precisão usando proxies residenciais.
O que realmente vale a pena coletar
Uma página de anúncio do eBay é densa, mas os analistas realmente se importam com um subconjunto específico:
Nível do anúncio
- Preço e formato — o preço, e crucialmente se é leilão ou Buy It Now. Misturar os dois corrompe qualquer média que você calcule.
- Condição — novo, usado, recondicionado, para peças. No eBay, a condição impulsiona a variância de preço mais do que quase qualquer outra coisa.
- Envio e localização — custo e localização do item, que mudam o preço real final.
- Especificações do item — marca, modelo, tamanho e os atributos estruturados que tornam os anúncios comparáveis.
Anúncios vendidos / concluídos (a parte valiosa)
- Preço realizado e data da venda — o que os compradores realmente pagaram, e quando.
- Taxa de conversão — quantos dos anúncios de um item realmente venderam versus expiraram sem venda. Esse é o número que separa “vale a pena buscar” do que “fica parado para sempre.”
Nível do vendedor
- Pontuação e avaliação de feedback, nome da loja, e se é um vendedor empresarial.
- Sortimento e comportamento de precificação — o que um vendedor concorrente anuncia, a que preços, e com que rapidez vende.
Essa terceira categoria é o que transforma a coleta em inteligência competitiva: não apenas pelo que um produto vende, mas quais vendedores estão ganhando com isso.
Comece com a API oficial onde ela se encaixa
Vale dizer claramente, porque isso vai poupar esforço: o eBay tem uma API oficial, e onde ela cobre sua necessidade, é o primeiro recurso certo. Ela é estável, estruturada, não quebra quando o markup muda, e é explicitamente sancionada. Se você precisa de dados padrão de anúncios e seus volumes e regiões se encaixam nos termos e limites dela, use-a.
Os proxies entram para os casos que a API não atende bem: dados públicos fora do escopo da API, cobertura entre marketplaces regionais com a amplitude de nível analista, ou ver o marketplace exatamente como um comprador local o vê. A visão honesta é que esses são complementos, não substitutos, e começar pela API onde ela se encaixa é simplesmente melhor engenharia.
Por que o restante é um problema de proxy
Três propriedades do eBay tornam a coleta pública ampla um problema de acesso.
O eBay é dividido por marketplace, e geopersonalizado. ebay.com, ebay.co.uk, ebay.de, ebay.com.au são marketplaces diferentes com inventário, preços, demanda e taxa de conversão diferentes. Mesmo dentro de um só, os resultados são personalizados de acordo com a localização do visitante, opções de envio e disponibilidade de item mudam. Para um revendedor fazendo arbitragem transfronteiriça, isso é a análise: o que uma coisa alcança no Reino Unido versus na Alemanha. Buscar ebay.de a partir de um IP dos EUA não dá nenhuma das duas visões com precisão, então você precisa estar no mercado que está medindo (direcionamento por país e cidade).
O eBay se defende contra acesso automatizado. Como qualquer grande marketplace, ele opera sistemas antibot. IPs de datacenter são sinalizados, limitados ou recebem páginas intersticiais, então você registra a versão do bot em vez da página do comprador (por que scrapers são bloqueados). IPs residenciais carregam confiança real de usuário e veem o anúncio real.
A cobertura é ampla e repetida. Uma varredura de categoria em vários marketplaces, atualizada diariamente para manter a taxa de conversão em dia, representa muitas requisições. A partir de um punhado de IPs você atinge limites de taxa e acaba com uma amostra parcial, o que é fatal aqui: uma taxa de conversão calculada a partir de uma amostra enviesada por bloqueios é pior do que nenhum número.
Direcionando para o marketplace correto
No gateway da Shifter, você escolhe um país codificando-o no nome de usuário do proxy, um único endpoint, sem listas de IP. Combine o país do proxy com o domínio do marketplace:
# ebay.com como comprador dos EUAcurl -x customer-USERNAME-country-us:PASSWORD@p.shifter.io:443 \ "https://www.ebay.com/itm/123456789012"
# ebay.co.uk como comprador do Reino Unidocurl -x customer-USERNAME-country-gb:PASSWORD@p.shifter.io:443 \ "https://www.ebay.co.uk/itm/123456789012"Observe que o código de país para o Reino Unido é gb, não uk, um detalhe pequeno que silenciosamente produz dados do mercado errado se você errar.
Coletando em código
A maior parte dos dados de anúncio do eBay está no HTML inicial, então um cliente HTTP simples é mais rápido e muito mais barato do que operar um navegador (veja proxies residenciais com Python para a configuração completa do cliente):
import os, requestsfrom bs4 import BeautifulSoup
USER, PASS = os.environ["SHIFTER_USER"], os.environ["SHIFTER_PASS"]
def proxy(country="us"): url = f"http://{USER}-country-{country}:{PASS}@p.shifter.io:443" return {"http": url, "https": url}
MARKETS = {"us": "ebay.com", "gb": "ebay.co.uk", "de": "ebay.de"}
def fetch_listing(item_id, country="us"): domain = MARKETS[country] url = f"https://www.{domain}/itm/{item_id}" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36", "Accept-Language": "en-GB,en;q=0.9" if country == "gb" else "en-US,en;q=0.9", "Accept-Encoding": "gzip, br", } r = requests.get(url, headers=headers, proxies=proxy(country), timeout=30) r.raise_for_status() soup = BeautifulSoup(r.text, "html.parser") return { "item_id": item_id, "market": country, "title": (t := soup.select_one("h1")) and t.get_text(strip=True), "price": (p := soup.select_one(".x-price-primary")) and p.get_text(strip=True), # Condition, shipping and item specifics live in their own blocks; # treat every selector as optional and validate what you extract. }Duas observações práticas. Defina Accept-Language para corresponder ao marketplace que você está direcionando, um IP do Reino Unido enviando en-US é uma inconsistência que você não precisa. E trate cada seletor como opcional: o markup do eBay varia por categoria e tipo de anúncio, então faça o parsing de forma defensiva e valide em vez de assumir que um campo existe.
Rotacione por requisição para varreduras amplas de categoria; mantenha uma sessão fixa ao paginar pelo inventário de um único vendedor, para que a sequência pareça a de um único comprador. Como a qualidade do IP determina com que frequência você vê a página real, vale a pena entender reputação de IP, e bloqueios consistentes (não ocasionais) apontam para problemas de qualidade ou comportamento (como evitar ser bloqueado).
Transformando anúncios em análise
A coleta é a entrada; a análise é onde os revendedores realmente ganham dinheiro. Algumas coisas importam quando você modela esses dados:
Separe vendidos de ativos. Anúncios ativos são preços pedidos, o que é aspiração. Anúncios vendidos são transações. Nunca calcule a média entre eles, e nunca cite um “preço do eBay” sem dizer a qual você se refere.
Segmente por condição e formato. O preço realizado de um item usado e o de um novo são mercados diferentes. Fechamentos de leilão e vendas Buy It Now também se comportam de forma diferente. Calcular a média entre esses segmentos produz um número que não descreve nada.
Calcule a taxa de conversão, não apenas o preço. Vendidos divididos pelo total anunciado em uma janela de tempo indica liquidez. Um preço alto com 10% de taxa de conversão é um alvo de sourcing pior do que um preço mais baixo que se esgota de forma confiável.
Compare entre marketplaces de forma deliberada. As diferenças de preço transfronteiriças são a vantagem do revendedor, mas apenas se o número de cada mercado foi realmente coletado daquele mercado, que é exatamente por que o direcionamento geográfico acima importa.
Para estruturar a saída em um conjunto de dados pronto para pesquisa, como construir um conjunto de dados com web scraping cobre a mecânica, e a mesma disciplina sustenta o monitoramento de preços e a análise de digital shelf.
Usando isso de forma responsável
Colete apenas dados públicos de anúncios, títulos, preços, condições, envio, e métricas públicas de vendedor que qualquer comprador pode ver. Dados pessoais estão fora dos limites: identidades de compradores, mensagens privadas e detalhes pessoais anexados a contas não são justos, e comentários de feedback devem ser tratados com cuidado, já que podem conter informações pessoais.
Além disso: respeite os termos e limites de taxa do eBay, não degrade o site, e prefira a API oficial onde ela cobre seu caso de uso. Os termos do eBay restringem o acesso automatizado, então mantenha a coleta em dados públicos, fique em um ritmo razoável, e obtenha aconselhamento jurídico para qualquer coisa incerta (o web scraping é legal). Um proxy muda de qual IP uma requisição vem, não se você deveria estar fazendo essa requisição; nossa política de uso aceitável é a fonte de verdade sobre o que é permitido na Shifter.
Perguntas frequentes
Por que preciso de proxies para dados do eBay? Porque o eBay opera marketplaces regionais separados com preços e demanda diferentes, personaliza resultados por localização, e se defende contra acesso automatizado. De um único IP você vê um mercado, parcialmente. Proxies residenciais permitem coletar cada marketplace como um comprador local real.
Devo usar a API do eBay em vez disso? Onde ela cobre sua necessidade, sim, ela é estável, estruturada e sancionada. Proxies são para dados públicos fora do escopo dela ou para amplitude entre marketplaces regionais. Comece com a API e use a coleta para o restante.
Posso coletar anúncios vendidos e concluídos? Anúncios vendidos são exibidos publicamente e são o insumo mais valioso para revendedores, já que são preços realizados em vez de preços pedidos. Colete-os como dados públicos, mantenha vendidos e ativos separados em sua análise, e respeite os termos e limites de taxa do eBay.
Por que o Reino Unido precisa do código de país gb?
Porque o gateway usa códigos de país ISO, onde o Reino Unido é gb. Usar uk falha silenciosamente em direcionar corretamente, o que significa que você estaria coletando ebay.co.uk do mercado errado sem perceber.
Proxies residenciais ou de datacenter para o eBay? Residenciais. Marketplaces detectam e tratam IPs de datacenter de forma diferente, então você seria limitado ou receberia uma página degradada. IPs residenciais veem o anúncio real, geograficamente correto, que um comprador genuíno veria.
Conclusão
Os dados públicos de anúncios vendidos do eBay são incomumente valiosos porque são transacionais, não aspiracionais, e formam a espinha dorsal do sourcing, da precificação e da análise de taxa de conversão para revendedores. O detalhe é que eles são divididos entre marketplaces regionais, personalizados por localização, e defendidos, então a precisão da sua análise depende inteiramente de coletar cada mercado como um comprador real naquele mercado. Use a API oficial onde ela se encaixa, direcione o restante por IPs residenciais compatíveis com o marketplace, faça o parsing de forma defensiva, e mantenha vendidos separados de ativos no modelo.
Faça isso e você terá números com os quais pode fazer sourcing e precificar, em vez de uma média combinada que não descreve nada. Uma rede de proxies residenciais de qualidade é o que mantém essa coleta geograficamente precisa e completa, e a página de preços tem os planos por GB para testar contra as categorias e marketplaces em que você realmente negocia.