“Melhor API de web scraping para a Amazon” é uma pergunta sem resposta única, porque monitorar a Amazon não é um único tipo de trabalho. Acompanhar o preço de dois mil ASINs em cinco marketplaces, auditar quem detém o buy box nos seus próprios anúncios e observar a rotatividade dos mais vendidos de uma categoria são coisas que dizem respeito à Amazon, mas exigem coisas diferentes de uma API.
Por isso, em vez de uma lista classificada de fornecedores, que ficaria desatualizada em um trimestre e não diria nada sobre a sua própria carga de trabalho, este guia organiza as opções por tipo, define os critérios que realmente separam uma boa API para Amazon de uma API apenas utilizável, e apresenta uma forma de testar candidatas com os seus próprios ASINs antes de se comprometer.
Comece descartando o que não se encaixa
As APIs próprias da Amazon são projetadas para vendedores e afiliados que trabalham com suas próprias contas, e têm seus próprios termos de elegibilidade e uso. São a ferramenta certa para os seus próprios anúncios, pedidos e estoque. Não são uma forma de monitorar ofertas, preços ou classificações de concorrentes em todo o catálogo, que é o objetivo deste guia.
Para esse objetivo existem três tipos de API.
Os três tipos de API para Amazon
APIs de e-commerce dedicadas. Endpoints estruturados para cada superfície da Amazon: produto, busca, mais vendidos, ofertas, categorias, perfis de vendedor. Você envia um ASIN ou uma consulta e recebe JSON já processado. Sem seletores, sem parser para manter, e quando a Amazon muda sua marcação, o provedor absorve a mudança.
APIs gerais de web scraping. Você envia qualquer URL, a API cuida de proxies, renderização e novas tentativas, e você recebe HTML ou JSON produzido por regras de extração definidas por você. Mais flexível, já que funciona em qualquer varejista e qualquer página, e você é responsável pela análise, incluindo a manutenção quando a marcação muda.
Proxies autogerenciados. Você mesmo executa o navegador ou cliente HTTP, o parser e a lógica de novas tentativas, roteados por proxies residenciais. Controle máximo e o menor custo unitário em escala muito grande, em troca do maior esforço de engenharia. A abordagem é tratada em fazer scraping de dados de produtos da Amazon com proxies.
| API de e-commerce dedicada | API geral de scraping | Proxies autogerenciados | |
|---|---|---|---|
| Saída | JSON estruturado por superfície | HTML, ou JSON via suas regras | O que você construir |
| Manutenção do parser | Provedor | Você | Você |
| Funciona além da Amazon | Limitado aos sites suportados | Qualquer site | Qualquer site |
| Esforço de engenharia | Menor | Moderado | Maior |
| Melhor para | Amazon em volume, início rápido | Monitoramento de vários varejistas | Escala muito grande, fluxos personalizados |
A maioria das pilhas maduras de inteligência de preços acaba usando mais de uma: uma API dedicada para a Amazon, e uma API geral de scraping para a longa cauda de varejistas que nenhum endpoint estruturado cobre.
Os critérios que realmente importam para a Amazon
As listas de recursos parecem todas semelhantes. Estas são as propriedades que decidem se os dados são utilizáveis.
Cobertura de marketplaces. A Amazon é um conjunto de lojas nacionais com preços, vendedores e disponibilidade diferentes para o mesmo ASIN. Verifique se todos os marketplaces em que você vende são suportados, não apenas os EUA.
Cobertura de superfícies. A inteligência de preços geralmente precisa de mais do que a página do produto: classificações de busca, movimentação dos mais vendidos, ofertas e dados de vendedores para identificar contra quem você está competindo. Liste as superfícies de que o seu fluxo de trabalho precisa e verifique cada uma.
Separação entre orgânico e patrocinado. Os resultados de busca misturam posicionamentos pagos e orgânicos. Uma API que os retorna em uma única lista indiferenciada corromperá silenciosamente qualquer análise de classificação.
Paridade entre dispositivos. Mobile e desktop podem ordenar os resultados de forma diferente. Se seus clientes compram no celular, você precisa de resultados de mobile.
Estabilidade da saída. Uma API estruturada só é valiosa se seu esquema se mantiver. Pergunte como as mudanças que quebram compatibilidade são comunicadas, e observe a completude dos campos durante um teste em vez de confiar em uma resposta de amostra.
Cobrança apenas por sucesso. Pagar por requisições bloqueadas ou falhas transforma um alvo pouco confiável em um problema de orçamento. Prefira provedores que cobram apenas por respostas bem-sucedidas, e verifique como “bem-sucedida” é definida.
Concorrência e atualidade. O teto de concorrência determina com que rapidez você consegue atualizar um catálogo, o que determina o quão desatualizados seus preços podem ficar.
Um detalhe que atrapalha todo pipeline da Amazon
Os preços voltam como strings de exibição no formato próprio do marketplace, e o símbolo da moeda sozinho não identifica a moeda: $ em amazon.com, amazon.ca e amazon.com.au são três moedas diferentes. Resolva a moeda ISO a partir do símbolo e do marketplace juntos, e armazene a string bruta ao lado do valor processado. O padrão completo de carregamento está em levar dados de API de web scraping para o SQL.
O buy box é o outro caso. A oferta vencedora pode depender do local de entrega e de quais vendedores estão ativos naquele momento, então qualquer API retorna uma visão do buy box, não o buy box em si. Saiba qual visão você está recebendo, e registre o marketplace e o horário a cada observação.
Como avaliar candidatas com os seus próprios dados
Uma resposta de amostra na documentação não prova nada sobre o seu catálogo. Execute um teste que espelhe o trabalho real.
- Escolha uma amostra fixa: algumas centenas dos seus ASINs reais nos marketplaces que importam para você, com peso maior para os produtos mais importantes.
- Execute em um cronograma por uma semana, na cadência que você pretende usar em produção.
- Meça a completude dos campos por campo e por marketplace. Um campo de preço vazio em 8% dos produtos alemães é um achado real.
- Verifique a precisão por amostragem, comparando um subconjunto aleatório de preços retornados com a página ativa no mesmo momento.
- Registre taxa de sucesso e latência por marketplace, não agregadas, já que um provedor pode ser excelente nos EUA e fraco em outros lugares.
- Calcule o custo por registro utilizável, ou seja, linhas completas, precisas e corretamente atribuídas, não custo por requisição.
Execute cada candidata na mesma amostra, na mesma semana, na mesma cadência. Comparar provedores testados em condições diferentes é como decisões de compra dão errado, e é o mesmo princípio que aplicamos aos nossos próprios benchmarks.
Onde o Shifter se encaixa
A Shifter Amazon API é uma API de e-commerce dedicada. Um único endpoint com um parâmetro type cobre busca, detalhes de produto, mais vendidos, ofertas do dia, categorias, perfis de vendedor, produtos de vendedor e avaliações de vendedor, em 19 marketplaces da Amazon, com resultados de desktop ou mobile e JSON por padrão:
curl "https://ecom.shifter.io/v1?engine=amazon&api_key=YOUR_API_KEY&type=product&product_id=B08C1W5N87&domain=amazon.de"As respostas de busca mantêm os posicionamentos patrocinados em um campo separado dos resultados orgânicos, e a paginação é exposta na resposta. As chamadas para a Amazon consomem a cota do plano da SERP API, então há um único conjunto de chaves e um único plano para ambos. Endpoints e parâmetros estão na documentação da Amazon API, com planos na página de preços da SERP API.
A Shifter Web Scraping API cobre tudo o que os endpoints estruturados não cobrem: outros varejistas, sites de marcas e qualquer página que você queira extrair por conta própria. Ela renderiza JavaScript quando solicitado, retorna JSON por meio de regras de extração, direciona por país a cada requisição, mantém sessões para fluxos paginados, tenta novamente buscas com falha automaticamente, e cobra apenas por respostas bem-sucedidas. Veja a página da Web Scraping API.
Os proxies residenciais Shifter são a opção autogerenciada, para equipes que querem controle total do navegador e do parser.
Combinando o trabalho com a ferramenta
| Trabalho | Melhor opção |
|---|---|
| Acompanhamento de preço para uma lista fixa de ASINs em marketplaces | API dedicada para Amazon |
| Monitoramento de posição de busca e share-of-shelf | API dedicada para Amazon, com patrocinado e orgânico separados |
| Preços de concorrentes na Amazon e em outros varejistas | API para Amazon mais uma API geral de scraping |
| Identificação de vendedores nos seus próprios anúncios | Endpoints de vendedor da API dedicada |
| Fluxos personalizados que os endpoints estruturados não expõem | API geral de scraping ou proxies autogerenciados |
| Catálogos muito grandes com engenharia de scraping interna | Proxies autogerenciados |
Os usos posteriores estão descritos em construindo um feed de preços competitivo em tempo real, aplicação de MAP em escala e detectando vendedores terceiros sequestrando seus anúncios.
Perguntas frequentes
Posso usar a própria API da Amazon para monitorar preços de concorrentes?
As APIs da Amazon são construídas para vendedores e afiliados que trabalham com suas próprias contas, sob seus próprios termos. Para monitorar o catálogo mais amplo, as equipes usam uma API de e-commerce dedicada, uma API geral de scraping ou proxies.
Uma API dedicada para Amazon é sempre melhor do que uma API geral de scraping?
Para as superfícies da Amazon que ela suporta, geralmente é mais rápida de integrar e mais barata de manter. Uma API geral de scraping vence quando você também monitora outros varejistas ou precisa de páginas que os endpoints estruturados não cobrem.
Com que frequência os preços da Amazon devem ser atualizados?
Ajuste a cadência à velocidade com que sua categoria realmente se move, o que você pode medir durante o teste. Muitas equipes atualizam uma lista prioritária de observação várias vezes por dia e a longa cauda diariamente.
Qual é o erro mais comum ao escolher uma API para Amazon?
Avaliar com base em uma resposta de amostra em vez de nos seus próprios ASINs, nos seus próprios marketplaces, ao longo de uma semana. A completude dos campos fora dos EUA é onde a maioria das opções mais se diferencia.
Conclusão
Não existe uma única melhor API de web scraping para a Amazon, apenas a melhor opção para um determinado trabalho. As APIs de e-commerce dedicadas são o caminho mais rápido para dados estruturados da Amazon em vários marketplaces. As APIs gerais de scraping estendem o mesmo pipeline para todos os outros varejistas. Os proxies autogerenciados servem para operações muito grandes e muito personalizadas.
Escolha com base na cobertura de marketplaces e superfícies, na separação entre orgânico e patrocinado, na estabilidade da saída e na cobrança apenas por sucesso, e depois comprove a escolha com os seus próprios ASINs por uma semana antes de se comprometer. O caso de uso mais amplo está na página de inteligência de preços.