A análise de assortment parece aritmética de conjuntos. Pegue o catálogo deles, pegue o seu, subtraia. As lacunas são a oportunidade.
A aritmética é trivial. Tudo que faz a resposta estar certa ou errada acontece antes disso: se você enumerou o catálogo deles ou apenas o amostrou, e se “o mesmo produto” no site deles e no seu é de fato reconhecido como o mesmo produto. Erre em qualquer um dos dois pontos e a subtração produz uma lista confiante de oportunidades que são, na maioria, artefatos.
O problema de correspondência é o problema inteiro
O mesmo item é descrito de forma diferente por cada varejista que o vende. Convenções de título diferentes, grafias de marca diferentes, tamanhos de embalagem diferentes, bundles diferentes e SKUs internos que não significam nada fora de cada empresa.
Se seu matcher falha em vinte por cento dos itens, então vinte por cento do catálogo deles parece uma lacuna que você deveria preencher, e vinte por cento do seu parece diferenciação exclusiva. Ambas as conclusões estão erradas, estão erradas na direção que faz a análise parecer valiosa, e nada na saída sinaliza isso.
Faça a correspondência nesta ordem:
Identificadores padrão primeiro. GTIN, UPC, EAN, ISBN, MPN. Onde estão publicados, são praticamente definitivos, e devem ser sua chave primária sempre que disponíveis.
Marca mais modelo normalizado em segundo lugar. Normalize de forma agressiva: maiúsculas/minúsculas, pontuação, espaços em branco, variações de marca, abreviações comuns. Armazene a forma normalizada para que uma decisão de correspondência possa ser auditada depois.
Correspondência por atributos em terceiro lugar. Tamanho, cor, capacidade, quantidade da embalagem. É aqui que o tamanho da embalagem causa mais estrago, porque um pacote de seis unidades e uma unidade avulsa são, de fato, produtos diferentes que compartilham quase todos os atributos e frequentemente compartilham o título.
Revisão humana de uma amostra, sempre. Extraia uma amostra aleatória de correspondências e não correspondências e faça alguém verificar. Isso produz o número que torna todo o resto interpretável: sua taxa de correspondência. Uma análise reportada sem esse número é uma análise cujo erro ninguém consegue dimensionar.
Enumere, não amostre
A segunda falha é tratar um crawl como um censo quando ele era uma amostra.
A maioria das superfícies de catálogo limita o que vai mostrar a você. Uma listagem de categoria pode parar em um número fixo de páginas independentemente de quantos produtos ela afirma ter. Resultados de busca geralmente são limitados de forma ainda mais rígida do que a navegação por categoria. Filtros e facetas são frequentemente a única forma de alcançar a cauda longa, ao dividir uma categoria grande em segmentos pequenos o suficiente para serem retornados por completo.
O método prático é percorrer a árvore de categorias em vez de buscar, subdividir qualquer nó cuja contagem de resultados exceda o limite de páginas visível, e registrar para cada nó tanto a contagem de produtos declarada quanto o número que você realmente recuperou. Esse segundo número é sua evidência. Quando o declarado e o recuperado divergem, você encontrou o limite da sua própria visibilidade, e tudo além dele vai aparecer como uma lacuna no seu catálogo em vez de uma lacuna nos seus dados.
As estruturas de categoria também diferem entre varejistas, então não assuma que a categoria deles é a sua categoria. Faça a correspondência no nível do produto e agregue para sua própria taxonomia depois.
Os mecanismos específicos de cada varejista estão em como fazer scraping de dados de produtos da Amazon e monitoramento de disponibilidade e estoque de produtos.
Catálogos são regionais
O mesmo varejista carrega assortments diferentes por mercado, e frequentemente serve um catálogo totalmente diferente por storefront.
Se sua coleta roda a partir de um único país, todo produto que eles carregam apenas em outro mercado aparece como ausente, e todo produto carregado apenas no mercado a partir do qual você coleta aparece como universal. Para um negócio que vende em vários mercados, isso não é uma correção pequena. Muda quais lacunas são reais.
Proxies residenciais com direcionamento por país mantêm o catálogo de cada mercado distinto. Com o gateway da Shifter, o direcionamento e a sessão vão nas credenciais contra p.shifter.io:443:
customer-USERNAME-country-es-sid-cat-es-0119-ttl-600:PASSWORDcountry-es define o mercado, sid-cat-es-0119 mantém um único ponto de saída durante toda a travessia de uma categoria para que a paginação permaneça coerente, e ttl-600 mantém esse endereço por dez minutos. Uma sessão por travessia de categoria, não uma por requisição de página, é a regra. Alternar no meio da travessia é como páginas de dois pontos de vista diferentes acabam em um único snapshot de catálogo.
Mantenha a concorrência moderada e recue diante de erros em vez de insistir, como em rate limiting e throttling de requisições. A visão do produto está na página de proxies residenciais para e-commerce.
As quatro saídas
Uma vez que os produtos estão correspondidos e os catálogos enumerados, a comparação produz quatro coisas distintas, e confundi-las é o erro analítico mais comum.
Lacunas verdadeiras. Eles têm, você não tem. A saída principal, e só é confiável na proporção da sua taxa de correspondência.
Lacunas reversas. Você tem, eles não têm. Geralmente ignoradas, e geralmente mais valiosas, porque este é o seu inventário de diferenciação e a equipe de merchandising pode agir sobre ele imediatamente.
Lacunas de profundidade. Ambos carregam a marca, eles carregam quarenta SKUs e você carrega seis. Isso raramente aparece em uma diferença simples de conjuntos porque a marca está presente nos dois lados, e é frequentemente o maior achado comercial de todo o exercício.
Lacunas fantasmas. Falhas de correspondência disfarçadas de lacunas verdadeiras. Toda análise as tem. A questão é se você mediu quantas.
Reporte as três primeiras com a quarta quantificada ao lado. “Duzentas e quarenta lacunas verdadeiras com uma taxa de correspondência de noventa e um por cento” é um achado utilizável. “Duzentas e quarenta lacunas” é um número esperando para desperdiçar a semana de um gerente de categoria.
Cadência e desvio
Catálogos se movem muito mais lentamente do que preços, o que é conveniente: uma enumeração completa semanal ou quinzenal geralmente é suficiente, com uma cadência mais rápida em categorias sob concorrência ativa.
O que importa mais do que a frequência é a estabilidade. Mantenha a travessia, as regras de correspondência e o mapeamento de categorias fixos entre as execuções, e versione-os. Se sua contagem de lacunas cair bruscamente, a primeira pergunta é se o assortment deles mudou ou se o seu matcher mudou. Um diff entre execuções da taxa de correspondência e das contagens recuperadas responde isso em segundos e evita muita análise desperdiçada.
Perguntas frequentes
Qual taxa de correspondência é boa o suficiente para agir?
Acima de noventa por cento é viável para decisões no nível de categoria. Abaixo de oitenta, a lista de lacunas é majoritariamente ruído de correspondência e o esforço deveria estar no matcher, não na análise.
Devo usar busca ou travessia de categoria para enumerar?
Travessia de categoria, subdividida com facetas quando um nó excede o limite de páginas. A busca é limitada de forma mais agressiva e seu ranqueamento é personalizado, o que a torna uma ferramenta de enumeração ruim.
Como lidar com listagens de marketplace de vendedores terceiros?
Trate-as como um conjunto separado. Misturar o assortment próprio (first-party) com o de marketplace superestima a linha de produtos comprometida de um concorrente, já que uma listagem de terceiro não é uma decisão de compra que eles tomaram.
E se eles não publicarem identificadores padrão?
Apoie-se mais em marca e modelo normalizados, aceite uma taxa de correspondência mais baixa e meça-a honestamente. Algumas categorias, particularmente vestuário e marca própria, nunca vão corresponder de forma limpa, e a resposta correta é reportar a confiança em vez da certeza.
Conclusão
A comparação no final da análise de assortment é aritmética. O trabalho está antes: enumerar um catálogo em vez de amostrá-lo, saber onde sua visibilidade para, corresponder produtos com uma regra que você possa auditar, e separar lacunas verdadeiras de lacunas de profundidade e de falhas de correspondência.
Colete cada mercado separadamente, mantenha as sessões coerentes durante uma travessia, registre as contagens declaradas em comparação às recuperadas, e publique sua taxa de correspondência ao lado de cada número de lacuna. Os preços estão na página de preços.