Em 7 de outubro de 2026, a Shifter tem o maior pool de IPs dos EUA ativos, mais do que a Oxylabs e a Bright Data, por uma fração do custo.A Shifter agora tem o maior pool de IPs ativos dos EUA

Ver benchmarks

Construindo uma Biblioteca de Criativos de Concorrentes com Scraping Automatizado

Uma biblioteca de criativos é um problema de deduplicação e metadados, não um problema de download. Como construir uma que permaneça pesquisável e legal.

Engenharia · Atualizado em 10 de setembro de 2026 · 9 min de leitura
famílias de criativos
Muitas capturas, poucos criativos. As cópias âmbar se fundem em uma família cada.
Extração de dados
Nesta página
  1. Colete primeiro das fontes permitidas
  2. Deduplicação é o sistema inteiro
  3. Torne pesquisável, o que significa extrair texto
  4. O esquema de metadados
  5. A camada de coleta
  6. Direitos autorais, claramente
  7. Para que serve uma biblioteca funcional
  8. Perguntas frequentes
  9. Conclusão

A maioria das bibliotecas de criativos de concorrentes morre da mesma forma. A coleta funciona, os ativos se acumulam e, depois de quatro meses, existem noventa mil arquivos que ninguém consegue pesquisar, nos quais o mesmo anúncio aparece duzentas vezes porque um parâmetro de rastreamento mudou, e que nenhum estrategista abre porque encontrar qualquer coisa demora mais do que perguntar a um colega.

O problema de engenharia não é adquirir criativos. É deduplicação e metadados. Acerte essas duas coisas e uma biblioteca modesta se torna genuinamente útil. Erre e o volume piora as coisas, em vez de melhorá-las.

Colete primeiro das fontes permitidas

Antes de construir qualquer coisa, use as bibliotecas de anúncios das plataformas. Meta, Google, TikTok e LinkedIn publicam arquivos pesquisáveis de publicidade ativa, e são a fonte mais barata, mais completa e mais defensável de criativos de concorrentes que existe.

Elas fornecem o ativo, o anunciante, as datas de veiculação e frequentemente as superfícies, em um formato pensado para consulta. Comece por aí e construa a coleta apenas para o que elas não cobrem: posicionamentos de display e nativos, retail media, conteúdo de afiliados, posicionamentos em e-mail e newsletter, e ativos de landing page.

Essa ordem importa tanto comercialmente quanto legalmente. Esforço de engenharia gasto recoletando o que um arquivo já publica é esforço não gasto nas partes que ninguém tem.

Deduplicação é o sistema inteiro

O mesmo criativo chega até você muitas vezes: reveiculado com parâmetros de rastreamento diferentes, redimensionado para posicionamentos diferentes, recomprimido por uma CDN, reenviado pelo anunciante sem alterações, ou capturado duas vezes pelo seu próprio coletor.

O hash exato de arquivo não resolve isso, porque um único byte de diferença produz um hash diferente e as CDNs produzem essas diferenças o tempo todo. O que funciona é uma identidade em camadas.

Hashing perceptual para imagens. Um hash calculado a partir da estrutura da imagem em vez dos bytes, de modo que uma versão redimensionada ou recomprimida do mesmo criativo fique próxima do original. Armazene o hash e agrupe por limiar de distância, em vez de igualdade.

Amostragem de frames para vídeo. Hashes perceptuais de frames em intervalos fixos, mais a duração. Um vídeo recodificado em um bitrate diferente combina; um corte genuinamente diferente não.

Texto de copy normalizado. O título e o corpo do texto com caixa, pontuação e espaços em branco normalizados. O copy é frequentemente o identificador mais estável quando o próprio ativo foi reformulado.

Uma família de criativos, não um registro plano. Agrupe variantes sob um pai e mantenha cada variante vinculada a ele. A contagem de variantes é um sinal real, já que um concorrente produzindo quarenta variantes de um conceito está testando, e isso vale a pena saber.

Escolha o limiar de distância empiricamente, revisando manualmente uma amostra de pares combinados e não combinados, e registre as taxas resultantes de falsa fusão e falsa divisão. Sem esses números, ninguém consegue dimensionar o erro em um relatório construído sobre a biblioteca.

Torne pesquisável, o que significa extrair texto

Uma imagem que ninguém consegue pesquisar é apenas um arquivo. A maior parte do valor de uma biblioteca de criativos está em poder perguntar quais concorrentes estão usando determinada alegação, e isso exige as palavras.

Execute OCR sobre os criativos de imagem para capturar o copy embutido na imagem, que frequentemente é onde a oferta real está. Transcreva vídeo e áudio. Depois, indexe o texto extraído junto com os metadados estruturados. Esse único passo é a diferença entre uma biblioteca que é usada e um arquivo que é esquecido.

Armazene o texto extraído como um campo próprio, em vez de sobrescrever qualquer coisa, e mantenha a pontuação de confiança. O OCR em copy publicitário estilizado é imperfeito, e uma extração de baixa confiança deve ser visivelmente de baixa confiança, em vez de silenciosamente errada.

O esquema de metadados

O ativo é a metade menor de um registro.

CampoNotas
ID da família de criativosO pai da deduplicação, para que as variantes se agrupem
Hash perceptualMais o algoritmo e o limiar usados, para que os resultados permaneçam reprodutíveis
Anunciante conforme exibidoQue difere da marca-mãe com mais frequência do que se espera
Superfície e posicionamentoBusca, feed, display, nativo, retail media, e-mail
MercadoPaís, e cidade onde o posicionamento é local
Primeira e última vez vistoA janela de veiculação conforme observada por você, não conforme alegada
Ponto de observaçãoPaís e cidade de saída de onde veio a observação
Perfil de dispositivoDesktop ou móvel, já que o criativo difere
Texto extraídoOCR ou transcrição, com pontuação de confiança
URL de destino e cadeia de redirecionamentoOnde a oferta realmente está
FonteDe qual biblioteca de anúncios ou qual posicionamento observado ela veio

Primeira e última vez visto são o que transformam uma biblioteca em uma linha do tempo. Um criativo que rodou por quatro meses é um desempenho comprovado; um que rodou por seis dias foi um teste malsucedido. Essa distinção é a maior parte do valor estratégico e custa um campo.

A camada de coleta

Duas propriedades importam para as partes que as bibliotecas de anúncios não cobrem.

O criativo de display e nativo é direcionado, então o ponto de observação determina o que é servido a você. Proxies residenciais com direcionamento por país permitem que a coleta de cada mercado venha daquele mercado. Com o gateway da Shifter, o direcionamento e a sessão vão nas credenciais contra p.shifter.io:443:

customer-USERNAME-country-de-sid-creative-de-07-ttl-600:PASSWORD

country-de define o mercado e sid-creative-de-07 mantém uma saída ao longo de uma passagem de coleta, de modo que os criativos em um snapshot pertençam a uma sessão coerente, em vez de vários pontos de observação misturados.

A segunda propriedade é a largura de banda, e a coleta de criativos é incomumente pesada porque o payload é o ponto central. Imagens e vídeos são o ativo, então o conselho usual de bloqueá-los não se aplica. Em vez disso, controle o volume: deduplique antes de baixar sempre que a fonte expuser uma URL de ativo que você possa fazer hash ou comparar com o que já possui, evite recoletar uma família de criativos da qual você já tem variantes, e limite a resolução onde uma miniatura responde à pergunta. O dimensionamento do pipeline é abordado em previsão de largura de banda de proxy residencial, e as alavancas de custo em reduzindo custos de largura de banda de proxy.

Mantenha as taxas de requisição normais com backoff real, como em limitação de taxa e regulação de requisições.

Direitos autorais, claramente

O criativo de um concorrente é sua obra protegida por direitos autorais. Coletá-lo para análise competitiva interna é pesquisa comercial comum. Republicá-lo não é.

As regras práticas que mantêm uma biblioteca defensável: mantenha-a interna, com controle de acesso, e não a exiba em nada voltado ao cliente ou público. Não use o ativo de um concorrente em sua própria publicidade, no seu site ou em conteúdo publicado. Atribua a fonte em apresentações internas e mantenha a fonte e a data em cada registro. Defina um período de retenção, em vez de manter tudo para sempre. E busque orientação antes de qualquer uso externo, incluindo em uma apresentação de vendas que sai da empresa.

Não clique em anúncios de concorrentes para chegar ao criativo ou à landing page deles. Um clique custa dinheiro a eles, o que transforma observação em interferência; resolva o destino a partir do markup e da cadeia de redirecionamento em vez disso. O enquadramento mais amplo está em proxies residenciais para inteligência de anúncios de concorrentes.

Para que serve uma biblioteca funcional

Quatro perguntas justificam a construção, e todas são consultas sobre metadados, em vez de navegação sobre ativos.

Quais alegações os concorrentes estão fazendo, e onde. Uma busca textual no copy extraído, segmentada por mercado.

O que sobrevive. Criativos classificados pelo tempo de veiculação observado, que é o proxy público mais próximo do que performa bem.

O que está sendo testado. Contagens de variantes por família de criativos, e com que rapidez novas famílias aparecem.

Quando o posicionamento mudou. Uma linha do tempo de datas de primeira observação para famílias que carregam uma nova alegação, o que frequentemente mostra um lançamento mercado por mercado.

Perguntas frequentes

Até quando no passado uma biblioteca deve ir?

O suficiente para estabelecer o que persiste, o que geralmente significa um ano. Retenção além disso raramente muda uma decisão e aumenta a exposição de direitos autorais que você está mantendo.

Devo armazenar os ativos ou apenas as URLs?

Armazene os ativos. As URLs de criativos expiram, e uma biblioteca de links mortos não é uma biblioteca. Armazene a URL também, para proveniência.

Qual é o motivo mais comum para esses projetos falharem?

Nenhuma deduplicação, seguida por nenhuma extração de texto. O primeiro torna a biblioteca inutilizável pelo volume, o segundo a torna impesquisável.

Posso mostrar criativos de concorrentes em um post público de blog ou em um anúncio?

Não sem orientação. A análise interna é o uso seguro. A publicação é uma decisão de direitos autorais de outra pessoa, não sua.

Conclusão

Uma biblioteca de criativos de concorrentes é um produto de metadados com arquivos anexados. Consulte primeiro as bibliotecas de anúncios oficiais, colete apenas o que elas não cobrem, dê a cada ativo uma identidade perceptual para que as variantes se agrupem em vez de se acumularem, extraia o texto para que a coisa seja pesquisável e registre a primeira e a última vez vistas para que você possa distinguir um criativo comprovado de um teste malsucedido.

Mantenha-a interna, mantenha a proveniência e trate o criativo de outra pessoa como propriedade de outra pessoa. A visão do produto está na página de marketing e adtech, com preços na página de preços.

Pronto para começar?

Experimente os proxies residenciais da Shifter, mais de 205M IPs, mais de 195 países, a partir de $ 0,75/GB.

Começar