Extração de dados

Construindo uma Biblioteca de Criativos de Concorrentes com Scraping Automatizado

Uma biblioteca de criativos é um problema de deduplicação e metadados, não um problema de download. Como construir uma que permaneça pesquisável e legal.

Chris Collins

Chris Collins

10 de setembro de 2026 · 9 min de leitura

A maioria das bibliotecas de criativos de concorrentes morre da mesma forma. A coleta funciona, os ativos se acumulam e, depois de quatro meses, existem noventa mil arquivos que ninguém consegue pesquisar, nos quais o mesmo anúncio aparece duzentas vezes porque um parâmetro de rastreamento mudou, e que nenhum estrategista abre porque encontrar qualquer coisa demora mais do que perguntar a um colega.

O problema de engenharia não é adquirir criativos. É deduplicação e metadados. Acerte essas duas coisas e uma biblioteca modesta se torna genuinamente útil. Erre e o volume piora as coisas, em vez de melhorá-las.

Colete primeiro das fontes permitidas

Antes de construir qualquer coisa, use as bibliotecas de anúncios das plataformas. Meta, Google, TikTok e LinkedIn publicam arquivos pesquisáveis de publicidade ativa, e são a fonte mais barata, mais completa e mais defensável de criativos de concorrentes que existe.

Elas fornecem o ativo, o anunciante, as datas de veiculação e frequentemente as superfícies, em um formato pensado para consulta. Comece por aí e construa a coleta apenas para o que elas não cobrem: posicionamentos de display e nativos, retail media, conteúdo de afiliados, posicionamentos em e-mail e newsletter, e ativos de landing page.

Essa ordem importa tanto comercialmente quanto legalmente. Esforço de engenharia gasto recoletando o que um arquivo já publica é esforço não gasto nas partes que ninguém tem.

Deduplicação é o sistema inteiro

O mesmo criativo chega até você muitas vezes: reveiculado com parâmetros de rastreamento diferentes, redimensionado para posicionamentos diferentes, recomprimido por uma CDN, reenviado pelo anunciante sem alterações, ou capturado duas vezes pelo seu próprio coletor.

O hash exato de arquivo não resolve isso, porque um único byte de diferença produz um hash diferente e as CDNs produzem essas diferenças o tempo todo. O que funciona é uma identidade em camadas.

Hashing perceptual para imagens. Um hash calculado a partir da estrutura da imagem em vez dos bytes, de modo que uma versão redimensionada ou recomprimida do mesmo criativo fique próxima do original. Armazene o hash e agrupe por limiar de distância, em vez de igualdade.

Amostragem de frames para vídeo. Hashes perceptuais de frames em intervalos fixos, mais a duração. Um vídeo recodificado em um bitrate diferente combina; um corte genuinamente diferente não.

Texto de copy normalizado. O título e o corpo do texto com caixa, pontuação e espaços em branco normalizados. O copy é frequentemente o identificador mais estável quando o próprio ativo foi reformulado.

Uma família de criativos, não um registro plano. Agrupe variantes sob um pai e mantenha cada variante vinculada a ele. A contagem de variantes é um sinal real, já que um concorrente produzindo quarenta variantes de um conceito está testando, e isso vale a pena saber.

Escolha o limiar de distância empiricamente, revisando manualmente uma amostra de pares combinados e não combinados, e registre as taxas resultantes de falsa fusão e falsa divisão. Sem esses números, ninguém consegue dimensionar o erro em um relatório construído sobre a biblioteca.

Torne pesquisável, o que significa extrair texto

Uma imagem que ninguém consegue pesquisar é apenas um arquivo. A maior parte do valor de uma biblioteca de criativos está em poder perguntar quais concorrentes estão usando determinada alegação, e isso exige as palavras.

Execute OCR sobre os criativos de imagem para capturar o copy embutido na imagem, que frequentemente é onde a oferta real está. Transcreva vídeo e áudio. Depois, indexe o texto extraído junto com os metadados estruturados. Esse único passo é a diferença entre uma biblioteca que é usada e um arquivo que é esquecido.

Armazene o texto extraído como um campo próprio, em vez de sobrescrever qualquer coisa, e mantenha a pontuação de confiança. O OCR em copy publicitário estilizado é imperfeito, e uma extração de baixa confiança deve ser visivelmente de baixa confiança, em vez de silenciosamente errada.

O esquema de metadados

O ativo é a metade menor de um registro.

CampoNotas
ID da família de criativosO pai da deduplicação, para que as variantes se agrupem
Hash perceptualMais o algoritmo e o limiar usados, para que os resultados permaneçam reprodutíveis
Anunciante conforme exibidoQue difere da marca-mãe com mais frequência do que se espera
Superfície e posicionamentoBusca, feed, display, nativo, retail media, e-mail
MercadoPaís, e cidade onde o posicionamento é local
Primeira e última vez vistoA janela de veiculação conforme observada por você, não conforme alegada
Ponto de observaçãoPaís e cidade de saída de onde veio a observação
Perfil de dispositivoDesktop ou móvel, já que o criativo difere
Texto extraídoOCR ou transcrição, com pontuação de confiança
URL de destino e cadeia de redirecionamentoOnde a oferta realmente está
FonteDe qual biblioteca de anúncios ou qual posicionamento observado ela veio

Primeira e última vez visto são o que transformam uma biblioteca em uma linha do tempo. Um criativo que rodou por quatro meses é um desempenho comprovado; um que rodou por seis dias foi um teste malsucedido. Essa distinção é a maior parte do valor estratégico e custa um campo.

A camada de coleta

Duas propriedades importam para as partes que as bibliotecas de anúncios não cobrem.

O criativo de display e nativo é direcionado, então o ponto de observação determina o que é servido a você. Proxies residenciais com direcionamento por país permitem que a coleta de cada mercado venha daquele mercado. Com o gateway da Shifter, o direcionamento e a sessão vão nas credenciais contra p.shifter.io:443:

customer-USERNAME-country-de-sid-creative-de-07-ttl-600:PASSWORD

country-de define o mercado e sid-creative-de-07 mantém uma saída ao longo de uma passagem de coleta, de modo que os criativos em um snapshot pertençam a uma sessão coerente, em vez de vários pontos de observação misturados.

A segunda propriedade é a largura de banda, e a coleta de criativos é incomumente pesada porque o payload é o ponto central. Imagens e vídeos são o ativo, então o conselho usual de bloqueá-los não se aplica. Em vez disso, controle o volume: deduplique antes de baixar sempre que a fonte expuser uma URL de ativo que você possa fazer hash ou comparar com o que já possui, evite recoletar uma família de criativos da qual você já tem variantes, e limite a resolução onde uma miniatura responde à pergunta. O dimensionamento do pipeline é abordado em previsão de largura de banda de proxy residencial, e as alavancas de custo em reduzindo custos de largura de banda de proxy.

Mantenha as taxas de requisição normais com backoff real, como em limitação de taxa e regulação de requisições.

Direitos autorais, claramente

O criativo de um concorrente é sua obra protegida por direitos autorais. Coletá-lo para análise competitiva interna é pesquisa comercial comum. Republicá-lo não é.

As regras práticas que mantêm uma biblioteca defensável: mantenha-a interna, com controle de acesso, e não a exiba em nada voltado ao cliente ou público. Não use o ativo de um concorrente em sua própria publicidade, no seu site ou em conteúdo publicado. Atribua a fonte em apresentações internas e mantenha a fonte e a data em cada registro. Defina um período de retenção, em vez de manter tudo para sempre. E busque orientação antes de qualquer uso externo, incluindo em uma apresentação de vendas que sai da empresa.

Não clique em anúncios de concorrentes para chegar ao criativo ou à landing page deles. Um clique custa dinheiro a eles, o que transforma observação em interferência; resolva o destino a partir do markup e da cadeia de redirecionamento em vez disso. O enquadramento mais amplo está em proxies residenciais para inteligência de anúncios de concorrentes.

Para que serve uma biblioteca funcional

Quatro perguntas justificam a construção, e todas são consultas sobre metadados, em vez de navegação sobre ativos.

Quais alegações os concorrentes estão fazendo, e onde. Uma busca textual no copy extraído, segmentada por mercado.

O que sobrevive. Criativos classificados pelo tempo de veiculação observado, que é o proxy público mais próximo do que performa bem.

O que está sendo testado. Contagens de variantes por família de criativos, e com que rapidez novas famílias aparecem.

Quando o posicionamento mudou. Uma linha do tempo de datas de primeira observação para famílias que carregam uma nova alegação, o que frequentemente mostra um lançamento mercado por mercado.

Perguntas frequentes

Até quando no passado uma biblioteca deve ir?

O suficiente para estabelecer o que persiste, o que geralmente significa um ano. Retenção além disso raramente muda uma decisão e aumenta a exposição de direitos autorais que você está mantendo.

Devo armazenar os ativos ou apenas as URLs?

Armazene os ativos. As URLs de criativos expiram, e uma biblioteca de links mortos não é uma biblioteca. Armazene a URL também, para proveniência.

Qual é o motivo mais comum para esses projetos falharem?

Nenhuma deduplicação, seguida por nenhuma extração de texto. O primeiro torna a biblioteca inutilizável pelo volume, o segundo a torna impesquisável.

Posso mostrar criativos de concorrentes em um post público de blog ou em um anúncio?

Não sem orientação. A análise interna é o uso seguro. A publicação é uma decisão de direitos autorais de outra pessoa, não sua.

Conclusão

Uma biblioteca de criativos de concorrentes é um produto de metadados com arquivos anexados. Consulte primeiro as bibliotecas de anúncios oficiais, colete apenas o que elas não cobrem, dê a cada ativo uma identidade perceptual para que as variantes se agrupem em vez de se acumularem, extraia o texto para que a coisa seja pesquisável e registre a primeira e a última vez vistas para que você possa distinguir um criativo comprovado de um teste malsucedido.

Mantenha-a interna, mantenha a proveniência e trate o criativo de outra pessoa como propriedade de outra pessoa. A visão do produto está na página de marketing e adtech, com preços na página de preços.

Pronto para começar?

Experimente os proxies residenciais da Shifter, mais de 205M IPs, mais de 195 países, a partir de $ 0,75/GB.

Começar