Proxies residenciais para dados de recrutamento e mercado de trabalho

Vagas de emprego são um dos conjuntos de dados públicos mais ricos da web. Lidas em escala, elas mostram para que as empresas estão contratando, onde estão se expandindo, quais habilidades estão em demanda e quanto o mercado paga, a matéria-prima por trás do sourcing de talentos, do benchmarking salarial, do planejamento de força de trabalho e da inteligência competitiva. Mas há um detalhe que silenciosamente compromete a maioria das tentativas de coletá-los: os dados de vagas são servidos por localização e os grandes portais são fortemente defendidos. O que o Indeed mostra a um candidato em Chicago difere do que mostra a um em Berlim, e o contexto salarial, o conjunto de vagas e até quais funções aparecem mudam conforme o mercado.

Isso transforma a coleta de dados do mercado de trabalho em um problema de acesso. Tente fazer scraping de um portal de vagas a partir de um IP de datacenter ou de uma única localização de escritório, e você será bloqueado, receberá um CAPTCHA, ou será exibido apenas as vagas de um mercado como se fossem o panorama completo. É aqui que os proxies residenciais entram: eles permitem coletar vagas exatamente como um candidato real em qualquer mercado as veria, o que é a única forma de o conjunto de dados sair completo e correto. Veja como, e por que isso importa.

O que os “dados do mercado de trabalho” realmente cobrem

No fundo, trata-se de coletar sistematicamente vagas públicas e os sinais contidos nelas, nos portais e páginas de carreira onde as funções são anunciadas:

• Vagas e detalhes da função — título, empresa, localização, descrição, senioridade, e as habilidades e requisitos listados.
• Remuneração — faixas salariais publicadas e benefícios, a espinha dorsal do benchmarking de remuneração.
• Volume e velocidade de contratação — quantas vagas uma empresa ou setor está publicando, e com que rapidez, um sinal antecipado de expansão ou contração.
• Localização e modelo de trabalho — onde as empresas estão contratando e se as funções são remotas, híbridas ou presenciais.

As equipes usam isso para recrutamento e sourcing de talentos (quais empresas estão contratando para as funções que você coloca), analytics de remuneração e RH (faixas salariais por função e mercado), pesquisa de mercado de trabalho e força de trabalho (demanda por habilidades e tendências de contratação), inteligência competitiva (a contratação de um concorrente revela seu roadmap, o que se sobrepõe aos sinais de contratação em dados alternativos), e prospecção B2B (uma empresa que está contratando muitas vezes é um sinal de compra, veja proxies para geração de leads B2B). Tudo isso depende de capturar o que um candidato real naquele mercado realmente vê. E o que ele vê depende inteiramente de onde ele parece estar buscando.

Por que isso é um problema de proxy

Três propriedades dos dados de vagas fazem de sua coleta um problema que recai exatamente sobre a camada de proxy.

Os resultados de vagas são servidos por geolocalização. Os portais adaptam as listagens à localização de quem busca: a mesma consulta retorna funções diferentes, contexto salarial diferente e um conjunto de resultados diferente em cada país ou cidade, e muitos portais usam por padrão a localização detectada do visitante. Se toda a sua coleta é feita a partir de um único lugar, você mede os dados de vagas de um mercado e os trata como universais, o que simplesmente está errado para todos os outros mercados que você cobre. Ver as vagas e dados salariais reais de um mercado exige consultar a partir daquele mercado, que é exatamente para isso que serve o direcionamento em nível de cidade.

Os grandes portais se defendem com força. LinkedIn, Indeed, Glassdoor e os principais portais executam sistemas agressivos de anti-bot. Um IP de datacenter é sinalizado à primeira vista e recebe um CAPTCHA, um bloqueio ou um muro de login, então você registra a versão de bot, não a listagem real que um candidato vê. (Por que scrapers são bloqueados cobre os mecanismos.) IPs residenciais carregam confiança de usuário real, então você vê a listagem pública completa que um candidato de verdade recebe.

Velocidade e benchmarking exigem completude. Velocidade de contratação e benchmarks salariais são séries temporais, as mesmas funções, empresas e mercados medidos de forma consistente ao longo do tempo. Coletar isso em muitos portais e mercados representa muitas requisições. A partir de um punhado de IPs você aciona limites de taxa e obtém uma amostra parcial e enviesada, e suas linhas de tendência desenvolvem lacunas exatamente onde um portal reagiu, precisamente as descontinuidades que quebram um benchmark.

A solução para os três casos é a mesma: coletar a partir de IPs que parecem candidatos reais em cada mercado-alvo, de forma completa e contínua.

Onde os proxies residenciais se encaixam

Um proxy residencial roteia suas requisições através de IPs de consumidores reais, de modo que os portais de vagas respondem a você como responderiam a um candidato local genuíno. Especificamente para dados do mercado de trabalho, isso libera:

As vagas reais, não a versão de bot. Como os IPs residenciais carregam confiança de usuário real, você captura as vagas públicas reais, as faixas salariais e os conjuntos de resultados que candidatos reais veem, não a versão degradada, bloqueada ou com muro de login servida a tráfego suspeito.

Cobertura precisa por mercado. Com geo-targeting até o nível de país e cidade, você pode coletar dados de vagas como um candidato em cada mercado, capturando funções e remuneração dos EUA a partir dos EUA, listagens alemãs a partir da Alemanha, cada uma rotulada por ponto de vista. Agora seus benchmarks salariais e dados de tendência de contratação se baseiam em resultados reais por mercado, não em uma localização extrapolada.

Séries completas e contínuas. Um grande pool rotativo distribui as requisições para que você possa rastrear muitas funções em muitos portais e mercados ao longo do tempo sem ser bloqueado, mantendo sua série de velocidade de contratação e benchmarking completa em vez de irregular. (Os mesmos princípios de qualidade de coleta de proxies residenciais para coleta de dados se aplicam, e como construir um conjunto de dados com web scraping cobre a estruturação do resultado.)

Em termos simples: proxies residenciais transformam “as vagas que nosso escritório por acaso viu” em “as vagas que um candidato real vê em cada mercado que cobrimos”.

Como funciona

No gateway do Shifter, você direciona para um mercado codificando-o no nome de usuário do proxy, um único endpoint, sem listas de IP para gerenciar:

# Coletar listagens de vagas como um candidato nos EUA
curl -x customer-USERNAME-country-us:PASSWORD@p.shifter.io:443 https://job-board.example/search

# Restringir a uma cidade quando listagens e remuneração são locais
curl -x customer-USERNAME-country-de-city-berlin:PASSWORD@p.shifter.io:443 https://job-board.example/search

Alterne pelo pool para uma coleta ampla e contínua, ou mantenha uma sessão fixa quando o fluxo de um portal exigir uma identidade consistente ao longo de resultados paginados. Mesmo gateway, direcionamento diferente por requisição, alimentando qualquer pipeline de coleta e analytics que sua equipe utilize. Como a qualidade do IP molda o que é servido a você, entender a reputação de IP ajuda a manter o conjunto de dados limpo. Ser bloqueado consistentemente em vez de ocasionalmente aponta para qualidade do IP ou comportamento da requisição, não para a geolocalização, veja como evitar ser bloqueado ao fazer scraping.

Usando isso de forma responsável

Esta é a parte que mais importa para dados de vagas: colete vagas públicas, não pessoas. Os portais de vagas misturam listagens públicas com dados pessoais, perfis de candidatos, currículos e identidades de avaliadores, e essas informações pessoais não são um alvo válido. Atenha-se a vagas públicas e sinais agregados, respeite os termos e limites de taxa de cada portal, não degrade os sites que você consulta, e mantenha distância de dados pessoais. Os termos dos portais de vagas costumam ser rígidos e o cenário legal em torno de dados pessoais é real, veja o web scraping é legal e busque aconselhamento para qualquer coisa incerta. Um proxy muda de qual IP uma requisição vem, não se você deveria estar fazendo essa requisição; nossa política de uso aceitável é a fonte definitiva sobre o que é permitido no Shifter.

Perguntas frequentes

Por que preciso de proxies para dados do mercado de trabalho? Porque os portais de vagas servem listagens por localização e se defendem fortemente contra bots. A partir de uma única localização ou de um IP de datacenter, você vê as vagas de um único mercado (ou uma versão bloqueada/com CAPTCHA/com muro de login). Proxies residenciais permitem coletar como um candidato real em cada mercado, de modo que as vagas e os dados salariais que você captura são os reais, por mercado.

Os dados de vagas realmente mudam tanto por mercado? Sim. O conjunto de listagens, o contexto salarial e até quais funções aparecem variam por país e cidade, e os portais frequentemente usam por padrão a localização de quem busca. Coletar a partir de um único lugar dá a você a resposta de um mercado e distorce todos os outros lugares.

Posso coletar perfis de candidatos ou currículos dessa forma? Não. Isso é dado pessoal, e está fora dos limites. Dados do mercado de trabalho significam vagas públicas e sinais agregados de contratação, não informações pessoais das pessoas. Mantenha a coleta em listagens públicas e busque aconselhamento jurídico para qualquer coisa que envolva dados pessoais.

Proxies residenciais ou de datacenter para portais de vagas? Residenciais. Os principais portais detectam e tratam IPs de datacenter de forma diferente, então datacenter resulta em bloqueios, CAPTCHAs ou muros de login. IPs residenciais veem as listagens reais, públicas e geograficamente precisas que um candidato genuíno veria.

Fazer scraping de vagas é legal? Vagas públicas são geralmente dados voltados ao público, e coletá-las é amplamente aceitável quando feito de forma responsável, respeitando termos e limites de taxa e evitando dados pessoais. O lado dos dados pessoais é onde a questão fica juridicamente sensível. Um proxy não muda a legalidade da atividade subjacente; busque aconselhamento jurídico para qualquer coisa incerta.

Conclusão

Vagas de emprego são uma mina de ouro para recrutamento, remuneração e inteligência de mercado, mas apenas se os dados forem os dados que um candidato real vê, e como os portais servem listagens por localização e se defendem fortemente contra bots, coletar a partir de um único IP de escritório dá a você a fatia de um mercado disfarçada de panorama completo. Para fazer isso corretamente, você precisa coletar como um candidato real em cada mercado-alvo, de forma completa e contínua, que é exatamente o que os proxies residenciais fornecem: as listagens públicas reais, cobertura geograficamente precisa, e uma série ininterrupta para velocidade e benchmarking, sem ser bloqueado.

Se sua equipe trabalha com dados de recrutamento ou de mercado de trabalho, uma rede de proxies residenciais de qualidade é a camada de acesso que torna o conjunto de dados preciso e completo, coletado de forma responsável sobre vagas públicas. A qualidade do pool determina o quão completa é essa cobertura, então vale a pena entender a reputação de IP conforme você avalia. A página de preços tem os planos por GB para testar contra os portais e mercados que importam para você.