Proxies são legais de usar nos EUA, no Reino Unido e na UE. Não há nada de ilícito em rotear seu tráfego por um servidor intermediário, e empresas de todos os tamanhos fazem isso rotineiramente para testes, monitoramento, pesquisa de segurança e coleta de dados.
A pergunta mais difícil não é se os proxies são legais, mas o que você faz com eles, e é aí que a resposta se torna específica: quanto aos dados, à jurisdição e a se um login está envolvido.
Este artigo é informação geral, não aconselhamento jurídico. Busque orientação sobre sua própria situação antes de iniciar um projeto de qualquer escala.
O Que É Legal Coletar, e O Que Não É
A distinção mais importante não é técnica. É se os dados estão atrás de uma barreira de acesso.
Geralmente defensável:
- Dados publicamente disponíveis que qualquer pessoa pode ver sem uma conta: listagens de produtos, preços, perfis públicos, artigos publicados, resultados de busca.
- Dados que você coleta em um ritmo que não degrada o serviço para ninguém mais.
- Fatos, preços e outras informações que não são, elas mesmas, protegidas por direitos autorais.
Substancialmente mais arriscado:
- Qualquer coisa atrás de um login, particularmente quando você concordou com termos para obter a conta.
- Contornar um controle de acesso técnico em vez de simplesmente solicitar uma página pública.
- Dados pessoais sobre indivíduos identificáveis, o que traz a legislação de proteção de dados para o jogo independentemente de a página ser pública.
- Reprodução integral de conteúdo protegido por direitos autorais, ou extração de uma parte substancial de um banco de dados protegido.
Termos de serviço são contrato, não crime
Os termos de um site podem proibir acesso automatizado. Violá-los é geralmente uma questão contratual: pode sustentar uma ação por quebra de contrato, e é um risco jurídico genuíno, mas é uma categoria diferente da legislação sobre uso indevido de computadores.
A distinção se estreita quando você aceitou os termos explicitamente, tipicamente ao criar uma conta. Fazer scraping de páginas públicas para as quais você nunca concordou com termos está em terreno muito mais firme do que fazer scraping de dentro de uma conta cujos termos você aceitou com um clique.
Direitos autorais e direitos de banco de dados
Fatos não são passíveis de direitos autorais. Um preço é um fato. Uma lista de produtos é, em grande parte, factual. Reproduzir texto de artigos, fotografias ou descrições literalmente é uma questão diferente, e coletá-los em escala para republicação é a forma mais clara de atrair uma reivindicação.
A UE acrescenta um direito de banco de dados específico, separado dos direitos autorais, que protege investimento substancial na compilação de um banco de dados mesmo quando os fatos individuais não são protegidos. Extrair uma parte substancial de tal banco de dados pode infringi-lo mesmo que nenhum item isolado seja protegido.
Dados pessoais mudam tudo
Se o que você coleta identifica uma pessoa viva, a legislação de proteção de dados se aplica independentemente de a página ser pública. Sob o GDPR, você precisa de uma base legal para o processamento, e interesses legítimos exigem um exercício de ponderação que você deve ser capaz de comprovar. Direitos do titular, limites de retenção e obrigações de transparência decorrem disso. Um perfil público no LinkedIn é dado público e dado pessoal ao mesmo tempo.
Como as Regras Diferem por Região
| Região | Framework principal | Posição sobre scraping público | A principal armadilha |
|---|---|---|---|
| EUA | Computer Fraud and Abuse Act, legislação estadual | Os tribunais têm relutado em tratar o scraping de páginas públicas como acesso não autorizado | Ações contratuais e leis de privacidade estaduais como a CCPA |
| Reino Unido | Computer Misuse Act, UK GDPR, direito de banco de dados | A coleta de dados públicos não é inerentemente ilegal | O UK GDPR se aplica a dados pessoais; o direito de banco de dados protege conjuntos compilados |
| UE | GDPR, Diretiva de Bancos de Dados, Diretiva DSM | Similar ao Reino Unido, com uma isenção explícita de mineração de texto e dados para pesquisa | O GDPR é rigoroso, e o direito de banco de dados é mais amplo do que a maioria espera |
A jurisdição raramente tem uma resposta única. Três localizações importam ao mesmo tempo: onde você está, onde estão seus servidores, e onde estão o site alvo e seus usuários. Uma empresa dos EUA fazendo scraping de um site alemão sobre residentes da UE está lidando com a lei da UE independentemente de onde seu scraper roda.
Origem Ética de IPs
Redes de proxy residencial são construídas a partir de conexões domésticas de pessoas reais. Como essas pessoas passaram a participar é a questão em aberto mais importante do setor, e vale a pena perguntar diretamente antes de comprar.
Uma rede bem administrada recruta participantes que sabem com o que estão concordando: geralmente usuários de um aplicativo aos quais é oferecido algo de valor, um nível sem anúncios ou uma recompensa paga, em troca de uma parte de sua largura de banda ociosa. Eles são informados claramente, podem sair, e o provedor audita quais aplicativos carregam seu código.
Uma mal administrada empacota a capacidade em software gratuito como uma linha de letras miúdas que ninguém lê, ou pior, a distribui dentro de aplicativos que o usuário nunca instalou conscientemente. Redes construídas dessa forma já foram alvo de ações de fiscalização e de pesquisas que as relacionam a dispositivos comprometidos.
Isso importa comercialmente, não apenas eticamente. Um pool montado sem consentimento é instável, tem mais probabilidade de conter máquinas comprometidas, e expõe você a risco de reputação caso o provedor vire notícia.
O que perguntar antes de comprar
- Como os participantes entram na rede, e o que lhes é informado?
- O que eles recebem em troca, e podem sair a qualquer momento?
- Vocês auditam os aplicativos que carregam seu SDK?
- Quais certificações de conformidade vocês possuem, e podem apresentar os relatórios?
- Qual é a política quando um abuso é reportado em um endereço?
A Shifter mantém conformidade com SOC 2 Type II, GDPR e HIPAA, e esses são os tipos de credencial que vale a pena pedir para qualquer provedor comprovar em vez de aceitar por confiança.
Proxies São Seguros?
Segurança se divide em duas perguntas.
O tráfego é seguro? Com um provedor pago e confiável, sim. Sua conexão com o proxy é criptografada, e o provedor tem uma razão comercial para protegê-la. Com um proxy público gratuito, não. O operador paga custos reais de largura de banda e os recupera de alguma forma: registrando o que passa por ele, injetando ou substituindo conteúdo, ou revendendo sua conexão. Listas gratuitas também são compartilhadas com milhares de estranhos e já estão bloqueadas na maioria dos sites comerciais.
Você está anônimo? Não, e vale a pena ser direto sobre isso. Um proxy muda o endereço IP que um site vê. Ele não afeta cookies, fingerprints de navegador, estado de login ou histórico de conta, e seu provedor pode ver seu tráfego. Trate um proxy como uma ferramenta para gerenciar localização e taxa de requisições, não como uma garantia de privacidade.
Orientação Prática
- Prefira dados públicos. A posição jurídica é muito mais clara fora de um login.
- Respeite o robots.txt e os limites de taxa. Nenhum dos dois é juridicamente vinculante na maioria das jurisdições, mas ignorá-los torna qualquer disputa mais difícil de defender e degrada o serviço de outra pessoa.
- Colete o mínimo. Uma coleta mais restrita significa menos exposição tanto sob a proteção de dados quanto sob o direito de banco de dados.
- Evite dados pessoais a menos que você tenha pensado bem no assunto. Se precisar coletá-los, documente sua base legal antes de começar.
- Mantenha registros. O que você coletou, quando, por quê e sob qual base. Se alguma questão surgir, registros contemporâneos importam.
- Busque aconselhamento jurídico para qualquer coisa em escala, em um setor regulado, ou envolvendo dados pessoais.
Conclusão
Proxies são legais. O web scraping é legal na grande maioria dos casos envolvendo dados públicos. O risco está nos detalhes: logins, dados pessoais, conteúdo protegido por direitos autorais e extração substancial de banco de dados, e varia por jurisdição.
Escolha um provedor que possa explicar de onde vêm seus endereços IP, mantenha a coleta em dados públicos sempre que possível, e busque aconselhamento antes de se comprometer com algo grande.
Para o lado técnico da coleta, veja proxies para web scraping, e para a taxonomia mais ampla, tipos de proxies.