A maioria dos projetos de scraping chega à equipe jurídica tarde, como um pedido de aprovação para algo que já foi construído. Essa é a forma mais lenta de obter aprovação. As perguntas que os advogados fazem são previsíveis, e uma equipe que as responde antecipadamente costuma obter uma decisão em dias em vez de semanas.
Esta lista estabelece as perguntas, agrupadas da forma como uma revisão jurídica costuma ocorrer, com o motivo pelo qual cada uma importa e como é uma boa resposta. Foi escrita para os engenheiros e líderes de dados que trazem o projeto, para que saibam o que preparar.
Isto é informação geral, não aconselhamento jurídico. As regras variam por país e mudam rapidamente, e seu próprio departamento jurídico decide o que se aplica ao seu projeto.
1. Quais dados, exatamente?
As primeiras perguntas são sobre escopo, e respostas vagas aqui atrasam tudo o que vem depois.
- Quais campos você vai coletar? Liste-os. “Dados de produto” não é uma resposta; “nome do produto, preço, moeda, status de estoque e URL” é.
- De quais sites, e quantas páginas? Nomeie as fontes, o volume e a frequência.
- Para que serve? O propósito decide boa parte do que vem a seguir: monitoramento interno de preços, um recurso de produto, revenda ou treinamento de um modelo de IA levantam questões diferentes.
- Você precisa de tudo isso? Espere que peçam para remover campos que não servem ao propósito.
Uma boa resposta é um escopo de uma página com um registro de exemplo e uma lista de campos, cada campo vinculado ao propósito.
2. Algum dado é dado pessoal?
Esta é frequentemente a pergunta mais importante, e a que as equipes mais erram ao presumir que público significa irrestrito.
- Algum campo poderia identificar uma pessoa, sozinho ou combinado com outros? Nomes, nomes de usuário, fotos, URLs de perfil e dados de contato contam. O mesmo vale para avaliações e publicações com um autor associado.
- De quem são os dados, e onde essas pessoas vivem? A legislação de proteção de dados europeia e do Reino Unido se aplica a dados pessoais de pessoas nessas regiões, independentemente de onde o coletor esteja baseado, e não faz exceção para dados disponíveis publicamente.
- Qual é a base legal, e alguém ponderou o interesse do projeto em relação aos direitos das pessoas?
- Como as pessoas serão informadas? Quando dados são coletados sobre pessoas em vez de a partir delas, a lei ainda espera que elas sejam informadas, e reguladores já multaram empresas que construíram bancos de dados a partir de material postado publicamente.
- Você consegue evitar isso? A melhor resposta costuma ser excluir campos pessoais no momento da coleta.
Uma boa resposta mostra quais campos são pessoais, por que cada um é necessário, e como o restante é filtrado antes do armazenamento. Se dados pessoais forem centrais ao projeto, espere uma avaliação de impacto formal. Nossa visão geral de conformidade com o GDPR cobre o básico.
3. De onde vêm os dados?
O jurídico vai querer saber exatamente que tipo de acesso o projeto utiliza.
- Tudo é publicamente visível sem necessidade de login? Dados atrás de um login são uma questão diferente: coletá-los geralmente significa aceitar os termos do site, e casos nos EUA já giraram exatamente em torno disso. No litígio entre hiQ e LinkedIn, a hiQ venceu decisões iniciais sobre a lei antihacking, mas depois foi considerada violadora do contrato de usuário, em parte por meio de contas falsas, e o caso terminou com uma liminar e uma ordem para destruir os dados.
- Você aceitou os termos do site? Se uma conta ou um acordo clicado estiver envolvido, o jurídico vai ler esses termos. Um tribunal dos EUA decidiu em 2024 que os termos da Meta não impediam a coleta de dados públicos sem login, o que mostra por que os casos com e sem login são tratados de forma tão diferente.
- O que dizem o robots.txt e outros sinais de opt-out? Mesmo quando o robots.txt não é legalmente vinculante, o jurídico vai perguntar se você o respeita. Para treinamento de IA na UE, reservas legíveis por máquina têm peso legal. Nosso guia sobre robots.txt e opt-outs de IA cobre os sinais.
- Existe uma API oficial ou uma licença? Se um site oferece seus dados por meio de uma API ou mediante pagamento, o jurídico vai perguntar por que você não está usando essa via.
Uma boa resposta lista cada fonte com seu tipo de acesso (público, com login, API), seus termos e sua posição quanto ao robots.txt, verificados em uma data informada.
4. Como você vai coletar os dados?
O método importa, separadamente dos dados. Alegações baseadas em como um site foi acessado já prevaleceram em tribunal mesmo quando alegações sobre os próprios dados falharam: no caso da X Corp em 2024 contra uma empresa de dados, o tribunal rejeitou as alegações sobre scraping e revenda de publicações públicas, mas depois permitiu que seguissem adiante as alegações sobre sobrecarga de servidor.
- Com que velocidade, e com que carga? Declare a taxa de requisições por site e como ela se adapta a erros e respostas lentas.
- Algo contorna um controle de acesso? Logins, paywalls e medidas técnicas que restringem acesso são onde o risco legal aumenta drasticamente. Espere uma pergunta firme aqui.
- Como vocês se identificam? O jurídico pode perguntar se o coletor se identifica ou fornece um contato.
- Quem fornece a infraestrutura? Se você usa uma rede de proxies ou um serviço de scraping, o jurídico vai perguntar como o provedor obtém seus endereços IP e o que ele registra. Nosso texto explicativo sobre como os provedores obtêm IPs residenciais de forma ética cobre o que perguntar a um fornecedor.
Uma boa resposta descreve a configuração de coleta em termos simples: taxas, comportamento de retry e backoff, como bloqueios são tratados, e uma declaração de que o projeto não contorna logins ou paywalls.
5. Quem é o dono dos dados, e o que você pode fazer com eles?
Coletar dados não torna você seu dono. O jurídico vai separar o que você pode usar livremente do que permanece pertencendo a outra pessoa.
- São fatos ou conteúdo? Preços, datas e contagens geralmente não são protegidos por direitos autorais. O texto de artigos, fotos e a redação de avaliações são.
- Vêm de um banco de dados europeu? Na UE e no Reino Unido, o criador de um banco de dados que investiu substancialmente nele pode impedir que outros extraiam uma parte substancial, mesmo quando cada item é um simples fato.
- Você vai compartilhar, vender ou publicar os dados? Análise interna, um recurso voltado ao cliente e revenda carregam, cada um, mais risco que o anterior.
- Isso vai treinar um modelo de IA? Espere perguntas sobre opt-outs, a origem de cada parte do conjunto de dados, e como a aquisição foi documentada. Decisões recentes nos EUA trataram como o material de treinamento foi adquirido como uma questão separada de como foi usado.
Uma boa resposta separa o conjunto de dados em fatos, dados derivados e conteúdo copiado, e explica o que sai da empresa. Nosso guia sobre quem é o dono dos dados obtidos por scraping cobre essas camadas em profundidade.
6. Onde os dados vão ficar, e por quanto tempo?
- Onde são armazenados e processados? A jurisdição afeta quais leis se aplicam, e a localização dos seus pontos de saída de proxy não é a mesma coisa que a localização dos seus dados. Veja a residência de dados não é a localização do proxy.
- Quem pode acessá-los? Espere perguntas sobre controle de acesso e segurança, especialmente para qualquer coisa pessoal.
- Por quanto tempo você vai mantê-los? Tenha um período de retenção e uma forma de excluir dados quando ele terminar.
- Você consegue remover um registro ou fonte específica a pedido? Se uma pessoa ou o dono de um site solicitar, você precisa conseguir encontrar e excluir o que veio dela.
Uma boa resposta nomeia o local de armazenamento, o grupo de acesso, o período de retenção e o processo de exclusão.
7. Quem é o responsável, e o que acontece se alguém se opuser?
- Quem é o dono do projeto? Uma pessoa nomeada que pode responder perguntas e interromper a coleta.
- O que está documentado? Fontes, datas, configurações e alterações, mantidas de forma que você possa mostrar mais tarde o que foi coletado e como. O monitoramento ajuda aqui também; veja como monitorar um pipeline de web scraping.
- O que acontece se um site enviar uma reclamação ou uma notificação de cessação? O jurídico vai querer um plano: quem a recebe, com que rapidez a coleta daquela fonte pode ser pausada, e quem decide o que acontece a seguir.
- Quando o projeto será revisado novamente? Sites mudam seus termos e sinais; uma revisão anual, ou sempre que o propósito mudar, é comum.
Uma boa resposta nomeia o responsável, aponta para a documentação, e descreve um procedimento de interrupção que pode ser executado no mesmo dia.
Um resumo de admissão de uma página
Traga isto para a primeira reunião, já preenchido. Ele responde à maioria das perguntas acima antes que sejam feitas.
| Tópico | O que trazer |
|---|---|
| Escopo | Lista de campos, registro de exemplo, fontes, volume, frequência |
| Propósito | Para que os dados servem, e quem vai usá-los |
| Dados pessoais | Quais campos são pessoais, por que são necessários, como os demais são excluídos |
| Acesso | Para cada fonte: público ou com login, termos, robots.txt, API disponível ou não |
| Método | Taxas de requisição, backoff, tratamento de bloqueios, sem contornar logins ou paywalls |
| Infraestrutura | Fornecedor de proxy ou scraping, e como ele obtém IPs |
| Uso | Interno, voltado ao cliente, revenda ou treinamento de IA |
| Armazenamento | Localização, grupo de acesso, período de retenção, processo de exclusão |
| Responsabilidade | Dono do projeto, documentação, procedimento de reclamação e interrupção, data de revisão |
Uma política permanente torna isso mais rápido para cada projeto subsequente. Nosso modelo de política de coleta de dados da empresa transforma essas respostas em regras válidas para toda a empresa, de modo que cada novo projeto só precise documentar o que é diferente. Para o panorama jurídico mais amplo, veja o web scraping é legal.
Perguntas frequentes
O scraping precisa de aprovação jurídica?
Muitas empresas exigem isso, especialmente para projetos que envolvem dados pessoais, acesso com login, revenda ou treinamento de IA. Mesmo quando não é exigido, uma revisão rápida evita construir algo que depois precise ser retirado.
Qual é o motivo mais comum pelo qual o jurídico bloqueia um projeto de scraping?
Dados pessoais sem um propósito claro e uma base legal são um motivo frequente. Coleta por trás de logins e planos de republicar conteúdo protegido por direitos autorais são outros. Reduzir o escopo costuma resolver os três.
Dados públicos são livres para scraping?
Não sem condições. Dados pessoais públicos continuam protegidos pela legislação de proteção de dados na Europa e no Reino Unido, conteúdo criativo continua protegido por direitos autorais, e na UE alguns bancos de dados são protegidos mesmo quando contêm apenas fatos. A forma como você os coleta também importa.
Quanto tempo leva uma revisão jurídica de um projeto de scraping?
Depende da empresa e do projeto, mas a maior parte do atraso vem de idas e vindas sobre escopo e dados. Trazer um resumo de admissão completo para a primeira reunião elimina a maior parte disso.
Conclusão
As equipes jurídicas fazem as mesmas perguntas sobre todo projeto de scraping: quais dados, de quem são, de onde vêm, como, para quê, onde são armazenados, e quem é responsável. Prepare as respostas antes que a revisão comece, mantenha dados pessoais e acesso com login fora do escopo a menos que sejam essenciais, e documente fontes e métodos ao longo do caminho. Projetos que chegam com um resumo de admissão claro são aprovados mais rápido, e são mais fáceis de defender se alguém fizer perguntas mais tarde.