Durante a maior parte da história da web, os dados públicos estavam simplesmente ali para serem coletados, e a única questão era se você conseguiria fazer isso. Isso está mudando. Plataformas, editoras e proprietários de dados colocam cada vez mais seus dados atrás de licenças, APIs pagas e acordos formais de acesso a dados, e escrevem termos voltados diretamente para a coleta automatizada e o treinamento de IA.
Para organizações que coletam dados da web, isso não é apenas uma restrição. Um acordo de acesso a dados pode oferecer dados mais limpos, direitos claros e menos risco legal do que coletá-los por conta própria. Para organizações que publicam dados, é uma forma de decidir quem os usa e em que termos. Este guia aborda o que esses acordos contêm, quando cada lado deve usar um, e como eles se posicionam em relação à coleta comum de páginas públicas.
Esta é uma informação geral, não assessoria jurídica. Os acordos e a legislação em torno deles variam, e um advogado deve revisar qualquer acordo antes de você assiná-lo.
Por que os acordos de acesso a dados estão se espalhando
Três mudanças empurraram os proprietários de dados em direção a acordos formais:
- O treinamento de IA aumentou o valor dos dados. Texto, imagens e dados estruturados se tornaram material de treinamento, e os proprietários passaram a pedir pagamento por eles ou a definir os termos de seu uso.
- As grandes plataformas moveram o acesso para trás de APIs pagas. Em 2023, várias grandes plataformas de redes sociais introduziram ou aumentaram fortemente as cobranças pelo acesso a APIs que antes eram gratuitas ou baratas, transformando o acesso em uma relação comercial.
- Os sinais de opt-out ganharam peso legal. Na UE, os detentores de direitos podem reservar seu conteúdo contra mineração comercial de texto e dados de forma legível por máquina, e os provedores de IA devem respeitar essas reservas. Nosso guia sobre robots.txt, opt-outs de IA e sinais de reserva explica como isso funciona.
O resultado é uma web com termos mais explícitos: alguns dados permanecem livremente coletáveis, outros só estão disponíveis mediante licença, e a fronteira entre eles está cada vez mais registrada por escrito.
O que um acordo de acesso a dados abrange
Os acordos diferem, mas a maioria trata das mesmas questões:
| Cláusula | O que ela define |
|---|---|
| Escopo | Quais dados, quais campos, qual histórico, quão recentes |
| Entrega | API, arquivos em massa ou um feed, e em qual formato |
| Uso permitido | Análise interna, produtos, revenda, treinamento de IA, cada um permitido ou não |
| Volume e taxa | Quanto, com que frequência, e o que acontece acima do limite |
| Atribuição e exibição | Se e como a fonte deve ser creditada |
| Dados pessoais | Quem é o controlador, o que pode ser mantido, como as exclusões são repassadas |
| Prazo e rescisão | Por quanto tempo vale, e o que deve ser excluído ao final |
| Taxas | Fixas, por chamada, por registro ou participação na receita |
| Auditoria e relatórios | O que o licenciado deve demonstrar sobre seu uso |
A cláusula mais importante para a maioria dos compradores é o uso permitido. Um acordo que permite análises internas pode proibir revenda ou treinamento de modelos, e usar os dados fora de seu escopo pode constituir violação mesmo quando os próprios dados são públicos.
Para coletores de dados: quando um acordo é melhor do que coletar
Coletar páginas públicas continua sendo legítimo e, muitas vezes, é a escolha certa. Mas um acordo vale a pena ser considerado quando:
- Você precisa de dados que não são públicos, como histórico, identificadores ou campos que nunca aparecem em uma página.
- Você precisa de direitos claros para revender ou treinar modelos com os dados. Um acordo pode conceder direitos que a coleta nunca poderia; nosso guia sobre quem é o dono dos dados coletados explica por que a coleta sozinha não dá a você a propriedade.
- A fonte bloqueia ou muda com frequência, e manter um coletor custa mais do que uma licença.
- Seus clientes ou equipe de compliance precisam de proveniência que um acordo assinado documenta melhor do que um log de rastreamento.
E a coleta continua sendo a opção mais adequada quando você precisa da visão pública tal como os usuários a veem, em muitas fontes, em muitos mercados, onde não existe acordo algum ou a fonte não tem interesse em oferecer um. Ver cada mercado como um visitante local vê é para isso que servem os proxies residenciais.
Boas práticas caso você assine um:
- Mapeie o uso permitido em relação a cada uso que você planeja, incluindo produtos futuros e trabalhos de IA, antes de assinar.
- Mantenha os dados licenciados e os coletados separados, com proveniência em cada registro, para que você sempre saiba quais termos se aplicam.
- Planeje a rescisão: saiba o que você deve excluir e projete o armazenamento de forma que você consiga fazer isso.
- Preste atenção a termos de exclusividade e de nação mais favorecida que limitem o que mais você pode fazer.
Para proprietários de dados: recuperando o controle sobre seus dados
Se você publica dados que outros coletam, um acordo é uma ferramenta entre várias para decidir como eles são usados:
- Decida o que é genuinamente público. Conteúdo que você quer indexado e visto é difícil de também manter protegido de coletores; conteúdo que você quer licenciar talvez deva ficar atrás de uma API ou de um login.
- Declare seus termos de forma clara e legível por máquina. Termos de uso, robots.txt e, na UE, reservas legíveis por máquina para mineração de texto e dados, todos sinalizam sua posição. Sinais claros tornam os acordos mais fáceis de negociar e as violações mais fáceis de demonstrar.
- Ofereça uma via legítima. Uma API ou licença documentada dá aos usuários sérios uma forma de pagar e cumprir as regras em vez de coletar contornando você, e dá a você um registro de quem usa seus dados.
- Precifique pelo uso, não apenas pelo volume. Análises, revenda e treinamento de IA têm valores muito diferentes.
- Alinhe a aplicação à realidade. Medidas técnicas, limites de taxa e reivindicações contratuais têm cada um suas limitações; os tribunais trataram reivindicações sobre como os dados foram acessados de forma diferente de reivindicações sobre quem é o dono de dados públicos.
O pano de fundo legal, em resumo
Os acordos se apoiam sobre uma estrutura legal que ainda está se consolidando. Nos EUA, tribunais decidiram que os termos de uma plataforma não impediram a coleta de dados públicos sem login, enquanto reivindicações baseadas em como os dados foram acessados, como contas falsas ou sobrecarga de servidor, prosperaram. Na UE, termos contratuais podem restringir o uso de bancos de dados que não estejam protegidos de outra forma, o direito sui generis sobre bancos de dados protege investimentos substanciais em bancos de dados, e a legislação de proteção de dados se aplica a dados pessoais independentemente de como foram obtidos.
Antes de confiar na coleta ou em um acordo, as equipes jurídicas fazem as mesmas perguntas sobre escopo, acesso, direitos e dados pessoais; nossa lista de verificação sobre o que sua equipe jurídica vai perguntar antes de aprovar um projeto de scraping cobre essas questões.
Perguntas frequentes
O que é um acordo de acesso a dados?
Um contrato segundo o qual um proprietário de dados dá a outra parte acesso aos seus dados, geralmente por meio de uma API, arquivos ou um feed, sob termos declarados: quais dados, como podem ser usados, quanto, por quanto tempo e a que preço.
É melhor licenciar dados ou fazer scraping deles?
Depende do que você precisa. Licenciar é adequado para dados não públicos, direitos claros de revenda ou de treinamento de IA, e fontes que mudam com frequência. Coletar páginas públicas é adequado para a visão tal como aparece, em muitas fontes e mercados, onde nenhum acordo é oferecido.
Um acordo de acesso a dados pode restringir dados que são públicos?
Ele pode restringir como o licenciado usa os dados que recebe sob o acordo, mesmo dados que também sejam públicos. Se os termos gerais de um site restringem a coleta de suas páginas públicas por terceiros depende da jurisdição e de se esses termos vinculam o coletor.
Como um site pode controlar como seus dados são usados?
Decidindo o que tornar público, declarando termos e opt-outs de forma clara e legível por máquina, oferecendo uma via licenciada para usuários legítimos, e aplicando medidas contra a coleta que viole seus termos ou prejudique seu serviço.
Conclusão
Os acordos de acesso a dados estão se tornando uma parte normal de como os dados da web mudam de mãos. Para os coletores, eles oferecem direitos e dados que a coleta não pode oferecer, a um preço; para os proprietários, oferecem uma forma de decidir quem usa seus dados e como. Use acordos onde eles oferecem algo que a coleta não pode, mantenha os dados licenciados e coletados separados, e leia a cláusula de uso permitido antes de qualquer outra coisa.