A Wikipedia é uma das fontes mais usadas para treinamento de IA e para mecanismos de resposta, e sua operadora vem afirmando com firmeza crescente como quer que isso aconteça. Para equipes que constroem modelos e produtos de IA a partir de dados da web, isso importa além de um único site: é o exemplo mais claro até agora de uma grande fonte aberta de conhecimento estabelecendo o que espera das empresas de IA, e depois fazendo cumprir isso.
A história avançou desde as primeiras manchetes. Este texto aborda o que a Wikimedia Foundation realmente pediu, como está fazendo cumprir isso, e os caminhos práticos para acessar os dados hoje.
O que a Wikipedia realmente pediu
Em 10 de novembro de 2025, a Foundation pediu duas coisas aos desenvolvedores de IA: “atribuição e apoio financeiro”. A segunda significava que a maioria dos desenvolvedores de IA “deveria acessar adequadamente o conteúdo da Wikipedia por meio da plataforma Wikimedia Enterprise”, que foi descrita como um “produto pago, de adesão opcional”. Esse post não usou a palavra “scraping” (“raspagem”); a frase que virou manchete veio da forma como foi noticiada.
A linguagem endureceu ao longo de 2026. Em julho, a Foundation escreveu que agentes de má-fé “continuam sobrecarregando nossa infraestrutura pública de API para rastrear e fazer scraping”, e que, para usuários em grande escala, a Enterprise é “uma obrigação, não um extra desejável”. Também disse que não vai desligar o acesso público à API, “nem agora nem nunca”. E, em um post sobre uma petição judicial de outubro de 2026, escreveu que o scraping de seus projetos “deve ser feito de forma sustentável e de acordo com os limites de taxa de nossa API pública ou por meio das ofertas da Enterprise API”.
Por que agora
As razões da Foundation se resumem a dois números se movendo em direções opostas.
As pessoas estão visitando menos. Em outubro de 2025, ela relatou que as visualizações de página humanas caíram cerca de 8% em comparação com os mesmos meses de 2024, depois de aprimorar sua detecção de bots ao identificar tráfego incomum, principalmente do Brasil, que se revelou serem bots criados para driblar a detecção. Ela pede que os leitores interpretem o número com cautela, e atualizou sua detecção novamente em outubro de 2026, então números posteriores podem mudar.
As máquinas custam mais. Em abril de 2025, ela relatou que os bots representavam cerca de 35% das visualizações de página, mas pelo menos 65% de seu tráfego mais consumidor de recursos, porque buscam páginas pouco populares que não estão em cache. A largura de banda para downloads de multimídia havia crescido 50% desde janeiro de 2024. Como disse o post: “Nosso conteúdo é gratuito, nossa infraestrutura não é”.
Menos visitantes também significa menos editores e doadores em potencial, motivo pelo qual a Foundation trata a atribuição como algo mais do que uma cortesia.
Como está sendo aplicado
Isso já não é apenas um pedido. Até abril de 2026, a Foundation afirmou estar bloqueando ou limitando cerca de 30% das solicitações automatizadas de crawlers que violam suas políticas. Os limites globais de taxa de API terminaram de ser implementados em junho de 2026.
| Regra | O que diz |
|---|---|
| API, sem identificação | 10 solicitações por minuto |
| API, com User-Agent de identificação, sem login | 200 solicitações por minuto |
| Rastreamento (política de robôs) | Respeitar o robots.txt, média abaixo de 20 solicitações por segundo, com menos de 10 simultâneas |
| User agents de navegador em bots | Comportamento de bot “será considerado malicioso” |
| Site de dumps | 3 conexões por IP |
| Volume maior | Usuários externos são direcionados à Enterprise |
Os caminhos para os dados
Você tem mais opções legítimas do que a manchete sugere.
| Caminho | Bom para | Limites |
|---|---|---|
| APIs públicas | Consultas pequenas e identificadas | Os limites de taxa acima |
| Conta gratuita da Enterprise | Protótipos e uso moderado | 50.000 solicitações On-demand e 30 Snapshots por mês, atualizações mensais |
| Enterprise paga | Produção, atualidade, Realtime | Preços sob consulta |
| Dataset no Kaggle | Experimentos com JSON estruturado | Beta, inglês e francês |
| Dumps e exportações de conteúdo | Cópias completas offline | Os dumps em XML terminam em janeiro de 2027 |
| Wikidata | Fatos estruturados | Liberado sob CC0, então não é necessária atribuição |
A adoção comercial é real, mas ainda pequena. Em janeiro de 2026, a Wikimedia Enterprise nomeou Amazon, Meta, Microsoft, Mistral AI e Perplexity como novas parceiras, juntando-se ao Google e outras. Para seu ano fiscal de 2024-25, relatou $8.3 million em receita proveniente de 13 clientes comerciais no nível pago.
Acesso não é o mesmo que licença
Um detalhe é fácil de passar despercebido. A Foundation diz que a estratégia comercial da Enterprise “não é baseada em licenciamento. É baseada em acesso”. Pagar compra entrega confiável, não direitos diferentes. O texto permanece sob CC BY-SA 4.0, qualquer que seja o caminho usado: a reutilização exige atribuição, como um link para a página, e o texto modificado precisa carregar a mesma licença. Os fatos em si podem ser reutilizados livremente.
Se o treinamento sobre o texto aciona esses termos é algo ainda não resolvido. Em um amicus brief no caso do New York Times contra a OpenAI, publicado em 30 de outubro de 2026, a Foundation argumentou que treinar um modelo novo e diferente pode não exigir o cumprimento dos termos da licença, enquanto o uso por mecanismos de resposta que recupera e repete o conteúdo “não deveria ser considerado justo” (fair). Esse é o argumento de uma das partes, não uma decisão judicial, e pode não refletir como um tribunal vai decidir. Nosso guia sobre quem é o dono dos dados raspados cobre as questões mais amplas, e um advogado deve avaliar seu uso específico.
O ponto prático se mantém de qualquer forma: produtos de recuperação têm a razão mais forte para incluir atribuição. A Foundation disse que uma Attribution API dedicada está entre seus próximos passos, então vale a pena projetar para isso desde já.
O que as equipes de IA e dados devem fazer
- Descubra como você usa isso hoje. Verifique seus logs de crawler e contratos com fornecedores. Se a Wikipedia chega até você por meio de um dataset de terceiros, pergunte como aqueles dados foram coletados.
- Escolha o caminho de acordo com a necessidade. Um corpus pontual pode precisar apenas de uma exportação ou de um Snapshot. Um mecanismo de resposta ao vivo provavelmente precisa da Enterprise.
- Identifique seu cliente. Use um User-Agent descritivo com dados de contato, mantenha-se dentro dos limites publicados, e respeite o robots.txt.
- Planeje-se para a mudança dos dumps. Se um pipeline depende dos dumps em XML, migre-o antes de janeiro de 2027.
- Mantenha registros de origem. Armazene a URL da página e a revisão de cada documento, para que a atribuição e a remoção permaneçam possíveis. Nosso guia sobre proveniência no pipeline de treinamento de IA mostra como fazer isso.
- Orce o acesso como um item de linha. A Wikipedia faz parte de uma mudança mais ampla, ao lado de pedágios de crawler e padrões de licenciamento.
Uma nota sobre proxies residenciais
A Foundation cita proxies residenciais entre as formas pelas quais alguns operadores de crawler contornam seus limites. Vendemos proxies residenciais, então, para ser claro: não os use para isso. A Wikipedia oferece dados em massa, níveis gratuitos e um caminho documentado para volume maior, e pediu que o tráfego em massa siga esse caminho. Não há boa razão para disfarçar um crawler aqui, e suas políticas dizem que esses clientes podem ser bloqueados.
Proxies residenciais servem para um trabalho diferente, como ver como páginas públicas aparecem para visitantes locais em mercados diferentes. A ferramenta certa para os dados da Wikipedia é a que a Wikipedia fornece.
Conclusão
A mensagem da Wikipedia passou de um pedido para uma política respaldada por limites de taxa e bloqueios, com uma porta aberta para quem seguir o caminho oficial. Para a maioria das equipes, a resposta é simples: use as exportações, o nível gratuito ou a Enterprise, identifique seu cliente, mantenha registros para atribuição, e acompanhe como os tribunais tratam a questão da licença. É um modelo útil de como outras fontes abertas podem se comportar a seguir.
Fontes e referências
- Wikimedia Foundation, In the AI era, Wikipedia has never been more valuable (10 de novembro de 2025): wikimediafoundation.org
- Wikimedia Foundation, sobre a Wikimedia Enterprise e a proteção da Wikipedia (16 de julho de 2026): wikimediafoundation.org
- Wikimedia Foundation, amicus brief no caso New York Times v. OpenAI (30 de outubro de 2026): wikimediafoundation.org
- Diff, New user trends on Wikipedia (17 de outubro de 2025): diff.wikimedia.org
- Diff, How crawlers impact the operations of the Wikimedia projects (1 de abril de 2025): diff.wikimedia.org
- Diff, Quo vadis, crawlers? (26 de março de 2026): diff.wikimedia.org
- Diff, Wikimedia Enterprise financial report, ano fiscal 2024-2025: diff.wikimedia.org
- Wikimedia Enterprise, partners (15 de janeiro de 2026) e pricing: enterprise.wikimedia.com, enterprise.wikimedia.com/pricing
- Wikimedia Enterprise, Kaggle dataset: enterprise.wikimedia.com
- Wikimedia APIs, rate limits: mediawiki.org
- Wikimedia robot policy: wikitech.wikimedia.org
- Wikimedia User-Agent policy e Terms of Use: foundation.wikimedia.org, foundation.wikimedia.org
- Wikimedia dumps: dumps.wikimedia.org