Toute équipe IA arrive tôt au même carrefour : acquérir sous licence un jeu de données construit par quelqu’un d’autre, ou collecter les données elle-même. Les marketplaces donnent l’impression qu’acheter se décide en un clic, et pour certains projets c’est le cas. Pour d’autres, les données sous licence se révèlent obsolètes, maigres là où ça compte, ou assorties de conditions qui bloquent le produit que vous comptiez lancer. Ce guide s’adresse aux équipes qui construisent des modèles à partir de données web et veulent faire ce choix délibérément plutôt que par défaut.
Nous verrons à quoi ressemble le marché des données d’entraînement, ce qu’une licence vous apporte vraiment, les coûts qui n’apparaissent pas sur l’étiquette, et une grille de décision, avec l’approche hybride que finissent par adopter la plupart des équipes matures.
À quoi ressemble le marché des données d’entraînement
Le terme « marketplace » recouvre plusieurs façons très différentes d’obtenir des données :
- Les places d’échange de données généralistes. Les fournisseurs de cloud et les plateformes de données gèrent des catalogues où des vendeurs proposent des jeux de données auxquels les acheteurs s’abonnent, avec une livraison directe dans le stockage ou l’entrepôt de données de l’acheteur. La plupart des offres ont été conçues pour l’analytique ; l’usage pour l’entraînement doit être explicitement autorisé par la licence.
- Les vendeurs spécialisés en données IA. Des entreprises qui vendent des corpus de texte, d’images, d’audio et de parole sélectionnés, souvent annotés, et de plus en plus une collecte sur mesure à la demande.
- Les hubs de jeux de données ouverts. Des dépôts où les jeux de données sont téléchargeables gratuitement, mais où chacun a sa propre licence, et où le champ licence n’est pas toujours renseigné ni exact.
- Les accords de licence directs. Les grandes plateformes et les éditeurs concèdent désormais directement des licences sur leurs contenus aux développeurs d’IA. L’accord conclu en 2024 entre Reddit et Google, ainsi qu’une série d’accords entre des éditeurs de presse et des laboratoires d’IA, ont rendu cette voie visible sur le marché, mais elle est réservée aux gros acheteurs : ce n’est pas un catalogue en libre-service.
Le point commun : vous achetez des droits autant que des octets. Deux jeux de données au contenu identique peuvent valoir des montants très différents selon ce que la licence vous autorise à faire.
Ce qu’une licence vous apporte vraiment
Avant de comparer les prix, vérifiez quatre points dans la licence :
- L’usage autorisé. L’entraînement, le fine-tuning, l’évaluation et le déploiement commercial sont des autorisations distinctes. Un « usage de recherche » exclut généralement un modèle commercial.
- Le périmètre et l’exclusivité. La licence s’applique-t-elle par modèle, par produit ou à toute l’entreprise ? Le vendeur peut-il vendre les mêmes données à vos concurrents ? Presque toujours, oui.
- La durée, et ce qui se passe ensuite. Beaucoup de licences sont annuelles. Vérifiez si un modèle entraîné pendant la durée de la licence peut encore être utilisé après son expiration, et si vous devez supprimer les données brutes.
- Les garanties. Le vendeur confirme-t-il qu’il avait le droit de collecter et de vendre les données, et s’engage-t-il sur cette affirmation ? Une licence sans cette garantie vous renvoie le risque juridique.
Les hubs ouverts méritent la même vigilance. L’audit mené par la Data Provenance Initiative sur des jeux de données textuels très utilisés a révélé des informations de licence manquantes ou erronées dans une large part des cas. C’est pourquoi nous recommandons de tenir votre propre registre de l’origine de chaque document, comme décrit dans notre guide sur la provenance dans le pipeline d’entraînement IA.
Les coûts qui ne figurent pas sur l’étiquette
La fraîcheur. Un jeu de données acheté est un instantané. Si votre modèle doit connaître les prix, les produits, les réglementations ou les usages linguistiques actuels, l’instantané commence à vieillir le jour de l’achat, et les abonnements de mise à jour sont facturés en conséquence.
Les lacunes de couverture. Les catalogues sont les plus fournis en anglais et sur les plus grands marchés. Les équipes qui ont besoin d’un pays précis, d’une langue régionale ou d’un domaine de niche trouvent souvent des données maigres, ou échantillonnées selon des méthodes que le vendeur ne documente pas.
Des données partagées. Si vous pouvez les acheter, tout le monde le peut aussi. Les données sous licence donnent rarement à elles seules un avantage à un modèle.
L’intégration. Chaque vendeur a son propre schéma, ses propres règles de déduplication et son propre niveau de qualité. Nettoyer et croiser les sources représente un vrai travail d’ingénierie, quelle que soit la façon dont les données sont arrivées.
La documentation de conformité. Le modèle de résumé prévu par le règlement européen sur l’IA (EU AI Act) pour les modèles à usage général demande aux fournisseurs de lister les jeux de données privés sous licence aux côtés des jeux de données publics et des sources collectées par scraping. Acheter des données ne supprime pas le travail de documentation : cela change ce que vous devez documenter.
Les coûts de la collecte en interne
La collecte a aussi sa facture :
- L’ingénierie. Crawlers, parseurs, planification, stockage et supervision, plus la maintenance à mesure que les sites cibles évoluent.
- L’accès. Les sites limitent les requêtes répétées depuis une même IP et affichent souvent un contenu différent selon le pays. Collecter des données publiques à grande échelle, depuis les bonnes localisations, nécessite un réseau conçu pour cela, comme des proxies résidentiels avec ciblage par pays et par ville.
- La politique de collecte. Il vous faut une règle claire concernant le robots.txt, les réserves de fouille de textes et de données et les conditions d’utilisation des sites, enregistrée au moment de la collecte. Notre présentation du robots.txt et des signaux d’opt-out IA détaille les signaux à respecter.
- Le travail de qualité. La déduplication, l’identification de la langue, la suppression du contenu répétitif et le filtrage prennent autant de temps que le crawl lui-même.
En échange, vous obtenez des données à jour, adaptées à votre tâche, documentées comme vous en avez besoin, et absentes du corpus d’entraînement de vos concurrents.
Une grille de décision : quand acheter, quand collecter
| Situation | Meilleur choix | Pourquoi |
|---|---|---|
| Benchmark ou jeu d’évaluation ponctuel | Acheter ou utiliser des données ouvertes | Périmètre limité, la fraîcheur compte moins |
| Données à mettre à jour chaque semaine ou chaque jour | Collecter | Les licences de mise à jour deviennent chères et prennent du retard |
| Pays précis ou langues régionales | Collecter, ou acheter puis compléter | Les catalogues sont maigres hors des grands marchés |
| Données qui n’existent qu’à l’intérieur d’une plateforme | Licence directe | La collecte enfreindrait les conditions ou serait impossible |
| L’avantage propriétaire est l’objectif | Collecter | Les données sous licence sont accessibles à tous |
| Petite équipe, premier prototype | Acheter ou utiliser des données ouvertes | Lancer d’abord, investir dans la collecte ensuite |
| Clients ou régulateurs exigeants en matière d’audit | L’un ou l’autre, avec un registre complet | Ce qui compte, c’est le registre, pas la méthode |
Un test utile : si vous deviez racheter le même jeu de données dans six mois, vous payez pour un pipeline sans en être propriétaire.
L’approche hybride que la plupart des équipes adoptent
Les équipes matures choisissent rarement un seul camp. Un schéma courant :
- Partir de données ouvertes et sous licence pour obtenir rapidement une base fonctionnelle.
- Mesurer où le modèle échoue : pays manquants, faits obsolètes, domaines faibles.
- Ne collecter que pour combler ces lacunes, à partir de sources publiques, de façon planifiée, en enregistrant la provenance au moment de la récupération.
- Tenir un catalogue unique qui recense chaque source, sa licence ou sa politique de collecte, et sa date de mise à jour, pour que le résumé public et les questionnaires clients prennent des heures plutôt que des semaines.
Si vous construisez cette couche de collecte, notre guide pour construire des ensembles de données d’entraînement à grande échelle à partir du web ouvert détaille le pipeline, du crawl aux enregistrements nettoyés.
En résumé
Achetez des données d’entraînement lorsque le besoin est limité, courant et peu sensible au temps, et lisez la licence aussi attentivement que l’échantillon. Collectez-les vous-même lorsque la fraîcheur, la couverture régionale ou un avantage propriétaire comptent, et enregistrez la provenance dès la première requête. La plupart des équipes font les deux, et celles qui le font bien traitent chaque source, achetée ou collectée, comme quelque chose qu’elles sont capables d’expliquer.