Quand un projet a besoin de données issues du web, le premier choix à faire est simple à formuler : utiliser l’API officielle de la source, ou collecter les données depuis ses pages web. Les deux sont des moyens légitimes d’obtenir des données, et les équipes défendent souvent l’une ou l’autre option par principe. En pratique, la bonne réponse dépend de ce que l’API propose réellement, de ce que montrent les pages, et de ce dont le projet a besoin.
Ce guide compare les deux approches sur les facteurs qui déterminent les projets réels, explique où chacune l’emporte, et aborde la voie intermédiaire courante consistant à les combiner, y compris l’utilisation d’une API de web scraping qui transforme les pages en données structurées à peu près comme le ferait une API officielle.
La version courte
| Facteur | API officielle | Web scraping |
|---|---|---|
| Données disponibles | Seulement ce que le fournisseur choisit d’exposer | Tout ce qui est affiché sur les pages publiques |
| Format | Structuré (généralement JSON), documenté | HTML qu’il faut analyser ou extraire |
| Stabilité | Versionnée ; les changements sont annoncés | Se casse quand la mise en page change |
| Limites | Limites de débit, quotas, parfois des paliers payants | Votre propre capacité, la tolérance du site et ses conditions |
| Conditions | Une licence claire qui précise ce que vous pouvez faire | Dépend des conditions du site et de la loi |
| Couverture | Un fournisseur par API | N’importe quel site, n’importe quel marché, la même méthode |
| Ce que vous voyez | Le modèle de données du fournisseur | Ce que voit un visiteur dans un lieu donné |
Si une API officielle vous donne les champs dont vous avez besoin, au volume dont vous avez besoin, sous des conditions qui autorisent votre usage, commencez par là. Le scraping trouve sa place quand l’une de ces trois conditions n’est pas remplie.
Quand une API officielle est le meilleur choix
- Les données dont vous avez besoin s’y trouvent. De nombreuses API sont généreuses : données de catalogue, profils publics, déclarations financières, jeux de données publiques gouvernementales. Notre test sur quand vous n’avez pas besoin d’un proxy résidentiel a montré que chaque API publique testée fonctionnait de manière fiable sans aucun proxy.
- Vous avez besoin de stabilité plus que d’étendue. Une API versionnée avec des avis de changement demande bien moins de maintenance qu’un analyseur qui doit suivre une mise en page.
- La licence compte. Si vous allez publier, revendre ou construire un produit à partir des données, les conditions d’une API vous indiquent exactement ce qui est autorisé. Avec des données scrapées, vous devez le déterminer vous-même.
- Vous avez besoin de données qui ne figurent sur aucune page. Certaines API exposent un historique, des identifiants ou des exports en masse qu’aucune page web ne montre.
Quand le web scraping est le meilleur choix
- Aucune API n’existe, ce qui reste le cas pour la majeure partie du web : la plupart des détaillants, commerces locaux, sites d’actualités et annuaires n’ont pas d’API de données publique.
- L’API omet ce dont vous avez besoin. Les API omettent souvent des champs présents sur la page : promotions en cours, messages de stock, avis, le prix exact affiché à un acheteur.
- Vous avez besoin de ce que les utilisateurs voient réellement. Les prix, classements, publicités et disponibilités varient souvent selon la localisation, l’appareil et la langue. Une API vous donne les données canoniques du fournisseur ; la page vous donne l’expérience sur un marché donné. Collecter cette vue implique généralement de demander les pages depuis l’intérieur du marché, ce qui est le rôle des proxies résidentiels.
- Vous avez besoin de nombreuses sources traitées de la même façon. Une seule configuration de scraping couvre une centaine de détaillants ; une centaine d’API signifie une centaine d’intégrations, de clés et de systèmes de limite de débit, lorsqu’elles existent seulement.
- Les limites de l’API ne conviennent pas. Les quotas, la tarification ou les processus d’approbation peuvent rendre une API peu praticable au volume dont vous avez besoin.
Les voies intermédiaires
Le choix est rarement tout ou rien.
Utiliser les deux. Un schéma courant consiste à utiliser l’API pour le socle stable (identifiants produits, structure du catalogue) et le scraping pour ce que l’API ne fournit pas (prix en direct, promotions, disponibilité locale). Chacun fait ce qu’il fait le mieux.
Utiliser l’API propre de la page. De nombreux sites web modernes chargent leur contenu depuis des points de terminaison JSON internes. Lorsqu’il est pertinent de les utiliser, ils combinent la couverture du scraping avec le format propre d’une API. Notre étude sur trouver l’API derrière la page montre à quelle fréquence ces données sont présentes, et ce qu’il faut vérifier avant de s’y fier.
Utiliser les données structurées déjà présentes sur la page. De nombreuses pages intègrent du JSON-LD destiné aux moteurs de recherche : noms de produits, prix, notes, horaires d’ouverture. Le lire est bien plus robuste que d’analyser la mise en page visible. Voir extraire le JSON-LD plutôt que d’analyser le HTML.
Utiliser une API de web scraping. Une API de web scraping prend une URL et renvoie la page, ou des champs extraits sous forme de JSON, tout en gérant les proxies, les navigateurs et les nouvelles tentatives. Pour votre code, elle se comporte à peu près comme une API officielle : une requête en entrée, des données structurées en sortie. Elle ne remplace pas l’API propre de la source lorsqu’il y en a une qui convient, mais elle supprime l’essentiel de la charge de maintenance du scraping. Notre guide du débutant pour utiliser une API de web scraping détaille cela, et notre guide construire ou acheter explique quand faire fonctionner sa propre infrastructure de scraping reste pertinent.
Comment décider, étape par étape
- Listez les champs dont vous avez besoin, et pour chacun, notez où il apparaît : dans une API, sur la page, ou les deux.
- Vérifiez les conditions et limites de l’API par rapport à votre usage et votre volume.
- Vérifiez la vue de la page. Ce dont vous avez besoin varie-t-il selon la localisation ou l’appareil ? Si oui, l’API pourrait ne pas le montrer.
- Comptez les sources. Une ou deux sources avec de bonnes API favorisent les API ; de nombreuses sources favorisent une approche par scraping.
- Estimez la maintenance. Une intégration d’API est principalement construite une seule fois ; un scraper nécessite une surveillance et des corrections occasionnelles à mesure que les pages changent.
- Choisissez par champ, pas par projet. Il est normal de prendre certains champs depuis une API et d’autres depuis les pages.
Responsabilités dans les deux approches
Utiliser une API signifie respecter ses conditions : quotas, attribution, usages autorisés. Collecter depuis des pages signifie respecter les conditions du site lorsqu’elles vous engagent, respecter le fichier robots.txt et les limites de débit, rester à l’écart du contenu protégé par connexion, et traiter toute donnée personnelle conformément à la loi applicable. Aucune des deux voies n’est exempte d’obligations ; elles sont simplement écrites à des endroits différents.
FAQ
Vaut-il mieux utiliser une API ou scraper un site web ?
Utilisez l’API officielle quand elle fournit les données dont vous avez besoin, au volume dont vous avez besoin, sous des conditions qui autorisent votre usage. Scrapez quand il n’y a pas d’API, quand l’API omet ce dont vous avez besoin, ou quand vous avez besoin des données telles que les utilisateurs d’un marché spécifique les voient.
Le web scraping est-il plus fiable qu’une API ?
Généralement moins, car les mises en page changent sans préavis alors que les API sont versionnées. Les règles d’extraction, les données structurées présentes sur la page et la surveillance réduisent cet écart, et une API de web scraping prend en charge une grande partie de la maintenance pour vous.
Puis-je utiliser une API et le web scraping ensemble ?
Oui, et de nombreuses équipes le font : l’API pour le socle stable des données, et le scraping pour les champs que l’API ne fournit pas, comme les prix en direct, les promotions ou la disponibilité locale.
Qu’est-ce qu’une API de web scraping ?
Un service qui récupère des pages web pour vous via ses propres proxies et navigateurs et renvoie le HTML ou des champs extraits sous forme de JSON. Il fait ressembler le scraping à un appel d’API pour votre code, bien qu’il ne remplace pas l’API officielle propre d’un site.
En résumé
Commencez par l’API officielle si elle vous donne ce dont vous avez besoin sous des conditions adaptées. Tournez-vous vers le scraping pour ce que les API omettent : sources sans API, champs que l’API ne couvre pas, et la vue locale, telle que vue, des prix et de la disponibilité. La plupart des projets réels finissent par utiliser les deux, en choisissant par champ plutôt que par projet, et une API de web scraping fait ressembler le côté scraping au côté API.