Scraper un site : veille tarifaire et catalogue e-commerce

Chaque matin à 5 h, sur le serveur de Vinyles.com, une tâche planifiée copie les prix de la veille dans un historique puis récupère les nouveaux prix des marchands. C'est à ça que sert, pour un site marchand comme pour un comparateur de prix, de scraper un site ou d'interroger une API : savoir ce que coûte un produit ailleurs, compléter une fiche incomplète, repérer une donnée fausse avant qu'un visiteur ne la voie.

Voici comment fonctionne une collecte automatique, dans quel ordre choisir entre API, flux et scraping, comment vérifier ce qu'on récupère, et ce que disent les textes, à partir de ce que j'ai construit comme CTO externalisé de Vinyles.com.

En bref

Scraper un site, c'est faire lire ses pages par un programme pour en extraire des données structurées : prix, disponibilité, caractéristiques d'un produit. Le scraping prix sert surtout à la veille tarifaire.
Le scraping est le dernier recours : quand une API officielle ou un flux de données existe, on l'utilise d'abord : plus stable, et encadré par des conditions claires.
Collecter ne suffit pas : sur Vinyles.com, un prix qui n'a pas été rafraîchi depuis plus de 14 jours n'est plus affiché, et un champ n'est complété que si toutes les sources concordent.
En France, le producteur d'une base de données peut interdire l'extraction d'une partie substantielle de son contenu (article L342-1 du Code de la propriété intellectuelle). Des données publiques peuvent aussi être des données personnelles, selon la CNIL.
Une veille tarifaire automatisée est une petite application : des tâches planifiées, une base de données, des contrôles et une maintenance régulière.

Scraper un site : ce que ça veut dire concrètement

Le web scraping consiste à faire parcourir des pages web par un programme qui en extrait des informations précises et les range dans une base de données. Là où vous lisez une fiche produit, le script lit le code de la page et en retient le prix, la référence, le stock.

Trois façons de récupérer les données d'un autre site existent :

Méthode	Comment ça marche	Stabilité
API officielle	Le site met à disposition un accès prévu pour les programmes, avec une clé et des règles d'usage écrites	Forte : le format est documenté et change rarement sans prévenir
Flux de données	Un fichier (CSV, XML) publié à intervalle régulier, souvent par un partenaire ou une plateforme d'affiliation	Bonne : un fichier par jour, même structure d'un jour à l'autre
Scraping	Un script lit les pages publiques comme un visiteur et en extrait les informations	Faible : une refonte du site cible suffit à casser la collecte

Le scraping est donc la méthode à utiliser quand les deux autres n'existent pas. Elle fonctionne, mais elle demande plus de surveillance.

À quoi sert le scraping pour un e-commerçant

Pour une boutique en ligne, la collecte automatique sert à trois choses : suivre les prix du marché, compléter le catalogue, et fiabiliser les données déjà en ligne. Les trois se combinent souvent dans le même outil.

La veille tarifaire. Savoir à quel prix un produit identique est vendu ailleurs et comment ce prix évolue. Le scraping de prix sert à ajuster une marge ou à repérer un concurrent qui casse les prix.
L'enrichissement du catalogue. Une fiche importée d'un fournisseur arrive souvent incomplète (description, date, photo). Une source externe peut combler ces trous.
La fiabilisation. Comparer vos données à une source de référence permet de repérer une erreur : un code-barres en double, une date absurde, une image qui ne correspond pas au produit.

Ces trois usages portent sur des produits, pas sur des personnes : le cadre légal change dès qu'une donnée personnelle entre dans la collecte.

API, flux, scraping : dans quel ordre les utiliser

Le bon ordre est toujours le même : l'API officielle si elle existe, puis le flux de données, puis le scraping pour ce qui manque encore. On descend d'un cran seulement quand le précédent ne couvre pas le besoin.

Prenons un cas réel. Pour compléter les fiches de disques sur Vinyles.com (pays, label, numéro de catalogue, liste des titres), j'utilise l'API de Discogs, la base de référence des collectionneurs. Sa documentation officielle plafonne le nombre de requêtes par minute, avec un plafond plus bas sans authentification. Le script avance donc lentement et reprend là où il s'est arrêté, sur plusieurs nuits : plus long, mais autorisé et stable.

Les prix des marchands arrivent, eux, d'abord par des flux quotidiens et des API partenaires. Le scraping complète pour les sources qui n'en proposent pas, et pour ce qui n'est disponible nulle part ailleurs, par exemple une description ou une date de sortie absente de tous les flux. Dans ce cas, le script marque par défaut une pause d'une seconde entre deux requêtes.

Comment tourne une veille tarifaire automatisée

Une veille tarifaire automatisée repose sur des tâches planifiées qui s'exécutent seules sur un serveur, à heure fixe, dans un ordre précis. Sur Vinyles.com, ce serveur est indépendant de Shopify : il met les prix à jour et alimente les fiches du site.

Le cycle d'une journée ressemble à ceci, en version simplifiée :

tôt le matin   copier les prix de la veille dans l'historique
               récupérer les nouveaux prix (API, flux, puis scraping)
               rapprocher chaque offre de la bonne fiche par code EAN
               écarter les prix trop anciens, signaler les anomalies
en fin de journée  synchroniser les fiches corrigées avec le site

Chaque étape a une raison d'être :

L'historique d'abord. Avant d'écraser les prix, le système copie ceux de la veille, ce qui permet d'afficher une courbe d'évolution sur un an.
Le rapprochement par code EAN. Le code-barres est la seule clé fiable pour savoir que deux marchands vendent le même disque. Un titre d'album seul ne suffit pas : rééditions, pressages et formats portent souvent le même nom.
La date de fraîcheur. Sur Vinyles.com, un prix qui n'a pas été mis à jour depuis plus de 14 jours n'est plus affiché, et un script de nettoyage supprime les offres sans mise à jour depuis 6 mois. Un prix périmé est pire qu'une absence de prix : il fait perdre la confiance du visiteur.
Les alertes. Une collecte qui échoue ne fait pas de bruit : sans alerte, on découvre la panne quand les prix affichés sont déjà faux.

Nettoyer et vérifier : là où se joue la qualité

Récupérer des données est la partie facile ; les rendre fiables prend l'essentiel du temps. Une donnée collectée automatiquement doit être considérée comme douteuse tant qu'elle n'a pas passé des contrôles.

Trois exemples tirés du travail sur Vinyles.com :

Les dates fantômes. Des fiches avaient été importées avec l'année 1900 comme date de sortie, faute de date connue. Un script les repère et cherche la vraie date par le code EAN ; une date n'est acceptée que si elle est plausible (postérieure à 1900 et pas au-delà de deux ans dans le futur, pour les sorties annoncées).
La règle de concordance. L'enrichissement depuis Discogs ne remplit que les champs vides, et n'écrit une valeur que si toutes les correspondances trouvées disent la même chose. En cas de doute, le script n'écrit rien et note la fiche pour une vérification.
Les pochettes. Un contrôle vérifie que chaque image attendue existe, un autre supprime les doublons.

Le principe à retenir : mieux vaut un champ vide qu'un champ faux.

Le cas Vinyles.com : ce qui a été construit

Vinyles.com est un comparateur de prix de vinyles construit sur Shopify : pour une même référence, chaque fiche affiche les prix de plusieurs revendeurs et renvoie vers eux. Le site ne vend rien et n'expédie rien. J'y tiens le rôle de CTO externalisé : un serveur indépendant de Shopify qui met les prix à jour, de nombreuses tâches planifiées, du scraping quand les flux et les API utilisés ne couvrent pas le besoin, et le nettoyage puis la vérification des données avant qu'elles n'arrivent sur le site.

Côté référencement, Vinyles.com est passé d'environ 300 à environ 700 clics par jour entre mars et septembre 2026 (Google Search Console). La méthode côté référencement est détaillée dans la méthode SEO Shopify appliquée à Vinyles.com, et le projet complet dans la fiche réalisation Vinyles.com.

Sur ce type de projet, mon travail tient en quatre verbes : choisir les sources, écrire les tâches, poser les contrôles, surveiller. La collecte porte sur des produits (prix, références, visuels), jamais sur des personnes.

Les limites du scraping à connaître avant de se lancer

Le scraping est fragile par nature, et son coût réel se situe dans la maintenance, pas dans le premier script. Trois limites à connaître :

Le site cible change. Une refonte, et la collecte renvoie du vide. Il faut le détecter et corriger.
Le site cible se protège. Un CAPTCHA ou un blocage d'adresses IP signale que le site s'oppose à la collecte ; une limitation du nombre de requêtes fixe le rythme à respecter.
Les données sont imparfaites. Promotions, frais de port à part, variantes mal distinguées : deux prix affichés ne sont pas toujours comparables.

Si vous envisagez de scraper un site, vérifiez d'abord trois points :

Le site propose-t-il une API ou un programme partenaire ? Cherchez une page « développeurs », « API » ou « affiliation ».
Que disent ses conditions d'utilisation sur l'extraction automatique ? Beaucoup l'interdisent expressément.
Que dit son fichier robots.txt ? Il indique les zones que le site ne souhaite pas voir parcourues par des robots.

Pour quelques concurrents et quelques produits, un tableur tenu chaque semaine peut suffire. L'automatisation se justifie quand le volume ou la fréquence dépassent ce qu'une personne tient sans erreur : l'article sur remplacer Excel par une application web aide à situer ce moment.

Le scraping est-il légal en France ? Ce que disent les textes

Le scraping n'est pas interdit en soi, mais plusieurs règles l'encadrent : le droit des bases de données, la protection des données personnelles et les conditions d'utilisation du site visé. Je ne suis pas juriste : ce qui suit résume des textes officiels consultés en septembre 2026, et chaque projet doit être validé par un avocat ou un juriste.

Le droit des bases de données. L'article L341-1 du Code de la propriété intellectuelle protège le producteur d'une base de données lorsque sa constitution, sa vérification ou sa présentation atteste d'un investissement substantiel. L'article L342-1 lui permet d'interdire l'extraction d'une partie « qualitativement ou quantitativement substantielle » du contenu, et l'article L342-2 l'extraction répétée et systématique de parties non substantielles quand elle excède manifestement une utilisation normale. Un catalogue de produits entier peut entrer dans ce cadre.
Les données personnelles. Dans une publication du 30 avril 2020 visant le web scraping à des fins de démarchage, la CNIL rappelle que des données publiquement accessibles restent des données personnelles, qui ne sont pas librement réutilisables. Des avis clients signés ou des noms de vendeurs particuliers entrent dans ce cas.
Les signaux d'opposition. Dans sa fiche du 19 juin 2025 sur le moissonnage pour le développement de systèmes d'IA, la CNIL recommande de définir en amont des critères de collecte précis et d'exclure les sites qui s'opposent clairement au moissonnage par leur fichier robots.txt ou par un CAPTCHA. Le contexte diffère d'une veille tarifaire, mais l'esprit est le même.
Le robots.txt. La norme qui le définit (RFC 9309, septembre 2022) précise que ces règles ne sont pas une forme d'autorisation d'accès.
Les conditions d'utilisation. Si elles interdisent l'extraction automatique, les passer outre expose à un litige avec l'éditeur du site.

En pratique, la voie la plus sûre pour une veille tarifaire reste celle des API et des flux officiels, avec un avis juridique avant toute collecte d'ampleur par scraping.

Pour automatiser le suivi de vos prix ou fiabiliser votre catalogue, le point de départ est un cadrage gratuit : quelles sources existent, lesquelles sont autorisées, ce qu'il faut contrôler. La démarche est décrite sur la page application métier sur mesure, et le volet référencement sur la page SEO sur-mesure. Pour en parler, écrivez-moi, en Bretagne ou à distance.

Questions fréquentes sur le scraping

C'est quoi un web scraper ?

Un web scraper est un programme qui lit des pages web à la place d'un humain et en extrait des informations précises (prix, référence, disponibilité) pour les enregistrer dans une base de données, à la demande ou à heure fixe.

Le scraping est-il légal en France ?

Le scraping n'est pas interdit en soi, mais il est encadré : droit du producteur de base de données (articles L341-1 à L342-2 du Code de la propriété intellectuelle), protection des données personnelles rappelée par la CNIL, conditions d'utilisation du site visé. Chaque projet doit être validé par un juriste.

Quel est le meilleur outil de scraping gratuit ?

Pour quelques pages ponctuelles, une extension de navigateur ou une bibliothèque Python open source suffit souvent. Pour une veille tarifaire régulière, il faut un script sur un serveur, avec tâches planifiées, historique et contrôles. Avant tout outil, vérifiez si le site propose une API officielle.

Combien coûte une veille tarifaire automatisée ?

Le développement se chiffre en jours, comme toute application : une première version tient chez Web du Léon en 4 à 12 semaines selon le nombre de sources et de contrôles. S'y ajoutent l'hébergement (30 à 60 € par mois) et une maintenance au forfait à partir de 60 € par mois.