Les plateformes d'extraction font très bien ce pour quoi on les prend : démarrer en un après-midi, sans développeur. Elles coûtent chaque mois, et sur certaines sources elles livrent un chiffre qui n'est pas celui affiché. Voici ce qu'elles font mieux qu'une collecte sur mesure, le moment où l'équilibre bascule, et le cas où la bascule a fait disparaître 50 € par mois.
Publié le
Une plateforme d’extraction comme Apify, Octoparse ou Bright Data vous donne, le jour même, des collecteurs prêts pour des centaines de sites, une interface pour les configurer, des adresses de sortie pour ne pas être bloqué, et un tableau qui tombe dans votre tableur. Sans écrire une ligne de code et sans attendre personne.
Pour une extraction ponctuelle sur un site ouvert, pour tester si une donnée vaut la peine d’être suivie, pour un besoin qui disparaîtra dans un mois, c’est la bonne réponse, et nous le disons dans nos études de faisabilité quand c’est le cas. Une collecte sur mesure coûte plus cher le premier jour et ne sert à rien si le besoin ne dure pas.
Le sujet de cette page, c’est le jour où le besoin dure.
La facture mensuelle dépasse ce que coûterait de posséder la collecte. Une plateforme se paie à l’usage : au nombre de pages, au temps de calcul, au volume d’adresses de sortie. Le prix suit le volume, indéfiniment. Une collecte sur mesure se paie une fois, puis en maintenance quand les sites changent. Sur une collecte quotidienne de quelques dizaines de sources, le point de croisement arrive en général entre six et douze mois.
Le chiffre livré n’est pas celui affiché. C’est le signe le plus grave et le moins visible. Un collecteur générique lit un champ « prix » dans la structure du site, et ce champ n’est pas toujours celui que voit le visiteur : un prix converti dans une autre devise selon l’adresse de sortie, un prix barré au lieu du prix courant, une variante au lieu d’une autre. Sur un comparateur de 64 boutiques que nous avons repris, c’était l’origine de la plupart des écarts entre le site et les boutiques. Personne ne le voyait, parce que le collecteur ne rendait pas d’erreur : il rendait un nombre.
Vous rattrapez la plateforme avec du code autour. Des coefficients pour corriger les devises, des règles pour rejeter les valeurs bizarres, des scripts qui relancent ce qui a échoué. Quand la couche de rattrapage devient plus grosse que ce qu’elle rattrape, vous payez deux fois : la plateforme, et le développement qui la corrige.
Vous reconnaissez un des trois signes ? Décrivez la plateforme, les sources et ce qui coince. L’étude de faisabilité dit si le problème vient d’elle, sans frais.
Demander un devisElle lit la donnée là où elle est juste. La plupart des boutiques en ligne tournent sur trois ou quatre plateformes de commerce qui exposent leur catalogue de façon structurée, dans la devise de la boutique : un seul lecteur par plateforme couvre des dizaines de sources, sans intermédiaire. Sur le comparateur repris, 57 boutiques sur 64 se lisaient avec le même code.
Elle s’arrête quand ça ne va pas. Les contrôles qui manquent aux collecteurs génériques, plausibilité de chaque valeur par rapport à son historique, ratio de changement par source, suspension d’une source incohérente, sont dans la collecte et non autour.
Elle ne change pas la difficulté d’accès. Un site protégé reste protégé, une donnée derrière un compte reste derrière un compte. Là où la plateforme échouait pour cette raison, la collecte sur mesure échouera aussi, et nous le disons avant de chiffrer.
Elle ne supprime pas la maintenance. Les sites changent, la collecte doit suivre. La différence est que la maintenance porte sur votre collecte, pas sur l’adaptation de votre code à celui d’un tiers.
| La plateforme | La collecte sur mesure |
|---|---|
| Démarre le jour même, sans développeur | Démarre après une étude de faisabilité et un échantillon |
| Coût à l’usage, qui suit le volume | Coût une fois, puis maintenance |
| Champ « prix » générique, parfois converti ou substitué | Prix lu à la source, dans sa devise |
| Rend un nombre, rarement une erreur | S’arrête et prévient quand une source déraille |
| Code de rattrapage à votre charge | Contrôles dans la collecte |
| Sortie : fichier ou base, selon la plateforme | Sortie : là où vous l’utilisez |
La sortie d’une plateforme n’a pas à être une bascule brutale. La nouvelle collecte tourne plusieurs nuits à côté de l’ancienne, sans rien écrire chez vous, et on compare ce que les deux produisent, ligne par ligne. Les écarts sont expliqués un par un : sur le comparateur, 5 700 valeurs identiques, 3 000 différentes, la plupart parce que la plateforme avait tort. Vous validez un échantillon source par source, et la bascule se fait un matin, avec l’ancienne prête à reprendre.
L’abonnement se résilie quand la nouvelle collecte a fait ses preuves en production, pas avant. Sur le comparateur, c’était 50 € par mois.
Ce que nous ne promettons pas
Que la collecte sur mesure coûte moins cher dès le premier mois : c’est faux, et le point de croisement se calcule au cadrage. Qu’elle accède à ce que la plateforme n’atteignait pas : la difficulté d’un site ne dépend pas de qui le lit. Qu’elle se passe de maintenance : les sites changent pour tout le monde.
Quand le besoin est ponctuel ou qu’il n’est pas encore prouvé. Quand les sources sont peu nombreuses, ouvertes et stables, et que la facture est plate. Quand personne ne décide sur les chiffres livrés, ou qu’une erreur ne coûte rien. Et quand vous n’avez ni le temps ni l’envie de posséder une collecte : une plateforme qu’on surveille vaut mieux qu’un code qu’on oublie.
Envoyez le nom de la plateforme, les sources et ce qui ne va pas. Nous vous disons si le problème vient d'elle, et ce que coûterait de s'en passer.