Comprendre la collecte de données web
Ces pages expliquent comment fonctionne réellement la collecte automatisée, ce qu'elle coûte, et où sont ses limites. Écrites pour quelqu'un qui doit décider, pas pour quelqu'un qui doit coder.
Trois questions, dans cet ordre
Ai-je vraiment besoin d'une collecte ? C'est la première à poser, et la réponse est parfois non. Quel usage, quel rythme arbitre entre une extraction unique, un suivi, et le cas où une source officielle règle la question.
Comment ça marche, et qu'est-ce qui coûte cher ? Le web scraping, concrètement explique les trois chemins d'accès à une donnée et pourquoi le choix du chemin détermine tout le reste.
Mon site est-il un cas difficile ? Le diagnostic tranche en dix secondes, et renvoie vers la page technique qui correspond à votre situation.
Les pages suivantes entrent dans le détail de chaque voie. Elles se lisent séparément, dans n'importe quel ordre.
Les bases
-
Usages
Pourquoi collecter des données web
Veille tarifaire, catalogue, prospection, étude de marché : les sept usages qui reviennent, et comment trancher entre une extraction unique et un suivi.
-
Principes
Le web scraping, concrètement
Comment une donnée passe d'une page à un tableau, les trois chemins possibles par ordre de solidité, et pourquoi la difficulté n'est presque jamais là où on l'attend.
-
Arbitrage
Plateforme d'extraction ou sur mesure
Ce que les plateformes font mieux qu'un développeur, les trois signes que l'équilibre a basculé, et comment en sortir sans coupure.
Technique
-
Diagnostic
Les sites qui chargent en JavaScript
Vos données s'affichent mais n'existent pas dans le code source. Comment savoir dans laquelle des cinq situations vous êtes, avant de payer pour la mauvaise solution.
-
Méthode préférée
La rétro-ingénierie d'API
Les sites modernes chargent leurs données par des appels internes. Les utiliser plutôt que lire le HTML change tout : vitesse, fiabilité, coût.
-
Dernier recours
Les navigateurs headless
Piloter un vrai navigateur permet de tout atteindre, mais coûte cent fois plus cher en ressources. Quand c'est nécessaire, et quand c'est un mauvais réflexe.
-
Infrastructure
Les proxies
À quoi servent vraiment les adresses IP alternatives, combien ça coûte, pourquoi la géolocalisation compte souvent plus que le blocage, et quand on peut s'en passer.
Vous préférez une réponse sur votre cas précis ? Décrivez les sites et les champs qui vous intéressent, nous vous disons ce qui est accessible avant tout chiffrage.
Demander un devisVoir plutôt les cas d'usage
Si vous savez déjà ce que vous cherchez, les pages de cas d'usage décrivent directement ce qui se collecte, les difficultés propres à chaque source et ce qui est livré.