La plupart des sites récents n'écrivent plus leurs données dans la page. Ils les demandent séparément, déjà structurées, à leur propre serveur. Retrouver ces appels plutôt que lire l'affichage change l'économie entière d'une collecte.
Publié le
Ouvrez une liste de produits ou d’annonces sur un site moderne. La page qui arrive d’abord est souvent presque vide : une structure, des styles, du code. Ce code passe ensuite un ou plusieurs appels en arrière-plan, et reçoit en retour les données sous une forme déjà organisée, généralement du JSON. C’est seulement à ce moment que les éléments s’affichent.
Autrement dit, quelque part entre le serveur et votre écran, la donnée existe déjà proprement rangée, avec ses champs nommés et ses types. La lire à ce moment-là, plutôt qu’après qu’elle ait été transformée en habillage visuel, évite de refaire le chemin à l’envers.
On parle souvent d’« API cachée ». Le terme est pratique mais trompeur : rien n’est caché, ces appels sont visibles dans n’importe quel navigateur par quiconque ouvre les outils de développement. Ils ne sont pas documentés, ce qui est différent. La nuance a des conséquences concrètes, détaillées plus bas.
| Critère | Lecture du HTML | Appel interne |
|---|---|---|
| Format reçu | Habillage à décoder, champs mêlés à la mise en page | Données nommées et typées |
| Volume transféré | La page entière, styles et scripts compris | Les seules données utiles |
| Vitesse | Lente, surtout si un navigateur est nécessaire | Dix à cent fois plus rapide |
| Sensibilité au design | Une refonte graphique casse tout | Un changement visuel n’a aucun effet |
| Champs disponibles | Ce que la page affiche | Souvent plus que ce que la page affiche |
| Charge imposée au site | Forte | Réduite |
Vos sites exposent-ils leurs données proprement ? Nous le vérifions systématiquement avant de chiffrer, parce que la réponse détermine le coût de tout le projet.
Demander un devisLe dernier point compte davantage qu’il n’y paraît. Une collecte qui demande la page complète avec toutes ses ressources consomme les moyens du site visité. Passer par l’appel interne, c’est demander exactement ce dont on a besoin : plus efficace, et plus correct vis-à-vis de l’hébergeur.
Ce n'est pas un contournement
Ces appels sont ceux que votre navigateur passe lui-même en affichant la page. Les reproduire n’ouvre aucune porte fermée et ne donne accès à rien de plus que ce que le site vous montre déjà. Cela reste soumis aux conditions d’utilisation, comme toute collecte automatisée.
Le repérage se fait dans le navigateur, en quatre gestes, et il ne demande aucun outil particulier.
La partie intéressante vient après. Un appel comporte presque toujours des éléments qui pilotent la pagination, les filtres, le tri, la langue ou la zone géographique. Les identifier permet d’obtenir exactement ce qu’on veut, parfois en une seule requête là où le site impose vingt clics.
Cette approche n’est pas toujours praticable, et il vaut mieux le savoir avant de promettre quoi que ce soit. C’est la partie que les tutoriels s’arrêtent juste avant d’écrire.
Beaucoup d’appels exigent un jeton obtenu au chargement de la page, parfois valable quelques minutes seulement. Il faut alors reproduire la séquence d’obtention. Certains sites vont plus loin et signent leurs requêtes avec un calcul effectué par leur propre code : dans ce cas, reproduire l’appel revient à réimplémenter ce calcul. L’exercice devient coûteux, et fragile.
Une interface publique documentée s’engage sur sa stabilité et prévient de ses évolutions. Un appel interne n’est pas un contrat : il peut changer du jour au lendemain, sans annonce, parce qu’il n’était destiné qu’à l’usage du site lui-même. C’est la contrepartie directe de sa qualité, et la raison pour laquelle une collecte qui en dépend a besoin de contrôles de cohérence.
Les appels modernes renvoient souvent un jeton de continuation plutôt qu’un numéro de page. On ne peut alors pas répartir le travail en parallèle sur des pages numérotées, il faut dérouler la séquence, ce qui limite la vitesse.
En pratique
Sur les projets où cette approche fonctionne, le coût d’infrastructure baisse dans des proportions qui changent la viabilité du projet : ni navigateur à faire tourner, ni volume transféré inutile. C’est la première chose à vérifier, avant même de parler de budget.
C'est la première chose que nous regardons, et la réponse conditionne tout le reste du projet. L'étude de faisabilité n'est pas facturée.