Veille concurrentielle sur les tarifs des assurances : le fléau du webscraping, 300.000 fausses demandes mensuelles subies par LesFurets

Publié le samedi 2 décembre 2023 par Denis Lapalus

Le webscraping, un véritable fléau sur la toile. Certains pseudo "comparateurs" tentent de dénicher les meilleurs tarifs auprès des assureurs en effectuant de fausses demandes de devis sur les sites des courtiers et des assureurs. Une activité illégale malheureusement généralisée sur la toile. L’IA ne devrait rien arranger car les soumissions seront encore plus aisées avec des chats bots dédiés à cette activité.

Comment les équipes du comparateur lesfurets luttent contre le webscraping ?

Lesfurets est le premier comparateur en ligne de dépenses contraintes. Il fournit, de façon simple, rapide et fiable, les tarifs d’un grand nombre d’assureurs et de services en fonction des besoins de chacun. Dans le secteur de l’assurance, la construction d’un tarif le plus adapté possible aux profils utilisateurs est un enjeu majeur et de fait, la veille concurrentielle se veut permanente dans ce domaine. Raison pour laquelle des robots « scrappeurs » ont été développés pour remplir automatiquement les formulaires selon des profils type de clients et ainsi déterminer les prix de la concurrence. Mais quelles sont les conséquences de telles pratiques sur le fonctionnement et les résultats de l’entreprise ? Quelles sont les solutions possibles pour contrer ces robots ?

Les conséquences et impacts des robots scrappeurs sur l’entreprise

Chez lesfurets, la performance du site est mesurée en permanence à travers plusieurs indicateurs clés : le nombre d’utilisateurs qui sont arrivés sur le site, ceux qui ont complété le formulaire, ou encore ceux qui ont réellement souscrit un contrat d’assurance. Les robots scrappeurs peuvent donc fausser les chiffres car ils augmentent artificiellement les volumes de trafic du site, sans pour autant générer de leads derrière. Ils peuvent ainsi altérer le travail des équipes si elles n’arrivent pas à les identifier précisément.

Cela nécessite un travail de nettoyage des chiffres en interne mais aussi une vérification très précise des analyses des résultats. Les équipes sont donc mobilisées sur ce travail de contrôle au lieu de se concentrer sur des tâches à plus forte valeur ajoutée. Plusieurs pôles de l’entreprise sont concernés : l’équipe de Data insight, responsable de l’analyse des données, les équipes tech, qui travaillent sur les solutions technologiques pour bloquer les robots, les équipes marketing, produit ou encore les commerciaux qui présentent les performances du site aux partenaires.

Quels moyens existent pour contrer ces robots scrappeurs ?

Les équipes Tech sont chargées de mettre en place, sur l’infrastructure et le site web, des moyens de reconnaitre les robots et de les bloquer avant de contacter les partenaires, en vérifiant l’identification de l’adresse IP, la version de navigateur utilisée mais aussi en fonction d’autres paramètres spécifiques lesfurets. Aussi, les équipes Data insight doivent identifier les patterns de robots et les exclure des indicateurs clés dans le reporting de l’entreprise. Ces patterns sont également remontés aux équipes Tech afin qu’ils puissent anticiper en implémentant des moyens de blocage en amont. Cela demande une agilité constante aux équipes car les robots scrappeurs évoluent et se perfectionnent sans cesse pour déjouer les mécanismes de protection.

Une idée expérimentée sur certains sites, mais pas utilisé sur la plateforme LesFurets, est de ne pas déjouer ses tentatives pour les interdire, mais de renvoyer des fausses informations, avec des tarifs erronés. Cela fonctionne assez bien pour les sites d’annonces immobilières ou encore de simulation de placements financiers. Les téléchargements d’historique des taux par exemple.

Datadome

Datadome, société spécialisée notamment dans la détection de trafic frauduleux et qui a développé une intelligence artificielle dans la détection de robots scrappeurs. Datadome s’appuie sur la recherche de signaux comportementaux permettant de déterminer s’il s’agit d’un humain ou d’un robot. Depuis la mise en place de ce système, ce ne sont pas moins de 300 000 tentatives de scrapping qui sont désormais bloquées chaque mois. Désormais, le trafic du site lesfurets est exempt de robots. Les indicateurs sont donc fiables pour le suivi et le pilotage de l’activité du site et les équipes peuvent maintenant se consacrer à des tâches à plus forte valeur ajoutée. Et bien sûr, cela permet de rassurer les partenaires et potentiels partenaires en leur fournissant des données fiables et pertinentes et en assurant un suivi de qualité.