Un carrefour sans panneaux

Drachten, Pays-Bas, 2003.

Le carrefour du Laweiplein voit passer quelque 20 000 véhicules par jour. Feux tricolores, panneaux, marquages, bordures : tout l'attirail. Et près d'une dizaine d'accidents par an.

Un ingénieur trafic, Hans Monderman, propose l'inverse de ce qu'on attend d'un ingénieur. Il enlève tout. Les feux, les panneaux, les passages piétons, la séparation entre trottoir et chaussée. Il reste une place ronde, deux fontaines, et des gens obligés de se regarder.

Les accidents chutent. Pas un peu : une poignée en deux ans. Le trafic s'écoule plus vite, alors que chacun roule plus lentement.

Le mécanisme est simple et dérangeant. Un panneau dit au conducteur : « quelqu'un a pensé à ta place, tu peux arrêter de regarder ». Enlevez le panneau, et il recommence à regarder. La sécurité n'était pas dans le dispositif. Elle était dans l'attention que le dispositif avait mise en veille.

Maintenant remplacez le panneau par un outil de scoring fraude. Et le conducteur par un gestionnaire sinistres.

Vous avez déployé un moteur de détection. Il lève des alertes sur 4 % des dossiers. Vos gestionnaires les traitent avec soin. Le taux de fraude détectée monte. Tout le monde est content.

Et les 96 % restants ?

Avant l'outil, le gestionnaire lisait chaque dossier avec un soupçon diffus. C'était inefficace, et c'était sa vigilance. Après l'outil, il lit 96 % des dossiers avec la certitude qu'une machine a déjà regardé. Le dossier « sans alerte » devient un dossier « propre ». Ce n'est pas la même chose. Personne ne le lui a dit.

La littérature appelle ça l'automation bias (Parasuraman et Manzey, 2010). En radiologie, quand un logiciel d'aide à la lecture des mammographies ne signale rien, les radiologues manquent des cancers qu'ils auraient vus sans le logiciel (Alberdi et al., 2004). L'outil ne remplace pas l'œil. Il le ferme sur tout ce qu'il ne marque pas.

Le paradoxe mérite d'être écrit noir sur blanc : un meilleur outil de détection peut augmenter la fraude qui passe. Parce que la fraude qui passe, par définition, n'est pas celle que l'outil connaît. Et c'est précisément sur celle-là que vous venez de désarmer vos équipes.

Ce n'est pas propre à l'assurance. Le tableau de bord qui n'a pas viré au rouge. Le contrôle qualité automatisé qui n'a rien remonté. Le copilote IA qui n'a pas objecté. Chaque fois, quelqu'un arrête de regarder.

Ok. Merci. So What ?

Une action. Prenez cinquante dossiers « sans alerte » clos le mois dernier. Faites-les relire à l'aveugle par vos deux meilleurs gestionnaires, sans le score. Comptez ce qu'ils trouvent. Ce chiffre est le prix de la vigilance sous-traitée.

C'est le concept à garder pour votre prochain comité : la vigilance sous-traitée. Un outil n'ajoute pas de la vigilance à celle de vos équipes. Il la remplace, dossier par dossier, sans le dire. Monderman l'avait compris : la sécurité vit dans le regard, pas dans le panneau.

Christophe