Mesurer l’adoption de l’IA : le protocole que nous appliquons à nos missions.
Un atelier qui produit un agent n’est pas un agent utilisé six mois après. Voici comment nous distinguons ce qui est livré, ce qui est utilisé et ce qui est mesuré, avec la fiche que nous remplissons pour chaque mission.
Livré, utilisé, mesuré : trois choses différentes.
Un atelier qui produit un agent n’est pas un agent utilisé six mois après, et un agent utilisé n’a pas forcément fait gagner du temps. Nous distinguons trois statuts, et nous ne publions jamais l’un pour l’autre.
Livré
Ce que nous avons remis : agent, workflow, formation, documentation. Preuve : le livrable existe, il est documenté, l’équipe sait le faire tourner. C’est nécessaire, ce n’est pas un résultat.
Utilisé
Ce qui tourne réellement, par qui et à quelle fréquence, une fois que nous sommes partis. Preuve : journal de l’outil, licences actives, dossiers traités, réponses à un sondage court. Une licence distribuée n’est pas un usage.
Résultat mesuré
Ce que l’usage a changé : temps par dossier, délai de réponse, erreurs évitées, charge rendue à l’équipe. Preuve : une mesure avant, une mesure après, la même définition des deux côtés, et un dénominateur.
Huit champs, remplis avant de construire.
La fiche se remplit au cadrage, pas à la fin. Si un champ ne peut pas être rempli, on le dit, et on sait déjà ce que le résultat ne pourra pas prouver.
| Champ | Ce qu’on écrit | Le piège évité |
|---|---|---|
| 1. Population éligible | Qui est concerné, et combien de personnes. | « Les équipes », sans dénominateur. |
| 2. Tâche et définition de l’usage | La tâche précise, et ce qui compte comme un usage : un dossier traité, une réponse envoyée, une session par semaine. | Compter les connexions. |
| 3. Point de départ | La mesure avant, sur combien de cas, et si elle est déclarée ou chronométrée. | Un « avant » reconstitué de mémoire six mois plus tard. |
| 4. Fréquence attendue | Ce qu’on considère comme une adoption réussie, en chiffres, avant de commencer. | Fixer l’objectif après avoir vu le résultat. |
| 5. Jalons | Une lecture à 30 jours (l’outil tourne-t-il ?) et une à 90 jours (l’usage tient-il ?). | Mesurer le jour de la livraison. |
| 6. Mode de collecte | Journal de l’outil, licences actives, échantillon chronométré, sondage de trois questions. | Le ressenti d’une seule personne. |
| 7. Résultat, avec dénominateur | « Sur N personnes, X ont utilisé l’outil chaque semaine pendant la période Y. » « Sur N dossiers, le temps médian est passé de A à B. » | « 70 % d’adoption », sans N. |
| 8. Limites | Ce que la mesure ne dit pas : échantillon, saisonnalité, déclaratif, effet de la formation contre effet de l’outil. | Le chiffre sans note de bas de page. |
Ce que nous publions, et ce que nous ne publions pas.
Avec l’accord du client, daté et sourcé
Un chiffre n’est publié qu’avec l’accord écrit du client, sa date, sa population et son mode de collecte. Une page de cas dit ce qui est livré, ce qui est utilisé et ce qui est mesuré, séparément.
Une estimation s’appelle estimation
Le « ≈ 0,5 ETP » du pôle DERBI-CEMATER est l’estimation du pôle, pas notre mesure, et la page le dit. Quand nous ne savons pas, la fiche écrit « non mesuré à ce jour » et date la prochaine lecture.
Trois nombres, jamais confondus
La capacité libérée (des heures), les économies réalisées (des coûts effectivement supprimés) et la valeur théorique (des heures multipliées par un taux horaire). Nous publions la première, la deuxième si le client l’a constatée, jamais la troisième seule.
Pas de moyenne de marché
Pas de « les entreprises constatent en moyenne » sans source comparable, pas de pourcentage repris d’une étude qui ne décrit pas votre situation.
Un échec documenté vaut autant
Un usage abandonné, avec la raison, apprend plus qu’un logo. La fiche a une ligne pour ce qui n’a pas été adopté.
Le même chiffre partout
Une page de cas, une carte sur l’accueil, un email : le même chiffre, la même définition, la même date. Une incohérence entre deux pages vaut une erreur.
Ce que ça donne, cas par cas.
Nous appliquons la fiche à nos cas publiés, en commençant par ceux qui portent un chiffre. Chaque page de cas porte, ou portera, un bloc « Ce qui a été mesuré » : livré, utilisé, mesuré, avec ses limites et la date de la prochaine lecture.
Comment nous l’utilisons dans une mission.
Au cadrage
La fiche est remplie avec vous avant la première ligne : population, tâche, définition de l’usage, point de départ mesuré sur un échantillon quand c’est possible, fréquence attendue. Elle fait partie du cahier des charges.
À 30 jours
L’outil tourne-t-il ? Qui l’utilise, qui a décroché, et pourquoi ? Une lecture courte, pour corriger ce qui bloque avant que l’habitude de ne pas l’utiliser ne s’installe.
À 90 jours
L’usage tient-il ? Le résultat, avec son dénominateur et ses limites, est restitué au sponsor. C’est là que l’on décide d’étendre, d’ajuster ou d’arrêter, et ce qui peut être publié.
Vos questions sur la mesure.
Pourquoi 30 et 90 jours ?
À 30 jours, l’effet de nouveauté est passé et les premiers décrochages sont visibles : c’est le moment de corriger. À 90 jours, l’habitude est prise ou ne l’est pas, et un cycle complet s’est écoulé (une clôture mensuelle, une saison commerciale). Au-delà, on mesure autre chose : l’organisation a changé autour de l’outil.
Et si le client ne veut pas mesurer ?
Nous le respectons. Dans ce cas nous ne publions aucun résultat, seulement ce qui est livré et, s’il est vérifiable, ce qui est utilisé. Nous proposons toujours la mesure la plus légère : trois questions posées aux utilisateurs à 90 jours, dix minutes pour le client.
Une licence, c’est un usage ?
Non. Une licence est un accès. Un usage est une tâche réalisée avec l’outil, à une fréquence définie à l’avance. Les consoles d’administration de Claude, ChatGPT ou Copilot donnent le nombre d’utilisateurs actifs par semaine : c’est la lecture minimale, et elle demande l’accord du client.
Et le retour sur investissement en euros ?
Ce sont trois nombres différents. La capacité libérée se compte en heures. Les économies réalisées sont des coûts effectivement supprimés, constatés par le client. La valeur théorique multiplie des heures par un taux horaire : elle est utile pour décider, elle n’est pas un résultat. Nous ne publions jamais la troisième seule.
La méthode prépare la décision. Ces pages la prolongent.
Vous préférez qu’on la remplisse ensemble ?
Trente minutes avec un fondateur pour remplir la fiche sur votre premier usage, et savoir ce qu’il faudra mesurer avant de construire.
30 minutes pour poser le bon point de départ
Sans engagement. On regarde votre contexte, vos équipes et vos processus.
Réserver un échange