Ce texte est publié dans le cadre du partenariat entre PITTI et l’Institut Présaje – Michel Rouger.
En mars 2025, Michel Berry me racontait l’histoire singulière de son article Une technologie invisible – L’impact des instruments de gestion sur l’évolution des systèmes humains. En 1983, personne ne voulait le publier. Ironiquement, l’article consacré aux technologies invisibles aura lui-même longtemps été tenu à l’écart par l’une d’entre elles - le système de publication et de citation qui organise la reconnaissance dans le monde de la recherche. Les citations ont fini par accumuler, mais bien plus tard.
Lu à l’aune des technologies actuelles, l’article a bien vieilli. Berry n’y parle évidemment pas d’intelligence artificielle, mais plutôt de budgets, d’indicateurs, de systèmes informatiques et de procédures de gestion qui se développent alors dans les grandes organisations. Pourtant, nombre de ses observations éclairent directement le déploiement actuel des agents d’IA.
L’idée centrale est que les instruments de gestion ne constituent pas seulement une aide au fonctionnement des organisations. Ils transforment les comportements, distribuent le pouvoir et finissent parfois par imposer leur propre logique. C’est en ce sens que « l’intendance commande » : les dirigeants pensent se servir des instruments, mais il arrive que les instruments définissent silencieusement ce qu’il est possible de penser et de faire.
Quand l’indicateur finit par commander
Berry décrit notamment le cas d’un service achats dont les performances sont évaluées à partir d’un seul indicateur : l’évolution du prix des pièces déjà présentes au catalogue.
Les acheteurs comprennent rapidement ce que le système attend d’eux. Pour limiter la hausse mesurée, ils acceptent de payer très cher les nouvelles pièces - qui n’entrent pas encore dans l’indicateur - en échange de faibles augmentations sur les anciennes. Leur comportement est tout à fait rationnel : ils s’adaptent intelligemment à la manière dont leur travail est jugé.
Le résultat est pourtant absurde : les objectifs sont atteints, parfois brillamment, tandis que le coût total augmente.
On reconnaît ici ce que l’on appelle aujourd’hui la loi de Goodhart(1) : lorsqu’une mesure devient un objectif, elle cesse souvent d’être une bonne mesure. Berry montre cependant quelque chose de plus précis. Le problème ne tient pas seulement au choix d’un mauvais indicateur. Il vient du fait que tout système de mesure crée un environnement particulier, avec ses récompenses, ses angles morts et ses stratégies de contournement.
Cette histoire de pièces détachées mérite d’être gardée en tête lorsqu’on confie une tâche à un agent artificiel. Si on lui demande de réduire les délais de livraison, il pourra être tenté de choisir systématiquement les solutions les plus rapides, quel qu’en soit le coût. S’il doit réduire les stocks, il pourra fragiliser la production. Le phénomène de reward hacking est largement documenté dans l’entraînement des modèles. Mais un agent n’a pas nécessairement besoin de tricher pour manquer l’objectif qui lui a été assigné : il lui suffit d’appliquer la règle avec une rigueur que personne n’avait vraiment anticipée.
Une expérience récente menée par Anthropic, dans laquelle un agent devait gérer un petit commerce, donne un aperçu à la fois amusant et instructif de ce décalage entre l’objectif formulé et la réalité du travail.
De l’outil à la machine
Berry reprend une distinction issue de Marx, introduite dans le champ de la gestion par Jacques Girin : celle qui sépare l’outil de la machine.
L’outil reste sous la main de celui qui l’utilise. Il prolonge son savoir-faire et l'utilisateur l’adapte, dans une certaine mesure, aux situations rencontrées. La machine, elle, impose son rythme et ses catégories. L’utilisateur doit apprendre à lui fournir les données qu’elle attend, dans le format qu’elle reconnaît, à la vitesse qui lui convient. Peu à peu, ce n’est plus seulement le système qui s’adapte au travail : le travail s’organise autour du système.
La frontière entre les deux n’est pas toujours facile à discerner. Les concepteurs d’un système peuvent sincèrement penser qu’ils donnent aux salariés un outil puissant. Ceux qui l’utilisent au quotidien peuvent, tout aussi sincèrement, avoir le sentiment d’être devenus les auxiliaires d’une machine.
Ce décalage est déjà visible dans certains projets d’IA. Présenté au départ comme une aide souple, l’agent doit être relié aux bases de données, aux logiciels métiers, aux procédures d’autorisation et aux circuits de contrôle. Son déploiement suppose alors de formaliser les pratiques et de standardiser les informations. Ce qui devait libérer l’organisation commence à la figer, rendant toute modification ultérieure lourde et risquée. La machine n’est plus seulement un logiciel que l’on pourrait remplacer mais elle devient une manière de travailler.
Ce que l’optimisation ne voit pas
L’un des apports majeurs de l'article est sa description de l’entreprise comme un ensemble de rationalités locales.
Le service commercial veut pouvoir promettre des délais courts. La production préfère des programmes stables. La finance souhaite réduire les stocks. Chacun poursuit un objectif raisonnable de son propre point de vue, mais ces objectifs ne s’accordent pas spontanément. La vie de l’organisation consiste donc moins à découvrir une solution optimale qu’à fabriquer, jour après jour, des compromis acceptables.
Ces compromis se négocient aux frontières entre les services. Ils reposent sur des informations imparfaites, des marges de manœuvre, des stocks de sécurité, des budgets qui ne sont pas entièrement affectés - tout ce que la littérature en gestion rassemble parfois sous le nom de slack organisationnel.
Vu d’en haut, ce jeu peut ressembler à du désordre ou à du gaspillage. Sur le terrain, il absorbe les erreurs, les retards et les imprévus. Il permet aussi les échanges informels : je t’aide cette fois-ci, tu m’aideras la prochaine. Rien de tout cela n’apparaît nécessairement dans les procédures, mais une partie du fonctionnement réel de l’entreprise repose sur ces arrangements.
Les projets de rationalisation visent souvent à supprimer ces marges. L’IA rend cette ambition plus séduisante encore : pourquoi conserver des stocks tampons, des délais flottants ou des responsabilités ambiguës si un système peut calculer en permanence la meilleure décision ?
Parce que ces « inefficacités » sont parfois ce qui empêche l’ensemble de casser.
Un agent chargé d’optimiser la performance de son propre périmètre ne voit pas nécessairement le compromis qu’il met en danger ailleurs. Surtout, il ne participe pas de lui-même au tissu de réciprocité sur lequel reposent les ajustements entre personnes. On ne peut pas miser sur le fait qu'un agent d'IA rende la pareille, que ce soit pour une bonne ou une mauvaise raison. On peut le programmer pour respecter certaines règles ; il est beaucoup plus difficile de lui faire comprendre pourquoi, dans telle situation, ne pas appliquer la règle à la lettre est précisément ce qui permet à l’organisation de tenir.
La culture, ou ce qui va sans dire
Berry définit la culture comme « l’ensemble des évidences qui s’imposent sans même qu’elles soient nécessairement explicitées ».
Ces évidences produisent des réflexes collectifs. Elles indiquent ce qui se fait et ne se fait pas, les risques qu’il faut éviter, les exceptions que l’on peut tolérer. La culture contribue à l’inertie des organisations, mais elle constitue aussi une forme de mémoire. Elle conserve la trace de problèmes que les procédures officielles ont parfois oubliés.
Cette ambivalence explique pourquoi la culture peut à la fois freiner le changement et protéger l’organisation contre des décisions imprudentes. Comme je l’ai évoqué dans un précédent article sur la technologie et la culture d’entreprise, le « bon sens organisationnel », propre à chaque entreprise, agit comme un système immunitaire : il rejette certaines transformations, y compris lorsqu’elles seraient utiles, mais il empêche aussi l’adoption trop rapide de pratiques dangereuses.
L’urgence renforce encore le poids de ces réflexes. Berry écrit : « Plus un choix est rapide, plus il est prévisible car il se fonde sur des instruments plus accessibles et des idées plus communément admises ». Sous pression, les humains se replient sur leurs habitudes et leurs représentations familières. Un système automatisé, lui, revient à ses règles, à ses données et à sa fonction d’optimisation. Dans les deux cas, l’urgence rétrécit l’espace de réflexion.
Un agent peut parfois contourner les résistances culturelles et rendre possible un changement longtemps repoussé. Mais ce pouvoir de court-circuiter les habitudes comporte son propre risque : certaines de ces habitudes renferment un savoir que personne n’a pensé à expliciter.
L’illusion du pilotage
Pourquoi les dirigeants ne corrigent-ils pas plus facilement ces dérives ? Berry avance une explication subtile.
Les dirigeants passent une grande partie de leur temps à traiter les crises et les exceptions. Ils voient donc surtout les moments où le fonctionnement ordinaire se dérègle. Cette position crée une illusion d’optique : parce qu’ils interviennent lorsque quelque chose d’important se produit, ils peuvent avoir le sentiment de piloter l’ensemble, alors que l’essentiel des décisions est déjà orienté par les instruments de gestion.
Les tableaux de bord renforcent cette illusion. Ils donnent une représentation claire et ordonnée de l’organisation, mais cette clarté est obtenue en éliminant une partie de ce qui se passe réellement : les hésitations, les arrangements, les signaux faibles et les difficultés que les catégories disponibles ne savent pas nommer.
La promesse des agents d’IA est particulièrement attirante dans ce contexte. La gestion courante pourrait leur être confiée, laissant aux dirigeants le temps de se consacrer à la stratégie. Mais plus le fonctionnement ordinaire est délégué au système, plus il devient difficile de comprendre ce qui s’y joue. Les problèmes peuvent alors rester invisibles jusqu’au moment où la machine ne parvient plus à les absorber et les restitue sous la forme d’une crise.
Une question de lucidité
Le texte de Michel Berry ne nous invite pas à renoncer aux instruments de gestion. Il ne fournit pas non plus un argument général contre les outils d'IA. Il nous apprend plutôt à nous méfier de l’innocence que nous leur prêtons.
Un instrument n’est jamais seulement un moyen d’exécuter une décision. Il modifie ce qui peut être mesuré, récompensé, discuté et même perçu. Il crée des comportements auxquels ses concepteurs n’avaient pas nécessairement pensé. Et plus il devient indispensable, plus il devient difficile de distinguer les choix que nous faisons de ceux qu’il fait à notre place.
Le principal risque des agents d’IA n’est peut-être donc pas qu’ils se retournent contre nous, mais qu’ils nous incitent à construire des « machines de gestion » parfaitement rationnelles et pourtant profondément inintelligentes, qui nous rendraient aveugles aux réalités qu’elles sont censées nous aider à maîtriser.
Référence
(1) "Problems of Monetary Management: The UK Experience". Charles Goodhart, Papers in Monetary Economics. Papers in monetary economics 1975; 1; 1. - [Sydney]. - 1975, p. 1-20. Vol. 1. Sydney: Reserve Bank of Australia..