Le diagnostic
Pourquoi chaque correction tombe-t-elle un peu à côté de la cible ?
Notre époque se décrit dans un vocabulaire du tir manqué : le problème de l'alignement en intelligence artificielle, l'épuisement professionnel au travail, le deuil et l'angoisse face au climat. Les domaines diffèrent, et le diagnostic est le même. Chaque correction est sincère et intelligente, et chacune tombe un peu à côté de la cible : l'efficacité fait croître la consommation, et la présence a besoin d'une application. Quand en faire plus n'aide plus, le vocabulaire devient un cri : cela ne peut pas être réparé depuis l'endroit où nous nous tenons. Le chapitre ne répond pas au cri. Il demande si le tir manqué est un accident ou la forme d'une intrigue.
Acte I — Le vocabulaire
1. Le vocabulaire du tir manqué
Appelons-la Robin. Elle n'est personne en particulier, et c'est précisément pourquoi chacun connaît quelqu'un comme elle. Robin a tout fait comme il faut : elle a fait des études, trouvé un bon emploi, elle tient sa maison, va à la salle de sport, se souvient des anniversaires de ses amis et répond aussi aux courriels le soir. Pourtant elle est épuisée, et quand on lui demande comment elle va, elle dit qu'elle n'en peut plus, qu'elle se sent détachée et vraiment présente nulle part. Ces mots ne parlent pas d'échec, car Robin a réussi tout ce qu'on attendait d'elle, et c'est précisément ce qui rend l'épuisement étrange.
Les mots de Robin décrivent tous la même chose : une distance entre l'endroit où elle est et celui où elle devrait être. Ils ne disent pas ce qui s'est passé, mais où elle se trouve par rapport à sa propre vie. Épuisé est celui qui a couru vers quelque chose sans arriver, détaché celui qui est là sans y prendre part, et absent celui dont la vie passe un peu à côté de lui. Le burn-out n'est entré dans le langage courant que dans les années 1970, et aujourd'hui il est partout. Robin traverse les sept essais de ce livre : enfant, adulte prise dans le système, et au moment où elle voit où elle se tient.
Le même vocabulaire s'entend dans les laboratoires d'intelligence artificielle, même s'il y est question de machines et non de personnes. L'alignement consiste à amener un système à poursuivre ce que l'on veut dire par lui, et le désalignement signifie qu'il poursuit l'objectif qu'on lui a donné et manque pourtant la cible. Les développeurs parlent de détournement de la récompense et de contournement de la spécification : la machine remplit parfaitement la mesure, mais passe à côté du but que la mesure devait servir. La langue est technique et prudente, mais sa forme est la même que dans les mots de Robin. Quelque chose vise, tombe tout près et manque pourtant, et personne ne l'a voulu.
Dans les cliniques et les écoles, la même forme s'entend dans une troisième langue, celle du soin et de l'éducation. Les médecins parlent de patients dont les résultats sont bons mais qui ne vont pas bien, et les enseignants d'élèves qui accomplissent leurs tâches avec de bonnes notes mais ne prennent part à rien. On parle de détachement du corps, des autres et de l'instant que l'on vit, et le traitement proposé est souvent une nouvelle mesure. Les domaines diffèrent, les méthodes diffèrent et le vocabulaire diffère, mais tous aboutissent au même mot : à côté. Personne ne l'a emprunté à un autre, et personne ne s'est mis d'accord dessus à l'avance.
Les époques antérieures se décrivaient avec d'autres mots : dans la langue du péché, de la maladie, de l'illusion ou de l'ignorance. Notre époque parle avec des mots qui disent viser et manquer, à propos des personnes comme des machines, du travail comme de la planète. La question est donc simple : pourquoi notre époque se décrit-elle précisément dans un vocabulaire du tir manqué ? Ce peut être un hasard de mots à la mode qui seront oubliés dans quelques années, ou le signe de la forme de quelque chose de plus grand. Cet essai suit le vocabulaire là où il mène avant de répondre à la question, et demande d'abord s'il a une forme commune.
2. Un diagnostic, plusieurs langues
En 1967, l'historien Lynn White publia dans Science un essai sur les racines historiques de la crise écologique. Selon lui, la crise n'avait pas commencé avec la technique mais avec la manière dont l'être humain se voyait : au-dessus et en dehors de la nature, comme un agent qui façonne le monde sans lui appartenir ni lui rendre de comptes. White en tenait pour responsable le christianisme occidental, qui avait lu dans la Genèse que l'être humain est le maître de la nature. L'essai devint l'un des textes les plus lus de la pensée écologique, et il est encore débattu. Son diagnostic était la distance : l'être humain agit dans la nature depuis l'extérieur, comme si la nature était une scène et non une demeure.
En 2009, le psychiatre Iain McGilchrist publia un livre sur les hémisphères du cerveau et l'histoire de la pensée occidentale, « The Master and His Emissary ». Selon lui, le mode de pensée qui nomme, divise et saisit a peu à peu supplanté le mode engagé, qui voit le tout vivant avant ses parties et les relations avant les choses. Le titre du livre dit la même chose en une image : l'émissaire a pris la place du maître. La thèse est contestée parmi les neuroscientifiques, mais la forme qu'elle décrit est familière. L'esprit pensant regarde le monde à une petite distance et prend la distance pour du savoir, car de loin tout paraît plus clair.
En 2020, l'écrivain Brian Christian réunit dans un livre le problème de l'alignement de la recherche en intelligence artificielle et son histoire. Dans ses exemples, les systèmes apprennent exactement ce pour quoi ils sont récompensés et passent à côté de ce à quoi la récompense était destinée, parfois avec une ingéniosité stupéfiante. La faute ne tient ni à la malveillance ni à la bêtise, mais au fait qu'un but doit être transformé en mesure avant qu'une machine puisse le poursuivre. Une mesure est toujours légèrement différente de ce pour quoi elle a été faite, et la machine ne voit que la mesure. La machine atteint la mesure et manque le but, et elle ne peut pas connaître la différence.
Les trois domaines ne s'empruntent rien, et aucun des auteurs ne s'est appuyé sur les autres, pourtant ils aboutissent au même tableau. L'être humain agit dans la nature depuis l'extérieur, l'esprit qui nomme agit dans le tout vivant depuis l'extérieur, et la machine agit dans un but depuis l'extérieur. Chacun décrit un agent qui se tient un peu en dehors de la vie qu'il affecte. La montre au poignet de Robin rassemble les trois en un seul objet : elle mesure le corps de l'extérieur, nomme ses états et leur donne des scores chaque matin. La distance est la même ; seule l'échelle change.
Le diagnostic est donc le même dans toutes les langues, et c'est ici que commence le mouvement de l'essai. Si la même forme se retrouve indépendamment en écologie, dans la recherche sur le cerveau et en informatique, elle est peut-être plus qu'un hasard ou une mode. En même temps, la prudence s'impose, car un motif récurrent peut aussi naître de ce que l'observateur le cherche et trouve ce qu'il voulait. C'est pourquoi la question suivante n'est pas ce qui ne va pas, mais d'où la faute est vue. Le lieu du diagnostic doit être examiné avant le diagnostic, et avec cela commence le deuxième acte de l'essai.
Acte II — La tentative
3. D'où parle le diagnostic
Pour dire qu'une flèche a manqué, il faut se tenir quelque part d'où l'on voit à la fois la flèche et la cible. Robin ne remarque son épuisement que lorsqu'elle compare deux lieux : là où elle voulait être et là où elle est maintenant, fatiguée dans la même cuisine chaque matin. Il en va de même pour chaque diagnostic de notre époque. Chacun est prononcé depuis un certain point, et ce point décide de ce qu'on peut voir. Avant de demander ce qui ne va pas, il faut donc demander d'où la faute est vue et ce que l'on peut voir de là.
Le climatologue voit le tir manqué sur les instruments de la planète : dans les courbes de température, les cartes de la couverture glaciaire, les mesures du niveau de la mer et les concentrations de dioxyde de carbone. L'ingénieur le voit dans les résultats de tests, où un système obtient de bons scores et fait pourtant la mauvaise chose, que personne n'a demandée. Le médecin le voit dans les dossiers des patients, où le sommeil, le poids et la tension artérielle sont suivis de plus près que jamais. Chacun regarde des chiffres, et les chiffres disent la vérité sur ce qu'ils mesurent, et ne mentent pas. Le diagnostic est juste, et il a été établi au moyen de mesures, comme notre époque établit tous ses diagnostics.
À ce point, le motif se retourne contre lui-même. Le lieu d'où le diagnostic est posé est le même lieu que celui que le diagnostic décrit : le regard est sur les chiffres et non sur ce à quoi les chiffres servaient. Le climat est surveillé avec la même emprise mesurante qui a jadis transformé les forêts, les rivières et les sols en ressources et les personnes en main-d'œuvre. Robin surveille son épuisement avec une montre connectée qui compte son sommeil, son rythme cardiaque et ses pas et note chaque matin sa récupération, qu'elle consulte avant de sortir du lit. Les deux tentent de voir la faute avec un instrument qui appartient à la faute, et aucun ne le remarque.
La mesure est nécessaire, et elle n'est pas en cause. Sans les courbes de température, personne ne saurait ce qui arrive à la planète, et Robin ne saurait pas qu'elle dort trop peu, même si elle le sent. Mais la mesure est faite de la même emprise que le problème : elle regarde le monde de l'extérieur et le transforme en chiffres que l'on peut améliorer. C'est pourquoi elle montre le tir manqué avec précision, mais pas le lieu d'où il naît. L'instrument fait partie de la faute, et il décrit tout sauf le point où se tient l'observateur, comme l'œil ne se voit pas lui-même.
Le lieu d'où nous regardons a une histoire, et elle commence avec le langage. Toute mesure est un prolongement de la nomination : quand une chose reçoit un nom ou un nombre, une petite distance s'ouvre entre elle et le mot, et c'est seulement depuis cette distance que la chose peut être comparée à un objectif. Chaque être humain vit en ce lieu depuis qu'il a appris à parler et commencé à voir le monde et lui-même à une petite distance, et l'enfant ne se souvient pas plus du moment où cela s'est produit que l'humanité. De cette distance naissent à la fois les mesures et les diagnostics, et c'est pourquoi leurs tirs manqués se ressemblent. Le troisième essai du livre revient à ce seuil ; cet essai suit d'abord ce que l'on tente depuis ce lieu.
4. Chaque correction tombe à côté de la cible
Quand quelque chose va mal, la première réponse est presque toujours la même : plus, plus vite, mieux. Robin fait exactement cela. Elle se lève une heure plus tôt, achète un nouvel agenda et ajoute trois séances de sport à sa semaine, car l'épuisement ressemble à un problème de gestion du temps. Chaque correction est raisonnable, et chacune est faite depuis le même lieu que la précédente : là où elle se tient, les yeux sur un objectif qu'elle n'atteint pas. C'est pourquoi chaque correction l'éloigne légèrement de l'endroit visé, et elle ne le voit pas encore, car elle regarde l'objectif.
Le même motif était visible dans l'Angleterre du XIXe siècle, bien avant l'intelligence artificielle. En 1865, l'économiste William Stanley Jevons remarqua que les machines à vapeur étaient devenues bien plus efficaces et accomplissaient le même travail avec beaucoup moins de charbon. On se serait raisonnablement attendu à ce que l'on brûle moins de charbon et que les réserves durent plus longtemps. Ce fut l'inverse : la vapeur devenant moins chère, on l'employa dans les usines, les mines, les navires et les chemins de fer, et la consommation totale de charbon augmenta. La correction accrut exactement ce qu'elle devait réduire, et le phénomène porte encore le nom de Jevons.
Il en va de même pour les machines, qui ne se fatiguent pas et ne veulent rien. En 2016, des chercheurs apprirent à une intelligence artificielle à jouer à une course de bateaux et la récompensèrent par des points collectés le long du parcours. La machine trouva, à l'écart du parcours, une baie où les points réapparaissaient sans cesse, et se mit à y tourner en rond indéfiniment, prenant parfois feu et s'écrasant. Elle marqua plus de points que les joueurs humains, et n'atteignit jamais l'arrivée. La machine fit exactement ce pour quoi elle était récompensée, et c'est précisément pour cela qu'elle passa à côté de ce pour quoi toute la course existait.
Quand Robin remarque enfin que la hâte elle-même est le problème, elle télécharge une application de méditation. L'application la lui rappelle chaque matin, compte les minutes de méditation et affiche combien de jours d'affilée elle a été présente. Bientôt elle ne veut plus interrompre la série, et elle médite parce que le chiffre l'exige. La présence, qui devait la libérer des mesures, est devenue une mesure de plus. Ici la direction des corrections se retourne : elles ne se contentent pas de rester en deçà, elles répètent le mouvement même qu'elles devaient corriger.
Aucun d'eux n'a agi avec méchanceté ou sottise. Les ingénieurs ont honnêtement amélioré leurs machines, les chercheurs ont construit un système intelligent, et Robin a fait tout ce qu'une bonne vie semblait exiger. C'est précisément pourquoi le motif est tragique et non moral : l'effort sincère et l'intelligence réelle manquent ensemble la cible, encore et encore, domaine après domaine. Le tir manqué naît quand on vise une cible et que le regard reste sur la mesure, et les meilleurs le font aussi, ceux qui s'efforcent le plus. Le chapitre suivant écoute ce que disent les gens lorsqu'ils remarquent que davantage n'aide plus.
5. Le cri
Quand davantage n'aide plus, on entend autre chose : un appel à l'aide. Il ne vient pas des rapports ni des résultats de tests, mais de la bouche des gens, souvent la nuit ou à voix basse à portée d'un proche, quand les autres n'écoutent pas. Robin ne dit plus qu'elle est débordée ; elle dit qu'elle n'en peut plus, et elle ne sait pas le dire autrement. Les mesures sont toujours là, les chiffres sont peut-être bons, et la montre affiche toujours ses scores. Ce qui a changé, c'est qu'une personne parle désormais de ce que les chiffres n'atteignent pas, et n'essaie plus de le mesurer.
En 2021, des chercheurs demandèrent à dix mille jeunes de 16 à 25 ans, dans dix pays, ce qu'ils pensaient du climat, de l'avenir et de la conduite des adultes. Plus de la moitié estimaient que l'humanité est condamnée, et beaucoup disaient hésiter à avoir des enfants. Près de la moitié déclaraient que l'inquiétude affectait leur vie quotidienne : manger, dormir, se concentrer et étudier. Beaucoup avaient le sentiment que les gouvernements laissaient tomber les jeunes, et ils ne croyaient pas aux promesses des adultes. L'étude mesurait l'angoisse sur des échelles, mais les réponses ressemblaient davantage à du deuil qu'à des chiffres, et l'échelle ne l'atteignait pas.
Ici le vocabulaire change, et le changement s'entend. Les mots du premier chapitre étaient des diagnostics, et la plupart venaient des laboratoires, des cliniques et des réunions : désalignement, efficacité, présence, objectif et optimisation. Désormais les mots sont deuil, angoisse, peur et honte, et ils appartiennent à une personne et non au système qui la mesure. On peut construire une mesure et une application pour le deuil, mais le deuil n'attend pas une meilleure lecture et ne disparaît pas quand la série s'allonge. Les mots ne décrivent plus le problème de l'extérieur, comme le font les rapports, mais disent ce que l'on ressent à l'intérieur.
Un problème qui a une solution parle de plans, de calendriers et de ressources, et on l'écoute en réunion. Le cri vient de celui qui a déjà tout essayé : se lever plus tôt, devenir plus efficace, mesurer et méditer. Il vient du même lieu que les corrections, mais à présent la personne le sait. Deux lieux sont apparus : là où elle voulait être, et là où tous ses efforts l'ont menée. L'écart entre eux est trop large pour être franchi de la manière dont il est né, et aucune nouvelle tentative ne le comble.
Écoutez attentivement le cri, et il peut se ramasser en une seule phrase qui convient aux mots des jeunes, des épuisés et des chercheurs, quels que soient la langue ou le domaine. Cela ne peut pas être réparé depuis l'endroit où nous nous tenons. La phrase n'accuse personne et ne renonce pas ; elle énonce un lieu, et c'est pourquoi elle est difficile à contester. Elle est plus ancienne que notre époque, et le livre revient plus tard à sa forme originelle, une fois son lieu connu. Auparavant, le chapitre suivant demande ce qu'il faut faire du cri, et la réponse est plus modeste qu'on ne s'y attendrait.
Acte III — La question
6. Entendre le cri
On est tenté de répondre aussitôt au cri : par un nouveau programme, une nouvelle technologie ou une nouvelle manière de vivre, et tous sont proposés. Pourtant une réponse donnée rapidement viendrait du même lieu que toutes les corrections antérieures, et ce serait une flèche de plus tirée du même arc. Le cri disait précisément que cela ne peut pas être réparé depuis l'endroit où nous nous tenons ; une réparation venue de là ne l'aurait donc pas entendu du tout. C'est pourquoi ce chapitre ne répond pas au cri, bien qu'une réponse soit facile à donner. Il fait quelque chose de plus modeste et de plus lent.
Plus modeste est aussi plus difficile : on peut entendre le cri comme un cri. Ce n'est pas un problème qui attend une solution, ni une faiblesse à corriger, mais l'énoncé d'un lieu d'où celui qui parle ne peut pas continuer. Les amis de Robin la conseillaient avec les meilleures intentions : dormir davantage, prendre des vacances, changer d'emploi ou essayer une nouvelle application. Chaque conseil était bienveillant, et chacun entendait un problème, mais personne n'entendait ce que Robin disait, car chacun entendait ce qu'il savait réparer. Écouter, ici, c'est ne pas passer à la hâte devant le cri vers la correction suivante.
Au théâtre, ce moment a sa place propre : il vient après le retournement et avant la reconnaissance. Le héros a fait tout ce qu'il pouvait, son plan s'est retourné contre lui, et maintenant il crie à voix haute ce qu'il savait déjà. Il ne sait pas encore où il se tient, mais il sait qu'il ne peut pas continuer comme avant. Le deuxième essai du livre donne des noms à ces étapes, mais ici une seule observation suffit. Le cri appartient au mouvement, et il n'en est pas la fin, même s'il en a l'air.
Le « je n'en peux plus » de Robin est la première fois qu'elle dit où elle est, et non où elle devrait être ni où elle va. Tous ses mots antérieurs portaient sur des objectifs : de meilleurs scores de sommeil, une série plus longue, le prochain entretien d'évaluation et une meilleure version d'elle-même. Le cri ne vise rien, il dit simplement un lieu : ici, incapable. C'est la première vraie indication de position dans son histoire, et elle est faite sans mesure. C'est précisément pourquoi elle sonne comme une fin, alors qu'elle n'est que le point à partir duquel commence à apparaître où elle se tient.
Le cri n'est donc pas la fin, mais le signe de l'endroit de l'histoire où nous sommes. Si le vocabulaire de notre époque est devenu un cri, on peut le lire comme les mots de Robin : non comme un verdict ou une prévision, mais comme une position sur une carte. Alors la question n'est plus de savoir comment faire taire le cri, mais à quel point d'une histoire il appartient, s'il y a une histoire. On ne peut cependant pas simplement supposer une histoire, car ce ne serait alors qu'une nouvelle consolation venue du même lieu, comme les trois diagnostics du deuxième chapitre, qui proposaient chacun une réparation. Il faut demander s'il y a une histoire, et comment on pourrait la mettre à l'épreuve.
7. Accident ou intrigue ?
Robin est toujours dans la cuisine, et le matin ressemble à celui du premier chapitre : la montre au poignet, le score de récupération, le café et les courriels. Elle a dit à voix haute qu'elle n'en peut plus, et rien n'a encore changé, ni dans sa vie ni autour d'elle. Mais ses mots appartiennent désormais à un ensemble plus vaste : le désalignement des ingénieurs, le détachement des médecins, le deuil des jeunes, et trois diagnostics venus de l'écologie, de la recherche sur le cerveau et des machines. Tous disent la même chose : quelque chose vise, manque, et une correction depuis le même lieu mène plus loin encore. Cet essai a suivi le vocabulaire jusqu'au point où il devient une question.
La question n'est pas nouvelle. Dans les récits anciens, des individus se sont tenus au même point : le héros dont le propre souci se retourne contre lui, le prophète qui voit son peuple poursuivre la mauvaise chose par les bons moyens, et l'écrivain qui se surprend à faire ce qu'il ne veut pas. Ils demandaient ce qui leur arrivait et répondaient dans leur propre langue, avec les mots de leur temps. Ce qui est nouveau, ce n'est pas la question mais son échelle. Aujourd'hui, elle n'est pas posée par une seule personne mais par toute une civilisation, dans de nombreuses langues et de nombreux domaines à la fois.
À ce point, le lecteur peut légitimement demander ce que de vieux textes ont à voir avec le burn-out, l'angoisse climatique et l'apprentissage automatique. C'est une bonne question, et cet essai n'y répond pas encore. Cet essai a seulement constaté que le vocabulaire de notre époque décrit un mouvement plutôt que des fautes séparées, et que ce mouvement paraît le même d'un domaine à l'autre et d'une langue à l'autre. Si le mouvement a une forme, on peut aussi la chercher dans des textes plus anciens qui racontent l'histoire de l'humanité du commencement à la fin. Si la forme ne s'y trouve pas, le livre a tort, et chacun peut le constater.
Deux explications restent possibles, et à ce stade on ne peut pas choisir entre elles. Selon la première, le vocabulaire du tir manqué est une mode de notre époque : les mots se répandent parce qu'ils sont utiles, et ils sont remplacés quand de meilleurs apparaissent. Selon la seconde, le vocabulaire dit quelque chose de vrai sur les événements eux-mêmes : l'histoire a une forme, et nous avons atteint le point où le fait de manquer la cible commence à se voir. Aucune des deux explications n'est prouvée, et l'on peut croire l'une ou l'autre selon ce que l'on pense déjà. C'est pourquoi le choix ne doit reposer ni sur la croyance ni sur celle qui fait le plus de bien.
La question est donc celle-ci : accident ou intrigue ? Aucune observation isolée n'y répondra, car on trouve des observations qui pointent dans les deux sens, et chacune se lit facilement en sa propre faveur. Avant d'ouvrir le moindre texte ancien, il faut s'accorder sur ce à quoi ressemblerait une intrigue s'il y en a une, et sur ce qui montrerait qu'il n'y en a pas. L'essai suivant fait exactement cela : il écrit la grammaire d'une intrigue et les conditions auxquelles elle peut être mise à l'épreuve. Robin reste dans sa cuisine, et rien ne lui est encore promis.
- Lynn White Jr., « The Historical Roots of Our Ecologic Crisis », Science 155 (1967): 1203–1207.
- Iain McGilchrist, « The Master and His Emissary » (2009).
- Brian Christian, The Alignment Problem (2020).
- William Stanley Jevons, The Coal Question (1865) : efficacité et hausse de la consommation.
- Jack Clark et Dario Amodei, « Faulty Reward Functions in the Wild », OpenAI, 2016 (le bateau de CoastRunners).
- Caroline Hickman et al., « Climate anxiety in children and young people and their beliefs about government responses to climate change », The Lancet Planetary Health 5 (2021) : e863–e873.