Maître G Gimenez

J L Pedinielli

Douleur hallucinée, douleur non perçue dans la psychose

Keywords: Douleur, hallucination, hallucination négative, schizophrénie Pain, hallucination, négative hallucination, schizophrénia

Dans la psychose, les perceptions, les sensations et le vécu subjectif de la douleur peuvent être altérés, voire complètement supprimés. Des patients mutilent certaines parties de leur corps sans douleur apparente, ou encore utilisent des sources d'excitation sensorielle pour lutter contre des angoisses qui les terrifient (s'enfoncer un objet pointu, s'aveugler au soleil, etc.) Inversement, certains patients schizophrènes hallucinent des expériences terrifiantes (créent hallucinatoirement des douleurs très intenses) contre lesquelles ils essaient de lutter. Ces modalités de fonctionnements pathologiques seront présentées à partir d'exemples cliniques.

Introduction

Dans la psychose, les perceptions, les sensations et le vécu subjectif de la douleur peuvent être altérés, voire supprimés complètement. On observe ainsi des patients pouvant mutiler certaines parties de leur corps sans douleur apparente, ou encore utiliser des sources d'excitation sensorielle pour lutter contre des angoisses qui les terrifient (s'enfoncer un objet pointu, s'aveugler au soleil, etc.). Inversement, certains patients schizophrènes hallucinent des expériences terrifiantes (créent hallucinatoirement des douleurs très intenses) contre lesquelles ils essaient de lutter. Ces modalités de fonctionnements pathologiques seront présentées à partir d'exemples cliniques.

Pour comprendre le rapport à la douleur chez le patient psychotique (4), il est nécessaire de saisir son rapport à la réalité externe et à la façon qu'il a d'appréhender cette réalité. La perception est un processus par lequel le sujet saisit une excitation provenant du monde extérieur, la traite pour lui donner un sens, en découpant une forme perceptive du fond sensoriel et en la comparant aux formes déjà connues dans ses expériences passées. Une des difficultés réside dans le fait que, chez le psychotique, certaines de ses perceptions, particulièrement douloureuses, sont traitées comme n'ayant jamais existé (c'est le déni d'un fragment de réalité)1 et d'autres sont créés de toutes pièces, sans qu'il n'y ait aucun support externe à l'expérience perceptive (c'est l'hallucination). La première situation est l'hallucination négative [START_REF] Gimenez | L'objet culturel pour penser l'hallucination négative[END_REF]: je regarde un objet, mais tout se passe comme si je ne le percevais pas. Je regarde dans cette direction, mais je ne perçois pas la personne qui se trouve en face de moi. Tout se passe comme si je découpais la perception qui se détache du fond perceptif, pour la détruire, l'effacer, et que je reconstruisais le fond pour ne pas attirer le regard à cet endroit du vide perceptif intolérable. La seconde situation correspond à l'hallucination (positive). Je perçois un objet qui n'existe pas dans la réalité extérieure, je perçois une sensation, une douleur alors qu'aucune excitation n'a eu lieu. Nous réfléchirons ensemble à ces deux axes de fonctionnement: l'hallucination de la douleur (l'appréhension comme une perception d'une expérience de douleur) et l'hallucination négative de la douleur (le gommage d'une perception douloureuse, même très aiguë). Étudier les hallucinations de douleur nous recentre essentiellement sur les hallucinations tactiles (ou haptiques) et les hallucinations cénesthésiques.

L'hallucination tactile

L'hallucination tactile, ou «haptique», est centrée sur l'éprouvé des téguments, de la surface de la peau, des muqueuses. Il s'agit d'hallucination d'objets intra ou hypodermiques, de sensations thermiques (impressions de chaleur, voire de brûlure), hydriques (sensations de mouillure ou de ruissellement), prurigineuses (démangeaisons) etalgiques (crampes), hypoesthésiques (endormissement d'un membre, des lèvres) toutes sortes de paresthésies reprises dans des thématiques de maladie ou thématiques hypocondriaques (cancer, brûlure, traumatisme) [START_REF] Ey | Traité des hallucinations[END_REF][START_REF] Pedinielli | Douleur et traumatisme : lecture psychanalytique[END_REF]. Elles peuvent également se centrer sur des muqueuses; elles prennent le plus souvent des thématiques zoopathiques. Ce sont des animaux rampants (vers), grouillants (insectes) appréhendés en mouvement, le plus souvent dans un espace restreint (région péri unguéale, palmaire ou auriculaire, cuir chevelu, région ano-génitale, etc.) [START_REF] Ey | Traité des hallucinations[END_REF].

Hallucination cénesthésique

Les hallucinations cênesthésiques peuvent consister en impression de déplacement ou de distorsions des membres (les malades se plaignent de sentir leurs jambes fléchir, d'un bras tordu derrière leur tête, etc.), de confusion dans l'ordre spatial du corps. Dans ces hallucinations cênesthésiques, on repère quelquefois une perte de la dimension métaphorique: par exemple, le bras qui est appréhendé « comme rempli de fourmis », devient fourmilière, etc. [START_REF] Ey | Traité des hallucinations[END_REF]. Les patients peuvent également être l'objet de phénomènes proches des hallucinations cênesthésiques négatives: ils ne sont plus conscients d'un membre paralysé, ils peuvent en perdre la perception ou le souvenir (asomatognosie), et attribuer à autrui cette partie d'eux-mêmes (allochirie) [START_REF] Ey | Traité des hallucinations[END_REF].

I. La douleur hallucinée et ses traces

Je donnerai pour commencer quelques illustrations d'hallucinations cénesthésiques, et tactiles2 d'expériences de douleur.

Jérôme: la brûlure de la rencontre (les hallucinations psychotiques comme excorporation)

Pour certains patients, la douleur hallucinée traduit, sous forme de sensation corporelle, l'intensité du danger provoqué par la rencontre avec l'autre.

Toucher le dos en passant derrière

C'est le cas de Jérôme, jeune patient schizophrène, qui a une image du corps très morcelée. Certaines parties de lui-même se prolongent bien au-delà de son enveloppe corporelle. Il a d'ailleurs l'impression qu'il n'a pas de peau. Ainsi, dépecé, sans peau, tout contact affectif devient une douleur intolérable. Dans ce corps sans peau, sans filtre, sans pare-excitations, Jérôme est toujours en danger d'intrusion et de persécution, de brûlure psychique par le rapprochement possible d'un objet. Quelquefois, quand je passe dans le couloir du salon, à plusieurs mètres de lui, il pousse des cris de douleur: il sent que je lui arrache des parties de son corps en passant derrière son dos. Il sent cette douleur à l'intérieur de lui-même dans son estomac, dans sa gorge, par exemple. Nous faisons le lien avec 2 Kinesthésiques, proprioceptive. l'achoppement de la fonction contenante du Moi-peau telle qu'elle est décrite par D. Anzieu (1985) (1). Le Moipeau est le Moi, qui, telle une enveloppe psychique permet ici la différentiation entre ce qui appartient au monde interne et au monde externe. Sans peau protectrice (pareexcitative), la chaleur (affective) de la rencontre le « fait fondre», expression à entendre de façon non métaphorique (ou démétaphorisée) : son sang en plastique bleu s'écoule de son corps pour former une flaque sur mes chaussures et sur le sol. La démétaphorisation constitue pour nous l'un des mécanismes de construction de l'hallucination que je nomme le travail de l'hallucination [START_REF] Gimenez | Clinique de l'hallucination psychotique[END_REF] 4 appréhendées avec les attributs et la qualité d'image (ou esthésie) de la perception (hallucination psychosensorielle), le sujet à en effet la conviction d'effectuer un acte perceptif (croyance en la réalité de la perception) prenant en compte la réalité externe (jugement de réalité) et croyant que ce qu'il a perçu existe réellement (jugement d'existence). Nous retrouvons ici les trois critères sémiologiques de H. Ey (1973, 46) [START_REF] Ey | Traité des hallucinations[END_REF]: la sensorialité de l'expérience vécue (qui permet de différencier l'hallucination de la pensée ou de l'image mentale) ; la conviction de sa nonsubjectivité (qui la différencie des anomalies sensorielles) et l'absence d'objet réel (qui l'oppose à l'illusion définie comme une simple erreur à propos d'un objet réel).» chambre et se recroqueville, renonçant à parer les coups qui semblent pleuvoir sur lui avec une grande violence. Je lis une immense détresse dans ses yeux. Je lui dis qu'il se sent très en danger face à la violence à laquelle il est maintenant confronté. Mais ce que je lui dis ne semble pas beaucoup le réconforter. Un peu plus tard, alors qu'il hurle de détresse et de douleur, je m'approche doucement de lui, et il parvient à m'expliquer qu'il sentait des brûlures de cigarettes intolérables sur sa peau. Il reproduisait ainsi, de façon hallucinatoire, les sensations traumatiques des sévices que lui avait fait subir sa mère adoptive, avant qu'on lui retire sa garde : elle le battait, le brûlait avec des cigarettes, comme son corps pouvait encore en témoigner des années après.

Nous sommes ici loin de l'hallucination de la satisfaction décrite par Freud (1917, 140), « Au début de notre vie psychique, nous hallucinions réellement l'objet satisfaisant lorsque nous ressentions le besoin de celui-ci » (8). Freud parle en effet de satisfaction hallucinée : il s'agit de l'hallucination de la satisfaction, c'est-à-dire de l'expérience de plaisir. S'il peut sembler logique de répéter hallucinatoirement une expérience agréable, de plaisir, de satisfaction, on peut se demander ce qui pousse un patient à répéter, à dupliquer, comme M. M., une expérience traumatique [START_REF] Pedinielli | Douleur et traumatisme : lecture psychanalytique[END_REF]. En fait, le sujet tente de traiter ce qui est laissé en par le trauma, et de le mettre en sens [START_REF] Montagnier | De la souffrance à la pensée[END_REF]. Ne parvenant pas à trouver les formes aptes à contenir l'expérience douloureuse (représentations de mots), le sujet utilise les traces même de l'expérience (traces mnésiques brutes ou représentations de choses) qui ne peuvent donner de sens ou de forme abstraite pensable et tolérables à l'expérience. L'hallucination est en fait ici une tentative échouée de mise en représentation [START_REF] Gimenez | Clinique de l'hallucination psychotique[END_REF]: au lieu de re-présenter le trauma indicible, il le présente à nouveau, le répète, le duplique, indéfiniment [START_REF] Stewart | Trauma et réalité psychique[END_REF].

M. G. : la douleur de la punition hallucinée (culpabilité archaïque)

Quelquefois, chez certains patients, la douleur hallucinée est plus directement liée à une culpabilité archaïque, comme c'est le cas pour M. G. M. G. est un patient schizophrène paranoïde harki, qui halluciné un commando spécial qui lui tire sous la peau, jour et nuit, avec un lanceflamme, depuis la fin de la guerre d'Algérie. M. G. ne dort plus, n'a plus aucun moment de tranquillité : le commando peut attaquer à tout moment du jour ou de la nuit. La thérapie mettra en évidence le statut de ce commando, qui apparaît comme une punition contre la culpabilité archaïque d'avoir accompli, pendant la guerre, des sévices (graves) aux prisonniers, d'avoir tué des familles entières lors d'expéditions punitives, la nuit, à l'arme blanche, mais surtout d'avoir égorgé sa femme et d'avoir camouflé le crime, alors qu'elle ne voulait pas venir en France après la guerre. Cette « punition » à la foi morale (souffrance) et physique (douleur) était pour lui bien pire que de mourir: « on » le punissait à petit feu... commentait-il. La culpabilité achaïque (Moi-idéal) qui venait du dedans appelait une punition douloureuse venant du dehors.

Il est à noter que c'est justement à la période où il sera opéré pour des difficultés respiratoires et trachéotomisé que ses hallucinations et son délire de persécution s'estomperont pour disparaître complètement pendant plusieurs mois. Cette « punition » venant du dehors ne nécessitait plus de souffrances supplémentaires hallucinées sur son corps. On observe ce phénomène chez les patients persécutés : quand le danger ou la douleur vient réellement du monde extérieur, le patient n'a pas besoin d'en construire une de toutes pièces, le plus souvent à partir de sa propre hostilité projetée au-dehors. On retrouve le rapport à la culpabilté archaïque, observé chez M. G., chez les patients mélancoliques, souffrant d'une grande « douleur morale » (15) : chez eux, l'hostilité envers l'objet aimé et perdu se retourne sur le sujet lui-même sous forme d'auto-reproches, de culpabilité de dévalorisation : c'est le délire de petitesse dont parle [START_REF] Freud | Deuil et mélancolie[END_REF] dans son article Deuil et mélancolie [START_REF] Freud | Deuil et mélancolie[END_REF].

Ali: les transformations corporelles hallucinées

A partir du cas d'Ali, nous réfléchirons maintenant à différents types d'hallucinations et de degrés de construction de ces hallucinations de douleur. Ali est un jeune patient psychotique de vingt-quatre ans, souvent confronté à des hallucinations (visuelles, auditives et cénesthésiques) concernant son propre corps: il se voit grandir à vue d'oeil, il voit et sent ses jambes gonfler et dégonfler. Face à ces transformations corporelles, il est tétanisé par l'angoisse. Quelquefois, les hallucinations concernent des persécuteurs extérieurs qui lui font du mal : des marabouts se collent sur son dos et le violent, et, tétanisés de peur et d'angoisse, les yeux exorbités, il tente de les décoller... A d'autres moments, il reçoit des gifles très fortes, il a l'impression qu'on le castre, il se plie alors de douleur et se sent piqué très profondément avec une seringue. D'autres fois, il sent et voit, terrifié, son cerveau s'écouler de sa tête et se vider dans la pièce. Il est maintenant effrayé, m'explique-t-il que ce cerveau ne s'écoule par la fenêtre ou par la porte. Son cerveau s'éparpille dans la pièce, tout comme il est lui-même est éparpillé, morcelé, et aux prises à de grandes angoisses de vidage [START_REF] Vasse | L'ombilic et la voix[END_REF]. Au cours d'entretiens Ali vit des scènes hallucinées qui peuvent lui faire ressentir de vives douleurs, en plus de ses grandes angoisses. Ces hallucinations font penser à des moments d'onirisme.

L'étranglement d'Abraham

Ainsi, marche-t-il dans le désert au cours d'un entretien. A ce moment, j'ai l'impression que pour Ali, je n'existe pas. Il « change de visage ». Il est rouge et a les yeux très fatigués, il transpire, semble avoir la bouche très pâteuse, comme s'il avait marché de longues heures au soleil 5 . On peut être surpris par sa capacité de « vivre », et de mettre en scène un tel scénario hallucinatoire. A un autre moment, il se sent étranglé. Il porte les mains à son cou, comme pour se protéger dans un ultime sursaut d'une strangulation très violente, le visage tordu de douleur. Il semble étouffer, tendu, rouge, respirant avec grande difficulté. Son hallucination semble remplir tout son champ visuel (hallucination encadrante de Wolff, 1957) (25) 6 .

Douleur, pictogramme et signifiants formels

Les hallucinations que nous repérons chez Ali renvoient à des impressions corporelles (traces mnésiques sensorielles brutes), accompagnées de tensions psychiques. Le contenu formel de certaines de ces hallucinations peut être énoncées par un syntagme verbal comme « une jambe se gonfle et se dégonfle ». Celui-ci est composé d'un sujet (qui peut être une partie du corps) et d'un verbe (le plus souvent réflexif). Il peut être centré sur les rapports entre l'interne et l'externe, sur des sensations de diminution ou d'augmentation de volume du corps (« une jambe gonfle et dégonfle », « le corps grandit ou rétrécit », « un bras s'allonge », « un corps se vide »), d'intrusion ou de pénétration dans une enveloppe (« une piqûre pénètre »), de vidage et remplissage d'un intérieur (« une partie du cerveau se vide, une autre se remplit ») 7 .

Ces hallucinations sont appréhendées par le patient comme des sensations de mouvement ou de transformation et semblent construites autour de ce que D. Anzieu (1987) nomme les « signifiants formels » (2). Ces hallucinations (fondées sur un signifiant formel) remettent en jeu les questions des limites du dedans et du dehors, des enveloppes et de transformation des états de la matière, et les angoisses qui leur correspondent : intrusion, vidage, morcellement, de liquéfaction, voir d'inversion interne/ externe. L'hallucination prend des formes appareillées aux fonctions défaillantes du moi (contenance, pare-excitations, distinction interne/externe) : le corps d'Ali grossit et maigrit à vue d'oeil, son cerveau s'écoule hors de son enveloppe poreuse, dans la pièce. D'autres hallucinations peuvent être appréhendées comme une sensation corporelle brute, comme l'excitation d'une zone corporelle, une impression de contact sur une surface (la sensation du marabout qui se colle). Nous sommes ici proches des pictogrammes, décrit par Piéra Aulagnier (3), ainsi que des « formes » mises en évidence par Tustin (21) et des idéogrammes de W.R. Bion [START_REF] Bion | Différenciation des personnalités psychotiques et non psychotiques[END_REF]. Dans le pictogramme, le verbe a trait à une sensation corporelle (le plus souvent une sensation de surface), le sujet étant identifié à la partie du corps correspondante 8 .

Pour saisir ce qu'est le pictogramme, prenons l'image de l'alpiniste qui glisse dans le vide et s'accroche désepéremment dans un ultime sursaut, avec son index, à une petite aspérité du rocher. Pour continuer à vivre encore quelques instants, tout son être est centré sur cette sensation douloureuse, aiguë, entre son index et le rocher dur, froid, coupant. Le sujet est alors lui-même cette sensation, il n'est plus que cette sensation « peau de l'indexrocher dur et froid ». C'est cela le pictogramme. A partir de ces points de repère, nous distinguerons ainsi la douleur appréhendée comme une sensation de surface (pictogramme) sur une partie du corps (par exemple la sensation d'un tympan qui se perce) de la douleur issue de mou-vements de transformations corporelles ou d'état du corps (signifiant formel): un bras s'allonge, une oreille s'arrache, un cerveau se vide, un corps se décompose.

II. La douleur non perçue (hallucination négative) et la douleur comme défense contre la souffrance intolérable

L'hallucination négative (l'effacement actif d'une perception, par exemple douloureuse) s'observe également chez les patients psychotiques. C'est le cas de Jean-Marc, patient schizophrène de 35 ans, venu de lui-même à l'hôpital à la suite de grandes tensions intérieures. Il présente un délire à thèmes religieux et cosmique accompagné de nombreuses hallucinations visuelles, auditives et cénesthésiques. Il lui arrive de se regarder dans le miroir et de ne pas se voir... Ce qui le plonge dans un très grand effroi, proche de l'expérience du chaos ou du trou noir décrite par Grotsîein [START_REF] Grotstein | Néant, non-sens chaos et le «trou noir». L'importance du néant, du non-sens et du chaos en psychanalyse[END_REF]. Il ne s'agit pas ici de douleur proprement dite, mais d'angoisses brutes, sans nom (W.R. Bion) que Winnicott [START_REF] Winnicott | La crainte de l'effondrement et autres situations cliniques[END_REF] nomme « agonie » (agony). Nous pensons que l'hallucination négative (ou la deshallucination dont parle Winnicott [START_REF] Winnicott | L'hallucination qui nie l'hallucination[END_REF] sous-tend toute hallucination positive, dont elle serait le premier temps. En effet, après avoir supprimé une perception ou un fragment de réalité intolérable, le sujet la remplace par une réalité (un peu) plus acceptable [START_REF] Freud | La perte de la réalité dans la névrose et la psychose[END_REF].

Amar et la brûlure du soleil: les mécanismes de défense autistique

Réfléchissons maintenant à l'insensibilisation de certaines parties du corps chez le psychotique et à l'utilisation de sensations douloureuses pour lutter contre la souffrance psychique 9 . Amar est un patient hospitalisé depuis plus de trente ans 10 . Il passe ses journées à regarder le soleil en face ou bien reste couché dans sa chambre, seul. Je suis frappé, comme les autres membres de l'équipe, par son apparente insensibilité à certaines excitations et à certaines douleurs. J'ai été, par exemple, bouleversé en le voyant allumer une cigarette. Il porte très lentement une cigarette à sa bouche. Il allume alors une allumette qu'il approche au ralenti de la cigarette. L'allumette se consume et commence à brûler son pouce et son index. La brûlure continue et je sens une odeur de chair grillée qui rend intolérable ce que je vois : j'essaie de traduire en mots ce qu'il fait. Mais il continue comme s'il ne m'entendait pas. Après cette lente brûlure, l'allumette finit par s'éteindre, et il en rallume une autre, un grand nombre de fois. Il se brûle ainsi sans, apparemment, sentir ses doigts se consumer: tout comme il passait une grande partie de ses journées à regarder le soleil dans les yeux, les pupilles dilatées... Un jour, on l'avait surpris dans la cuisine, avec un grand couteau, essayant de se couper la main sans douleur apparente... Mais il me faudra beaucoup de temps pour commencer à comprendre ce qu'il vit dans son univers délirant et hallucinatoire, et saisir sa façon de gérer la douleur. En effet, enfermé dans une thématique omnipotente, il restait très longtemps silencieux. Silences scandés par des phrases énigmatiques telles que: «Je suis le plus beau de tous et solide comme du fer, je suis éternel », « Je suis le fils de la terre », « Je suis un serpent, un requin, un dauphin, une baleine et tout ce qu'il y a en mer ». Son regard semblait perdu dans son monde interne : comme s'il ne percevait pas les objets qu'il regardait. Je le sentais très loin, au bout du monde, coupé, délié, seul dans un univers vide. Il faudra de très longs mois pour qu'il commence à m'expliquer que quand il fixe le soleil, et qu'il se brûle sans cligner des yeux, les formes du monde environnant disparaissent pour lui et il se retrouve alors à l'intérieur du soleil, très loin de la réalité et de toutes les souffrances qui l'envahissent. L'éblouissement, la chaleur et la douleur aiguë de la brûlure du soleil d'été, lui permettait de focaliser tout son être sur une excitation monosensorielle sans cligner des yeux: celle de la brûlure douloureuse. Il luttait contre sa souffrance interne par des excitations douloureuses, qui lui permettait d'y focaliser toute son attention, comme dans un mécanisme de défense autistique.

Perdre sa peau : Sarah (l'hallucination de douleur comme figuration d'un impensé)

Nous étudierons maintenant, à partir de séquences cliniques plus précises, la tentative, par les hallucinations de douleur, de mettre en sens une expérience traumatique intolérable. Sarah est une patiente de trente-huit ans, aux yeux clairs et profonds et au visage marqué [START_REF] Gimenez | Hallucination et création. Réflexion sur les créations hallucinatoires et artistiques. In: La peinture au-devant de soi, Donner du[END_REF]. Ses hallucinations visuelles et cénesthésiques très douloureuses ont commencé quand son frère, avec qui elle avait une relation très fusionnelle, a rencontré une femme et a commencé à prendre de la distance vis-à-vis d'elle. Elle cet événement comme un véritable arrachement, elle se sent abandonnée, trahie, rejetée. Son hostilité, forte à son égard, la conduit à la certitude que son frère va bientôt mourir 11 . Quelques jours plus tard, elle apprend son décès, ce qu'elle reçoit comme un choc extrêmement violent. C'est alors, dit-elle, que commencent ses premières hallucinations. Il semble que le décès du frère soit vécu comme un traumatisme par la « rencontre » de l'hostilité qu'elle éprouvait envers lui (il l'abandonnait) et du décès réel, comme si le fantasme avait pu provoquer l'accident, comme si sa pensée et son hostilité avaient pu détruire son frère. Ce trauma semble déclencher deux hallucinations qui marqueront la vie de Sarah 12 . Ces deux hallucinations semblent figurer, thématiser ce qu'elle ne pouvait encore penser : l'abandon par son frère dont elle était si dépendante et cette impression très violente de l'avoir tué par son hostilité.

L'abandon et la «descente aux enfers»

Lors de sa première hallucination cénesthésique et kinesthésique, qu'elle nomme la « descente aux enfers » (expression à entendre de façon non métaphorique), elle a 1 1 1 1 1 1 Elle peint alors deux tableaux qu'elle qualifiera après-coup de « toiles prémonitoires », préfigurant le décès de son frère. l'impression de tomber dans un trou sans fond, dans une impression de chute sans fin et d'effondrement. Ce mouvement (« un corps descend » ou « un corps tombe ») évoque la question du « lâché » (son frère qui l'a lâchée, laissée tomber) et de la dépression primaire que Sarah évoquera plus tard dans la thérapie. L'hallucination de la descente aux enfers semble offrir une première figuration ou mise en forme au mouvement interne de tomber (laisser tomber, abandonner).

La culpabilité primitive et l'épreuve du feu

La seconde hallucination est « l'épreuve du feu » 13 . Elle sent son corps se consumer et une boule de feu brûler la peau de son dos pour la purifier, le long de la colonne vertébrale, « dans l'épaisseur de la surface du dos ». Dans la thérapie cette hallucination qu'elle présentera comme purificatrice (purification de la faute, du mal, par le feu), semble en rapport avec la relation fusionnelle et présentée par elle comme incestueuse vis-à-vis du frère, mais aussi face à la culpabilité ressentie face à l'impression, voire la certitude, d'avoir tué son frère par sa propre hostitité à son égard. Quand Sarah l'évoque pour la première fois dans la thérapie: elle sent à nouveau la brûlure sur son corps. Elle revit de façon quasi-hallucinatoire mais plus supportable ce vécu. Sarah commence alors à créer, et transcrit ses vécus intérieurs, tensions et émotions, dans des sculptures qu'elle détruit au fur et à mesure, et des tableaux. Mais quand elle regarde à nouveau la toile dans laquelle elle essayait de déposer son vécu hallucinatoire traumatique, elle revit à nouveau l'hallucination. Une boule de feu sort de la toile et brûle l'intérieur de sa colonne vertébrale; elle la nomme la « seconde épreuve du feu » 14 . C'est alors que ses créations semblent l'aider un peu à mettre en forme ces vécus douloureux. Mais son atelier et presque toutes ses oeuvres sont détruites dans un incendie déclaré dans son village. Cet événement (réel) qu'elle nomme la « troisième épreuve du feu » déclenche une régression très forte. Elle l'évoque comme un traumatisme par lequel on lui aurait arraché une partie de son corps.

La destruction des toiles la recentre sur elle-même, sur son propre corps, sur sa peau, enveloppe qu'elle attaque par une série de passages à l'acte. Elle recouvre d'abord sa peau d'une couche de peinture : elle se peint en blanc (comme une toile). Puis, dans un moment hallucinatoire, elle appréhende son corps comme un billot de bois sculpté par Dieu, et sent le ciseau du sculpteur ciselant son front. Elle devient ainsi une sculpture, dans un mouvement où elle est à la fois les mains qui sculptent et le matériau sur lequel on sculpte. Par un retournement actif/passif. Dieu prend la place des mains, et Sarah est identifiée à l'oeuvre. Elle précisera qu'elle sentait le marteau qui entrait dans son front. Ce n'était pas douloureux, explique-t-elle, car elle était « devenue du bois ». Quand 13 Dans une reprise culturelle, après-coup, elle nomme également cette expérience très douloureuse « le premier baptême de feu spirituel » ou « le vécu de l'alpha et l'oméga »... 14 Suivent, le lendemain, une série d'hallucinations qui bouleversent Sarah : elle sent le Diable dans son ventre et le voit tirer sa langue par son vagin, elle se bat avec une « bête à cinq têtes » de l'Apocalypse, elle a l'impression de faire l'amour avec Dieu, et d'être enceinte de lui, qu'on la viole. Une thématique sexualisée apparaît ainsi dans ces hallucinations : la boule de feu qui entre par le bas de sa colonne vertébrale, la pollution, le viol, faire l'amour avec Dieu.

elle sort de cet état intérieur, elle s'aperçoit que son front saigne et présente une plaie en forme de croix. Elle l'appellera le « stigmate spirituel ». Sarah allume ensuite un grand barbecue, et se place sur la braise. Elle se brûle très longuement et très gravement, comme les toiles et les sculptures, répétant ici sur sa propre peau l'épreuve du feu. C'est ce qu'elle nommera la « quatrième épreuve du feu ». Après la brûlure, elle s'arrache des morceaux de peau, essayant de se « dépecer ». Elle a l'impression que des « corps étrangers » sont sur et dans sa peau et qu'elle doit absolument les en extirper 15 .

La destruction de la toile par le feu l'accule à utiliser son ultime surface d'inscription: la peau de son propre corps où elle tente de déposer l'innommable. Après s'être peinte en blanc, elle attaque cette dernière surface qu'elle « n'a pas » mais qu'elle «est»: elle s'arrache des morceaux de peau et se brûle, sans, apparemment, ressentir une quelconque douleur. L'expérience traumatique sur le corps, accompagné d'une douleur particulièrement aiguë rendra possible, après-coup un certain « travail de la maladie » (17), c'est-à-dire un ensemble de procédures économiques et signifiantes spécifiques qui assurent la transformation de l'atteinte corporelle en atteinte narcissique et en douleur psychique, et qui permettent un réinvestissement libidinal, voire un début de transformation élaborative pour autant que le patient rencontre un lieu où déposer et traiter ce qui se déroule dans son corps.

Conclusion

Nous avons évoqué succintement la capacité de certains patients schizophrènes à ne pas percevoir une douleur particulièrement aiguë (hallucination négative) et étudié l'utilisation de cette douleur pour lutter contre une souffrance intérieure intolérable (Amar).

Nous avons également exploré, plusieurs aspects de l'hallucination de douleur, tactile et cénethésiques : nous avons montré :

• Qu'elle pouvait traduire dans le corps l'intensité du danger provoqué par la rencontre avec l'autre (Jérôme).

• Nous avons observé que ces hallucinations pouvaient être des tentatives échouées (mais des tentatives tout de même) de mise en représentation d'un traumatisme qu'elles répètent, dupliquent indéfiniment (M. M.) [START_REF] Pedinielli | Douleur et traumatisme : lecture psychanalytique[END_REF].

• Nous avons vu que la douleur hallucinée pouvait également être une tentative pour traiter une culpabilité archaïque intolérable (M. G.).

• Nous avons enfin distingué des formes plus ou moins élaborées de douleur hallucinée, fondée sur un pictogramme (hallucination de sensation de surface), ou fondée sur un signifiant formel (hallucination de transformation ou de mouvement) (Ali).

Bibliographie 1 .

 1 Anzieu D.: Le Moi-peau. Paris : Dunod, 1985. 2. Anzieu D.: Les signifiants formels et le Moi-peau. In: Anzieu D., Houzel D. et coll. Les enveloppes psychiques. Paris: Dunod, 1-22, 1987.

'hallucinations (psychotiques)

	.
	Pour Jérôme, des parties de son corps se retrouvent en
	dehors de son enveloppe corporelle.
	Excorporation
	C'est ce que certains auteurs (comme A. Green), nom-ment l'excorporation 3 : une partie du corps ou de l'image
	du corps est projetée dans l'espace externe, et peut y être
	contrôlée. Ce mécanisme se retrouve dans les cas d'auto-
	matisme mental (et de syndrome d'influence) et dans les
	cas de création de machine à influencer (20) chez les schi-
	zophrènes. C'est ainsi que l'une de mes patientes, souf-
	frant d'automatisme mental, sentait des aiguilles longues
	et fines la piquer très douloureusement sous les pieds, à
	travers le carrelage de son appartement, et souffrait des
	ondes mauvaises que lui adressaient ses voisins à travers
	les murs. Ces voisins lui envoyaient également des coups
	violents sur ses tibias endoloris et gonflés. A d'autres
	moments, elle recevait des chocs électriques entre les
	yeux. Il s'agit là d

L'hallucination est pour nous un déni perceptif[START_REF] Gimenez | Clinique de l'hallucination psychotique[END_REF].

Hallucination comme répétition du trauma et raté de son élaboration (brûlures de cigarette et coups)Précisons maintenant une des fonctions des hallucinations de douleur à partir de M. M., patient schizophrène de 35 ans, envahi par des hallucinations visuelles et cênesthésiques. Alors qu'il est en crise aiguë, en chambre d'isolement, il évite les coups qu'un interlocuteur invisible semble lui donner. Il crie, démuni et en grande détresse. Je me sens dans une situation difficile quand, pour se défendre, il commence à envoyer des coups de poing dans ma direction. Il se sent coincé dans un angle de la[START_REF] Aulagnier | La violence de l'interprétation[END_REF] Il s'agit de la projection d'une partie de l'image du corps ou de sensations corporelles qui prennent forme à l'extérieur.[START_REF] Barbier | Réflexions sur la place de la douleur dans la théorie psychanalytique[END_REF] Nous qualifions l'hallucination de « psychotique », à la suite d'auteurs, qui, comme W.R.Bion (1958, 93) différencient hallucination névrotique et psychotique.

Il expliquera : « Je suis dans le désert, j'ai chaud, je le traverse, je vais vers la Mecque.»

Nous comprendrons plus tard qu'il avait l'impression de revivre des scènes bibliques (communes avec le Coran) dans laquelle Abraham devait tuer son fils à la demande de Dieu...

Le verbe se déroule dans un espace bi-dimensionnel (dans lequel il n'y a pas de spectateur) et renvoie souvent à des impressions corporelles en rapport avec les limites du corps et les états de la matière.

8En fait, nous observons qu'il est difficile de rendre compte d'hallucinations fondées sur des pictogrammes : quand le patient parvient à en parler (à construire l'énoncé adressé à un autre que lui), à le transformer en représentation de parole (Kaës, 1994), il ne s'agit le plus souvent plus de pictogramme : dans l'intersubjectivité, il y a rescénarisation ; le pictogramme est transformé en signifiant formel voire en scénario. Ainsi, quand un patient schizophrène essaie d'évoquer cette expérience intrusive traumatiques de chocs violents dans ses tympans, il utilise des signifiants formels (« un tympan se perce, ou un scénario : on me perce les tympans), mais ce qu'il vit dans l'hallucination, c'est d'abord la sensation violente sur une surface, un choc dans le tympan.

L'hallucination négative: ne pas se voir dans le miroir (la deshallucination)

Douleur non perçue ou contrepartie de la souffrance (psychique) intolérable ?

Cette partie reprend une intervention dans le cadre des journées d'études du C.O.R. (Arles, 1990) sur le travail clinique avec les patients psychotiques (10).

2Elle dit retrouver dans les entretiens des tensions et des impressions corporelles de cette expérience, qui l'avaient submergée. Elle parle de façon morcelée, les yeux hagards et grands ouverts. Elle semble perdue. Ses phrases, très chargées d'affects, sont ponctuées de longs silences.

Elle continue « la purification par le feu » sur les objets de sa maison. Ce jour-là, la fumée remplit sa maison et manque d'asphyxier Sarah. Elle se couvre alors d'un drap pour se protéger des persécuteurs externes.


Sébastien Forestier
email: sebastien.forestier@inria.fr

Modular Active Curiosity-Driven Discovery of Tool Use

Sébastien Forestier 1 and Pierre-Yves Oudeyer 2 Abstract-This article studies algorithms used by a learner to explore high-dimensional structured sensorimotor spaces such as in tool use discovery. In particular, we consider goal babbling architectures that were designed to explore and learn solutions to fields of sensorimotor problems, i.e. to acquire inverse models mapping a space of parameterized sensorimotor problems/effects to a corresponding space of parameterized motor primitives. However, so far these architectures have not been used in high-dimensional spaces of effects. Here, we show the limits of existing goal babbling architectures for efficient exploration in such spaces, and introduce a novel exploration architecture called Model Babbling (MB). MB exploits efficiently a modular representation of the space of parameterized problems/effects. We also study an active version of Model Babbling (the MACOB architecture). These architectures are compared in a simulated experimental setup with an arm that can discover and learn how to move objects using two tools with different properties, embedding structured high-dimensional continuous motor and sensory spaces.

I. INTRODUCTION

A major challenge in robotics is to learn sensorimotor models in high-dimensional continuous motor and perceptual spaces. Of particular interest is the acquisition of inverse models which map a space of sensorimotor problems to a space of motor programs that solve them. For example, this could be a robot learning which movements of the arm and hand can push or throw an object in each of several target locations, or which arm movements allow to produce which displacements of several objects potentially interacting with each other, e.g. in the case of tool use. Specifically, acquiring such repertoires of skills through incremental exploration of the environment has been argued to be a key target for lifelong developmental learning [START_REF] Cangelosi | Developmental robotics: From babies to robots[END_REF], [START_REF] Baldassarre | Intrinsically Motivated Learning in Natural and Artificial Systems[END_REF], [START_REF] Ugur | Staged development of robot skills: Behavior formation, affordance learning and imitation with motionese[END_REF].

To approach this challenge, various works have considered the parameterization of these motor and problem spaces. For example, motor programs can be encoded through Dynamical Movement Primitives parameterized by a vector of real numbers [START_REF] Stulp | Learning compact parameterized skills with a single regression[END_REF]. Similarly, it is possible to embed targeted sensorimotor problems (also called space of effects or task space) in a dual parameterized space such as the coordinates of the target object location [START_REF] Silva | Learning parameterized skills[END_REF], [START_REF] Ude | Task-specific generalization of discrete and periodic dynamic movement primitives[END_REF], [START_REF] Baranes | Active learning of inverse models with intrinsically motivated goal exploration in robots[END_REF], potentially combined with parameters characterizing the position of obstacles [START_REF] Stulp | Learning compact parameterized skills with a single regression[END_REF].

This dual parameterization is useful for several reasons. First, given a database of experiences associating parameters of motor programs to a set of sensorimotor problems they solve (e.g. the effects they produce), it is possible to use optimization and regression techniques to infer the parameters of motor programs that solve new sensorimotor problems which parameters were not encountered during training [START_REF] Stulp | Learning compact parameterized skills with a single regression[END_REF], [START_REF] Silva | Learning parameterized skills[END_REF], [START_REF] Ude | Task-specific generalization of discrete and periodic dynamic movement primitives[END_REF], [START_REF] Baranes | Active learning of inverse models with intrinsically motivated goal exploration in robots[END_REF], [START_REF] Kupcsik | Dataefficient generalization of robot skills with contextual policy search[END_REF]. Second, it allows efficient data collection leveraging the interactions among sensorimotor problems as achieved in goal babbling exploration [START_REF] Baranes | Active learning of inverse models with intrinsically motivated goal exploration in robots[END_REF], [START_REF] Rolf | Goal babbling permits direct learning of inverse kinematics[END_REF], [START_REF] Fabisch | Active contextual policy search[END_REF] and other related approaches [START_REF] Kupcsik | Dataefficient generalization of robot skills with contextual policy search[END_REF]: when the learner is searching for parameters optimizing one sensorimotor problem (typically using policy search or related stochastic optimization methods [START_REF] Stulp | Robot skill learning: From reinforcement learning to evolution strategies[END_REF]), it will often discover parameters that are improving other sensorimotor problems -and update their current best solutions accordingly [START_REF] Baranes | Active learning of inverse models with intrinsically motivated goal exploration in robots[END_REF].

Next to approaches that have considered finite sets of parameterized problems [START_REF] Stulp | Learning compact parameterized skills with a single regression[END_REF], [START_REF] Stulp | Simultaneous on-line discovery and improvement of robotic skill options[END_REF], other approaches [START_REF] Baranes | Active learning of inverse models with intrinsically motivated goal exploration in robots[END_REF], [START_REF] Kupcsik | Dataefficient generalization of robot skills with contextual policy search[END_REF], [START_REF] Rolf | Goal babbling permits direct learning of inverse kinematics[END_REF], [START_REF] Fabisch | Active contextual policy search[END_REF], [START_REF] Moulin-Frier | Self-organization of early vocal development in infants and machines: the role of intrinsic motivation[END_REF] have considered the challenge of autonomous exploration and learning of continuous fields of parameterized problems (e.g. discovering and learning all the feasible displacements of objects and their motor solutions). Among them, the technique of goal babbling [START_REF] Baranes | Active learning of inverse models with intrinsically motivated goal exploration in robots[END_REF], [START_REF] Rolf | Goal babbling permits direct learning of inverse kinematics[END_REF], [START_REF] Fabisch | Active contextual policy search[END_REF] (which can be made active [START_REF] Baranes | Active learning of inverse models with intrinsically motivated goal exploration in robots[END_REF], [START_REF] Fabisch | Active contextual policy search[END_REF]) was shown to be highly efficient for complex tasks such as learning to throw an object in all direction with a flexible fishing rod [START_REF] Nguyen | Socially guided intrinsic motivation for robot learning of motor skills[END_REF], learning omnidirectional legged locomotion on slipping surfaces [START_REF] Baranes | Active learning of inverse models with intrinsically motivated goal exploration in robots[END_REF] or learning to control a robotic pneumatic elephant trunk [START_REF] Rolf | Goal babbling permits direct learning of inverse kinematics[END_REF].

However, to our knowledge, results of goal babbling approaches as well as results of other approaches to learning inverse models were so far achieved in relatively lowdimensional spaces of parameterized problems. Furthermore, they were also experimented in sensorimotor spaces with little structure, and in particular have not yet been applied to sensorimotor problems involving tool use.

In this article, the primary question we address is: Can goal babbling approaches efficiently drive exploration in high-dimensional structured sensorimotor spaces, such as in tool use discovery? As we will show, applying them as they exist does not allow an efficient exploration of the sensorimotor space. Rather, we will present a novel algorithmic architecture for exploration, called Model Babbling, that drives sensorimotor data collection by considering a modular representation of the sensorimotor space: instead of considering a flat architecture mapping a motor space to a single high-dimensional space of effects, it considers a set of submodels mapping the motor space to various subspaces of the space of effects. When selected, each of these submodels is explored using the goal babbling approach, and the architecture leverages the fact that exploring one submodel produces data that can improve other submodels.

A secondary issue we study is whether active learning methods can improve the efficiency of this Model Babbling approach. In particular, we present the Modular Active Curiosity-driven mOdel Babbling (MACOB) architecture, where a measure of empirical learning progress is used by a multi-armed bandit algorithm to select which model to explore [START_REF] Baldassarre | Intrinsically Motivated Learning in Natural and Artificial Systems[END_REF], [START_REF] Baranes | Active learning of inverse models with intrinsically motivated goal exploration in robots[END_REF], [START_REF] Fabisch | Active contextual policy search[END_REF]. This curiosity-driven exploration algorithm can be related to work using intrinsic motivations in the Reinforcement Learning literature [START_REF] Baldassarre | Intrinsically Motivated Learning in Natural and Artificial Systems[END_REF], [START_REF] Chentanez | Intrinsically motivated reinforcement learning[END_REF], [START_REF] Schmidhuber | Formal theory of creativity, fun, and intrinsic motivation (1990-2010[END_REF].

The study we present is instantiated in a simulated experimental setup 1 with an arm that can discover and learn how to move objects using two tools with different properties. Compared to other work that have studied autonomous tool use learning [START_REF] Guerin | A survey of the ontogeny of tool use: from sensorimotor experience to planning[END_REF], [START_REF] Stoytchev | Behavior-grounded representation of tool affordances[END_REF], [START_REF] Antunes | Robotic tool use and problem solving based on probabilistic planning and learned affordances[END_REF], [START_REF] Tikhanoff | Exploring affordances and tool use on the icub[END_REF], this study is original in that it combines 1) considering the problem of how to design efficient exploration algorithms rather than how to design efficient exploitation algorithms that can build compact models from the data collected through exploration; 2) considering a problem of tool use discovery where tools are objects with initially no special status with respect to other objects, i.e. the robot does not know they are "tools".

II. METHODS

The problem settings for the learning agent is to explore its sensorimotor space and collect data so as to generate a diversity of effects and that this collected database of learning exemplars can be used to build inverse models to be able to reproduce those effects. An agent is described as two independent components: an exploration algorithm and an exploitation algorithm (see Fig. 1). The exploration algorithm decides at each iteration which motor command m to explore, and gathers a sensory feedback s to update a database of sensorimotor experiences. We suppose that the motor space M and the sensory space S are continuous and high-dimensional, and that a factorization of S as a product of sensory subspaces that represents the items of the environment can be given to the agent. As detailed below, the exploration algorithm can make use of the current database of sensorimotor experiences to define a coarse but fast surrogate inverse model to orient the exploration process. On the other hand, the exploitation algorithm uses the database built during exploration to generate a potentially more precise inverse model, i.e. to find motor commands to reach sensory goals given by the experimenter based on the explored data. The inverse model of the exploitation algorithm can be built during exploration as an incremental and asynchronous process, or built at the end of exploration as a batch process. Next we describe the exploration architectures, the experimental setup and exploitation architectures. Add(database, (m, s))

A. Exploration

6: return database 2) Random Goal Babbling: In the following exploration architectures the agent performs Goal Babbling. With this method, it self-generates goals in the sensory space and tries to reach them but adds some exploration noise to its motor commands to discover new effects. To generate those goals, different strategies have been studied [START_REF] Baranes | Active learning of inverse models with intrinsically motivated goal exploration in robots[END_REF]. It was shown that estimating the learning progress in different regions of the sensory space and generating the goals where the progress is high leads to fast learning. However, this cannot be applied in a high-dimensional sensory space as a learning progress signal could not be efficiently estimated.

Consequently, we use random goal babbling: goals are randomly generated in the sensory space. This method was nevertheless proven to be highly efficient in complex sensorimotor spaces [START_REF] Rolf | Goal babbling permits direct learning of inverse kinematics[END_REF]. To perform goal babbling, the agent uses a sensorimotor model that learns a mapping between M and S and provide the inverse inference of a probable motor command m to reach a given sensory goal s g (see Algo. 2 and 3). The sensorimotor model stores sensorimotor information of the form (m + η, s) with m + η being the inferred motor parameters to reach the sensory goal, plus gaussian exploration noise (of standard deviation σ = 0.01), and s ∈ S the associated sensory feedback in a sensorimotor database. Section II-A.5 explains in more detail the two different algorithms that will be used to implement inverse models. We use the Explauto autonomous exploration library [START_REF] Moulin-Frier | Explauto: an open-source Python library to study autonomous exploration in developmental robotics[END_REF] to implement the sensorimotor models and goal babbling. In our implementation, the agent first begins by exploring random motor commands to bootstrap the sensorimotor model until at least 2 distinct sensory points have been reached, and then it starts goal babbling.

Algorithm 2 Random Goal Babbling

Step Require: Sensorimotor model sm model

1: s g ← RandomGoal(S) 2: m ← Inverse(sm model, s g ) 3: η ← Gaussian(µ = 0, σ = 0.01) 4: s ← Environment(m + η) 5: return (m + η, s)
3) Model Babbling: We call flat exploration architecture the random goal babbling strategy applied to explore directly a mapping between the motor space M and the sensory space S. However, the high-dimensional sensory space (e.g. 93D, see experimental setup after) can be separated into several subspaces to reflect the perception of the different items of Algorithm 3 Random Goal Babbling Experiment [START_REF] Baranes | Active learning of inverse models with intrinsically motivated goal exploration in robots[END_REF], [START_REF] Moulin-Frier | Exploration strategies in developmental robotics: a unified probabilistic framework[END_REF] Require: Motor space M , Sensory space S

1: database ← VoidDatabase(dim(M ), dim(S)) 2: sm model ← InitializeSensorimotorModel(M, S) 3: loop 4: (m, s) ← RandomGoalBabblingStep(sm model) 5:
Update(sm model, (m, s))

6:
Add(database, (m, s))

7: return database the environment (e.g. p = 15 subspaces). We thus define a modular architecture that explores p sensorimotor models at the same time (one model for each sensory subspace). Each of those modules functions in the same way as a random goal babbling flat architecture, with M as motor space but a specific sensory subspace. However, at each iteration the modular architecture first has to choose the module that will perform goal babbling -pick a random goal in the corresponding sensory subspace. We call this procedure Model Babbling. In a first condition, the babbling module is randomly chosen, which we call Random Model Babbling (See Algo. 4). Once a model is chosen, the agent generates a random goal in the sensory subspace corresponding to that model, infers motor parameters to reach that goal, and adds exploration noise as in the flat architectures. Finally, when motor parameters m have been executed and feedback s received from the environment, the sensorimotor mappings of all modules are updated with their respective part of s. Add(database, (m, s)) 10: return database 4) Active Model Babbling: In strategic learning, different parameterized problems and strategies to solve them are available and the agent learns which strategies are useful for which problems. It was shown in [START_REF] Nguyen | Active choice of teachers, learning strategies and goals for a socially guided intrinsic motivation learner[END_REF] that an active choice of the outcomes and strategies based on the learning progress on each of them increases learning efficiency compared to a random choice. Also, in [START_REF] Baranes | Active learning of inverse models with intrinsically motivated goal exploration in robots[END_REF], the authors develop the SAGG-RIAC architecture of algorithms where the sensory space is automatically splitted into regions where the learning progress is monitored, and goals are generated in regions where the progress is high. Here, instead of differentiating the learning progress in different regions of a single space, we differentiate it in different sensory spaces.

I modi ← UpdateInterestModel(i model i, s g , 10:
Projection(s, S i ))

11:

for j ∈ {1..p} do 12:

Update(sm model j, (m, Projection(s, S j )))

13:

Add(database, (m, s))

14: return database

To implement an active choice of model to explore (Active Model Babbling, see Algo. 5), we first define a measure of interest based on the learning progress of each of the p modules (see Algo. 6). When a module has been chosen to babble, it draws a random goal s g and finds motor parameters m to reach this goal. The actually reached outcome s in its sensory subspace might be very different from s g . To measure the progress made to reach s g , we compare the reached point s with the point s that was reached for the most similar previous goal s g . We define a distance D Si between two points s and s in a sensory subspace S i as the L 2 distance divided by the maximal distance in this sensory subspace, in order to scale this measure across subspaces:

D Si (s, s ) = ||s -s || max s1,s2 ||s 1 -s 2 || (1)
We define the interest I(s g ) associated to the goal s g ∈ S i :

I(s g ) = |D Si (s g , s ) -D Si (s g , s)| (2)
where s g and s are the current goal and reached sensory points, and s g and s are the previous goal of that module that is the closest to s g , and its associated reached sensory point. The interest of a module is initialized at 0 and updated to follow the progress of its goals (with rate n = 1000):

I mod (t) = n -1 n I mod (t -1) + 1 n I(s g ) ( 3
)
where

t
I(s g ) = |D Si (s g , s ) -D Si (s g , s)| 3: I modi ← n-1 n I modi + 1 n I(s g ) 4:
Add(goal database, (s g , s)) 5: return I modi Finally, we implement a multi-armed bandit algorithm to choose the babbling module at each iteration [START_REF] Baranes | Active learning of inverse models with intrinsically motivated goal exploration in robots[END_REF], [START_REF] Fabisch | Active contextual policy search[END_REF]. The choice of module is probabilistic and proportional to their interest, with = 10% of random choice to set up an exploration/exploitation tradeoff. We call MACOB those modular active exploration architectures (Modular Active Curiosity-driven mOdel Babbling).

5) Sensorimotor models: Here we describe two algorithms to provide fast, incremental and online forward and inverse model based on a sensorimotor database of motor commands and associated sensory feedback. The first algorithm is the Nearest Neighbor (NN) algorithm, which finds the nearest neighbor of a given point in a database based on a kd-tree search. The forward model is implemented by the following: given a motor command m, the NN algorithm finds the nearest motor command m in the motor part of the database, and returns the sensory point associated to m . Also, the inverse of a sensory goal s g is computed as the motor part m of the nearest neighbor s of s g in the sensory part of the sensorimotor database (see Algo. 7).

The second algorithm allows to interpolate and extrapolate the forward model around explored points with the Locally Weighted Linear Regression (LWLR, [START_REF] Cleveland | Locally weighted regression: an approach to regression analysis by local fitting[END_REF]). (m , s ) ← NearestNeighbor(sm database, s g ) 10:

return m s p of m with this local regression (see Algo. 8). On the other hand, the inverse m * of a sensory goal s g is found by the minimization of the predicted distance between the reached and goal sensory points as the error function e(m) = ||F orward(m) -s g || 2 with an optimization algorithm (we use the L-BFGS-B algorithm [START_REF] Byrd | A limited memory algorithm for bound constrained optimization[END_REF]). We limit the number of forward model evaluations (which uses LWLR) to 200.

B. Experimental setup

We designed a robotic setup where a 2D simulated arm can grasp two sticks that can be used to move some of the out-of-reach objects (see Fig. 2). The different items in the scene and their interactions are described in the next sections. 3) Objects and Tools: Two sticks can be grasped by the handle side (orange side) in order to catch an out-ofreach object. The sticks have length 0.5 and are located at positions (-0.75, 0.25) and (0.75, 0.25) as in Fig. 2. One stick has a magnet on the end and can catch magnetic objects (represented in blue), and the other stick has a hook-and-loop tape to catch another type of objects (objects represented in green). If the gripper is closed near the handle of one stick (closer than 0.25), this stick is considered grasped and follows the gripper's position and the orientation of the arm's last segment until the gripper opens. In some conditions, we add environmental noise as a gaussian noise of standard deviation 0.1 added to the (normally equal to 0) angle between the stick and the arm's last segment, different at each of the 50 movement's steps. If the other side of one stick reaches (within 0.25) a matching object (magnetic or hookand-loop), the object will then follow the end of the stick. Three magnetic objects are located at positions (-0.3, 1.1), (-1.2, 1.5) and (-1., 1.5), so that only one is reachable with the magnetic stick. Three hook-and-loop objects are located at positions (0.3, 1.1), (1., 1.5) and (1.2, 1.5), so that only one is reachable with the hook-and-loop stick. Also, two animals walk randomly following a gaussian noise of standard deviation 0.01 on X and Y dimensions added at each of the 50 steps of a trial. Finally, four static black squares have also no interaction with other objects. The arm, tools and other objects are reset to their initial state at the end of each iteration.

4) Sensory Feedback: At the end of the movement, the robot gets sensory feedback representing the trajectory of the different items of the environment during the arm's movement. This feedback is composed by the position of each item at 3 time points: at steps 17, 33, and 50 during the movement of 50 steps. First, the trajectory of the gripper is represented as a sequence of X and Y positions and aperture (1 or -1) of the gripper (S Hand , 9D). Similarly, the trajectories of the end points of the sticks are sequences of X and Y positions (S Stick1 and S Stick2 , 6D each). Also, the trajectory of each object is a sequence of X and Y positions: S Object with Object ∈ { M agnetic 1 , M agnetic

C. Exploitation Architectures

An exploitation architecture generates an inverse model of the environment based on a database of previously explored motor commands and their associated sensory feedback. In this paper, we are both interested in the quality of the exploration databases and in comparing the inverse models built by different combinations of exploration database and exploitation architectures. We evaluate the accuracy of the resulting inverse models to reach points in two spaces of interest, S M agnetic1 and S HookLoop1 . Indeed, those spaces represent the only objects that can be moved by one of the sticks as they are not static and not out-of-reach. One set of goals is randomly drawn in the 2D subspace corresponding to the final position of each of the two interesting objects (1000 goals in each).

We define two exploitation architectures generating inverse models: one based on the Nearest Neighbor algorithm (NN, Algo. 7), and one based on the Locally Weighted Linear Regression forward model and an optimization-based inverse model (LWLR, Algo. 8). Given a goal s g (e.g. s g = (0.5, 0.5), the final position of the reachable magnetic object), the NN algorithm looks into the explored database, finds the nearest sensory reached point s along the dimensions of the target effect space, and returns its associated motor command m. On the other hand, the LWLR algorithm builds a forward model based on a locally weighted linear regression, and an optimization algorithm (L-BFGS-B) finds the motor command m that minimizes the distance between the prediction of the sensory feedback and the sensory goal.

III. RESULTS

We run 100 trials of 100000 iterations with environmental noise and 100 trials without noise, for each of the 7 exploration architectures (thus 14 conditions). We first measure the total exploration of 6D spaces of interest S M agnetic1 and S HookLoop1 after 100000 iterations, and provide results depending on the exploration architecture and environmental noise on the orientations of the sticks. Then, for each of the 1400 exploration databases, we test the inverse models generated by the two exploitation architectures in the 2D subspaces of the final position of the two objects of interests, with the same 1000 random goals for each space. We chose those 2D spaces as they represent an interesting effect space from the point of view of the experimenter (as in Fig. 3), but the actually learnt skills are higher-dimensional (9D for the hand, 6D for each tool and object). We provide a measure of competence of each combination of exploration and exploitation architectures as the median reaching error (the median distance between the goals and actually reached sensory points), both when environmental noise was present and when the environment was deterministic.

A. Exploration 1) Examples of Object Exploration: Figure 3 shows qualitatively the exploration of the two reachable and movable objects (corresponding to sensory spaces S M agnetic1 and S HookLoop1 ) for one trial of some exploration architectures, without environmental noise. The blue points are the 2D end positions of the reachable magnetic object, and green points are the end positions of the reachable hook-and-loop object, for the 100000 iterations of an exploration trial. First, the random motor babbling architecture managed to grab the sticks to move one of the object only for a small proportion of the 100000 iterations. Also, only the modular architectures could explore a large proportion of the 2D spaces.

2) Evolution of Interests in Active Model Babbling: Figure 4 shows one example of the evolution of the interest of some of the 15 modules of exploration architecture M-NN-AMB. The first module to make progress is the module learning to move the hand, and its exploration finds the magnetic stick and thus allows the module corresponding to this stick to make more progress (after 10000 iteration), which exploration finally allows the discovery that this stick can be used to move one of the magnetic objects and make progress on that task (after 20000 iteration). Notably, modules corresponding to unreachable or static objects have an interest strictly equal to 0. 3) Exploration Measure: The total exploration is measured in S M agnetic1 and S HookLoop1 as the number of cells reached in a discretized grid of 10 6 cells (10 cells on each of the 6 dimensions). For each exploration architecture, we provide in Table I the median, extrema and quartiles of the number of reached cells (median on 2 spaces times 100 trials). In the following, we give results of non-parametric statistical Mann-Whitney U tests for pairs of conditions.

First of all, the comparison of any of the flat exploration architectures (using NN or LWLR, with or without environmental noise) with any of the modular exploration architectures shows that flat architectures have explored less than modular architectures (p < 0.05). The effect is small for example if we compare condition F-LWLR-RGB with environmental noise (median 387 reached cells) with condition M-NN-RMB without noise (median 415). However, the difference is large between this flat architecture and the best exploring modular architecture, M-LWLR-AMB with environmental noise (median 987).

Secondly, the comparison of the conditions where only the model babbling choice differs shows that without environmental noise, active model babbling increases exploration with respect to random model babbling. Indeed, architecture M-NN-RMB has explored less (median 415) than architecture M-NN-AMB (median 536, p < 10 -23 ), and architecture M-LWLR-RMB also has explored less (median 555) than architecture M-LWLR-AMB (median 870, p < 10 -55 ). If we consider environmental noise, the random model babbling architecture using LWLR (median 623) has explored less than the active one (median 987, p < 10 -39 ).

B. Exploitation

The quality of the different inverse models is assessed at the end of the 100000 exploration iterations, by giving random goals in S M agnetic1 and S HookLoop1 and measuring the distance between goals and reached sensory points (without environmental noise). We draw 1000 random sensory goals in each of two spaces of interest, S M agnetic1 and S HookLoop1 , and use those same goals for the evaluation of each com- bination of exploration and exploitation architectures. Table II provides the median distance between goals and reached sensory points for each condition (for 2000 points times 100 trials). In the following, we give results of non-parametric statistical Mann-Whitney U tests for pairs of conditions. Firstly, both if we consider conditions with environmental noise or not, all databases generated by flat exploration architectures and tested by any of the two exploitation architectures show a larger competence error than any of the databases explored with modular architectures and tested with both exploitation architecture (p < 10 -100 ). For instance, without environmental noise, the best performing flat condition is F-LWLR-RGB exploited with the NN algorithm, with a median competence error of 0.123, whereas the worst performing modular condition is M-NN-RMB, exploited with the LWLR algorithm, with an error of 0.050.

Secondly, considering only exploration conditions without environmental noise, all databases generated with RMB architectures and tested with any of the two exploitation architectures show a larger competence error than any of the databases generated with AMB and tested with both exploitation architectures (p < 0.05). For instance, the median competence error using RMB and the NN algorithm both in

IV. DISCUSSION

We have introduced two new algorithmic architectures for incremental exploration of sensorimotor spaces, exploiting a modular representation of these spaces. Random Model Babbling selects randomly which model to explore (which is itself explored through goal babbling) and Active Model Babbling (MACOB) uses a multi-armed bandit algorithm to maximize empirical learning progress. In a simulation involving structured continuous high-dimensional motor (12D) and sensory (93D) spaces, we showed that these modular architectures were vastly more efficient than goal babbling methods used with flat representations, for all combinations of inverse models in the exploration and exploitation architectures. In particular, by focusing exploration on relevant parts of the space, modular architectures allowed the learner to discover efficiently how to move various objects using various tools, while flat architectures were not able to discover large parts of the space of effects. We also showed that active model babbling was significantly more efficient than random model babbling, yet the difference was smaller than between modular and flat architectures.

To extend the scope of these results, further work is needed to study other experimental setups involving real physical robots, tools and objects, and setups with more motor and sensory dimensions. Also, in our experiment, the objects are reset to their initial position at each iteration. In a setup where we reset the object to a random position [START_REF] Forestier | Overlapping waves in tool use development: a curiosity-driven computational model[END_REF], we showed that similar agents could transfer the knowledge about tool manipulation to reach the object in one position in order to bootstrap exploration to reach the object in a new position.

Given the potential importance of modular representations to address the challenge of incremental learning of skills in high-dimensional spaces, and within a life-long developmental perspective, this work also points to the need for algorithmic mechanisms that can generate automatically such representations. However, from a cognitive point of view regarding human tool use learning, it is reasonable to suppose that the brain has sufficient knowledge about the concept of objects and their properties at the time of understanding object interactions and tool use, and it makes sense to build upon those representations in order to model tool use learning [START_REF] Lake | Building machines that learn and think like people[END_REF]. The modular representation we give to the learning agent thus seems natural as each sensory subspace corresponds to the behavior of one object in the scene.

Finally, also from the perspective of modeling tool use discovery, an interesting feature of our setup was that "tool" objects did not have a special status: they were represented in the same way as any other object. Yet, the active model babbling architecture converged to explore preferentially these objects and discovered their actual use as tools. In [START_REF] Forestier | Curiosity-driven development of tool use precursors: a computational model[END_REF], the learning agents had a hierarchical organization of modules which was imposed and not built autonomously. Further algorithms could be developed to transform the modular architecture into a hierarchical one where causal dependencies between objects could be represented and leveraged, with the discovery of explicit object categories such as "tools". A possible approach could be to differentiate "tools" using a relative measure of learning progress, following the approach presented in [30, sec. VIII. B. 2] to differentiate the self/body, physical objects and "others".

Fig. 1 .

 1 Fig. 1. Agent's two components: the exploration and exploitation algorithms.

2 : 8 :

 28 Given a motor command m, LWLR computes a linear regression of the forward model based on the k = 10 nearest neighbors of m in the motor part of the database, weighted locally. The weights of the k nearest neighbors of m depends on the distance to m with a gaussian decreasing function of standard deviation σ = 0.1, and LWLR then computes the prediction Algorithm 7 NN Sensorimotor Model 1: function INITIALIZE(M , S) sm database ← VoidDatabase(dim(M ), dim(S)) 3: function UPDATE((m, s)) 4: Add(sm database, (m, s)) 5: function FORWARD(m) 6: (m , s ) ← NearestNeighbor(sm database, m) function INVERSE(s g ) 9:

Algorithm 8 2 : 11 :

 8211 LWLR-BFGS Sensorimotor Model 1: function INITIALIZE(M , S) sm database ← VoidDatabase(dim(M ), dim(S)) 3: function UPDATE((m, s)) 4: Add(sm database, (m, s)) 5: function FORWARD(m) 6: knns ← KNearestNeighbors(sm database, m) 7: weights ← GaussianWeights(Distance(knns, m)) function INVERSE(s g ) 12: error(m) = ||FORWARD(m) -s g || 2 13: m * ← L-BFGS-B-Minimize(error)

Fig. 2 .

 2 Fig. 2. A possible state of the environment. 1) Robotic Arm: The 2D robotic arm has 3 joints plus a gripper located at the end of the arm. Each joint can rotate from -π rad to π rad around its resting position, mapped to a standard interval of [-1, 1]. The length of the 3 segments of the arm are 0.5, 0.3 and 0.2 so the length of the arm is 1 unit. The resting position of the arm is vertical with joints at 0 rad and its base is fixed at position (0, 0). The gripper g has 2 possible positions: open (g ≥ 0) and closed (g < 0) and its resting position is open (with g = 0). The robotic arm has 4 degrees of freedom represented by a vector in [-1, 1] 4 . A trajectory of the arm is represented as a sequence vectors. 2) Motor Control: We use Dynamical Movement Primitives [26] to control the arm's movement as this framework allows the production of a diversity of arm's trajectories with few parameters. Each of the 4 arm's degrees-of-freedom (DOF) is controlled by a DMP starting at the resting position of the joint. Each DMP is parameterized by one weight on each of 2 basis functions and one weight specifying the end position of the movement. The weights are bounded in the interval [-1, 1] and allow each joint to fairly cover the interval [-1, 1] during the movement. Each DMP outputs a series of 50 positions that represents a sampling of the trajectory of one joint during the movement. The arm's movement is thus parameterized with 12 weights, represented by the motor space M = [-1, 1]12.3) Objects and Tools: Two sticks can be grasped by the handle side (orange side) in order to catch an out-ofreach object. The sticks have length 0.5 and are located at positions (-0.75, 0.25) and (0.75, 0.25) as in Fig.2. One stick has a magnet on the end and can catch magnetic objects (represented in blue), and the other stick has a hook-and-loop tape to catch another type of objects (objects represented in green). If the gripper is closed near the handle of one stick (closer than 0.25), this stick is considered grasped and follows the gripper's position and the orientation of the arm's

2 , M agnetic 3 ,

 23 HookLoop 1 , HookLoop 2 , HookLoop 3 , Cat, Dog, Static 1 , Static 2 , Static 3 , Static 4 }. Those spaces are all in 6 dimensions ([-1.5, 1.5] 6 ). The total sensory space S has 93 dimensions and corresponds to 15 items.

Fig. 3 .Fig. 4 .

 34 Fig.3. Position of the two reachable and movable objects at the end of each of the 100000 iterations, for one trial of some exploration architecture. Blue points: position of reachable magnetic object. Green points: reachable hook-and-loop object.

  Algorithm 5 Modular -Active Model BabblingRequire: Motor space M Require: Sensory spaces S i for i ∈ {1..p}

1: database ← VoidDatabase(dim(M ), dim(S)) 2: for i ∈ {1..p} do 3: sm model i ← SMModel(M, S i ) 4: i model i ← InterestModel(S i ) 5: I modi ← 0 6: loop 7: i ← ChooseModule(I modi for i ∈ {1..p}) 8: (m, s) ← RandomGoalBabblingStep(sm model i) 9:

  is the current iteration: t ∈ [1..100000].

Algorithm 6 Update Interest Model Require: Interest model i model Require: Sensory goal s g , outcome s 1: (s g , s ) ← NearestNeighbor(goal database, s g ) 2:

Open-source code, notebooks and videos are available on GitHub at https://github.com/sebastien-forestier/IROS2016