Khaled As' Ad

Jean -Baptiste

Yon Ifapodamas

NOUVEAUX TEXTESPALMYRÉNIENS

Sixteen new Palmyrene Aramaic inscriptions from Palmyra are presented here. MOSI of them wert found by the Syrian mission working on the norlh waU of the city (Khaled As(ad ani Palmyra Museum). lncluded as weU are taIs discovered during the epigrophical survey for the IGLS corpus of Palmyra (by J.•B. Yon) and aider finds now in the Paimyra Mweum. Lors des fouilles en cours (menées par Khaled As' ad et le musée de Palmyre) le long du rempart nord de la ville antique de Palmyre ont été dégagés de nombreux fragments sculptés, parfois inscrits!. D'autre part, les recherches menées sur le site et au musée de Palmyre pour la préparation du corpus des IGLS (par J.-B. Yon) ont conduit à la découverte de textes araméens inédits. C'est cet ensemble de textes qui est présenté ici2• A. Texles funéraires 1) Tombe de MalkO ; musée de Palmyre A'IOJ ; petite stèle funéraire en calcaire tendre, avec un personnage debout devant un tissu retenu par deux patères d'où partent deux pabues (21 x 14 x 3,5 cm). L'homme est vêtu du chiton et de l'himation. Le type, le style et la matière de la stèle indiquent qu'il s'agit d'un monument assez ancien.

La formule est d'ailleurs ftéquente dans l'épigraphie de Palmyre et sert à distinguer des subdivisions à l'intérieur des clans6• En Inv. IX, Il, le personnage est appelé m1kw br nP br bwl�' dy mtqr' l)S § (<< Malkû, fils de Neshâ, fils de Bôlhâ, qui est appelé I:Iashash »). Le nom I:Iashash est explicitement présenté comme un surnom; dans un autre texte (Inv. IX, 12) consacré au même Ma1kfi. fils de Neshâ, la généalogie est présentée de manière un peu dîfférente : mlkw br nP br bwlb> bU (<< Malkû, fùs de Neshâ, fils de Bôlhâ I:Iashash »). L'expression est plus courte, on a omis de préciser que J:Iashash est un surnom, mais l'absence de br (<< fils») a sans doute ici la même signification que l'expression dy mtqr> 7. Or on retrouve cette alternance dans cette famille de médecins, ce qui tendrait à prouver que, malgré le sens premier du mot >sy>, il était utilisé aussi comme nom propre. Inv. Xl, 73) et on a même la transcription grecque Aypou5�v01 (Inv. X, 131). Tous les textes qui les concernent semblent plus anciens que celui qui est présenté ici. li n'y a aucun OgenO, ni Allataï dans le clan. On a néanmoins, en Inv. X, 131 et XI, 73, un Bar'ateh qui peut être le père ou le grand-père de Lishamsh. Plus d'un siècle plus tard, en 214, est attesté un petit-fi ls d'un Bar'ateh Al1ataï (Inv. X, 119) 10 li s'agit, selon toute probabilité, de descendants de la même famille.

9.

  Corriger la provenance de ces trois textes dans PAT 1561-1563.JO. eCXljl'lC AÀ.a41aea Bapaeouç AÀ.ÀaralOV et tym" br l;!lptl br(th )lfy.

  �bl (à droite) ydy' (à gauche)Le texte n'est pas inédit, il a été publié par H. Ingholt (avec une erreur dans la lecture de 1'anthroponyme), mais il n'est pas signalé dans PAT'. L'appartenance à la famille de Malkû, connue par plusieurs textes de cette même tombe, est évidente. n est possible que le terme « médecin» ait été utilisé comme surnom par cette famille4• Dans ce cas, le mot s'appliquerait, dans le texte, au père de Yedi<bel et non à ce dernier. On a sans doute une preuve de cet emploi comme véritable «nom de famille» dans le texte VI de la tombe' : la généalogie des deux propriétaires se présente ainsi: ywlys >wrlys nwrbl wm1> bny mlkw rb> br mlkw br mlkw br nwrbl dy mtqr' 'sy' «< Iulius Aurelius Nûrbel et Iulius Aurelius Malê, fils de Malkû

			Hélas! Yedi<
	bl		[bel,
	br mlkw	(en bas)	fi ls de Malkû, le médecin ( ?)

l'Aîné, fils de Malkû, fils de Malkû, fils de Nûrbel, qui est surnommé le médecin»).

3. PAT = D. R. Hillers et E. Cussini (éd.), Palmyrene Aramaic Texts, Baltimore, 1996. H.Ingholt, Asia, septembre 1941, p. 506, fig. 4 (non vidi), et surtout Id., ( Sorne Sculptures from the Tomb of Malkû », Mélanges offerts à K. Michalowski, Varsovie, 1966, p. 459-460 et fig. 2, mais le nom du personnage est lu Nûrbel. La lecture ydy<bl est pourtant assurée

  . Cela signifie aussi qu'il ne s'agit pas de la stèle du grand-père du fondateur de la tombe. J'en profite pour signaler un autre buste inscrit, publié par le mêmeH. Ingholt, «The Sarcophagus of Be'etai and Other Sculptures from the Tomb of Malkû, Palmyra », MUSJ45, 1970, p. 180-181, pl. l, 4, ainsi que dans Asia 1941, p. 506 sq., fig. 6 (lWn vidi) et non repris dans PAT. Le bust� représente un couple (homme barbu et femme voilée). Le texte est le suivant: bly/ wmrty/ �tth/ J;bl (<< Balaï etMartî, sa femme, hélas! »). Bly, sans être très courant, est bien attesté dans la tombe de Malkfi (voir H. Ingholt, «Five Dated Tombs from Palmyra », Berytus II, 1935, p. 95, 97) d'où le texte provient. 4. Je dois cette suggestion à M. Gawlikowski. Pour les exemples de ce surnom dans la famille, voir H. Ingholt, «Five Dated Tombs . .. », loc. cit., p.90 (1), p. 97-99 (VI-VDI), p' . 107 ; Id., « Sorne sculptures . . . », loc. cit., p.464-465. 5. H. Ingholt, «( Five Dated Tombs ... », loc. cit., p. 99 (VI).

6. Voir J.-B. Yon, Les notables de Palmyre, BAH 163, Beyrouth, 2002, p. 57-65. 7. Il faut aussi distinguer certains cas dans lesquels le mot br (<< fils ») est omis et sous-enten du pour diverses raisons, tel le manque de place. Voir J.-B. Yon, ibid.

2 )

 2 Fouilles du rempart nord; musée de Palmyre A 1511/9264; coin supérieur gauche de plaque en calcaire (23 X 17 x 17 cm ; h. 1. 2,5 cm).Le buste de ce Yar1).ay, inconnu d'ailleurs, était représenté sur cette plaque de fer meture de loculus. L'écriture brisée est d'un type assez récent ..3) Fouilles du rempart nord; musée de Palmyre A 1510/9255 ; fragment de bloc de calcaire (24 X 18 x 6 cm; h.1. 1,7 cm). Lignes 4-5, je restitue dy 'lm' sur le modèle du texte PAT 2784. Cette restitution comme celle de la ligne 4 (peut-être trop longue) ne sont là qu'à titre de proposition. 5) Fouilles du rempart nord; musée de Palmyre A 2769/9254 ; fragment de relief funéraire en calcaire, avec à gauche, des restes de sculpture (21 X 28 X 17 cm; Zabdâ X ... ou bien [ ... ]fils de X ... Vraisemblablement le buste d'une femme (par exemple 'qm' ou lm': plutôt ce dernier d'après les traces de la lettre) si la restitution (brt) de la seconde ligne est correcte. Ligne 4, on a sans doute au début un -z-qui permet de lire le nom propre courant zbd' plutôt que br 'ks (<< [ ..• ]fils de X . .. »). Les deux dernières lettres posent problème puisqu'il faudrait un nom commençant par X (grec B 7) et assez court pour tenir avant le �bl qui suit ligne 5'. F. Briquel-Chatonnet me propose le nom ksp' (CiS 4408) qui a l'inconvénient d'être féminin. 6) Fouilles du rempart nord; musée de Palmyre B 2774/9259 ; fragment de relief funéraire en calcaire avec, à gauche, des restes d'une sculpture repré sentant un personnage féminio debout (50 X 26 x 14 cm ; b.l. 1,8 à 3,7 cm). Elle porte une robe retroussée à la taUle et un double collier avec un penden tif en forme de grenade. Son poignet droit, replié contre la poitrine, est en touré d'un bracelet. Le visage a été entièrement détruit, ce qui fait qu'on dis tingue seulement les pans du voile qui recouvrait la tête, mais qu'on ne peut rien dire de la coiffure. On trouve cette combinaison de k et s dans le nom de mois «décembre », kslwl. le mot « argent ». ksp, et dans un certain nombre de noms empruntés au grec: 'ksdr-',« ex�dre ». Ligne 1 : la restitution du nom du personnage n'est pas assurée. Ligne 2: on a en CIS 3907 un autre exemple du nom m!lm. D est plus difficile de trouver le nom du père de cette fenune, car il ne reste, semble-t-il, que la dernière lettre, que je lis -k, ce qui est une terminaison rare pour un nom propre. L. 3 : on peut aussi proposer le nom propre [z]bdh déjà attesté. Origine inconnue; actuellement dans le coin sud-ouest du sanctuaire de Bel, près de la porte de service; bas d'un autel de calcaire (97 x 75 cm [44 cm pour la base] ; charup épigraphique: 14 x 43 cm; h. 1. 2 cm). La date cor respond à novembre 110 de notre ère. On connaît plusieurs dédicaces à Baa1haru môn et Manawat (ainsi Inv. Xl, 99, mais le monument est également dédié à Bel, et surtout Inv. Xli, 4849, dédicaces de fondation du temple sur le lebel Muntar ; voir aussi Inv. xn, 50'). Sur ce culte, voir M. Gawlikowski, «Les dieux de Palmyre »,ANRW 18-4, 1990, p. 2624, et P. Xella, Ban[ Hammon. Recherches sur ['identité et l'histoire d'un dieu phénico-punique, Rome, 1991, p. 192-203. Les Benê Agrûd sont attestés plusieurs fois à Palmyre (Inv. vm, 71 ; Inv. X, 131 de 81 apr. l.-C. ;

	yrby br	Yarl)ay, fils de
	[�]m�grm h.1. 1,5 à 3,1 cm).	Sbarnshigeram,
	bbl	hélas!
	mqy br 'bdbl[ ... ] rb' J:>bl [ ... ]m' [b]rt [lb 1]dI' [.]lbd' ks[ .. . ] I)bl [mr]ty brt [.:.]k m!lm [ ... ]brh I)bJ 8. Dédicaces religieuses 7)	Maqqay, fils de rr a ]mmâ fille de [Zabdi 7]lâ [ ... ]hélas! Marthl, fille de [ ... ]k Mushallarn [ ... ] son fils hélas 1

)boy, � étranger 1+, Le palmyrénien n'utilise pas le )alepb comme mater lectionis à l'intérieur des mots, Quelques noms grecs sont possibles comme "A,wç ou "'AÇlOC,

['It' dnh ? ... qr]b l!m[!] [Cet

autel ... a été] offert par Lisharu[sh ... ] Bar( ateh, ms de <OgaDÜ ) Alla�aï qui est desBenê Agtild, à Baa1harumôn et Manawa!, les dieux [t]by' '1 �ywhy wbyy bnwhy w'bwhy bons, pour sa vie et la vie de ses enfants et de ses frères br'th br 'gylw 'lty dy mn bn[y] [']grwd Iblbmwn wlmnwt 'lhy' byrb knwn !nt 421 au mois de Kanûn, l'année 421 Ligne 1. TI manque peut-être quelques lettres dans la lacune du début.

  8) Provient de la source Efqa; actuellement au musée de Palmyre, salle 42 (AlSI6J9315) ; autel (52 cm de haut).Le formulaire de la dédicace est un peu particulier, puisque l'expression « [d]y >mrt dy yb>)) est inédite, semble-t-il. On peut penser sans doute que la dédicace promise par la mère a été accomplie par le ms, peut-être après la mort de la première. Son nom (NabOshay) n'est attesté qu'une seule fois, dans le texte PS nO 3 daté de 441 de l'ère séleuéide. Les autres noms sont assez courants, même si on ne peut les inscrire dans aucune généalogie connue. 9) Trouvé dans les fouilles à l'emplacement du Méridien (vers la source Efqa); actuellement au musée de Palmyre (AI517/9316); autel de calcaire complet à dro ite. Seules quelques lettres manquent à l'avant-dernière ligne (38 x 14 x 14 cm [19 x 19 cm pour la corniche] ; h. 1. 1,7 cm).Si la formule initiale est bien connue (cf. lnv. XI. 1), la fm est un peu moins claire ; M. Gawlikowski me propose de traduire dy '[bd] mnh par « qui en a rait une part », mais on attendrait évidemment la forme défInie (mnt'). F. Briquel-Chatonnet penserait éventuellement à une abréviation de mn ksph (à traduire « du sien» ou « de son bien »). Ma traduction n'est pas plus assurée, puisqu'on aurait plutôt dans ce sens np §h. Les deux noms propres sont très courants, mais l'on ne connai't pas de généalogie où les deux soient combinés. 10) Trou vé dans le village près du sanctuaire de Bel; musée de Palmyre A 963; fragment avec des restes de sculpture (Il x 18 x 5 cm; h. 1. l, 5 cm).

	lbryk !mh	À celui dont le nom est béni
	l(lm) mwdy)	à jamais, (a dédié) en rendant glilces
	nbw!y brt Bm!	NabOshay, fille de Lishamsh,
	[d]y 'mrt dy yh'	qui avait dit qu'il (i. e. l'autel) soit.
	yr�y br 'ytybl	Yarl,Jay, fIls d'Aytibel, (son) fils mâle, a
	br dkr' 'bd lh	fait pour elle
	1:11'	l'autel
	(bd wmwd>	A fait en rendant grâces
	Id ywm lrl).mn)	chaque jour au miséricordieux
	zbd<lh br	Zabdateh, fils de
	br'th dy '[bd]	Barateh, qui a fIait]
	mnh	de lui-même (7)

dkrn b[lb ... ] En bon souvenir [ ... : 'bd 'gy[1w .... ] a fait OgeïlO .. . III 171 1101

'Abdibel[ ... ] l'Ancien, hélas!


Andonirina Andriamihasinoro

- Josiane Mothe

Oihana Coustie

-Olivier Teste

RFreeStem un raciniseur pour le malgache

Keywords: Systèmes d'information, Recherche d'information, Traitement automatique des langues naturelles, Racinisation, Raciniseur, Langues peu outillées, Malgache Information systems, Information retrieval, natural language processing, stemmer, stemming, under-studied languages, Malagasy

La racinisation est une étape dans le pré-traitement des textes qui regroupe des mots qui sont morphologiquement différents mais sémantiquement similaires, et qui donc, utilisés dans une requête, devraient correspondre à des résultats d'un moteur de recherche similaires voire identiques. Pour de nombreuses langues, les raciniseurs sont à base de règles. Pour des langues non outillées, le problème de racinisation demeure non résolu. C'est le cas du malgache. Cet article analyse l'efficacité d'un raciniseur, RFreeStem, basé sur l'analyse statistique des textes et sans règle. Nous étudions les hyperparamètres de ce raciniseur et leur influence sur l'efficacité du raciniseur pour le malgache en se comparant à une collection de test existante et contenant des racines obtenues manuellement.

ABSTRACT. Stemming is a step in text pre-processing that groups together words that are morphologically different but semantically similar, and which therefore, when used in a query in a search engine, should match similar or even identical documents. For many languages, stemmers are rule-based. For languages without tools, the stemming problem remains unsolved. This is the case of Malagasy. This paper analyzes the efficiency of a stemmer, RFreeStem, based on the statistical analysis of texts and without rules. We study the hyperparameters of this stemmer and their influence on the efficiency of the stemming for Malagasy by comparing it to an existing test collection containing manually obtained word roots.

Introduction

La racinisation est une étape dans le pré-traitement de textes. Elle regroupe des termes qui sont morphologiquement différents mais de sémantique similaires, et qui donc, utilisés dans une requête, devraient correspondre à des résultats similaires voire identiques pour un moteur de recherche. L'intérêt de la mise en groupe par la racinisation en recherche d'information ne réside pas dans les racines ellesmêmes, mais dans le fait de regrouper les mots pour l'appariement requête-document. Les racisineurs généralement utilisés sont basés sur des règles de construction des mots [START_REF] Porter | An algorithm for suffix stripping[END_REF][START_REF] Krovetz | Viewing morphology as an inference process[END_REF][START_REF] Savoy | Light stemming approaches for the French, Portuguese, German and Hungarian languages[END_REF]. Il existe des raciniseurs pour de nombreuses langues romanes, germaniques, scandinaves, russe, arabe. . . (cf. projet Snowball 1 [START_REF] Porter | Snowball: A language for stemming algorithms[END_REF]). Pour les langues morphologiquement complexes, ou pour lesquelles aucun raciniseur n'a été développé, l'approche par corpus est parfois préférée. Il s'agit alors de s'appuyer sur le contenu de textes et des fréquences d'apparition de chaînes de caractères pour déduire les radicaux [START_REF] Hafer | Word segmentation by letter successor varieties[END_REF][START_REF] Adamson | The use of an association measure based on character structure to identify semantically related pairs of words and document titles[END_REF][START_REF] Majumder | YASS: Yet another suffix stripper[END_REF][START_REF] Soricut | Unsupervised morphology induction using word embeddings[END_REF]Yeshambel et al., 2020b ;[START_REF] Baril | RFreeStem: Une méthode de racinisation indépendante de la langue et sans règle[END_REF]. Ces méthodes s'affranchissent théoriquement de la langue mais possèdent des hyperparamètres qu'il est nécessaire d'optimiser.

Le Malgache est une langue barito-orientale, sous-groupe de langues de la branche malayo-polynésienne des langues austronésiennes. Ces langues présentent des similitudes dans leur orthographe et grammaire. D'un point de vue morphologique, nous pouvons citer entre autres l'usage d'affixes pour les pronoms personnels, les combinaisons de préfixes et suffixes ou encore la réduplication qui consiste au changement de sens d'un mot en le dédoublant; en malgache, cela indique un euphémisme. La période de découverte de Madagascar et de sa langue remontent à 1500; les premières études transcrites sont celles de P. Hervas [START_REF] Hervas | De la langue malgache[END_REF]. Nous pouvons également citer les travaux de Jacques Dez [START_REF] Dez | La linguistique malgache bref aperçu historique[END_REF]. Ces études mettent en lumière la grande similitude entre le dialecte malgache et l'indonésien sur les verbes, les noms, les adjectifs, le système de comptage, etc. Le malgache comporte également quelques mots dérivés du français (comme "latabatra", dérivé de "la table") ou de l'anglais ("sekoly", dérivé de "school"). La grande majorité reste cependant proche de l'indonésien, et ce pour les 11 dialectes du pays. Le malgache est une langue peu dotée en outils linguistiques. Il n'y a pas, à notre connaissance, de raciniseur ou d'analyseurs morphosyntaxiques. Cela peut être un frein pour la mise au point de moteurs de recherche d'information. Nous nous intéressons ici à l'utilisation d'un algorithme basé sur l'analyse de corpus pour l'extraction des racines des termes.

Travaux reliés

La plupart des méthodes populaires de racinisation reposent sur l'application de règles. Ces règles visent généralement à supprimer les affixes (suffixes et préfixes)

1. https://snowballstem.org/ des mots individuellement, pour en obtenir le radical [START_REF] Lovins | Development of a stemming algorithm[END_REF][START_REF] Porter | An algorithm for suffix stripping[END_REF]. L'algorithme le plus populaire a été proposé par Porter en 1980[START_REF] Porter | An algorithm for suffix stripping[END_REF]. Il s'est avéré être particulièrement utile pour les tâches de recherche d'information. Initialement, l'algorithme de Porter ne définissait des règles que pour la langue anglaise. Néanmoins, sa popularité a motivé l'implémentation de variantes dans différentes langues -projet snowball [START_REF] Porter | Snowball: A language for stemming algorithms[END_REF]. D'autres méthodes basées sur des règles ont été proposées par la suite [START_REF] Dawson | Suffix removal and word conflation[END_REF][START_REF] Savoy | Light stemming approaches for the French, Portuguese, German and Hungarian languages[END_REF][START_REF] Paice | Another Stemmer[END_REF][START_REF] Jivani | A comparative study of stemming algorithms[END_REF][START_REF] Krovetz | Viewing morphology as an inference process[END_REF]. Même si les méthodes basées sur des règles sont les plus utilisées dans la recherche d'information, pour leur efficacité algorithmique et leur simplicité de leur mise en oeuvre [START_REF] Harman | How effective is suffixing?[END_REF], leur adaptation à des langages très flexionnelles conduirait à un grand nombre de règles nécessaires. Ce type d'algorithme n'est donc pas très adapté aux langues très flexionnelles comme le bahasa indonésien [START_REF] Tala | A study of stemming effects on information retrieval in Bahasa Indonesia[END_REF], le néerlandais [START_REF] Kraaij | Porter's stemming algorithm for Dutch[END_REF], l'amharique (Yeshambel et al., 2020a) ou le malgache. D'autres méthodes s'appuient plutôt sur l'analyse statistique des textes. [START_REF] Hafer | Word segmentation by letter successor varieties[END_REF] ont développé un algorithme qui coupe les mots en deux parties : si la première partie appartient au corpus de textes, cette première partie devient le radical. Le raciniseur N-Gram [START_REF] Adamson | The use of an association measure based on character structure to identify semantically related pairs of words and document titles[END_REF] utilise une méthode de regroupement de chaînes communes pour créer des groupes de mots : un regroupement hiérarchique à liaison unique des mots. La distance de Dice est utilisée pour évaluer la distance par paires de mots, correspondant au nombre de bigrammes partagés distincts. Le regroupement à liaison unique est connu pour son importante complexité algorithmique. YASS (Yet Another Stripping Stemmer) [START_REF] Majumder | YASS: Yet another suffix stripper[END_REF] regroupe les mots avec des méthodes de regroupement hiérarchique et définit des métriques de distance entre les mots qui encouragent la détection et suppression de suffixes longs. Selon [START_REF] Jivani | A comparative study of stemming algorithms[END_REF], la recherche de suffixe long rend la méthode plus adaptée aux langues flexionnelles et riches en suffixes. [START_REF] Soricut | Unsupervised morphology induction using word embeddings[END_REF] proposent une méthode hybride, puisqu'elle vise à apprendre automatiquement des règles, en se basant sur un corpus de textes. L'apprentissage non-supervisé sur le corpus rend cette méthode flexible et potentiellement adaptable à de nombreuses langues. Toutefois, les seules règles recherchées concernent la suppression d'affixes. Cette méthode se base donc sur l'hypothèse forte que les radicaux forment un bloc unique entouré, éventuellement, d'un préfixe et d'un suffixe. Dans cet article, nous nous sommes intéressé au raciniseur RFreeStem récemment publié dans [START_REF] Baril | RFreeStem: A multilanguage rule-free stemmer[END_REF] et que nous décrivons brièvement ci-dessous.

Les raciniseurs à base de corpus sont coûteux en temps de calcul, puisqu'ils se basent sur des distances entre paires de mots, nécessitant le calcul d'une matrice de taille quadratique. À l'inverse, le raciniseur RFreeStem [START_REF] Baril | RFreeStem: A multilanguage rule-free stemmer[END_REF] est basé sur une heuristique, qui divise successivement un groupe de mots en sous-groupes. Chacune des divisions est réalisée en temps linéaire (en nombre de mots). RFreeStem construit une hiérarchie de groupes par division successives, grâce à un apprentissage nonsupervisé, basé sur les n-grammes, suite de n lettres consécutives. L'ensemble des mots du jeu de données sont extraits, les racines sont alors déterminées par RFreeStem, puis nous regroupons les mots qui ont la même racine. L'algorithme procède par di-visions successives : en partant d'un unique ensemble contenant tous les mots du corpus, celui-ci est divisé en sous-groupes disjoints, qui seront à leur tour divisés en sous ensembles. Ce processus itératif crée une représentation hiérarchique des mots. Les étapes de division successives s'arrêtent lorsque cette représentation hiérarchique atteint une profondeur h, un hyper-paramètre de l'algorithme RFreeStem. A chaque itération, la division se base sur les n-grammes des mots du groupe : les suites de n lettres consécutives, où n est l'autre hyperparamètre de l'algorithme. Les n-grammes communs sont considérés comme des candidats pour la racine commune des mots regroupés. Pour un groupe de mots à diviser, RFreeStem extrait les n-grammes des mots du groupe, qui sont successivement parcourus. Lorsqu'un n-gramme est parcouru, tous les mots contenant ce n-gramme sont placés dans un sous-groupe. L'ordre de parcours des n-grammes revêt donc une importance capitale : pour le premier n-gramme parcouru, tous les mots qui contiennent ce n-gram sont regroupés, alors que, pour les n-grammes suivants, des mots pourraient déjà être associés à des ngrammes déjà traités. Pour établir cet ordre, RFreeStem attribue un score à chaque n-gramme étudié. Le score du n-gramme traduit sa capacité à composer la racine des mots. Il apparaît que (i) Un n-gramme présent dans beaucoup de mots a la capacité de créer de larges groupes, qui seront subdivisés à l'étape suivante. Les n-grammes les plus fréquents dans la plupart des langues sont les préfixes et suffixes fréquents (par exemple, le suffixe 'tion' en anglais ou le suffixe 'ina' en malgache). RFreeStem considère comme fréquence idéale la moyenne des fréquences des n-grammes, notée mean_f req; (ii) Les groupes créés doivent être les plus homogènes possibles. En accord avec le principe d'étude des n-grammes, RFreeStem mesure cette homogénéité avec l'indicateur de Dice qui est un indice permettant de déterminer la similarité ou la distance entre deux mots dans chaque groupe, en comparant leurs n-grammes. Finalement, le score d'un n-gramme est la moyenne arithmétique de ces deux critères. Pour un groupe de mots g, son score s(g) est défini par :

s(g) = 1 2 × 1 -Dice(g) + abs f req(g) -mean_f req [1]
où Dice(g) est l'indicateur de Dice pour le groupe des mots contenant g et f req(g) est la fréquence du n-gramme g. Ce score permet d'établir un arbitrage entre des groupes très homogènes et des groupes contenant beaucoup de mots. La figure 1 résume le fonctionnement de RFreeStem.

Evaluation et résultats

La racinisation est vue comme le regroupement de mots : tous les mots qui ont la même racine sont regroupés dans une même classe. Nous n'avons à ce jour pas trouvé de collections de documents malgaches pour l'évaluation. La version malgache de wikipedia (mg.wikipedia.org) est en libre utilisation mais n'est pas encore assez développée et est donc inadaptée à notre besoin. Ainsi, pour évaluer RFreeStem sur la langue malgache, nous avons utilisé la ressource développée par Jean Marie de La Beaujardière, de l'université d'Ontario à Madagascar et mise à disposition sur le site dédié au malgache http://tenymalagasy.org. Une liste non exhaustive de mots malgaches ainsi que leurs racines a été établie à partir d'une synthèse de quatre livres écrits par des linguistes, dont 2 natifs malgaches: [START_REF] Richardson | A New Malagasy-English Dictionary[END_REF], (Abinal et J., 1888), (Ravelojaona, 1937-1939[START_REF] Rajemisa-Raolison | Rakibolana malagasy[END_REF]. Nous utilisons ces regroupements de mots comme références auxquelles seront comparés les groupes obtenus par l'algorithme de racinisation. La référence comprend donc la racine et les mots ayant cette racine (cf. quelques exemples dans la figure 2).

La table 1 L'évaluation consiste à mesurer l'efficacité de la tâche de classification, pour laquelle les mesures usuelles de précision, rappel et mesure-F1 sont applicables. Nous clarifions leur éléments constitutif dans notre cadre: Vrai positif : Pour chaque mot (classe) τ , un mot vrai positif est un mot associé à la classe τ par l'algorithme et qui est bien dans la classe du mot τ dans la référence. Faux positif : Pour chaque mot (classe) τ , un mot faux positif est un mot associé à la classe τ par l'algorithme mais qui n'est pas dans la classe du mot τ dans la référence. Faux négatif : Pour chaque mot (classe) τ , un mot faux négatif et un mot non associé à la classe τ par l'algorithme alors qu'il est dans la classe du mot τ dans la référence. Comme la racinisation est une tâche de classification avec k classes, les mesures de micro et macro s'appliquent.Les macro-mesures sont calculées par la moyenne pour une métrique sur l'ensemble des classes : précision (P i où i est la ième classe), rappel (R i ) ou mesure F1 (F 1 i ). Elles sont utilisées pour évaluer la performance globale du système. Les micro-mesures sont calculées en considérant chaque classe individuellement. Elles sont particulièrement pertinentes lorsque les classes sont de tailles déséquilibrées, comme dans notre cas d'étude. Les macro-mesures pondèrent équitablement tous les mots. Les classes de grande taille sont donc sur-représentées. Au contraire, les micro-mesures pondèrent équitablement chaque classe. Les mots des petites classes ont donc plus d'impact individuel que ceux des grandes.

La table 1 sur la version 2-RFreeStem de l'algorithme avec n = 4 montre une cohérence sur le nombre de classes créées et le nombre moyen de mots par classe pour les classes "a" mais dix fois plus de classes sont créées par l'algorithme pour les classes "m". Cela illustre le déséquilibre entre les classes. Ce déséquilibre peut également s'expliquer par la langue malgache (cf plus loin). Sur l'intégralité, l'algorithme crée plus de classes sans que l'écart entre les classes créées par l'algorithme et celles dans la référence ne soit très grand (825 plus de classes dans l'algorithme). forts : l'algorithme est peu divisif, et regroupe beaucoup de mots. Ainsi, pour une valeur fixe de n (respectivement, de h), nous observons que l'augmentation de h (respectivement, de n) améliore la précision (macro et micro), en générant des groupes plus petits, plus précis, et dégrade le rappel (macro et micro), en risquant de séparer des mots de même racine. Les meilleures mesures F1 sont obtenues par les configurations (n = 3, h = 3) et (n = 4, h = 2), qui présentent des scores comparables. Les racines construites par ces deux configurations sont en effet de longueurs semblables : 3 blocs de 3 lettres pour (n = 3, h = 3), et 4 blocs de 2 lettres pour (n = 4, h = 2). La configuration (n = 4, h = 2) obtient la meilleure macromesure (0.40), alors que la configuration (n = 3, h = 3) a la meilleure micro-mesure (0.38). Il est possible de conclure que la configuration (n = 3, h = 3) favorise le regroupement correct de grands groupes, alors que la configuration (n = 4, h = 2) regroupe correctement de nombreux groupes, de faible taille. Les résultats montrent que les macro-rappels sont toujours légèrement supérieurs au micro-rappels. Cela indique que même si certaines classes comme celles commençant par "a" obtiennent des scores de précision et rappel acceptables, d'autres classes sont mal regroupés et contrebalancent les résultats, comme celles commençant par "m". Quant aux mesures F1, le seul cas où la micro-mesure est supérieure à la macro-mesure est pour n = 3 et h = 3. Une micro-mesure inférieure à une macro-mesure indique un déséquilibre des classes. C'est-à-dire que malgré une mesure F1 moyenne de 0.40 (macro-F1), il existe des caractéristiques spécifiques du langage non prises en compte. Concernant la mesure macro-F1, quelque soit le cas considéré (classe "a", "m" ou intégralité), la meilleure configuration est avec h = 2 et n = 4. Concernant la micro-F1, la configuration avec h = 3 et n = 4 est meilleure pour la classe "a" et l'intégralité alors que la configuration précédente est meilleure pour la lettre "m". Ce type d'analyse, poussée pour chaque lettre ou d'autres types de contexte pourra nous donner dans le futur des pistes pour améliorer l'algorithme.

La table 2 présente les résultats des différentes variantes de

Une analyse plus détaillée des résultats et notre connaissance de la langue malgache nous permet d'expliquer certains résultats voire certaines erreurs ou limites du raciniseur ou la racinisation en général. En malgache, tous les verbes à l'infinitif com-mencent par "m". Cependant, beaucoup d'adjectifs commençant par "m" partagent également des séquences de lettres avec ces verbes. Ces mots subissent souvent des transformations d'une ou plusieurs lettres pour obtenir leurs dérivés. Les mots dérivés contiennent alors des séquences de n-grammes récurrents mais sont en fait une toute autre racine. Ainsi, l'algorithme les classe à tort avec d'autres mots. Par exemple, la racine malgache "matotra", qui veut dire "mature" donne les mots dérivés: mahamatora, mihamatotra, fahamatorana. D'autre part, la racine malgache "fatotra", qui veut dire "noeud" se change en "matotra" après l'ajout de préfixes et de suffixes, donnant les mots: mamatotra, mifamatotra, fatorana, mpamatotra, namatotra, fifamatorana, fatory Dans la référence, la classe (formée des mots de même racine) créée à partir de "mamatotra" est : mamatotra={mifamatotra, fatorana, mpamatotra, namatotra, fifamatorana, fatory} Les classes suivantes sont obtenus par l'algorithme : mamato-tra={mifamatotra,mpamatotra,namatotra,mahamatotra,mihamatotra}. Les mots en gras sont ceux qui ne devraient pas être mis dans la même classe que "mamatotra", mais comme la séquence "matotra" est la plus fréquente dans ces mots, l'algorithme les regroupe. Cela illustre les limites de la racinisation réalisée par RFreeStem qui met en relation deux mots morphologiquement similaires mais de sens différents. Les particularités linguistiques sont donc parfois mal prises en compte.

Conclusion

Il n'y a pas de raciniseur traitant spécifiquement le malgache; nous avons étudié l'efficacité du raciniseur sans règle RFreeStem sur le malgache. Il n'y a pas non plus de corpus de référence en malgache. Nous avons utilisé comme référence le jeu de données issus de tenymalagasy.org et du wikipédia malgache. La ressource de tenymalagasy.org ne constitue cependant pas un corpus de texte proprement dit. Les résultats de nos expérimentations restent à élargir pour mieux analyser et comprendre les résultats sur d'autres corpus. Par ailleurs, nous aimerions poursuivre nos recherches pour améliorer le raciniseur RFreeStem afin qu'il puisse mieux prendre en compte les éventuelles particularités du malgache et sa complexité morphosyntaxique, sans pour autant affecter son efficacité sur d'autres langages. Une piste que nous souhaitons poursuive est d'adapter l'algorithme pour qu'il soit davantage restrictif sur les termes regroupés. Sur l'intégralité, même si l'algorithme a souvent tendance à créer des classes assez petites, les macro-précisions et micro-précisions demeurent assez basses par rapport aux rappels pour la version 2-RFreeStem avec n = 4. Ainsi, des précisions basses ne veulent pas forcément dire une sur-racinisation. Il pourrait être intéressant d'évaluer l'impact de la variation des valeurs de n et de h; l'algorithme pourrait alors apprendre la valeur optimale des hyperparamètres à choisir en fonction des contextes ou des lettres et ainsi améliorer les résultats. En analysant les résultats, nous avons également observé des erreurs récurrentes et nous souhaiterions les réduire. La racinisation est une étape importante dans le pré-processus d'un système de recherche d'information pour des résultats de recherche plus variées. Le malgache étant une langue peu outillée,il s'agit là d'une première étape importante pour la mise en oeuvre de moteurs de recherche dans cette langue.

Figure 1 .

 1 Figure 1. Le regroupement des mots et l'extraction des racines de RFreeStem

Table 1 .

 1 présente les caractéristiques des données étudiées. Nous étudions les mots dont la racine commence par la lettre "a" parce qu'ils concernent les racines Pour les mots commençant par la lettre considérée ou pour l'ensemble: nombre total de mots (#Mots), nombre de classes (# Cl Ref) et nombre moyen de mots par le plus de dérivations possibles, ainsi que ceux dont la racine commence par la lettre "m" pour illustrer certaines spécificités du langage.L'ensemble des mots du jeu de données est extrait, les racines sont alors déterminées par RFreeStem, puis nous regroupons les mots qui ont la même racine. Chaque mot représente et correspond au label d'une classe dont les éléments sont les autres mots qui ont la même racine que lui. Cette approche permet la comparaison aux classes de la référence bien que les racines obtenues par RFreeStem ne soient pas forcément identiques à celles de la référence. De cette manière, il n'est pas possible d'obtenir deux classes non vides identiques. Les groupes formés sont comparés à ceux de la référence. L'évaluation de RFreeStem consiste à mesurer la similitude entre ces deux regroupements. Nous évaluons différentes variantes de l'algorithme RFreeStem qui dépendent de la valeur de l'hyperparamètre de profondeur, h avec h ∈ 2..4 que nous nommons 2-RfreeStem, 3-RFreeStem et 4-RFreeStem. Plus la profondeur h est grande, moins la racinisation sera forte, c'est à dire que peu de mots seront regroupés selon la même racine. L'autre hyperparamètre étudié est la taille de n dans les n-grammes (n ∈ 3..4).

		# Mots # Cl Ref # Mots Moy Ref # ClPred # Mots Pred
	Classes "a"	1699	226	8	235	6
	Classes "m"	677	95	7	1013	2
	Intégralité	36 289	3 824	8	4 649	7

classe (#Mots Moy Ref) selon la référence, nombre de classes (# Cl Pred) et nombre moyen de mots par classe (#Mots Moy Pred) selon l'algorithme avec n = 4 et h = 2.

ayant

Table 2 .

 2 RFreeStem avec n ∈ {3,4} et h ∈ {2,3,4}. De faibles valeurs de n et de h donnent lieu à des raciniseurs Résultat sur l'intégralité des classes (mots) pour différentes valeurs de h et de n pour RFreeStem. (*) : résultat significativement supérieur aux autres selon le test apparié unilatéral à droite de Student (seuil 0.05, valeurs p ∼10 -16 .

		Macro-mesures	Micro-mesures
		P	R	F1	P	R	F1
		h=2 0.12 0.54 0.20	0.07 0.52 0.12
	n=3	h=3 0.48 0.32 0.37	0.52 0.30 0.38
		h=4 0.48 0.18 0.27	0.58 0.16 0.25
		h=2 0.34 0.48 0.40 (*) 0.28 0.46 0.35
	n=4	h=3 0.57 0.28 0.37	0.64 0.24 0.35
		h=4 0.47 0.15 0.22	0.62 0.11 0.19


Lucas Deregnaucourt
email: lucas.deregnaucourt@insa-rouen.fr

Alexis Lerchervy
email: alexis.lechervy@unicaen.fr

Hind Laghmara
email: hind.laghmara@insa-rouen.fr

Samia Ainouz
email: samia.ainouz@insa-rouen.fr

An Evidential Deep Network Based on Dempster-Shafer Theory for Large Dataset

Keywords: Dempster-Shafer theory, evidence theory, belief function, deep learning, out-of-distribution

We introduce a novel deep neural network architecture based on Dempster-Shafer theory capable of handling large image datasets with numerous classes, such as ImageNet. Our approach involves analyzing images through multiple experts, composed of convolutional deep neural networks that predict mass functions. These experts are then merged using Dempster's rule, thereby returning a set of potential classes by selecting the best expected utility based on the previously computed mass functions. Our innovative algorithm can identify the best set of classes among the 2 K possible sets for K classes while maintaining a complexity of O(K log(K)). To illustrate our approach, we apply it to an out-of-distribution example search problem, demonstrating its efficiency.

I. INTRODUCTION

In recent years, image classification has made remarkable strides with the advent of deep neural networks (DNNs). However, high ambiguity in the feature vector may lead to missclassification due to the fact that multiple classes share similar expected probabilities. Moreover, a model only trained for precise classification may struggle to detect out-ofdistribution (OOD) data.

One promising solution to this problem is set-valued classification [START_REF] Chzhen | Set-valued classificationoverview with a unified framework[END_REF], [START_REF] Grycko | Classification with set-valued decision functions, Information and Classification[END_REF]. This method allows the model to assign a new data to a non-empty set of classes, particularly when uncertainty is high and precise classification is challenging.

In the context of Out-of-Distribution (OOD) detection, a prevalent approach is the utilization of a classification method with a reject option [START_REF] Chow | On optimum recognition error and reject tradeoff[END_REF], [START_REF] Pimentel | A review of novelty detection[END_REF], which can be seen as a special case of set-valued classification. Rejection is defined by assigning a data to the set of all possible classes, indicating a state of high uncertainty.

Recently, several works have sought to integrate the Dempster-Shafer theory (DST) into deep neural networks, aiming to leverage the power of evidential reasoning [START_REF] Xu | Deep evidential fusion network for medical image classification[END_REF]- [START_REF] Guo | A survey on uncertainty reasoning and quantification in belief theory and its application to deep learning[END_REF]. However, these attempts have been confined to relatively small and well-structured datasets such as MNIST [START_REF] Lecun | Gradient-based learning applied to document recognition[END_REF] or CIFAR-10 [START_REF] Krizhevsky | Learning multiple layers of features from tiny images[END_REF]. The primary impediment has been the algorithmic complexity of DST, which scales exponentially with the size of the frame of discernment Ω, containing 2 K subsets where K = |Ω|.

Based on [START_REF] Denoeux | A neural network classifier based on Dempster-Shafer theory[END_REF], [START_REF] Tong | An evidential classifier based on Dempster-Shafer theory and deep learning[END_REF] proposed an end-to-end deep evidential neural network that allocates mass values only to singletons and Ω. This method addresses this computational bottleneck, effectively reducing the spatial complexity from O(2 K ) to O(K + 1) for the training phase. Nevertheless, the decision-making process for set-valued classification during the evaluation phase remains a computationally expensive task, requiring an exhaustive selection from all possible subsets of Ω, still operating at O(2 K ) complexity. Thus, they selected the possible subsets of Ω based on the distance between the classes derived from the confusion matrix.

We propose in this work an algorithmic solution to mitigate the O(2 K ) complexity, making set-valued decisions derived from a mass function output by a Convolutional Neural Network (CNN) feasible with linear complexity without intermediate steps to restrict the number of subsets. Additionally, we introduce mathematical optimizations to enhance numerical computations, enabling scalable implementation of set-valued classification evidential models. These contributions pave the way for the application of the DST theoretical framework to high-dimensional real-world datasets with many classes. They offer significant potential for improving the reliability of deep learning models in various applications such as OOD detection.

The remaining parts of this work are organized as follows. In section II we recall basics of Dempster-Shafer theory. In section III, we present the evidential neural network architecture we use and the algorithmic solution we propose to make set-valued decision in linear complexity. The experiments and preliminary results on large datasets are presented in section IV. Finally, we conclude in section V.

II. BELIEF THEORY

A. Background on belief functions

Belief function theory, called also Evidence theory or Dempster-Shafer theory [START_REF] Dempster | Upper and lower probabilities induced by a multivalued mapping[END_REF], [START_REF] Shafer | A mathematical theory of evidence[END_REF], is able to model and reason about imprecise and uncertain problems, and has more obvious advantages in the representation and combination of uncertain information.

To represent partial knowledge in the belief function theory, let consider the frame of discernment Ω as a finite set of variables ω which refers to K elementary events to a given problem (Ω = {ω 1 , ω 2 , ..., ω K }).

The power set of Ω is the set of all the 2 K possible subsets. It is presented as follows:

2 Ω = {∅, {ω 1 }, ...., {ω k }, {ω 1 , ω 2 }, {ω 1 , ω 3 }, ...., Ω}, (1)
where the {w i } elements are titled as singletons and ∅ denotes the empty set.

The key point of Dempster-Shafer theory is the basic belief assignment (bba) which represents the partial knowledge about the value of w. A bba is a function from 2 Ω to [0, 1] defined as follows:

m : 2 Ω → [0, 1] A → m(A) (2)
where m satisfies the following constraint:

A⊆Ω m(A) = 1. (3)
An element A of Ω is called a focal element when m(A) > 0, and the set containing all these elements is called a body of evidence (BOE). When each element in BOE is a singleton, m is named a Bayesian bba. On the other hand, when BOE contains only Ω as a focal element, we are in the complete ignorance situation and m is called vacuous belief function. However, when it contains only one singleton of Ω as a focal element, m is presented as a Certain mass function.

A bba function is normalized when the mass given to the empty set is constrained to be zero (m(∅) = 0). In that case, it corresponds to the closed-world assumption [START_REF] Shafer | A mathematical theory of evidence[END_REF]. A contrary explanation is that the frame of discernment Ω can be incomplete and the value of w can be taken outer Ω. Accordingly, the mass of belief that is not linked to Ω can allowed to be strictly positive (m(∅) > 0). That case corresponds to the open world assumption [START_REF] Smets | The combination of evidence in the transferable belief model[END_REF].

B. Information fusion

The most common way to combine two bbas m 1 and m 2 defined on the same frame of discernment Ω is the Dempster's rule [START_REF] Shafer | A mathematical theory of evidence[END_REF], denoted as ⊕. It is defined by m DS (∅) = 0 and ∀A ∈ 2 Ω \{∅} by

m DS (A) = (m 1 ⊕ m 2 )(A) = 1 1 -κ B∩C=A B,C∈2 Ω m 1 (B)m 2 (C) (4)
where κ is the degree of conflict between the two sources of evidence defined by:

κ = B∩C=∅ B,C∈2 Ω m 1 (B)m 2 (C).
This fusion can be seen as the normalized version of the conjunctive rule which is defined by:

m ∩ (A) = B∩C=A B,C∈2 Ω m 1 (B)m 2 (C). (5)

C. Decision-making

The most common way of making decisions with belief functions is to apply the pignistic transformation [START_REF] Smets | The transferable belief model[END_REF] to obtain a probability vector of size K, then the predicted class corresponds to the argmax of this vector. However, such a strategy does not allow the model to predict a set of classes. To this end, [START_REF] Denoeux | Decision-making with belief functions: a review[END_REF] defines the lower and upper expected utilities of selecting A ⊆ Ω as follows:

E(f A ) = B⊆Ω m(B) max ωj ∈B u A,j (6)
E(f A ) = B⊆Ω m(B) min ωj ∈B u A,j (7)
where u Aj ∈ [0, 1] designates the utility of the act of selecting A ⊆ Ω denoted as f A when the ground truth is ω j . The utility matrix U 2 |Ω| ×K is computed following [START_REF] Ma | Partial classification in the belief function framework[END_REF], [START_REF] Yager | On ordered weighted averaging aggregation operators in multicriteria decision-making[END_REF] with a parameter γ ∈ [0.5, 1] that represents the imprecision tolerance degree. If the true class is ω j , the utility of assigning a sample to set A is calculated as an Ordered Weighted Average (OWA) aggregation [START_REF] Yager | On ordered weighted averaging aggregation operators in multicriteria decision-making[END_REF] of the individual utilities associated with each precise assignment within A as follows:

u A,j = g |A| 1 {ωj ∈A} (8)
where g ∈ R |A| is a weight vector whose elements represent the decision making strategy's tolerance to imprecision, and

1 {ωj∈A} = 1 if ω j ∈ A for A ⊆ Ω,
and 0 otherwise. For example if g = (1, 0, . . . , 0), then the decision making's strategy will be totally intolerant to imprecision, thus forcing the model to output only one class. Following [START_REF] Ma | Partial classification in the belief function framework[END_REF] and [START_REF] O'hagan | Aggregating template or rule antecedents in real-time expert systems with fuzzy set logic[END_REF], this weight vector is obtained by maximizing the following entropy:

Ent(g) = |A| k=1 log g k (9)
subject to constraints

|A| k=1 g k = 1, |A| k=1 |A| -k |A| -1 g k = γ and g k ≥ 0
where γ is a parameter representing the tolerance to imprecision. An example of a utility matrix with γ = 0.9 and Ω = {ω 1 , ω 2 , ω 3 } is shown in Table I. As we can see, the values in the utility matrix are the same according to the cardinality of the selected set. This means that instead of computing every values of the utility matrix, we only need to compute a value U k for each possible cardinality of the subsets of Ω. In this example, we have U 1 = 1, U 2 = 0.9 and U 3 = 0.8263. Since we have:

min ωj ∈A u A,j = U k if A = Ω 0 else (10)
and max

ωj ∈A u A,j = U |A| (11)
the equations ( 6) and ( 7) can be simplified as illustrated in section III-C.

ω 1 ω 2 ω 3 f {ω 1 } 1 0 0 f {ω 2 } 0 1 0 f {ω 3 } 0 0 1 f {ω 1 ,ω 2 }
0.9 0.9 0 f {ω 1 ,ω 3 } 0.9 0 0.9 f {ω 2 ,ω 3 } 0 0.9 0.9 f {Ω} 0.8263 0.8263 0.8263 Table I UTILITY MATRIX WITH γ = 0.9 AND K = 3.

The expected utility is then obtained using the generalized Hurwicz decision criterion [START_REF] Hurwicz | The generalized bayes minimax principle: a criterion for decision making under uncertainty[END_REF], [START_REF] Jaffray | Linear utility theory for belief functions[END_REF] as follows:

E(f A ) = νE(f A ) + (1 -ν)E(f A ). (12)
Where ν ∈ [0, 1] is the pessimism index. When γ = 0.5, the decision-making strategy is totally intolerant to imprecision so that u ij = 1 if ω i = ω j , else u Aj = 0. In this sense, we can see the expected utility as a generalized accuracy. The other extreme strategy is totally tolerant, which is achieved when γ = 1 where u Aj = 1 if ω j ∈ A, else u Aj = 0 so that a model that always outputs Ω will get an expected utility of 1.

We chose this decision-making strategy among all those proposed in [START_REF] Denoeux | Decision-making with belief functions: a review[END_REF] since it is the most general form of decision criterion resulting from Jaffray's axioms [START_REF] Jaffray | Linear utility theory for belief functions[END_REF]. Moreover, the expression of the expected utility leads to interesting simplifications in the restricted framework where we only consider the singletons and Ω.

III. SCALABLE EVIDENTIAL NEURAL NETWORK

In this section, we present how the DST framework can be incorporated into a deep neural network architecture. Based on some assumptions on the structure of bbas, we propose an algorithmic solution to make set-valued decision in linear complexity along with mathematical optimizations for a more scalable implementation.

A. Evidential deep neural network

As depicted in Figure 1, the proposed evidential neural network architecture is very similar to a probabilistic one. Our architecture is based on the evidential deep neural network architecture introduced in [START_REF] Tong | An evidential classifier based on Dempster-Shafer theory and deep learning[END_REF]. The main difference resides in the construction of the mass function. The given image of size (C × H × W ) first passes through the backbone of a convolutional neural network, resulting in a feature map of size (C ′ × 1 × 1). This feature map captures the data's latent representation.

In the work presented in [START_REF] Tong | An evidential classifier based on Dempster-Shafer theory and deep learning[END_REF], the construction of mass functions involves the use of a distance-based layer. The classifier is composed of p prototypes t i in R P , where P is the dimension of the feature map. In their method, the first step is to compute the distance-based support between the feature map x of a data and each prototype t i . For the second step, the mass function m i associated to t i is computed by multiplying the distance-based support s i by a weight h ij which characterizes the degree of membership of prototype t i to the class ω i .

Our method for constructing the mass functions is more computer vision oriented and is inspired by mixture of experts approaches [START_REF] Baldacchino | Variational bayesian mixture of experts models and sensitivity analysis for nonlinear dynamical systems[END_REF]. Instead of considering prototypes, we consider p experts that see the feature map of a data from different points of view. For this purpose, the classical fully connected layer is replaced by a depthwise convolution [START_REF] Chollet | Xception: Deep learning with depthwise separable convolutions[END_REF] with a kernel of size (1 × 1) and p groups. For a given feature map and a given number of experts p, the depthwise convolution will output a matrix of size (p × (K + 1)), namely one mass function per expert. Each mass function holds |Ω| + 1 values, with one value dedicated to each singleton and an another one for the entire set Ω. This vector is then reshaped into a matrix of experts of size p × (|Ω| + 1). We apply a softmax activation to satisfy the equation [START_REF] Chow | On optimum recognition error and reject tradeoff[END_REF]. In this matrix, the i-th row represents the mass function associated with expert p i . The bbas of this matrix are then fused with Dempster's rule to obtain a final bba of size |Ω| + 1 which we will present in the next section.

B. Computational optimization of Dempster's rule

As seen in the previous section, since our network is only considering the masses assigned to singletons and Ω, the expression of the conjunctive rule simplifies to formula (13)

∀A ∈ Ω m ∩ (A) = B∩C=A B,C∈2 Ω m 1 (B)m 2 (C) = m 1 (A)m 2 (A) + m 1 (A)m 2 (Ω) + m 1 (Ω)m 2 (A) (13)
This brings us to an iterative algorithm for performing Dempster's rule as shown by the Algorithm 1. We define µ 1 = m 1 and µ i+1 = m ∩ (µ i , m i ) where µ i represents the mass function obtained by the fusion of the i first expert's mass functions by the conjunctive rule.

Algorithm 1 Iterative Dempster's rule

Require: p mass functions m 1 , . . . , m p µ 1 ← m 1 for i = 2, . . . , p do for j = 1, . . . , K do

µ i ({ω j }) = µ i-1 ({ω j })m i ({ω j }) +µ i-1 ({ω j })m i (Ω)+µ i-1 (Ω)m i ({ω j }) end for µ i (Ω) = µ i-1 (Ω)m i (Ω) end for return µ p /Z
where Z is a normalization term.

The expression of µ i ({ω j }) can be rewriten as follows:

µ i ({ω j }) = µ i-1 ({ω j })m i ({ω j }) + µ i-1 ({ω j })m i (Ω) + µ i-1 (Ω)m i ({ω j }) = (µ i-1 ({ω j }) + µ i-1 (Ω)) × (m i ({ω j }) + m i (Ω)) -µ i-1 (Ω)m i (Ω) (14)
which leads to an improved algorithm that only iterates on the number of classes K as presented in the Algorithm 2.

for j = 1, . . . , K do µ p ({ω j }) = p i=1 (m i ({ω j }) + m i (Ω)) -µ p (Ω)
end for return µ p /Z where Z is a normalization term.

The algorithm 2 is highly parallelizable and each element of the loop can be calculated independently of the others, unlike the algorithm 1 where each element depends on the previous iteration. In practice, this second algorithm provides a very fast implementation of Dempster's rule in the restricted framework chosen where we only consider singletons and Ω as focal elements.

C. Scalable decision making

Since we only consider the singletons and Ω for the construction of the mass function, we can simplify the equations ( 6) and ( 7) as follows:

E(f A ) = ωi∈Ω (m({ω i })u A,i ) + m(Ω) max ω k ∈Ω u A,k , (15)
E(f A ) = ωi∈Ω (m({ω i })u A,i ) + m(Ω) min ω k ∈Ω u A,k . (16)
During the training phase, we want f A to be a singleton. That's to say u ii = 1 and u ij = 0 ∀i = j which can be seen as the classical accuracy metric. Under those hypotheses, we can simplify the equations ( 15) and ( 16) as follows:

E(f ωi ) = m({ω i }) + m(Ω) (17) E(f ωi ) = m({ω i }) (18)
leading to this simplified expression of the expected utility:

E(f ωi ) = νm({ω i }) + (1 -ν) (m({ω i }) + m(Ω)) = m({ω i }) + (1 -ν)m(Ω). (19)
This expression can be considered as a rewriting of the pignistic transformation in our restricted framework. Indeed, taking ν = 1 -1

|Ω| in equation ( 19) leads to the pignistic probability expression when m(A) = 0 ∀A ⊂ Ω such that |A| ≥ 2.

We propose to use the cross-entropy loss on the expected utilities vector for training our network:

- n i=1 K k=1 y i,k log (E(f ω k (x i ))) ( 20
)
with n is size of training dataset, y i,k is 1 if the label of example x i is ω k and 0 otherwise. For decision-making during the evaluation and test phase, we want our network to be able to output a subset of Ω. The main obstacle is the algorithmic complexity since it would require to compute 2 |Ω| expected utilities to choose the subset that maximizes it. To solve this issue, [START_REF] Tong | An evidential classifier based on Dempster-Shafer theory and deep learning[END_REF] proposes to compute the confusion matrix from the training set generated by an evidential deep neural network as explained above. Based on the distance between the classes, they only keep the classes and groups of classes that are similar enough by thresholding. Although in practice this strategy reduces the number of expected utilities to be computed, it remains in 2 |Ω| in the worst case (when the result is to be attributed to the Ω set). Furthermore, we are not convinced that this strategy is sufficient to scale to databases with a large number of classes such as ImageNet [START_REF] Deng | Imagenet: A large-scale hierarchical image database[END_REF] where |Ω|=1000. Moreover, it requires a costly intermediate step between the training phase and the evaluation and test phases.

To this end, we propose a very simple and computationally efficient iterative algorithm [START_REF] Chow | On optimum recognition error and reject tradeoff[END_REF] to determine the argmax between all subsets of Ω without any a priori about the correlation between the classes nor intermediate step to restrict the number of subsets of Ω. The first step is to compute the expected utilities of singletons using the equation [START_REF] O'hagan | Aggregating template or rule antecedents in real-time expert systems with fuzzy set logic[END_REF] and to sort them in a decreasing order. We then compare the higher singleton expected utility with the expected utility of the subset composed of the two best singletons using the equations ( 12),( 15),( 16) and so on until adding a new singleton to the subset decreases the expected utility. Let's consider Ω = {ω 1 , ω 2 , ω 3 , ω 4 } with E(ω 1 ) > E(ω 2 ) > E(ω 3 ) > E(ω 4 ). We then compute E({ω 1 , ω 2 }) and compare it with E(ω 1 ). Let's suppose that E({ω 1 , ω 2 }) is effectively higher than E(ω 1 ), we now have to compute E({ω 1 , ω 2 , ω 3 }). By considering that

E({ω 1 , ω 2 }) > E({ω 1 , ω 2 , ω 3 }), we obtain A ⋆ = {ω 1 , ω 2 }. If E(A ⋆ ) > E(Ω) then the model outputs A ⋆ , else it ouputs Ω.
Algorithm 3 Argmax of the Expected Utility Require: sorted singletons expected utilities

E({ω α1 }) ≥ E({ω α2 }) ≥ . . . ≥ E({ω αK }). A ⋆ ← ω α1 for i = 2, . . . , K do A ⋆ temp ← {A ⋆ , ω αi } if E(A ⋆ temp ) > E(A ⋆ ) then A ⋆ ← A ⋆ temp end if end for return A ⋆
This strategy allows the model to output a set of classes among all the possible subsets of Ω while maintaining a complexity of O(K log(K)) without requiring any limitations on the number of subsets of Ω to compare their expected utilities.

IV. EXPERIMENTS

To demonstrate the relevance of our model, we conducted several experiments. Firstly, we carry out a study on the impact of the various parameters on our model. Secondly, we sought to demonstrate the ability of our model to process large databases containing a large number of classes and compare our model with a standard probabilistic model for classification problem. Finally, we demonstrated the superiority of our approach over the standard probabilistic model for an OOD detection task.

In all our experiments, we assume that the backbone used is of type ResNext50 [START_REF] Xie | Aggregated residual transformations for deep neural networks[END_REF]. This applies both to our model and to the probabilistic models to which the comparison is conducted.

A. Datasets

We conducted our experiments using the following 3 databases: CIFAR-100, ImageNet and SVHN dataset.

CIFAR-100 [START_REF] Krizhevsky | Learning multiple layers of features from tiny images[END_REF] is a database of low-resolution 28 × 28 images. It contains 60, 000 images divided into 100 classes with 600 images per class.

ImageNet [START_REF] Deng | Imagenet: A large-scale hierarchical image database[END_REF] contains 1.5 million images of 224 × 224 resolution, manually annotated in 1, 000 categories. The annotation is based on the WordNet hierarchical object categorization structure (augmented by 120 dog categories).

The SVHN (Street View House Numbers) database [START_REF] Netzer | Reading digits in natural images with unsupervised feature learning[END_REF] is a collection of 32 × 32 digital images that includes handwritten digits from photos of house numbers taken in street scenes. The database contains 10 classes, corresponding to digits from 0 to 9.

B. Ablation study

In this section, we present some experiments designed to measure the impact of the various parameters of our approach on its performances. We measure two metrics: expected utility and average cardinality.

Given that the accuracy is obtained by fixing the imprecision tolerance degree γ to 0.5 while computing the expected utility, we propose to evaluate the expected utilities across a range of γ values from 0.5 to 0.95.

We compute the average cardinality of the predictions according to γ as follows:

AC(T ) = 1 |T | |T | i=1 |A(i)| (21)
where T = {x 1 , . . . , x |T | } is the test set and A(i) is the setvalued output for the data x i ∈ T . It is clear that for γ = 1, the model will always output f Ω since E(Ω) = 1 and the average cardinality will be equal to the number of elements in Ω. Firstly, we need to determine the hyperparameters of our model, namely the number of experts p and the degree of pessimism ν. Since this search process is quite time-intensive, we restrict it to the CIFAR-100 dataset. To identify the optimal number of experts, we fix ν to 0.99 so that the equation( 19) corresponds to the pignistic probability. As shown on Figure 2, the impact of the number of experts does not appear to be significant. This is mainly because there is no guarantee that the experts simulated by the fully connected layer will be independent. So we choose p = 4 as there is no need for a lot of experts. Then we search for the optimal ν by setting the number of experts p = 4. As depicted in Figure 3, the model learns in a similar way, independently of ν. Indeed, the model always outputs a value very close to zero for m(Ω) for precise classification task, so the impact of ν is not significant during the training phase. Consequently, we have selected ν = 1 |Ω| , namely ν = 0.99 for CIFAR-100 and ν = 0.999 for ImageNet.

C. Comparison with probabilistic approaches for image classification

Now that we have fixed the model hyperparameters, we can compare the evidential neural network with the probabilistic one on precision classification. As mentioned previously, the probabilistic model used corresponds to a ResNext50 type backbone. This is followed by a fully connected layer and a softmax.

For fair comparison between our method and the probabilistic approach, we have to allow the probabilistic network to output set-valued predictions in order to compute the expected utility. To do so, we consider the probability vector output by the model as a mass function with m(Ω) = 0 and m({ω j }) = p(ω j ) ∀j = 1, . . . , K.

The Expected Utility and Cardinality curves over 10 runs on CIFAR-100 are respectively presented in Figure 4 and Figure 5. The Expected Utility and Cardinality curves on ImageNet are respectively presented in Figure 6 and Figure 7. Due to the size of the database, we limited the ImageNet experiments to a single run and were therefore unable to calculate standard deviations. For both experiments, we can see that there is almost no difference between the two models from γ = 0.5 to γ = 0.7 where the decision-making strategy is quite intolerant to uncertainty, forcing the model to output one or two classes. For γ = 0.75 to γ = 0.95 the evidential model is less confident than the probabilistic one and outputs sets with a higher cardinality, which decreases the Expected Utility. On Imagenet the performance of the probabilistic model is 77.77% in accuracy against 77.65%. The difference in performance is relatively small.

D. OOD detection

For OOD detection task, we want to evaluate the capability of the network to output Ω if, and only if, the data does not belong to the classes from the training set. For this purpose, we evaluate the rate of f Ω by varying γ from 0.5 to 0.95. A good model has to get a high rate of f Ω on out-of-distribution data and a low rate of f Ω on in-distribution data. For γ = 1, the model will always predict Ω since all the non-zero values in the utility matrix will be equal to 1. So the f Ω rate will always be equal to 100%.

The results on the OOD detection task for the models trained on CIFAR-100 and ImageNet are respectively presented in Figure 8 and Figure 9. As expected, the f Ω rate is very low for the evidential and the probabilistic models on in-distribution test set. However, it is clear that the evidential network outperforms the probabilistic network for OOD detection task when we evaluate them on the SVHN dataset.

V. DISCUSSIONS AND CONCLUSIONS

In this work, we have presented a novel deep neural network based on Dempster-Shafer theory capable of handling large datasets for image classification. Furthermore, we have introduced mathematical optimizations to improve numerical computations, facilitating a scalable implementation of evidential models for set-valued classification. This approach makes it possible to obtain results on databases with a large number of classes, while avoiding the problem of traversing the 2 K subset of possible classes.

The proposed evidential neural network shows similar results to the probabilistic one for precise classification task. One way to improve it can be to ensure the independence of the experts with a Deep Ensemble approach [START_REF] Lakshminarayanan | Simple and scalable predictive uncertainty estimation using deep ensembles[END_REF], [START_REF] Laurent | Packed-ensembles for efficient uncertainty estimation[END_REF].

However, our network clearly outperforms the probabilistic one for OOD detection task regarding the f Ω rate. This illustrates that the proposed method overcomes one of the main problems of neural networks, namely the overconfidence even if the data is out-of-distribution. Of course, the scope of our method does not limit itself to image classification. We can adapt it to other computer vision tasks such as semantic segmentation and instance segmentation.

Another way of improving our method would be to also take into account the partial ignorance of the experts when fusing the mass functions and making a decision. This would require to overcome computational bottlenecks but would open the doors for other decision-making strategies and more optimal fusion rules.

Figure 1 .

 1 Figure 1. Architecture of an evidential deep neural network.

Algorithm 2

 2 Scalable Dempster's rule Require: p mass functions m 1 , . . . , m p µ p (Ω) = p i=1 m i (Ω)

Figure 2 .

 2 Figure 2. Expected Utility according to the number of experts on CIFAR-100.

Figure 3 .

 3 Figure 3. Expected Utility according to ν on CIFAR-100.

Figure 4 .

 4 Figure 4. Expected Utility on CIFAR-100.

Figure 5 .

 5 Figure 5. Average Cardinality on CIFAR-100.

Figure 6 .

 6 Figure 6. Expected Utility on ImageNet.

Figure 7 .

 7 Figure 7. Average Cardinality on ImageNet.

Figure 8 .

 8 Figure 8. f Ω rate for OOD detection, CIFAR-100.

Figure 9 .

 9 Figure 9. f Ω rate for OOD detection, ImageNet.

ACKNOWLEDGEMENTS

The first author is supported by the French National Research Agency (ANR) and Region Normandie under grant HAISCoDe. We also thank our colleagues from the Criann who provided us some computation resources with Myria and Austral and by so enabled us to get our results efficiently and fast.