Benoît Sagot
email: benoit.sagot@inria.fr

Darja Fišer
email: darja.fiser@guest.arnes.si

Building a free French wordnet from multilingual resources

This paper describes automatic construction a freely-available wordnet for French (WOLF) based on Princeton WordNet (PWN) by using various multilingual resources. Polysemous words were dealt with an approach in which a parallel corpus for five languages was word-aligned and the extracted multilingual lexicon was disambiguated with the existing wordnets for these languages. On the other hand, a bilingual approach sufficed to acquire equivalents for monosemous words. Bilingual lexicons were extracted from Wikipedia and thesauri. The results obtained from each resource were merged and ranked according to the number of resources yielding the same literal. Automatic evaluation of the merged wordnet was performed with the French WordNet (FREWN). Manual evaluation was also carried out on a sample of the generated synsets. Precision shows that the presented approach has proved to be very promising and applications to use the created wordnet are already intended.

Introduction

The first wordnet was developed for English at Princeton University (PWN). Over time it has become one of the most valuable resources in applications for natural language understanding and interpretation, such as word-sense disambiguation, information extraction, machine translation, document classification and text summarisation and, last but not least, Semantic Web applications [START_REF] Fellbaum | WordNet: An Electronic Lexical Database[END_REF]. This initiated the development of wordnets for many other languages apart from English (Vossen 1999, [START_REF] Tufis | BalkaNet -Design and Development of a Multilingual Balkan WordNet[END_REF], which was an important milestone because it enabled the developed resources to be exploited in a multilingual setting as well. Currently, wordnets for more than 50 languages are registered with the Global WordNet Association 1 . While it is true that manual construction of each wordnet produces the best results as far as linguistic soundness and accuracy are concerned, such an endeavour is too time-consuming and expensive to be feasible for most languages. This is why semi-or fully automatic approaches have been proposed. By taking advantage of the existing resources they facilitate faster and easier development of a wordnet. Apart from the knowledge acquisition bottleneck, another major problem in the wordnet community is the availability of the developed wordnets. Currently, only a handful of them are freely available (Arabic, Hebrew, Irish and Princeton). Although a wordnet for French, the French WordNet (FREWN), has been created within the EuroWordNet project (Vossen 1999), the resource has not been widely used mainly due to licensing issues. In addition, there has been no follow-up work to further extend and improve the core FREWN since the project has ended [START_REF] Jacquin | French EuroWordNet Lexical Database Improvements[END_REF]. This is why the goal of our experiments presented in this paper was to leverage freely available multilingual resources to automatically construct a broad-coverage open-source wordnet for French called WOLF (Wordnet Libre du Francais) 2 . The rest of the paper is organized as follows: a brief overview of the related work is given in the next section. Section 3 describes the methodology for our experiment. Sections 4 and 5 present and evaluate the results obtained in the experiment and the final section gives conclusions and work to be done in the future.

Related work

Automatic techniques for wordnet development can be divided in two approaches: the merge approach and the extend approach (Vossen 1999). Contrary to the merge approach, according to which an independent wordnet for a certain language is first created based on monolingual resources and then mapped to other wordnets, we have opted for the latter. This model takes a fixed set of synsets from Princeton WordNet (PWN) and translates them into the target language, preserving the structure of the original wordnet. It must be noted here that the extend model presupposes that concepts and semantic relations between them are language independent, at least to a large extent. Apart from faster and cheaper construction of the lexical resource, the biggest advantage of this approach is that the resulting wordnet is automatically aligned to all other wordnets built on the same principle (e.g. wordnets for Swedish and Russian) and therefore available for use in multi-lingual applications, such as machine translation and cross-language information retrieval. The cost of the expand model is that the target wordnets are biased by PWN and may, in an extreme case, become completely arbitrary (see [START_REF] Orav | Concerning the Difference Between a Conception and its Application in the Case of the Estonian WordNet[END_REF][START_REF] Orav | Concerning the Difference Between a Conception and its Application in the Case of the Estonian WordNet[END_REF][START_REF] Wong | Fighting Arbitrariness in WordNet-like Lexical Databases -A Natural Language Motivated Remedy[END_REF]. For example, synset ENG20-09740423-n of PWN contains literals performer and performing artist. However, there is no word or phrase in French that denotes the concept describing actors, singers and other entertainers collectively. Such cases have been dealt with by providing the closest possible match for the synset and aligning the two wordnets with a near_synonym relation. In this way, the overall structure of straightforward cases remained intact and the exceptions appropriately encoded. Despite these difficulties, the approach is still attractive due to its much greater simplicity which outweighs the language difference issues This is why the expand model has been adopted in a number of projects, such as the BalkaNet [START_REF] Tufis | BalkaNet -Design and Development of a Multilingual Balkan WordNet[END_REF] and MultiWordNet [START_REF] Pianta | ): developing an aligned multilingual database[END_REF]. It was also used in EWN, including for the construction of FREWN, in which a set of English synsets was automatically translated with a proprietary multilingual semantic database and later manually validated. Research teams developing wordnets in this setting took advantage of the resources at their disposal, including machine-readable bilingual and monolingual dictionaries, taxonomies, ontologies and others (see [START_REF] Farreres | Using WordNet for Building WordNets[END_REF]. For the construction of WOLF we have leveraged three different publicly available types of resources: the JRC-Acquis parallel corpus3 , Wikipedia (and other Wikipedia-related resources)4 and the EUROVOC thesaurus5 . Equivalents for words that only have one sense in PWN and therefore do not require sense disambiguation were extracted from Wikipedia and the thesaurus in a way, similar to [START_REF] Declerck | Multilingual Lexical Semantic Resources for Ontology Translation[END_REF] and [START_REF] Casado | Automatic Extraction of Semantic Relationships for WordNet by Means of Pattern Learning from Wikipedia[END_REF]. Roughly 82% of literals found in PWN are monosemous, which means that the bilingual approach suffices for an accurate translation. However, most of these are rather specific and do not belong to the core vocabulary6 . The parallel corpus was used to obtain semantically relevant information from translations so as to be able to handle polysemous literals as well. The idea that semantic insights can be derived from the translation relation has already been explored by [START_REF] Resnik | A perspective on word sense disambiguation methods and their evaluation[END_REF], [START_REF] Ide | Sense Discrimination with Parallel Corpora[END_REF] and [START_REF] Diab | The Feasibility of Bootstrapping an Arabic WordNet leveraging Parallel Corpora and an English WordNet[END_REF]. Word-aligned parallel corpora have been used to find synonyms by van der [START_REF] Van Der Plas | Finding Synonyms Using Automatic Word Alignment and Measures of Distributional Similarity[END_REF] and [START_REF] Dyvik | Translations as semantic mirrors: from parallel corpus to wordnet[END_REF]. The approach has also yielded promising results in an earlier experiment to obtain synsets for Slovene wordnet [START_REF] Fišer | Leveraging parallel corpora and existing wordnets for automatic construction of the Slovene wordnet[END_REF].

Approach

Alignment approach

In this approach we used used the SEE-ERA.NET corpus (project ICT 10503 RP), a 1.5-million-word subcorpus of JRC-Acquis [START_REF] Ralf | The JRC-Acquis: A multilingual aligned parallel corpus with 20+ languages[END_REF]) in eight languages. Apart from French, we used English, Romanian, Czech and Bulgarian. We used different tools to POS-tag and lemmatize the corpus before word-aligning it with Uplug [START_REF] Tiedemann | Recycling Translations -Extraction of Lexical Data from Parallel Corpora and their Application in Natural Language Processing[END_REF]. Because word-alignment was done only on single words, the approach was not able to generate any translation equivalents for multi-word expressions.

The output of the word alignment process is a file with word links between word occurrences, associated with the two related word occurrence ids and information on word link certainty. This allowed us to build bilingual lexicons that include all translation variants of words as well as frequency, POS and word-ids information for each entry. The bilingual lexicons range from 43,024 entries for the Cz-En lexicon to 50,289 for the Cz-Bg one. These bilingual lexicons are then combined into five multilingual lexicons. They contain between 49,356 (Fr-Ro-Cz-Bg-En) to 59,019 entries (Fr-Cz-Bg-En). A few entries from the Fr-Cz-Bg-En lexicon are shown in Table 1. Obviously, not all these entries are correct; errors may appear for several reasons, such as tagging, lemmatization, or alignment problems. However, most of these errors are eliminated by the next stage of the process. At the next stage the goal was to assign a synset id to each lexicon entry. To achieve this, we gathered the set of all possible synset ids assigned to each lexicon entry in all languages (apart from the French one, of course) by comparing it with the corresponding BalkaNet wordnet [START_REF] Tufis | BalkaNet -Design and Development of a Multilingual Balkan WordNet[END_REF]. This is possible because all BalkaNet wordnets use the same synset ids as PWN 2.0. We could then compute the intersection of ids for all languages. The result contains all synset ids that are shared among all non-French lexicon entries. We then assigned these synset ids to their French equivalent. Let us illustrate this by taking the French word droit, which is polysemous in French (possible English translation equivalents are: right, law, droit, royalty, entitlement, claim). As shown by Table 1, 56 of its occurrences were aligned with právo in Czech, право in Bulgarian and law in English. The intersection of all sets of synset ids containing the word in wordnets for each individual language contains only the synset id ENG20-05791721-n. It is therefore assigned to those occurrences of the French word droit (see Table 2). It is one of the correct synsets for this word (defined in PWN as the branch of philosophy concerned with the law and the principles that lead courts to make the decisions they do).

Multiple languages disambiguate polysemous lexicon entries and eliminate most alignment errors. It is rather unlikely that the same polysemy occurs in many different languages or that alignment errors lead to a non-empty intersection. Therefore, the intersection of all possible senses in each language is likely to output only the correct synset. Because the preprocessing stages, such as tagging, lemmatization and word-alignment were not perfect, it is expected that the synsets created in this way will inherit some of the errors, of course. However, the approach covers polysemous literals from the core vocabulary, which the translation approach, described in the next section, cannot handle.

Translation approach

We used the following freely available bilingual resources to translate monosemous literals from the PWN 2.0 into French:

-Wikipedia 8 is an on-line multilingual collaborative encyclopaedia. We used it to build a bilingual Fr-En lexicon (314,713 entries) by following to inter-wiki links that relate two articles on the same topic in French and English. We improved and extended this lexicon with a quick analysis of article bodies (capitalization, synonyms extraction, preliminary extraction of definitions). -The French Wiktionary and its English 9 are lexical companions to Wikipedia that contain definitions of words as well as some additional information, including their translations into other languages. We used them to create a bilingual lexicon with 24,464 (from the English Wiktionary) and 24,873 entries (from the French Wiktionary). -Wikispecies 10 is a taxonomy of living species which include both Latin standard names and (for common species) vernacular terms. This allowed us to identify 129,509 language-independent Latin terms as well as French equivalents for 2,648 of these Latin terms. All the bilingual lexicons we extracted from these resources were used to translate monosemous PWN literals. We obtained sets of synsets of different sizes: 18,273 from Wikipedia, 6,848 from Wikispecies, 6,215 and 4,363 from the French and English Wiktionary, and 1,319 from Eurovoc. Translations of the monosemous literals are very accurate and include many multi-word expressions, which was a serious limitation of the alignment approach. Also, they mostly contain specific, non-core vocabulary.

Merging the results

In the end, synsets obtained from both approaches were merged. If the same synset was created from more than one resource (e.g. from a multilingual lexicon that was extracted from the word-aligned corpus and from a bilingual lexicon that was extracted from Wikipedia), all their unique literals were retained along with the information on the source of the generated synset. This enabled us to perform a simple heuristic filtering according to the reliability of each source, on the diversity of sources that assign a given literal to a given synset and on frequency information (for sources from the alignment approach). Automatic induction of synsets inevitably leads to gaps in the hierarchy. Because we are aware of the importance of the conceptual density and hierarchy preservation principles for applications [START_REF] Tufis | BalkaNet -Design and Development of a Multilingual Balkan WordNet[END_REF], we inherited the structure and relations of the missing synsets from PWN 2.0. Empty synsets will need to be addressed in the future. But for the time being, in case an application runs into an empty synset, it can still use the relation information to access a more general or more specific concept. Other language-independent information (e.g. POS, domain, semantic relations) was inherited from PWN.

Results

WOLF currently contains 32,351 non-empty synsets that include 38,001 unique literals (see Table 3). This is substantially more than the number of synsets present in FREWN (22,857 Average polysemy in WOLF is 1.21 synsets per literal (10.5% of literals are polysemous, including 1.2% of multiword literals). In PWN 2.0, average polysemy stands at 1.74 synsets per literal, and 1.39 in FREWN.

Coverage of the core vocabulary in WOLF was checked on Base Concept Sets and then compared to FREWN. As Table 3 shows, the core vocabulary in FREWN is denser that in WOLF but the latter has a reasonable coverage of BCS senses as well (71.4% of BCS1, 51.0% of all BCS). It also shows, unsurprisingly, that the more basic the synset, the more likely it is to have been built with the alignment approach.

Evaluation

The quality of the resource we created was evaluated automatically as well as manually. In automatic evaluation we compared the resulting wordnet to FREWN and computed f-measure. For a better insight into the problems of our techniques we took a closer look at a representative sample of literals that were not assigned a 100% precision in automatic evaluation.

The errors we identified in manual evaluation were classified into several categories.

Automatic evaluation

FREWN was used as a gold standard to compute precision and recall of sense assignment in WOLF.

The most straightforward approach for evaluation of the quality of the obtained wordnet would be to compare the generated synsets with the corresponding synsets from FREWN. But in this way we would be penalizing the automatically induced wordnet for missing literals, which are not part of the vocabulary of the corpus or the bilingual resources that were used to generate the synsets. Instead we opted for a somewhat different approach by comparing literals in the gold standard and in the automatically induced wordnet with regard to which synsets they appear in. This information was used to calculate precision, and recall. Precision gives the number of synset ids assigned to a literal by both wordnets according to the number of synset ids assigned by WOLF. Recall gives the number of synset ids assigned to a literal by both wordnets according to the number of synset ids assigned by FREWN. Results are shown in Table 4.

It must be noted here, however, that literals translated with Wikipedia have a 93,0% precision compared to FREWN. Since the majority of non-BCS synsets are populated from Wikipedia, most synsets that go beyond the coverage of FREWN are of very high quality. Moreover, if a literal appears in a particular synset in WOLF whereas it does not in FREWN, this does not necessarily mean that there is an error in WOLF but it is also possible that FREWN may be incomplete. We therefore selected a sample of 100 literals that were not assigned a 100% precision in automatic evaluation and looked at them by hand as described below.

Manual evaluation

A set of randomly selected 100 literals for which WOLF and FREWN show discrepancies was checked by hand. They correspond to 183 literal-synset pairs. We checked manually whether the generated literal-synset pairs are correct or not. We classified errors into several categories, according to the relationship between the literal and the synset it is associated with:

-it is semantically close to the synset (hypernym, The results for different POS are shown Table 5. Approximately 50% of discrepancies are literals that are missing in FREWN synses rather than errors in WOLF. Unsurprisingly, the least problematic synsets are those lexicalizing specific concepts (such as hippopotamus, kitchen) and the most difficult ones were those containing highly polysemous words describing vague concepts (e.g. face which as a noun has 13 different senses in PWN or place which as a noun has 16 senses). For a more detailed evaluation, including the resource-by-resource evaluation and resource confidence ranking, see Fišer and Sagot (submitted).

Conclusions and future work

The paper has presented a methodology to combine several freely available resources in order to generate a wordnet for a new language. The evaluation of the results shows that the proposed approach is promising from quantitative as well as qualitative aspects. However, precision of the automatically generated synsets drops as ambiguity of words increases, thus affecting the core vocabulary in the developed resource the most. This means that a systematic manual revision of the automatically generated synsets is necessary in order increase the overall quality of WOLF and turn it into a useful resource for NLP applications. Synsets from Base Concept Sets are already being edited by our students.

In addition to this, we intend to extend automatic techniques in order to improve the coverage of WOLF.

In particular, we plan to use word sense disambiguation techniques such as those described in Ruiz (2005) to assign synset ids to polysemous Wikipedia entries.

We also plan to extend the scope of WOLF's use and evaluation. In particular, we want to use it for parsing disambiguation and information retrieval purposes. Not only will this validate the usefulness of the resource, it will also enable a more application-oriented evaluation of its relevance and the necessary refinement.

Fr

Table 1 :

 1 Translation variants of the English literal law from the Fr-Ro-Cs-Bg-En lexicon 7 .

	frq pos Fr	Cs	Bg	En
	18 n	droit	právo	законодателство law
	56 n	droit	právo	право	law
	4 n	loi	právo	закон	law
	4 n	loi	právo	законодателство law
	6 n	loi	právo	право	law
	33 n	loi	zákon	закон	law
	8 n	loi	zákon	закона*	law
	19 n	législation	právo	законодателство law
	7 n	législation	právo	право	law
	4 n	législation	předpis законодателство law

Table 2 :

 2 Word sense disambiguation and sense assignment for French lexicon entries Applied to the above-mentioned multilingual lexicons, this technique yielded five different sets of synsets with at least one French literal.

They include between 1,338 (Fr-Ro-Cs-Bg-En) and 5,073 (Fr-Ro-En) synsets.

Table 3 :

 3 Quantitative data about WOLF in comparison to PWN and FRWN.

Table 4 :

 4 Precision and recall of WOLF compared to FREWN for nominal and verbal synsets 12 .

  affaire in the synset {things}, whereas the plural form affaires would be correct; aisance in the synset {toilet, lavatory, lav, can, john, privy, bathroom} whereas the compound cabinet d'aisances would have been correct), -it is not related at all (because of alignment and/or disambiguation error; e.g. abattre in the synset {excavate, dig up, turn up}).

	POS	n	v	adj	adv	all
	in	76	33	0	0	109
	FREWN	68%	46%	0%	0%	60%
	not in
	FREWN
	correct	16	18	4	0	38
	sem. close	10	6	0	0	17
	sem. related	2	6	0	0	7
	morph.	2	0	0	0	2
	related
	not related	5	5	0	0	10
	total	111	68			183
	total correct	92	51	4	0	147
	(WOLF prec.)	83%	75%			80%
						hyponym, near-synonym; e.g. absence in the synset
						{lack, deficiency, want}),
						-it is semantically related (any other kind of
						semantic relation; e.g. abri in the synset
						{penthouse}),
						-it is morphologically related (it is part of a
						compound which would have been correctly
						assigned to the synset if word alignment was not
						restricted to single words, or it is a morphologically
						different form of an otherwise correct literal; e.g.

Table 5 .

 5 Manual evaluation of WOLF 13 .

http://langtech.jrc.it/JRC-Acquis.html[15.03.2008]

http://www.wikipedia.org[15.03.2008]

http://europa.eu/eurovoc[15.03.2008]

When we refer to the core vocabulary in this paper, we have in mind all literals corresponding to concepts that are included in the BalkaNet Basic Concept Sets[START_REF] Tufis | BalkaNet -Design and Development of a Multilingual Balkan WordNet[END_REF]. There are three categories of basic synsets, BCS1 being the most fundamental one.

4-uples occurring 3 times or less are not shown. The literal marked by an asterisk comes from lemmatization errors.

http://europa.eu/eurovoc [15.03.2008]

FREWN does not contain any adjectives or adverbs which could therefore not be evaluated automatically.

Figures in italics have to be considered with caution, given the small amount of corresponding data.


Benoît Sagot
email: benoit.sagot@inria.fr

Géraldine Walther
email: geraldine.walther@linguist.jussieu.fr

Pollet Samvelian. Pegah Faghiri
email: pegah.faghiri@etud.sorbonne-nouvelle.fr

Pollet Samvelian
email: pollet.samvelian@univ-paris3.fr

Développement de ressources pour le persan : le nouveau lexique morphologique PerLex 2 et l'étiqueteur morphosyntaxique MElt-fa

Keywords: Ressource lexicale, validation, étiqueteur morpho-syntaxique, persan, catégories, PerLex, MElt Lexical resource, validation, tagger, Persian, POS, PerLex, MElt

est destinée au dépôt

Introduction

Les ressources lexicales et les outils de pré-traitement automatique des langues comme les étiqueteurs morphosyntaxiques sont des ressources relativement simples à développer qui, lorsqu'elles sont à la fois de qualité et librement disponibles, permettent néanmoins développer des outils plus complexes comme des analyseurs syntaxiques, des outils de traduction automatique, de fouille de textes et d'extraction d'information pour lesquels elles sont indispensables. Elles permettent également de progresser rapidement dans la description théorique des langues qu'elles traitent en donnant accès à un nombre plus conséquent de données aux chercheurs qui les étudient.

Malheureusement, ces ressources ne sont que trop rarement librement disponibles, et ce même pour des langues importantes comportant un grand nombre de locuteurs et donc de bénéficiaires potentiels. Pour le persan, ce n'est qu'au cours de cette dernière année que les premiers lexiques librement disponibles ont commencé à apparaître. PerLex, notre lexique morphologique du persan, en est un des précurseurs.

Nous avions développé une première version de PerLex (Sagot & Walther, 2010) ; nous en proposons desormais une deuxième version partiellement validée. PerLex 2 possède également un nouvel inventaire de catégories fondé sur des choix linguistiques préalables et motivés. Ces choix ont été faits au sein du projet ANR/DFG francoallemand PerGram 1 . Le développement de PerLex 2 s'accompagne du développement d'un étiqueteur morphosyntaxique, MElt fa , qui s'appuie sur lesdits choix linguistiques et le fonctionnement de l'étiqueteur MElt [START_REF] Denis | Coupling an annotated corpus and a morphosyntactic lexicon for state-of-the-art pos tagging with less human effort[END_REF]. Nous avons également développé une nouvelle version du corpus BijanKhan [START_REF] Bijankhan | The role of the corpus in writing a grammar : An introduction to a software[END_REF] : cette nouvelle version contient des corrections significatives de la tokenisation ainsi qu'un réétiquetage à l'aide des nouvelles catégories. Cette nouvelle version du corpus a ensuite été utilisée pour l'entraînement de MElt fa .

Dans cet article nous exposons les différentes facettes de ce triple travail dans leur succession et leur interaction. Après une rapide présentation des spécificités liées au traitement du persan, nous décrivons les améliorations du lexique PerLex effectuées depuis sa première version, les catégories linguistiques retenues pour le développement de nos outils et ressources et l'inventaire des étiquettes morpho-syntaxiques utilisées par MElt fa . Nous détaillons ensuite le travail de retokenisation et de réétiquetage effectué sur le corpus BijanKhan et en fin le développement et l'entraînement de notre étiqueteur morphosyntaxique MElt fa .

Le traitement automatique du persan : état des lieux

Le premier projet de traitement automatique important pour le persan a été le projet Shiraz. Consacré à la traduction automatique du persan vers l'anglais [START_REF] Amtrup | Persian-English Machine Translation : An Overview of the Shiraz Project[END_REF], l'un de ses résultats a notamment été la mise en place d'un lexique bilingue d'environ 50 000 entrées 2 . Il s'appuie sur une description du persan au sein d'un modèle de grammaire d'unification [START_REF] Megerdoomian | Unification-based Persian morphology[END_REF] et a ensuite été adapté aux outils Xerox pour les automates à états finis [START_REF] Megerdoomian | Finite-state morphological analysis of Persian[END_REF]. D'autres ressources lexicales électroniques du persan ont également vu le jour ces dernières années. On peut citer la version électronique du Persian Pronunciation Dictionary [START_REF] Deyhime | Farhang-i Avayi-i Farsi (Persian Pronunciation Dictionary)[END_REF], un dictionnaire de formes fléchies avec leurs transcriptions phonétiques en accès limité. En mai 2010 a été rendue librement disponible la quatrième version de MULTEXT-East [START_REF] Erjavec | Multext-east version 4 : Multilingual morphosyntactic specifications, lexicons and corpora[END_REF] qui comporte désormais le persan [START_REF] Qasemizadeh | Persian in MULTEXT-East Framework[END_REF]. À la même période, a été développé le lexique PerLex dans sa première version (Sagot & Walther, 2010).

Outre ces ressources, d'autres outils d'analyse morphologique ou de lemmatisation ont été développés, mais n'ont pas conduit à la construction d'un lexique à large couverture. On peut citer les travaux de Dehdari & Lonsdale (2008), et notamment leur lemmatiseur PerStem, librement disponible 3 .

Ces dernières années ont été développés divers outils et ressources TAL pour le persan. Ils s'agit essentiellement d'étiqueteurs morpho-syntaxiques [START_REF] Qasemizadeh | Persian in MULTEXT-East Framework[END_REF][START_REF] Tasharofi | Evaluation of Statistical Part of Speech Tagging of Persian Text[END_REF][START_REF] Shamsfard | A hybrid morphology-based pos tagger for Persian[END_REF]), d'analyseurs syntaxiques (Hafezi, 2004;[START_REF] Dehdari | A Link Grammar Parser for Persian[END_REF]) et de systèmes de traduction automatique [START_REF] Feili | An Application of Lexicalized Grammars in English-Persian Translation[END_REF][START_REF] Saedi | Automatic Translation between English and Persian Texts[END_REF].

Le persan

Le persan, langue indo-européenne de la famille des langues indo-aryennes, appartient plus précisément au groupe des langues iraniennes occidentales qui se caractérise par un ordre des mots relativement libre mais avec une préférence pour le type SOV. Il est parlé par environ 130 millions de locuteurs, répartis surtout en Iran, en Afghanistan, au Tadjikistan et en Ouzbékistan.

Écriture et translittération

Le persan s'écrit de droite à gauche au moyen d'une variante de l'alphabet arabe. De même qu'en arabe, les voyelles brèves ne sont pas transcrites et la distinction entre majuscules et minuscules n'existe pas. Par ailleurs, deux caractères consécutifs peuvent être liés (c'est-à-dire écrits d'un seul trait, ce qui n'est possible que pour certains caractères), collés (juxtaposés sans être liés) ou séparés par un espace. Selon qu'il est isolé ou lié au caractère précédent et/ou suivant, un même caractère peut prendre jusqu'à quatre formes différentes.

Certains outils et ressources développés au cours de notre travail reposent sur une translittération du persan en caractères latins. Nous avons utilisé la translittération bijective développée dans le cadre du projet PerGram 4 .

En plus d'un outil de translittération permettant de basculer d'un alphabet (persan ou latin) à l'autre, nous avions aussi au préalable développé deux outils de normalisation typographique (Sagot & Walther, 2010).

Aperçu de la grammaire du persan

Comme la plupart des langues iraniennes, le persan se distingue par un nombre très réduit de verbes simples (classe fermée de 200 unités environ seulement). Dans les langues iraniennes, la majorité des sens habituellement exprimés par des prédicats sont exprimés par des locutions verbales complexes qui constituent un procédé très productif [START_REF] Samvelian | Le statut syntaxique des objets nus en persan[END_REF]. Dans ces locutions verbales complexes, la partie verbale subit une flexion parfois simplifiée par rapport à celle de verbes simples, nécessitant ainsi un traitement et une modélisation particulières [START_REF] Lazard | Grammaire du persan contemporain[END_REF].

La morphologie nominale du persan n'affiche qu'un nombre restreint de formes fléchies [START_REF] Lazard | Grammaire du persan contemporain[END_REF] : nombre (singulier non marqué, pluriel en -ھﺎ / -ان -hâ/-ân et plus rarement -ât/-un/-in), Ézafé (marqueur de dépendance) -ی -e/-ye [START_REF] Samvelian | A phrasal affix analysis of the Persian Ezafe[END_REF], déterminant indéfini -ی -î, marqueur enclitique de définitude optionnel -h(e), postposition -را -râ. Les adjectifs ne varient qu'en degré (suffixe -ﺗﺮ -tar au comparatif et suffixe -ﺗﺮﯾﻦ -tarin au superlatif). Ils peuvent néanmoins être suivis de l'Ézafé lorsqu'ils suivent un nom modifié ou lorsqu'ils prennent eux-mêmes un objet direct ou indirect. En fin de groupe nominal ils peuvent adopter la flexion des noms.

La morphologie verbale du persan est légèrement plus complexe. On considère habituellement qu'il y a deux radicaux verbaux du persan, l'un pour les formes du présent, l'autre pour les formes du passé. Autour de ces radicaux se placent des affixes : des préfixes TAM 5 ﻣﯽ- miet ب- beet les désinences personnelles -am, -i, -ad/-e/ø, -im, -id/-in et -and/-an 6 (ou les formes enclitiques du verbe ﺑﺪن budan 'être'. Les préfixes TAM peuvent être précédés du marqueur de négation ن- / م- n-/m-. Les formes du parfait et de l'imparfait sont périphrastiques et construites à partir du participe et des formes enclitiques de l'auxiliaire ﺑﺪن budan 'être'.

Enfin, le persan possède un paradigme de pronoms personnels enclitiques qui peuvent se combiner aussi bien avec des noms qu'avec des verbes, des prépositions, des adjectifs et certains adverbes [START_REF] Lazard | Grammaire du persan contemporain[END_REF].

Inventaire des catégories du persan

Afin d'améliorer à la fois le lexique et permettre la construction d'un étiquetteur morpho-syntaxique compatible autant avec de futures tâches traitement automatique du persan que d'analyse linguistique, nous avons, en un premier temps fixé un inventaire des catégories du persan. Ces catégories sont le fruit d'une réflexion théorique préalable au sein du projet PerGram. Les catégories retenues sont les suivantes 7 :

Classes ouvertes : noms, noms propres, adjectifs, adverbes ;

Classes fermées : verbes, prépositions, conjonctions, classifieurs, pronoms, déterminants, interjections.

4. Pour plus de lisibilité, nous employons ici une transcription phonétique plus standard comprenant aussi les voyelles brèves. 5. Temps-Aspect-Mode. 6. -د -ی، -م، / -ی , -ø, -د -م، / -ﻧﺪ -ن، . 7. Une description plus exhaustive précisant notamment les choix linguistiques est actuellement en préparation (Samvelian et Faghiri, en préparation).

PerLex

Dans cette section, nous décrivons le développement de la nouvelle version de notre lexique PerLex. Nous rappelons l'état de PerLex avant les nouveaux travaux et présentons les diverses améliorations, modifications et validations qui ont mené à la version actuelle de PerLex.

PerLex 1

Dès la première version de PerLex, nous avions développé une description formelle de la morphologie persane dans le formalisme Alexina. Alexina permet de représenter les informations lexicales d'une façon complète, efficace et lisible [START_REF] Sagot | Automatic acquisition of a Slovak lexicon from a raw corpus[END_REF][START_REF] Danlos | Constructions pronominales dans dicovalence et le lexique-grammaire --intégration dans le Lefff[END_REF], tout en étant compatible avec la norme ISO pour les lexiques TAL, la norme LMF (Lexical Markup Framework) [START_REF] Francopoulo | Lexical Markup Framework (LMF)[END_REF]. D'autres ressources pour d'autres langues sont également développées dans ce formalisme 8 . Alexina utilise une représentation à deux niveaux qui sépare la description du lexique de son utilisation : -le lexique intensionnel factorise les informations lexicales en associant à chaque lemme une classe morphologique (définie dans une description morphologique formalisée) et des informations syntaxiques profondes ; il est utilisé pour le développement de la ressource ; -le lexique extensionnel, produit automatiquement par compilation du lexique intensionnel, associe à chaque forme fléchie une structure détaillée qui représente l'ensemble de ses propriétés morphologiques et syntaxiques ; il est directement utilisé par les outils TAL tels que les étiqueteurs ou les parseurs. Notre description morphologique du Persan à partir des données de [START_REF] Lazard | Grammaire du persan contemporain[END_REF] dans le formalisme morphologique d'Alexina [START_REF] Sagot | Building a morphosyntactic lexicon and a pre-syntactic processing chain for Polish[END_REF] modélise l'affixation comme la combinaison d'un préfixe et d'un suffixe avec un radical. Les alternances de radicaux sont pour l'instant modélisées comme des phénomènes de sandhi 9 affectant le radical à ses frontières avec les affixes. Dans le formalisme Alexina, ces sandhi peuvent également affecter les affixes directement.

PerLex utilise aujourd'hui entre autres 31 tables verbales et 5 tables nominales.

Le formalisme Alexina couvre à la fois le niveau morphologique et le niveau syntaxique (p.ex. la valence). Une formalisation de la syntaxe du persan est actuellement en cours. Elle s'appuie notamment sur les choix en termes de structure argumentale fait au sein du projet PerGram (Faghiri, en préparation). Les tables de descriptions linguistiques exhaustives des structures argumentales des verbes simples seront ensuite converties dans le format syntaxique d'Alexina. La poursuite de travaux descriptifs sur les prédicats complexes [START_REF] Samvelian | Les prédicats complexes Nom-Verbe en persan. Étude syntaxique et sémantique[END_REF][START_REF] Samvelian | Support verb constructions in HPSG[END_REF] est également prévue, puis l'intégration de ces unités lexicales particulières dans PerLex. De façon complémentaire et pour viser une couverture optimale de la ressource, des techniques d'extraction automatique de prédicats complexes candidats, puis, à terme, de leur structure argumentale, est en cours au sein du projet PerGram (Gutman, Sagot & Samvelian, en préparation).

Comme détaillé dans (Sagot & Walther, 2010), les entrées lexicales de PerLex 1 ont été extraites à partir de diverses sources, et notamment à partir du corpus BijanKhan. À l'été 2010, PerLex contenait 35 914 entrées intensionnelles (de niveau lemme) produisant 524 700 entrées extensionnelles (de niveau forme) pour 494 488 formes distinctes. Des données complémentaires sur PerLex 1 sont indiquées au tableau 1, à la fin de la section suivante. Ces données sont mises en regard des données pour la nouvelle version de PerLex, dont nous allons décrire la construction et notamment les étapes de validation et de conversion vers un nouveau jeu de catégories.

8. Le Lefff, un lexique morphologique et syntaxique à large couverture pour le français [START_REF] Sagot | The Lefff, a freely available, accurate and large-coverage lexicon for French[END_REF], ainsi que des ressources pour l'espagnol (le Leffe), le galicien, le polonais [START_REF] Sagot | Building a morphosyntactic lexicon and a pre-syntactic processing chain for Polish[END_REF], le slovaque [START_REF] Sagot | Automatic acquisition of a Slovak lexicon from a raw corpus[END_REF], et l'anglais ; il y a aussi deux lexiques pour des langues kurdes, langues iraniennes typologiquement proches du persan : SoraLex, un lexique morphologique pour le kurde sorani (Walther & Sagot, 2010) et KurLex, lexique morphologique du kurde kurmanji [START_REF] Walther | Fast Development of Basic NLP Tools : Towards a Lexicon and a POS Tagger for Kurmanji Kurdish[END_REF]. 9. Transformations sur le radical et/ou l'affixe provoquées par la juxtaposition ce ces derniers. Ainsi en français, lorsque le préfixe inest juxtaposé aux bases dérivationnelles réversible ou légal, un phénomène de sandhi a lieu qui induit la modification de la consonne finale n du préfixe, créant ainsi les formes ir-réversible et il-légal (à la différence de in-attendu).

Améliorations, validation et nouvel inventaire de catégories : PerLex 2 4.2.1 Enrichissement et pondération automatique par comparaison et fusion avec d'autres lexiques

La validation du lexique PerLex a été réalisée par deux moyens complémentaires : la comparaison et si possible la fusion avec deux autres ressources (le lexique MULTEXT-East et le Persian Pronunciation Dictionary), puis une validation manuelle partielle.

Le Persian Pronunciation Dictionary [START_REF] Deyhime | Farhang-i Avayi-i Farsi (Persian Pronunciation Dictionary)[END_REF] est un dictionnaire de 23 168 formes fléchies distinctes associées à une ou plusieurs phonétisations possibles (pour un total de 34 967 entrées). Outre qu'il n'est pas librement redistribuable, les entrées lexicales n'y comportent donc ni catégorie ni lemme. Ce lexique ne nous a donc pas fourni de nouvelles entrées lexicales. Nous l'avons toutefois utilisé pour attribuer un poids supplémentaire à chaque entrée lexicale de PerLex : le poids ajouté au poids précédent d'une entrée lexicale donnée (en général, la valeur par défaut, c'est-à-dire 100) représente le pourcentage de formes fléchies associées par PerLex à cette l'entrée lexicale qui ont une phonétisation dans le Persian Pronunciation Dictionary.

Le lexique persan distribué dans la version 4 de MULTEXT-East (désormais MTE4-fa) [START_REF] Qasemizadeh | Persian in MULTEXT-East Framework[END_REF][START_REF] Erjavec | Multext-east version 4 : Multilingual morphosyntactic specifications, lexicons and corpora[END_REF], qui est une ressource libre, nous a permis d'aller plus loin. En effet, il s'agit d'un lexique morphologique dont les 13 006 entrées comportent une forme fléchie, son lemme, une phonétisation de la forme fléchie et du lemme, et une étiquette positionnelle respectant les conventions MULTEXT habituelles, et qui inclut donc naturellement une catégorie. Après avoir défini un tableau de correspondance entre l'inventaire des catégories utilisées par MTE4-fa et celui utilisé par le corpus BijanKhan et donc par PerLex 1, nous avons converti MTE4fa dans le formalisme Alexina, pour pouvoir mettre en oeuvre les outils de fusion de lexiques Alexina dont nous disposions [START_REF] Molinero | A morphological and syntactic wide-coverage lexicon for Spanish : The Leffe[END_REF]. La fusion a alors permis de rajouter un poids de 100 à toutes les entrées de PerLex 1 ayant fusionné avec une entrée de MTE4-fa, mais également d'ajouter de nouvelles entrées à PerLex 1 à partir des entrées de MTE4-fa n'ayant pas fusionné. Ces entrées ont toutefois nécessité un travail manuel ultérieur, afin de leur assigner une classe flexionnelle.

Validation manuelle

Pour optimiser le coût de l'étape manuelle, nous avons défini des heuristiques permettant de présenter aux validateurs les entrées lexicales dont la validation semble prioritaire. Ces heuristiques s'appuient notamment sur les nouveaux poids attribués à l'étape précédente : pour toutes les catégories autres que les noms et les adjectifs, c'està-dire pour les catégories dont les unités lexicales dont nous sommes raisonnablement sûrs de la classe flexionnelle (ou de l'absence de flexion), le simple fait que la forme canonique ait été trouvée dans MTE4-fa ou dans le Persian Pronunciation Dictionary suffit à ce que l'unité lexicale ne soit pas présentée à la validation.

À ce jour, deux campagnes de validation manuelle ont eu lieu. Lors de la première, toutes les entrées lexicales qui n'étaient pas écartées par l'heuristique ci-dessus étaient accessibles dans l'interface de validation. Lors de la seconde campagne de validation, après prise en compte des résultats de la première, certaines entrées pourtant déjà validées ont été présentées à nouveau, notamment lorsque leur classe flexionnelle avait changé entre temps (naturellement, ceci n'a donc concerné que des entrées dont la validation n'avait pas indiqué qu'elles étaient entièrement correctes).

L'interface de validation est une interface en ligne. Elle utilise une base de données qui stocke à la fois la version de PerLex en cours de validation et l'ensemble des « tickets de validation » déjà enregistrés. Comme le montre la figure 1, l'interface se présente sous la forme de tableaux affichant un ensemble de 30 entrées lexicales non encore validées et appartenant à une même catégorie préalablement choisie par le validateur. Chaque ligne correspond à une entrée lexicale, qui est représentée par sa forme canonique et par un ensemble minimum, souvent vide, de formes fléchies : il s'agit du plus petit ensemble de formes fléchies permettant d'être certain que la classe flexionnelle associée à l'entrée lexicale est correcte. Ainsi, le validateur n'a pas besoin de connaître le nom et le contenu des classes flexionnelles utilisées pour valider l'entrée lexicale. Par ailleurs, chaque colonne correspond à un statut attribué par le validateur à l'unité lexicale. Lors de la première campagne, les statuts possibles étaient simplement « correct », « catégorie correcte mais flexion incorrecte », « lemme valide mais catégorie incorrecte » et « lemme invalide ». L'objectif était de rendre la validation aussi rapide que possible. Toutefois, il s'est avéré que ce choix était trop extrême, et que le statut « catégorie correcte mais flexion incorrecte » gagnerait à être répartie entre plusieurs statuts possibles, notamment pour les noms. En effet, en persan, un nom se La première campagne de validation a également permis d'identifier des fonctionnalités utiles, ajoutées avant le démarrage de la seconde campagne. Ainsi, un panier d'entrées lexicales laissées temporairement de côté a été créé, de même qu'un nouveau statut, « entrée lexicale familière »10 . Sont également prévus le développement d'un outil de recherche ainsi que la possiblité d'afficher des exemples en dessous de chaque entrée lexicale à valider -notamment dans la perspective de la validation des futures entrées pour les prédicats complexes.

Lors de la première campagne de validation, 751 tickets de validation ont été créés, principalement sur des entrées nominales. Au total, 451 entrées lexicales ont été jugées correctes, 250 avec une catégorie correcte mais une flexion incorrecte, aucune avec une catégorie incorrecte, et 50 totalement incorrectes (mais dans un grand nombre de cas c'était la conséquence d'un bogue sur certains caractères particuliers, résolu depuis).

Lors de la deuxième campagne de validation, qui a suivi la prise en compte des résultats de la première (tickets de validation, mais aussi erreurs systématiques identifées), 1097 tickets de validation ont été créés, sur diverses catégories. Au total, 818 entrées lexicales ont été jugées correctes, 17 ont reçu un des 8 statuts indiquant une catégorie correcte mais une flexion incorrecte, 26 avaient une catégorie incorrecte, 129 étaient totalement erronnées (dont de nombreuses formes fléchies de pronoms considérées par erreur comme des entrées indépendantes11 ) et 11 étaient des entrées familières.

Conversion de PerLex vers le nouvel inventaire de catégories

La grammaire de référence [START_REF] Lazard | Grammaire du persan contemporain[END_REF] qui nous avait guidé dans nos premiers travaux de développement du lexique du persan PerLex se limitait aux catégories suivantes : substantifs, adjectifs, adverbes, noms de nombre, pronoms, verbes, interjections et particules (prépositions, conjonctions, particules adverbiales, interrogatives et exclamatives). Cet inventaire n'était cependant pas assez précis pour le développement d'outils de traitement automatique comme un étiqueteur morphosyntaxique. Nous ne l'avions donc pas suivi.

En 2010, notre lexique comportait les étiquettes reprises directement du corpus BijanKhan [START_REF] Bijankhan | The role of the corpus in writing a grammar : An introduction to a software[END_REF][START_REF] Amiri | ﻓﺎرﺳﯽ زﺑﺎن در ﻛﻠﻤﺎت زﻧﯽ ﺑﺮﭼﺴﺐ ﺑﺮای ﻣﻨﺎﺳﺐ ای ﭘﯿﻜﺮه ﺑﺮرﺳﯽ (Investigation on a feasible corpus for Persian POS tagging)[END_REF] 12 , dont certaines nous semblaient néanmoins insuffisantes en termes de pertinence théorique, voire complètement opaques.

La nouvelle version de PerLex comporte désormais un nouveau jeu de catégories en accord avec les choix théoriques mentionnés en 3.3. Nous avons effectué une conversion automatique des anciennes catégories vers notre nouvel inventaire de catégories. Pour les noms (N), verbes (V), noms propres (PN), pronoms (PRO), interjections (INT) ponctuations (DELM) la conversion était directe. Pour les autres catégories, des critères précis ont dû être appliqués manuellement pour redistribuer les mots qui s'y trouvaient vers l'une ou l'autre des catégories du nouvel inventaire. Ainsi, les classes QUA et MQUA comportaient des éléments qui sont désormais étiquettés DET (déterminant), ADV ou PRO. La classe MORP qui comprenait des éléments de morphologie constructionnelle a disparue. Dans le corpus, ses éléments ont été recollés à leurs bases au cours des opérations de retokenisation (cf. section 5.2). À l'inverse, une nouvelle catégorie de classifieurs (CLASS) a été ajoutée. Elle contient une partie des éléments précédemment étiquettés SPEC. Les éléments de l'ancienne catégorie SPEC se retrouvent desormais dans les catégories CLASS, DET et ADV.

PerLex : données quantitatives

Le tableau 1 met en regard quelques chiffres sur PerLex 1 et 2, à la fois au niveau global et pour quelques catégories importantes. On constate que la différence entre les deux versions du lexique n'est pas très visible au niveau des chiffres. D'une part, la suppression d'entrées est allée à l'opposée des ajouts d'entrées manquantes. D'autre part, le travail de conversion vers le nouveau jeu de catégories, et de nombreuses autres améliorations (notamment dans la description morphologique 13 ) ne se reflètent pas quantitativement de façon significative. PerLex 2 reste toutefois un lexique d'échelle raisonnable. Calculer sa couverture sur le corpus BijanKhan n'a pas grand sens, dans la mesure où une partie importante des entrées lexicales en ont été extraites, mais également parce que la segmentation de ce corpus en unités lexicales n'est pas parfaite. Le rôle de PerLex 2 pour la construction de notre analyseur morphosyntaxique du persan MElt fa en permet cependant une évaluation indirecte.

MElt fa : un analyseur morphosyntaxique du persan

Cette nouvelle version de PerLex nous a permis de construire un analyseur morphosyntaxique du persan, en bénéficiant de la disponibilité du corpus BijanKhan. Après la définition d'un jeu d'étiquettes morphosyntaxiques, et avant d'entraîner le système MElt [START_REF] Denis | Coupling an annotated corpus and a morphosyntactic lexicon for state-of-the-art pos tagging with less human effort[END_REF], nous avons dû toutefois appliquer au corpus Bijan-Khan des procédures automatiques de correction de corpus (sa qualité est loin d'être excellente, tant en termes de tokenisation que d'étiquetage) et de conversion vers notre jeu d'étiquettes.

12. L'inventaire de base est le suivant : ADJ, ADV, AR, CON, DELM, DET, IF, INT, MORP, MQUA, MS, PN, OH, OHH, P, PP, PRO, PS, QUA, SPEC, N, V.

13. Par exemple, trois nouvelles tables de flexion ont été rajoutées pour mieux rendre compte de la flexion particulière des verbes support (cf. section 3.2) et des auxiliaires.

Définition d'un jeu d'étiquettes morphosyntaxiques

À partir de l'inventaire de catégories décrit en section 3.3, nous avons construit un jeu de 79 étiquettes morphosyntaxiques pour notre étiqueteur MElt fa . Ce jeu d'étiquettes est résumé dans le tableau 2. Pour les douze catégories de notre inventaire, il contient : 37 étiquettes verbales ; 9 étiquettes pronominales ; 8 étiquettes nominales ; 5 étiquettes pour les prépositions ; 3 pour les adjectifs, conjonctions, déterminants et interjections ; 2 pour les adverbes et les classifieurs. Les noms propres ont une étiquette unique. Nous avons également ajouté une étiquette pour les expressions arabes complètes empruntées et citées telles quelles dans les textes persans, une pour les nombres et l'étiquette indispensable pour les ponctuations.

Retokenisation et correction du corpus BijanKhan

Le corpus BijanKhan est un corpus librement disponible de d'une tokenisation et d'un étiquetage automatiques de textes journalistiques et généraux. Il n'est segmenté ni en phrases ni en articles. Nous sommes partis de la version translittérée du corpus développée dans (Sagot & Walther, 2010), puis nous l'avons segmenté en 88 885 phrases de façon simple en découpant sur les ponctuations fortes standard.

Nous avons alors appliqué un certain nombre de règles systématiques de correction, afin de régler un inventaire assez large d'erreurs et d'incohérences trouvées dans le corpus, dont voici un extrait, par ordre d'application : -décollage des préverbes (maintenant étiquetés P) des verbes auxquels ils sont parfois collés par erreur, et donc intégrés dans le token verbal, produisant des formes verbales à juste titre inconnues de PerLex14 ; -normalisation de la typographie des préfixes flexionnels verbaux : p.ex., le préfixe ب- bedoit être lié au caractère suivant, alors que les préfixes )ن(ﻣﯽ- (n)midoivent être collés mais non liés (ni séparé) ; -correction de diverses erreurs typographiques similaires concernant certains suffixes verbaux ; -correction des erreurs typographiques liées à la marque du pluriel nominal -ھﺎ -hâ possiblement suivie de marques d'indéfini ou personnelles15 ; -correction de diverses autres erreurs typographiques similaires concernant les noms et les adjectifs ; -tentative de normalisation typographique des sigles ; -restauration de certaines prépositions composées tokenisées par erreur en un « nom » et une préposition (cf.

از + ﭘﺲ pas + az) ; -prise en compte de la disparition de la catégorie MORP, présente dans le BijanKhan mais absente de notre inventaire de catégories ; ceci a notamment conduit à regrouper en un seul token et à identifier comme tels un large éventail d'expressions numériques ; -quelques corrections systématiques d'étiquetage ; -quelques retokenisations de tokens erronés, notamment certains fusionnant un mot et une ponctuation.

Conversion du corpus vers le nouveau jeu d'étiquettes

Une fois ces corrections effectuées, il nous a encore fallu convertir le corpus BijanKhan de son propre jeu d'étiquettes vers celui décrit à la section 5.1. Toutefois, étant donné la qualité imparfaite de l'étiquetage du corpus, nous avons fait le choix de nous appuyer autant que possible sur PerLex, ou, parfois, sur certaines généralisations morphologiques (cf. infra), pour « valider » l'étiquette BijanKhan en même temps que de proposer une ou plusieurs étiquettes de notre propre jeu. Il est arrivé que nous ne puissions convertir l'étiquette de certains tokens, soit parce que ni PerLex ni les quelques règles morphologiques ne nous la confirment (aucune étiquette n'est proposée), soit au contraire parce que plusieurs étiquettes sont compatibles.

Nous ne décrivons pas ici le processus complet de conversion, mais nous en donnons néanmoins quelques exemples : -les formes étiquetées par certaines classes telles que ADV (adverbe), AR (emprunt à l'arabe), PRO (pronom) Nous avons cherché à comparer la qualité des annotations produites par MElt fa à celles résultant de la correction et conversion du corpus BijanKhan -et qui sont donc déjà améliorées par rapport au corpus d'origine. Nous avons donc calculé la précision de ce corpus, restreint aux 1 568 tokens effectivement convertis, par rapport à la référence. Le résultat en précision est exactement identique à celui de MElt fa , bien que les erreurs ne concernent les mêmes tokens que dans 48% des cas. Autrement dit, MElt fa a réussi à produire, sur les 91,6% de tokens correctement convertis, un résultat aussi bon que le corpus sur lequel il s'est entraîné, lui même meilleur que le corpus BijanKhan. Nous pensons que ce résultat est lié à la fois à l'utilisation de PerLex, qui l'aide à ignorer certaines données aberrentes du corpus d'apprentissage, et au fait que le modèle produit par MElt fa en lisse nombre d'erreurs (avec un effet de type co-training). Cette dernière hypothèse est confirmée par le fait que sur ces 1 568 tokens, 16. Nos premiers résultats étaient moins bons, mais l'analyse systématique des cas de non-conversion les plus fréquents nous a permis de corriger et de compléter PerLex -y compris des points précis de la description morphologique formalisée du persan sur laquelle il repose. 17. Y compris AR et NUM.

Figure 1 -

 1 Figure 1 -Interface de validation telle qu'utilisée pour la deuxième campagne

Table 1 -

 1 Données quantitatives sur PerLex

	Partie du discours	entrées intensionnelles PerLex 1 PerLex 2	lemmes distincts PerLex 1 PerLex 2	entrées extensionnelles PerLex 1 PerLex 2
	verbes noms communs noms propres adjectifs autres	171 9 553 10 996 11 872 3 322	176 9 546 10 965 12 322 3 706	139 9 106 10 938 11 835 3 120	140 9 073 10 954 12 284 3 622	19 776 177 988 33 076 290 537 3 323	20 373 165 345 31 777 302 574
	total	35 914	36 397	33 454	35 924	524 700	525 074

4 Entraînement et évaluation de l'étiqueteur morpho-syntaxique MElt fa

  reçoivent l'étiquette proposée par PerLex pour cette forme, à condition que PerLex en propose exactement une (c'est-à-dire que PerLex contient ce mot avec cette catégorie, mais qu'il n'y a aucune ambiguïté sur l'étiquette, par exemple aucune ambiguïté entre PROpers, PROrefl, PROrecip, PROdem etc.) -pour les formes verbales, que le BijanKhan étiquette au moyen d'un inventaire restreint (V_PRS pour les présents, V_SUB pour les subjonctifs, V_PA pour les passés, etc.), on vérifie si la forme est connue de PerLex en tant que forme verbale avec une étiquette morphologique compatible avec l'étiquette du BijanKhan ; si c'est le cas et que cela conduit au choix d'une seule étiquette, cette étiquette est choisie ; -si PerLex ne propose qu'une seule étiquette de nom singulier pour une forme étiquetée N_SING, on la choisit ; de même pour le pluriel ; si PerLex ne connaît pas comme une forme nominale plurielle une forme étiquetée N_PLUR mais que celle-ci se termine en -ات -at, on lui attribue l'étiquette Npl ; -le mot -را -ra reçoit l'étiquette RA, quelle que soit son étiquette dans le BijanKhan. Une fois l'ensemble de ces règles appliquées, certains tokens ont reçu une étiquette venant de notre propre jeu d'étiquettes, d'autres ont conservé l'étiquette du BijanKhan. La conversion a pu fonctionner dans 92,4% des cas16 , produisant ainsi une annotation complète dans notre jeu d'étiquettes pour 18 763 phrases (soit 21% de l'ensemble).Nous avons alors partagé le corpus en trois parties :-les 100 dernières phrases du corpus (dont 32 intégralement converties) ont été séparées des autres en vue de la construction d'un corpus d'évaluation (cf. 5.4) ; -à partir du reste du corpus, les phrases intégralement converties, soit 18 731 phrases (pour 302 690 tokens), ont été rassemblées en un corpus d'entraînement pour MElt ; -les autres phrases seront utilisées ultérieurement, notamment pour réaliser une comparaison des annotations créées avec celles que produira MElt fa , ainsi que pour des tâches d'acquisition automatique d'unités lexicales.Nous avons donc entraîné le système d'analyse morphosyntaxique MElt[START_REF] Denis | Coupling an annotated corpus and a morphosyntactic lexicon for state-of-the-art pos tagging with less human effort[END_REF], en lui donnant en entrée le lexique ainsi extrait à partir de PerLex 2 et le corpus d'entraînement de 18 731 phrases mentionné ci-dessus -bien qu'il ne s'agisse pas d'un corpus validé manuellement, et qu'il contienne donc de nombreuses erreurs. Le résultat est un étiqueteur morphosyntaxique du persan, MElt fa . Pour évaluer cet étiqueteur, nous avons validé et complété manuellement l'étiquetage des 100 dernières phrases du corpus BijanKhan, après qu'elles ont été corrigées et pré-annotées comme le reste du corpus (cf. section précédente). Ce corpus de référence est constitué de 1 707 tokens. La conversion vers notre jeu d'étiquettes a pu s'appliquer pour 1 568 (91,6%) d'entre eux. Nous avons comparé les résultats de MElt fa à ce corpus de référence. Nous les avons également comparés au résultat brut de la correction et pré-annotation, sur les 1 568 tokens dont l'étiquette a été effectivement convertie. Sur l'ensemble de la référence, nous obtenons une précision de 90,3% avec notre jeu de 79 étiquettes, et 93,3% sur les seules catégories. Sur les tokens dont l'étiquette a pu être convertie, nous montons à 93,9% sur le jeu d'étiquettes et 95,3% sur les 14 catégories 17 . Ce score constitue vraisemblablement une borne inférieure de la précision que nous obtiendrions si tous les tokens étaient convertis : en effet, les tokens non convertis ne l'ont pas été non plus dans les données d'entraînement, et MElt fa n'a donc pu apprendre à leur sujet des informations contextuelles spécifiques, d'où un taux d'erreur supérieur. De plus, ces erreurs sont susceptibles de se répercuter au voisinage de ces tokens.

5.

La conversion de PerLex 2 en un lexique simple associant à chaque forme une ou plusieurs étiquettes du jeu d'étiquettes défini en 5.1 n'a pas posé de problème, PerLex fournissant d'une part des informations morphologiques riches, et le jeu d'étiquettes ayant d'autre part été conçu pour permettre une telle conversion.

Le projet PerGram a fait le choix d'inclure dans le lexique élaboré uniquement les entrées de la langue standard (bien que les formes fléchies familières des verbes standard soient produites).

Cf. des membres de l'ancienne catégorie MORP dans le corpus BijanKhan, voir section 4.2.3.

Exemples de tels préfixes : ﺑﺮ br, در dr, ﺑﺎز baz, ﻓﺮا fra, ﭘﯿﺶ pyš, sr. On notera que certaines formes verbales commencent réellement par br-, drou baz-, ce qui nécessite des exceptions à cette règle.

Y compris certaines corrections, comme le changement systématique du suffixe -ھﺎای -eaay en -ھﺎی -eay.


A new morphological lexicon and a POS tagger for the Persian Language

Benoît Sagot 1 , Géraldine Walther 2,3 , Pegah Faghiri 3 , Pollet Samvelian benoit.sagot@inria.fr, geraldine.walther@linguist.jussieu.fr, pegah.faghiri@etud.sorbonne-nouvelle.fr, pollet.samvelian@univ-paris3.fr

In [START_REF] Sagot | A morphological lexicon for the persian language[END_REF], the authors introduce an advanced tokenizer and a morphological lexicon for the Persian language named PerLex. In this paper, we describe experiments dedicated to enriching this lexicon and using it for building a POS tagger for Persian.

Natural Language Processing (NLP) tasks such as part-of-speech (POS) tagging or parsing as well as most NLP applications require large-scale lexical resources. Yet, such resources rarely are freely available, even though it is the fastest way to building high-quality resources. In this paper, we introduce a new version of the large-scale and freely available morphological lexicon for Persian named PerLex, which relies on a new linguistically motivated POS inventory as well as several validation steps; we show how we used this new lexicon for generating an improved version of the BijanKhan corpus [START_REF] Bijankhan | The role of the corpus in writing a grammar: An introduction to a software[END_REF] and training the MElt tagging system [START_REF] Denis | Coupling an annotated corpus and a morphosyntactic lexicon for stateof-the-art pos tagging with less human effort[END_REF], thus creating a freely available Persian tagger.

The first important NLP project on Persian is the Shiraz project, targeted towards Persian to English automatic translation [START_REF] Amtrup | Persian-English Machine Translation: An Overview of the Shiraz Project[END_REF]. Among other things, it produced 50,000 terms bilingual lexicon (which however does not seem to be freely available) based in part on a unification-based description of the Persian morphology [START_REF] Megerdoomian | Unification-based Persian morphology[END_REF]. Apart from the Shiraz project, some other NLP tools such as morphological tools and lemmatisers have been developed, although not associated with a full large scale lexicon (cf. the freely available lemmatizer PerStem [START_REF] Dehdari | A Link Grammar Parser for Persian[END_REF]). To our best knowledge, the only freely available large-coverage lexical resources for Persian are the above-mentioned PerLex lexicon [START_REF] Sagot | A morphological lexicon for the persian language[END_REF] and the Persian lexicon within MULTEXT-East version 4 [START_REF] Erjavec | Multext-east version 4: Multilingual morphosyntactic specifications, lexicons and corpora[END_REF][START_REF] Qasemizadeh | Persian in Multext-East Framework[END_REF]. Other recent work on the development of NLP tools and resources for Persian processing is mostly focused on designing part-of-speech taggers [START_REF] Qasemizadeh | Persian in Multext-East Framework[END_REF][START_REF] Shamsfard | A hybrid morphology-based pos tagger for Persian[END_REF], parsers [START_REF] Dehdari | A Link Grammar Parser for Persian[END_REF] or automatic translation systems.

Improving PerLex The PerLex 1 lexicon [START_REF] Sagot | A morphological lexicon for the persian language[END_REF] contained approx. 36,000 lexical entries (lemmas) corresponding to over 520,000 (inflected) form entries describing approx. 500,000 unique forms. Apart from its underlying morphological description, PerLex 1 had mainly been built automatically using automatic lexical data aquisition techniques such as the extraction of lexical entries from the automatically tagged BijanKhan corpus [START_REF] Bijankhan | The role of the corpus in writing a grammar: An introduction to a software[END_REF] and from Wikipedia. Therefore, the first step towards the construction of a new version, PerLex 2, was to improve the quality of the lexicon by validating the entries extracted from the BijanKhan corpus. We first automatically (pre-)validated a certain amount of entries, using comparison and/or fusion of PerLex with other lexical resources (i.e. the Persian lexicon included in version 4 of MULTEXT-East (henceforth MTE4-fa) [START_REF] Qasemizadeh | Persian in Multext-East Framework[END_REF][START_REF] Erjavec | Multext-east version 4: Multilingual morphosyntactic specifications, lexicons and corpora[END_REF] and the Persian Pronunciation Dictionary (henceforth PPD) [START_REF] Deyhime | Farhang-i Avayi-i Farsi[END_REF]. Being not freely distributable, we didn't use the PPD to provide us with additional entries, but only to pre-validate existing lexical entries, in particular those for which most inflected forms are found in the PPD. On the other hand, MTE4-fa is a freely available and redistributable morphological lexicon including 13,006 lexical entries. We established a map-ping between POS tags found in MTE4-fa and in PerLex, converted MTE4-fa in same format as PerLex and merged it with PerLex. The entries resulting from merging entries from both resources were considered pre-validated. Entries corresponding only to MTE4-fa entries were added to PerLex (in many cases, this required to add the appropriate inflection class manually).

Entries automatically pre-validated were excluded from the manual validation (apart for nouns and adjectives) hence avoiding unecessary manual validation costs. So far, we have carried out two seperate manual validation campaigns using a dedicated online validation interface that aims at optimizing validation speed (for example, lexical entries are displayed as a canonical form and the minimal set of inflected forms whose correctness guarantees that the entry's inflection class is correct; another example is that the interface allows for specifying most types of inflection class assignment errors (e.g., a lemma ending in ی yeh pronounced [i] but considered as if it was pronounced [j]). The first validation campaign created 751 validation tickets (451 correct entries, 250 correct POS but invalid inflected forms, no invalid POS and 50 completely invalid entries, mostly due to encoding bugs we resolved in the meantime). The second validation campaign created 1.097 validation tickets (818 correct entries, 17 valid POS but invalid inflected forms, 26 invalid categories ans 129 completely invalid entries, mostly inflected pronominal forms erroneously considered as individual lexical entries).

Another new feature of PerLex 2 is its new sound set of POS. PerLex 1 had simply adopted the POS used in the BijanKhan corpus [START_REF] Bijankhan | The role of the corpus in writing a grammar: An introduction to a software[END_REF][START_REF] Amiri | Investigation on a feasible corpus for Persian POS tagging[END_REF]. We decided to convert the lexicon into a new set of linguistically motivated POS (Faghiri & Samvelian, in prep.): nouns, proper nouns, adjectives, adverbs; verbs, prepositions, conjunctions, classifiers, pronouns, determiners and interjections. The conversion has been realised through automatic conversion techniques. It was straightforward for nouns (N), verbs (V), proper nouns (PN), pronouns (PRO), interjections (INT), delimiters (DELM). For the other POS, precise criteria had to be established manually to re-assign their members. The POS MORP of the BijanKhan corpus has been altogether suppressed since it contained elements contributing to word-formation in various ways but not considered words in the description we adopted. On the other hand, we established a new POS tag for classifiers (CLASS) which replaces the old specifier-tag SPEC.

The size of PerLex 2 is similar to that of PerLex 1 (suppressing erroneous entries has quantitatively counter-balanced the addition of new entries and the conversion into a new POS set does not result in quantitative differences), yet it is the qualitative improvement, such as the addition of new inflection tables for auxiliairies and light verbs, that characterises PerLex 2.

Corpus modification The next step of our work was to develop a new tagger for Persian based on our POS inventory and on PerLex 2, using the MElt tagging system [START_REF] Denis | Coupling an annotated corpus and a morphosyntactic lexicon for stateof-the-art pos tagging with less human effort[END_REF]. We first designed a tagset that is a refinment of this inventory. Our tagset defines 79 tags, among which 37 verbal tags, 9 pronominal tags and 8 nominal tags.

For training the MElt system, we decided to create a new version of the BijanKhan corpus. This new version differs in two ways: first, we improved the original automatic tokenization and annotation of the corpus. Second, we converted the corpus so that it uses our tagset. We started from the version of the corpus used in [START_REF] Sagot | A morphological lexicon for the persian language[END_REF], which is already segmented in 88,885 sentences. We applied rule-based transformations for correcting systematic tokenization and/or annotation errors. These include among others various kinds of typographic (e.g., whitespace) inconsistencies (verbal prefixes, nominal suffixes, acronyms, compound prepositions, removal of the MORP category, and others), whose correction require modifications in the annotation itself. We also corrected systematic annotation errors. Next, we needed to convert the corpus annotations into our 79-tag tagset. In order to achieve a good level of quality, we decided to convert mostly the annotation of those tokens for which we could find a unique tag from our tagset that was consistent with both the corrected corpus annotation and lexical information in PerLex 2. However, in rare cases, heuristics allowed us to choose among various possible tags, as well as to convert annotations for tokens unknown to PerLex (e.g., by relying on morphology-based patterns). The resulting modified BijanKhan corpus was then split in 3 parts. The last 100 sentences (1,568 of their 1,707 tokens could be converted) were extracted and the annotations manually converted (when needed) or corrected, leading to a gold standard. Among the remaining sentences, those for which all tokens had been successfully converted constitute a 18,731-sentence training corpus (302,690 tokens).

Tagging Persian with MElt fa Next, we extracted from PerLex 2 a lexicon based on our 79-tag tagset. Together with the above-described (far from error-free) training corpus, this allowed us to train the MElt system and generate a tagger for Persian, MElt fa . W.r.t. our gold standard, MElt fa has a 90.3% accuracy on the full tagset, and a 93.3% accuracy if we project this tagset on our 14 POS inventory. Evaluated only on the 1,568 tokens for which the annotations could be converted automatically, these figures reach respectively 93.9% and 95.3%. These figures are probably a lower bound on the accuracy we would reach if all annotations were converted successfully. Indeed, non-converted tokens have not been converted in the training data either: MElt has not learned any contextual information about them, hence more errors on these tokens (this in turn might affect MElt fa 's decisions on surrounding tokens).

We compared the quality of MElt fa 's annotations to those resulting from our automatic conversion process. It turns out that the accuracy of these annotations on those 1,568 tokens for which the automatic conversion was successful is exactly the same (93.9% and 95.3%) as that of MElt fa , although only 48% concern the same tokens. In other words, on these 1,568 tokens, MElt fa was able to produce annotations whose quality is the same as the quality of its training corpus, which in turn is higher than that of the original BijanKhan corpus. We believe that this is related both to the use of PerLex as a source of information and to the fact that MElt fa 's probabilistic model smoothes many errors in its training corpus (with a ``cotraining''-like effect). This latter hypothesis is confirmed by the fact that, among these 1,568 tokens, MElt fa 's result are slightly closer to the gold standard (93,9% accuracy on the full tagset) than to its automatically converted version before manual correction (93.4%).

3 1.

 3 Alpage, INRIA Paris-Rocquencourt & Université Paris 7, Rocquencourt, BP 105, 78153 Le Chesnay Cedex, France 2. Laboratoire de Linguistique Formelle, CNRS & Université Paris 7, 175 rue du Chevaleret, 75013 Paris, France 3. UMR 7528 Mondes iranien et indien, CNRS & Université Paris 3, 27 rue Paul Bert, 94204 Ivry-sur-Seine, France