Gilles Sérasset
email: gilles.serasset@imag.fr

Dbnary: Wiktionary as a LMF based Multilingual RDF network

Keywords: Wiktionary, Multilingual Lexical Database, Lexical Networks, LMF, RDF {{t-|da|snakke}}, {{t|da|sludre}}" {{t+|nl|kletsen}}, {{t+|nl|babbelen}}" {{t+|fi|jutella}}, {{t-|fi|rupatella}}, {{t|fi|turista}}, {{t|fi|horista}}, {{t|fi|lörpötellä}}" {{qualifier|formal}} sich {{t+|de|unterhalten}}, {{qualifier|informal}} {{t+|de|plaudern}}, {{qualifier|dialectal}} {{t-|de|schwatzen}}, {{t-|de|klönen}}" {{t|el|ψιλοκουβεντιάζω|tr=psilokouventiázo}}, {{t|el|συνομιλώ|tr=synomiló}}" {{trans-mid}} {{t|fa||گپيدنtr=gapidan|sc=fa-Arab}}" {{t+|ru|разговаривать|tr=razgovárivat'}} {{impf}}, {{t+|ru|болтать|tr=boltát'}} {{impf}} {{t|sv|småprata}}, {{t|sv|konversera}}, {{t|sv|tjatta}}, {{t|sv|snacka}}"

Contributive resources, such as wikipedia, have proved to be valuable in Natural Language Processing or Multilingual Information Retrieval applications. This article focusses on Wiktionary, the dictionary part of the collaborative resources sponsored by the Wikimedia foundation.

In this article we present a word net that has been extracted from French, English and German wiktionaries. We present the structure of this word net and discuss the specific extraction problems induced by this kind of contributive resources and the method used to overcome them. Then we show how we represent the extracted data as a Lexical Markup Framework (LMF) compatible lexical network represented in Resource Description Framework (RDF) format.

Introduction

Wiktionary is a huge and free resource available on the web. Its main advantages are the presence of definitions that could help for disambiguation tasks and the large number of translations to many different languages. The drawback of this resource is the fact that the entries are described using a wiki syntax specifying the form of the entry rather than its structure. Moreover this description is sometime erroneous or heterogeneous. The goal of the dbnary project is to provide an extraction process that produces a lexical word net as detailed as possible from wiktionary dumps. The extracted data can be used, as is, in another project 1 or the extraction process itself can be integrated into another tool (for example, to have an on-demand extraction using the latest available data) as it is available as part of an open source project 2 . Many efforts have already been attempted to use wiktionary data in NLP applications. Most of them were ad-hoc efforts and some of them provided either an API to, or an XML dump of, the extracted data. But the wiktionary data is an evolving resource. It means that the data along with its encoding changes while time goes on. Hence, the extraction program has to cope with the evolving usages of the contributors. Moreover, each wiktionary language edition uses its own encoding and usages to represent lexical information. We do believe that we can solve both problems by providing the extracted data and the extraction program as an open source system. In this paper, we will first give a very short and general description of the lexical structure of the main language editions of wiktionary. Then we address the main difficulties we met when extracting data from the different wiktionary dumps. We will then show how the extraction program is organized to allow its maintenance and extension by its users. Finally we will present the structure of the extracted 2. Wiktionary and its data 2.1. Overview Wiktionary3 is a web based collaborative effort led by the Wikimedia foundation4 to build a free content dictionary in many languages. [START_REF] Meyer | Wiktionary: a new rival for expert-built lexicons? exploring the possibilities of collaborative lexicography[END_REF] give an extended description of wiktionary. In this section, we will provide an overview of the elements that are pertinent to this study. Wiktionary organizes its data in a way that may be surprising for a lexicographer. This may be explained by the contributive approach used for building the resources and by the intended user experience. The key concepts used in wiktionary guidelines are also mainly motivated by the technology used to pursue this collaborative effort.

Macro-and Micro-Structures

Wiktionary is organized as a set of wiktionary language editions (one per language) containing a set of pages characterized by a page name. Each page contains lexical data from different languages. In a wiktionary language edition (say the edition of language l 1 ), all lexical data (including data from other languages) are described using language l 1 . Dictionary articles may be related to other articles in the same language edition (via lexico-semantic or translation links). They may also be related by translation links to articles on another edition. Pages may also be related to pages with the same page name in other editions. Under this organization, each edition is (ultimately) intended to contain all lexical data of all languages described in the edition language.

Anatomy of a wiktionary page

While the details of the structure of lexical data differs between wiktionary language editions, wiktionary uses a Entries in other languages are structured according to the same principles 4 French ... a This particular entry does not follow the rule that states that pronunciation should be given after the Etymology. b This term is the one used in English Wiktionary guidelines.

Figure 1: Annotated table of contents of the entry "chat" in the English wiktionary. common general abstract structure similar to the one found in main paper dictionaries. We illustrate this general structure with the structure of a page on the English server. Figure 1 shows the annotated table of contents of "chat" page on the English edition5 .

Figure 2: Excerpt of the entry "chat", as available in the English language edition, in mediawiki syntax.

Internal representation of a wiktionary page

All collaborative efforts led by the Wikimedia foundation involves the use of wikis to collect semi-structured collaborative data. The software used for these wikis is Medi-aWiki (WikiMedia, 2012). Under MediaWiki, each page is defined using a specific syntax that describes its formatting. This formatting language may be extended by defining templates that will be expanded during page rendering. Most wiktionary language editions use specific templates to help users format their contributed lexical data in a coherent way. Figure 2 shows a sample of the internal representation of the entry "chat", in the English language edition, where one can note some templates (surrounded by double curly braces) and links (surrounded by double square brackets). Figure 3 gives an excerpt of the entry "chat" in the French language edition. Figure 3: Excerpt of the entry "chat", as available in the French language edition, in mediawiki syntax.

The Wikimedia foundation provides a monthly dump 6 of all pages of a wiktionary in this formatting language. The dumps are extracted and encoded as UTF-16 text file. The extraction process goes through all pages in the dump file (using the provided xml based structure). Then each page is parsed using a finite state automaton implemented in java. The general abstract structure of entries is taken into account by a common abstract class while language specific details are refined through a language specific implementation class.

Specific Problems and Extraction Process

3.1. Related work and motivation of our approach Many projects addressed wiktionary data extraction. For instance, [START_REF] Sajous | Semi-automatic Endogenous Enrichment of Collaboratively Constructed Lexical Resources: Piggybacking onto Wiktionary[END_REF] uses WiktionaryX, an XML version of a 2010 wiktionary dump for French and English, available at [START_REF] Sajous | WiktionaryX: XML version of the free collaborative dictionary[END_REF]. [START_REF] Zesch | Extracting Lexical Semantic Knowledge from Wikipedia and Wiktionary[END_REF] provide a free to use, but closed-source, java library to programmatically access the data of the English and German wiktionaries. Other projects did use wiktionary based data in NLP applications without providing details on the way this data were extracted. As stated in [START_REF] Sajous | Semi-automatic Endogenous Enrichment of Collaboratively Constructed Lexical Resources: Piggybacking onto Wiktionary[END_REF], "When merging information extracted from several languages, the homogenisation of the data structure often leads to the choice of the poorest one, resulting in a loss of information.". In this work we did not try to provide a uniform entry representation for all languages but rather used a simple lexical network model to represent as much data as we can extract correctly from the wiktionary dumps. We also chose to ignore some of the structure to ease the extraction process.

Lexical Entry

The wiktionary unit of information is a page. While classical resources often create different lexical entries for homonyms, we chose to keep the wiktionary approach. Hence, each lexical entry in the extracted data corresponds to a unique page in wiktionary.

Homonymy and Polysemy If two words are homonyms, they will be described in the same page. In wiktionary the homonyms will be distinguished by different etymologies. It is quite difficult to coherently extract homonyms (and gather word senses under the correct etymology) as entries in different language editions are very incoherent on this aspect. For instance, in the French edition, there should be only 1 etymology section (each etymology being numbered), and other part of speech sections will make reference to the corresponding etymology. On the other hand, in the English edition, several etymology sections will be used, each one preceding the part of speech (and word senses) it covers. Hence, we chose to ignore etymology and gather all word senses in a flat list in the lexical entry.

Lexico Semantic Relations and translation links For the very same reasons, it is most of the time not possible to reliably attach a lexicon semantic relation to its correct word sense. For instance, in the French entry "chat", "matou" is a synonym of the word sense defined by "chat mâle" while "minet" is a synonym of the general word sense defined by "chat domestique". The same goes for translation links. We chose to attach such relations to the lexical entry rather than to its word senses, as the current attempts led to too many errors in the extracted data. However, whenever possible, we kept in the extracted structure the different hints7 that are given in wiktionary. With such an approach we may be able to later re-attach the correct translations to the correct word senses by processing the extracted data, while a subset of entries may be processed with an ad-hoc extractor tailored to extract a gold standard for this task.

All the above mentioned project do stress that the data is sometimes erroneous and most of the time heterogeneous.

Among errors and incoherences one may find:

Unconventional encoding of structuring elements For instance, in French, the main language section titles are encoded using a set of templates, named using the ISO 639-1 2 letters language codes (ISO639-1, 2002). Here, == {{=fr=}} == encodes the section heading "Franc ¸ais". Some French contributors did not use this templates but used == Franc ¸ais == which leads to the very same rendering.

Multiple templates may encode the same information For instance, translation equivalents are gathered in boxes which are titled using a summary of a preceding definition. Such boxes represent a word sense for which the translations are valid. In the French language edition, such boxes may be created either with the {{boîte début|...}} template or with the {{(|...}} template. As both templates are quite common, the extraction process must recognize both of them.

Syntactically incorrect elements Some entries do contain templates that are syntactically ill-formed (e.g. a template is opened with curly braces and closed by square brackets).

Order of the sections Even when the templates are correctly used, the order of the different sections does not necessarily follows the recommendations available in the documentation. For instance, in the English wiktionary, contributors are asked to put pronunciation section after the etymology. In the entry "chat" that we gave as an example in Figure 2, this order is inverted.

Organization of the extractor

As stated above, the errors and incoherence that are inherent to this contributive resource make things rather complicated for building of a generic extractor. Moreover, we want to use the many wiktionary language editions as a whole, interoperable, lexical network. Hence we need a tool that will be easy to adapt to a new language edition. We also want to keep the evolving nature of wiktionary, so that the available data will stay as synchronized as possible with the evolution of the resource. For this, we need to adapt the extractor to the evolving usages of the contributors that add new information but also change the templates themselves. This means that the extractor should be easy to change. This aspect is crucial in the context of a multilingual extractor. For all these reasons, we focus on building an extractor that is:

• open-source: so that it is very easy to anyone to adapt it to his own needs,

• based on LGPL license: so that we encourage users to provide their own tunings and heuristics to the main code base,

• efficient: so that one may be able to do the extraction process on the fly, either from a dump, or directly from the online data,

• simple: we do not require any additional software installation as we do not use any database and we provide a simple build method based on maven8 that takes care of library dependencies.

• with several tools: along with the extractor, we provide several development tools (e.g. a "grep in wiktionary" tool where you can find all wiktionary entries containing a certain pattern, or a "get the raw entry" of a page in the dump which may come handy when your dump file is around 4 Gb).

The extractor itself is a java program containing 2 kind of classes:

• WiktionaryExtractor which parse the wiktionary entry and

• WiktionaryDataHandler which store the extracted data

The Wiktionary extractor is an abstract class that handles general WikiMedia syntax (links, templates, etc.) and language independent processing. Language specific classes inherit from it and define the different patterns that are used to structure the lexical entries in the language edition. This way the addition of a new language mainly consists in identifying regular expressions that match the different elements structuring the entry (section headers) and the different elements containing data to be extracted (translation templates, definition patterns, ...).

The WiktionaryExtractor class and its children classes parse the entry and trigger methods of the WiktionaryData-Handler. It is the responsibility of the data handler to structure and store the extracted data. This way, it is possible to adapt the extraction process to a new extracted data organization.

In this extraction process some heuristics are used to capture heterogeneous or erroneous data. But, as the wiktionary evolves (along with its conventions) and as the extraction program is adapted with new heuristics, one has to ensure that the extraction does not regress. For this, we use the Mulling tool provided by [START_REF] Vincent | MuLLinG: MultiLevel Linguistic Graphs for Knowledge Extraction[END_REF] to compute the differences between extracted graphs. Such difference may be quickly evaluated and the extraction heuristics may be adopted or rejected accordingly.

Extracted Data

Macro-and Micro-Structures

Each language edition is extracted as a lexical network. This network is represented using the W3C standard Resource Description Framework (RDF), as described in [START_REF] Klyne | Resource Description Framework (RDF): Concepts and Abstract Syntax[END_REF]. This structure is stored using the Turtle textual syntax which is compact and easy to read [START_REF] Beckett | Turtle -terse RDF triple language[END_REF], hence easing the debugging process.

The English language network describes the English lexical entries (giving their part of speech, definitions, lexical relations and translations) while the French one describes the French lexical entries. Each lexical network is stored in a single Turtle file.

The nodes and relations in this lexical network are typed using the classes defined in the Lexical Markup Framework (ISO/TC37/SC4) specification [START_REF] Lmf | Language resource management -lexical markup framework[END_REF][START_REF] Francopoulo | Lexical Markup Framework (LMF)[END_REF]. LMF defines a set of classes using UML notation. These classes have been converted in RDF concepts under a specific name space (e.g. LMF Lexical Entry class is described by the RDF http://www.lexicalmarkupframework.org/ lmf/r14\#LexicalEntry resource).

Unlike the previous effort to create an RDF version of the LMF standard, we did not reified the relation between classes, but rather used simple RDF statements (properties) to avoid cluttering the extracted resource.

Every lexical network node is identified by an IRI, an internationalized URI that allows the use of non ASCII letters, [START_REF] Duerst | Internationalized resource identifiers (iris)[END_REF]. For instance, the English lexical entry "chat" is identified by http:// getalp.org/dbnary/eng#chat while the French lexical entry "chat" is identified by http://getalp. org/dbnary/fra#chat.

The extracted network contains nodes from the LMF core package (Lexical Entry, Sense, Definition), the LMF morphology package (Lemma) the LMF Machine Readable Dictionary extension (Equivalent). The standard is not strictly applied here, as one node named LexicalEntryRelation has been introduced (an equivalent of the LMF Sense Relation class, but relating lexical entries rather than senses). Moreover, the Equivalent relation relates a lexical entry rather than a sense as stated in the LMF standard.

A lexical entry node has a single partOfSpeech property. It may have several values, as the English entry "chat" which may be a verb and a noun. All sense nodes are related to their lexical entry by an isPartOf property. They also have a partOfSpeech property, which should have only one value. A definition is related to its corresponding sense by the isPartOf property. Lemmas are related to the lexical entry by an isPartOf property. A lemma is always created with the wiktionary page name as its writtenForm property. Additional lemmas are created when we detect alternative spellings in the wiktionary data.

Equivalence nodes are related to their corresponding lexical entry by an isPartOf property. They have a mandatory language property which value is the normalized ISO 639-3 3 letter language code (ISO639-3, 2007) of the translation. They also have a mandatory writtenForm property whose value is the written form of the translation. They may also have a glose property that contains the hint given in wiktionary to identify the sense for which the translation is valid. Finally, they may contain a usage property that contains some elements that are associated to individual translations. Its value depends on the language edition usages and the language of the translation. For instance, the French language edition sometimes give an indication on the usage or level of language. It also consistently gives the transliteration of all russian equivalents in Roman writing system. Lexical entry relation nodes represent several types of relations:

• ant relation which relates lemmas to their antonyms,

• holo relation which relates lemmas to their holonyms, • hyper relation which relates lemmas to their hypernyms, • hypo relation which relates lemmas to their hyponyms, • mero relation which relates lemmas to their meronyms, • syn relation which relates lemmas to their synonyms, • qsyn relation which relates lemmas to their quasisynonyms (this one is only used in the French language edition),

Using this lexical network structure, we ignore many of the information available in wiktionaries, either because we do not want to use it in later processing or because it involves far more heuristics during data extraction.

Example of an extracted lexical entry

Figure 4 gives an excerpt of the lexical network for the English entry "chat" in Turtle format. Figure 5 gives an UML like overview of the same excerpt.

Size of the involved data

At the time of writing, we extracted data from the most up to date dump files of English (4.1 Gb), French (3.1 Gb) and German (631 Mb) wiktionaries. The full extraction of the English wiktionary takes around 4 min. on a 2.67 GHz Intel Xeon processor with enough memory to avoid swapping (∼ 800 Mb) as the lexical network is stored in memory during extraction.

Table 1 shows the size of the resulting networks.

As can be seen in table 1 the number of relation is quite surprising in the German wiktionary. At the time of writing we do not have explanations on this figure and we still have to figure out if these relations are errors in the extraction process or problems in the wiktionary data itself. Errors are quite likely as the German wiktionary makes extensive use of nested macros which are difficult to correctly parse with our current automata based architecture.

Table 2 gives more details on the translation equivalents that have been extracted from the 3 wiktionary language editions. It lists the number of translation to the 17 largest language editions of wiktionaries, as found in the English, French and German language editions.

Conclusion

The current paper shows preliminary results on an open source tool to extract a LMF based lexical network from different wiktionary language editions. Such a work is interesting for many users that will be able to use the extracted data in their own NLP system. Moreover, as the extracted resource uses the Resource Description Framework (RDF) standard and the Lexical Markup Framework (LMF) structure, the extracted data is also directly usable b There is exactly one definition node per sense node. Hence, sense node are not shown here, but they are counted in the total number of nodes.

c This relation is only available in French language edition. Other language editions do not distinguish between synonyms and quasi synonyms.

Table 1: Size of the extracted lexical networks.

for researchers on the Semantic Web, where it could be used to ease the ontology alignment systems when terms in different languages are used to describe ontologies of a domain.

As the lexical network is formatted in RDF format, it is immediately usable by many existing tools (Ontology builders, Sparql query engines, reasoners...).

Our final objective is to create a tool that will be to wiktionary what dbpedia [START_REF] Auer | Dbpedia: A nucleus for a web of open data[END_REF] is to wikipedia.

Our next objectives are to better generalize the treatments of the current extractors, so that it will be easier to create extractors for other languages. We are currently forking on Portuguese and we welcome all initiative aiming at the addition of new language to this open-source tool.

Figure 4 :Figure 5 :

 45 Figure4: Excerpt of the extracted network for the English entry "chat", in turtle syntax.

  These are errors in the wiktionary data, where, for instance, the entry "crocodile nain" contains translations to Lingala that are tagged as French translations.

	from/to	deu	ell	eng	fin	fra	hun	ido	ita	lit	nor	pol	por
	deu	5	2362 68306	4429 57401	6874	340 33146 1663 4017 14918	8344
	eng	32084 10718	1 48577 33291	13225	1496 27160 1899 7837 12156 15652
	fra	31590	6465 73169	6934	25 a	4926	11548 15310 1611 4129	7126 16735
	from/to	rus	tam	tur	vie	zho	others	Total
	deu	19533	216	4192	426	7926 183589 234098
	eng	22314	165	6525	2250	51 261803 235401
	fra	6783	565	3667	1333	4030 199281 195946

a

Table 2 :

 2 Number of translation equivalent (for the considered languages) in the 17 largest wiktionary editions (sorted by alphabetical order on the 3 letters language code). The current English extraction program does not yet correctly recognize inflected forms. Hence, many lexical entries represent word forms and many of them are not related to a definition.

	Nodes in graphs
		English	French German
	entries	414929	260467	155258
	lemmas	402442	246168	90207
	definitions ab	354359	330681	80934
	relations	79487	106151	215085
	equivalents	497204	395227	417687
	Total	2102780 1669375 1040105
	Relations in graphs
	syn	65103	55434	76606
	qsyn c	-	2666	-
	ant	9964	8760	34691
	holo	0	5415	0
	mero	224	4996	0
	hyper	1047	11272	49051
	hypo	3144	17601	54733

a

http://www.wiktionary.org/

http://www.wikimedia.org/

This example has been extracted in february 2012. It is likely that the entry changed since then.

http://dumps.wikimedia.org/

e.g. many translations are grouped under an annotation that is usually a summary of a previous definition.

http://maven.apache.org/

Acknowledgements

The work presented in this paper was conducted in the Videosense project, funded by the French National Research Agency (ANR) under its CONTINT 2009 programme (grant ANR-09-CORD-026).


Loïc Maisonnasse
email: loic.maisonnasse@imag.fr

Intégration de connaissances syntaxiques dans les modèles de langue pour la RI

Keywords: recherche d'information, analyse syntaxique, dépendance syntaxique, modèle de langue information retrieval, shallow parsing, syntactic dependency, language model

En Recherche d'Information (RI) les méthodes purement statistiques basées sur des distributions de mots-clef ont actuellement atteint une limite. Cette limite n'est franchissable que par l'apport massif de connaissances extérieures au sein du système de RI. Nos travaux portent sur l'utilisation en RI des liens de niveaux syntaxiques entre les termes. Nous considérons ainsi les dépendances syntaxiques contenues dans l'arbre de dépendance produit par des analyseurs syntaxiques de surface. Pour intégrer ces informations en RI, le contexte des modèles de langue nous semble favorable. En effet, l'aspect théorique des modèles de langue est très intéressant, il est adaptable et permet l'intégration de nouvelles connaissances. Nous présentons ici, l'intégration des liens syntaxiques au sein d'un modèle de langue. Ce modèle est évalué sur une partie de la collection de CLEF. Les résultats montrent que l'intégration des dépendances syntaxiques abaisse les performances du système de RI. Face à ces résultats, nous souhaitons pour la suite de ces travaux nous orienter vers l'apport d'information de niveau plus sémantique.

ABSTRACT. In Information Retrieval (IR), statistic keyword based methods have reached a limit. This limit can only be cross by integrating, in large number outside source of knowledge, in IR system. Our work is based on the integration of the syntactic link between the terms produced by shallow parser. For that we consider the syntactic dependency of dependency tree produce by parser. For integrating these information in IR, we present the use of a language modeling approach. Language modeling approach theoretically framework is attractive as it can be adapted or in order to take into account new information. We present here the integration of the dependency relation in a language model. We evaluate this model on a part of the CLEF collection. The results show that the integration of dependency relation lowers the IR results. Consequently, knowing these results in the continuation of this work, we intend to integrate more semantic information instead of syntactic information.

Introduction

Les performances des modèles de Recherche d'Information (RI) uniquement basés sur des méthodes statistiques ont actuellement atteint une limite. Seule l'utilisation de connaissances complémentaires à celles du corpus peut permettre de dépasser cette limite. Différents types d'informations sont utiles en RI. Leur impact est souvent orienté ; soit vers l'amélioration du rappel, utilisation d'ontologie pour l'extension de requête, soit dans le sens de l'amélioration de la précision, désambiguïsation des termes. Nous nous intéressons ici à l'amélioration de la précision en RI. Dans certains domaines, notamment professionnels, obtenir rapidement les bonnes réponses est crucial. Pour améliorer la précision, nous étudions les informations produites par des analyseurs syntaxiques et leur intégration en RI. Nous examinons, plus précisément, les relations syntaxiques entre les mots produites par des analyses en dépendance et nous intégrons ces dépendances linguistiques au sein d'un modèle de langue de RI. Nous introduisons les Modèles de Langue (ML) et les travaux sur l'utilisation de la syntaxe en RI. Nous décrivons ensuite les ML intégrant des relations. Enfin nous présenterons les résultats de l'utilisation de ces modèles sur des dépendances syntaxiques.

Les modèles de langues

En RI, les ML ont été introduits en 1998 par Ponte et Croft [START_REF] Ponte | A language modeling approach to information retrieval[END_REF]. Les auteurs proposent un modèle de RI où le score assigné à un document pour une requête est établi comme la probabilité que la requête soit générée par un modèle du document. La difficulté est d'établir ce modèle pour des documents de petites tailles. Pour résoudre le manque d'information lors de la construction du modèle, différentes méthodes de lissage (Hiemstra,98) (Song et al.,99) et différents modèles [START_REF] Berger | Information retrieval as statistical translation[END_REF] ont été proposés. Les résultats obtenus par ces modèles ont montré des performances équivalentes voire supérieures aux modèles classiques. Pourtant, ils se basent sur l'hypothèse d'indépendance des termes (unigramme) ou des multi-termes (bigramme, trigramme). Dans les ML, comme généralement en RI, cette hypothèse est plus une facilité mathématique qu'une réalité, une partie de la sémantique des documents s'exprimant à travers les relations qu'entretiennent les mots, en particulier les relations syntaxiques.

La syntaxe en RI

En RI, l'utilisation d'informations syntaxiques n'est pas nouvelle, plusieurs méthodes utilisant ces informations ont été proposées. La plus répandue consiste à utiliser ces informations pour extraire des syntagmes. Dans (Tong et al., 1996) et [START_REF] Strzalkowski | Natural Language Information Retrieval: TREC-3 Report[END_REF] les auteurs se basent sur l'hypothèse qu'un syntagme est produit par une structure de dépendances. Les syntagmes sont extraits après analyse et ajoutés à l'index. Les auteurs obtiennent ainsi une augmentation de l'ordre de 20% de la précision moyenne. Partant de l'hypothèse que la conversion des structures en syntagmes entraîne une perte d'information, des recherches ont porté sur la structure. Dans [START_REF] Matsumura | The effect of information retrieval method using dependency relationship between words[END_REF] [START_REF] Metzler | The constituent object parser: syntactic structure matching for information retrieval[END_REF], les auteurs extraient des arbres de dépendances à partir de phrases. Ils évaluent ensuite les documents pertinents par plusieurs correspondances entre les dépendances de la requête et des documents. Ces méthodes n'intègrent pas les ambiguïtés syntaxiques, Smeaton [START_REF] Smeaton | Using NLP or NLP Resources for Information Retrieval Tasks in: Natural Language Information Retrieval[END_REF] propose un modèle, appliqué aux syntagmes, où ces ambiguïtés sont représentées. Cependant, les résultats du modèle sont inférieurs à ceux obtenus par les syntagmes. La syntaxe est aussi utilisée dans les systèmes de questions réponses, notamment lors de la sélection des phrases pouvant contenir la réponse. Punyakanok [START_REF] Punyakanok | Mapping Dependencies Trees: An Application to Question Answering[END_REF] établi une distance basée sur des transformations entre l'arbre d'une phrase et celui d'une requête. Hang [START_REF] Hang | Question answering passage retrieval using dependency relations[END_REF] apprend la probabilité de transformer un lien syntaxique en un autre.

Les dépendances dans les modèles de langue

Des travaux proposent d'intégrer la structure dans les ML. Ces travaux se basent sur la réduction du calcul de la probabilité des termes. Ce calcul, par expansion, est complexe ; chaque mot dépendant de ceux déjà apparus. Les auteurs limitent donc le nombre des dépendances aux plus fortes, la probabilité d'un terme w i est calculée en fonction de son antécédent le plus probable w j , celui qui maximise ) ( j i w w P . Dans [START_REF] Nallapati | Capturing term dependencies using a language model based on sentence trees[END_REF], les auteurs obtiennent les antécédents par le calcul d'un arbre de couverture maximum (MST) sur le degré de dépendance des termes de la requête. Ce degré est estimé par le calcul du coeficient de Jaccard. La probabilité de générer une phrase sachant un modèle de document M D est alors le produit des probabilités de générer chaque terme sachant son antécédent dans le MST. La probabilité finale est obtenue par un lissage de la probabilité initiale avec un modèle de l'anglais. En parallèle, ce modèle est mixé avec un modèle unigramme. L'évaluation du modèle, sur une tâche de détection d'histoire, montre qu'un modèle unigramme donne de meilleurs résultats que le modèle basé sur les dépendances. Cependant, les performances sont améliorées en utilisant le modèle hybride.

Dans une autre approche [START_REF] Gao | Dependence language model for information retrieval[END_REF], les auteurs utilisent une structure de dépendance pour limiter les calculs. La structure est produite par un analyseur statistique dont les relations ne sont pas nécessairement grammaticales. Le modèle de document créé prend en compte ces dépendances. Les auteurs considèrent les liens entre les termes comme une variable cachée qui permet d'exprimer les dépendances. La génération de la requête est alors un processus en deux étapes. La structure de dépendance L est produite selon une probabilité P(L|D). Puis la requête Q est générée selon P(Q|L,D), les termes de la requête étant choisis en fonction des éléments liés dans L. La probabilité de produire la requête P(Q|D) sachant toutes les structures de dépendances possibles Ls est alors :

= = Ls Ls D L Q P D L P D L Q P D Q P ) , ( ) ( ) , ( ) (
Les auteurs supposent ensuite que l'ensemble des structures possibles Ls est dominé par une unique structure L, la structure la plus probable. On obtient alors :

( ) ( ) ( ) ( ) ( ) = ∈ + + = m i L j i j i i D L q MIq D q P D L P D Q P .. 1 ) , ( , , log Où ) ( ) ( ) , , ( log ) , , ( D q P D q P D L q q P D L q q MI j i j i j i =
Le modèle est évalué sur les collections de TREC. Les résultats obtenus sont meilleurs que ceux du modèle probabiliste ou du modèle unigramme. Cependant la différence avec ce dernier est faible. La prise en compte des dépendances entre les termes ne donne pas de bons résultats car il est difficile d'estimer les dépendances.

Modèles de langues sur les dépendances syntaxiques

Contrairement aux approches présentées précédemment, nous proposons ici d'intégrer les dépendances produites par un analyseur syntaxique au sein d'un ML. Nous utilisons l'analyseur XIP de Xerox. A partir de ces résultats, nous sélectionnons les lemmes porteurs de sens et les dépendances qui les relient. Pour chaque phrase, nous obtenons un graphe (voir Figure 1) où les noeuds sont des lemmes reliés par des dépendances linguistiques. Le ML que nous utilisons est une version simplifiée du modèle de Gao. Nous sélectionnons la structure la plus probable comme celle produite par l'analyseur et nous utilisons des estimations simples. Nous estimons P(L|D), comme la probabilité que deux termes (q i ,q j ) soit liés s'ils apparaissent dans la même phrase d'un document et nous interpolons ( l ) cette probabilité avec celle obtenue sur la collection (F1). Nous testons, une deuxième estimation (F2) où P(L|D) est la probabilité qu'il existe une dépendance de q j vers q i sachant que q i existe. Nous estimons P(qi|D) comme la probabilité qu'un lemme apparaisse dans un document et nous interpolons ( d ) sur la collection. Pour éviter que les lemmes ou les dépendances absents de la collection rendent nuls les résultats d'une requête, nous éliminons des requêtes les éléments absents de la collection. Enfin, pour MI(qi, qj|L,D) nous utilisons l'estimation de Gao [START_REF] Gao | Dependence language model for information retrieval[END_REF].

Evaluation du modèle

Nous évaluons ce ML sur une partie des collections CLEF (Peters, 2004). Nous utilisons la collection 'Le Monde 95' avec les requêtes de CLEF 2004

Tableau 2. Résultats en précision moyenne sur d'autres modèles à base de lemmes

Les résultats à base de ML sont supérieurs aux résultats obtenus par la pondération tf-idf et égalisent ceux de la pondération DFR. Le modèle utilisant les dépendances égalise le modèle unigramme lorsque la prise en compte de celles-ci au sein des documents est faible. Les bons résultats sont obtenus lorsque l'influence des dépendances est limitée. Nous testons deux variations simples de l'estimation de P(L|D), leurs résultats sont proches avec des variations similaires. Ces résultats semblent améliorables par l'utilisation de meilleures estimations, notamment pour P(L|D) qui fournit des probabilités élevées au sein des documents et des probabilités beaucoup plus faibles sur la collection.

Conclusion

Nous avons montré qu'il est possible d'intégrer les dépendances syntaxiques produites par un analyseur syntaxique au sein d'un modèle de langue. Cependant les résultats montrent que cette intégration n'est pas suffisante pour supplanter les autres approches, un ML plus adapté ou des estimations plus complexes prenant en compte les spécificités des dépendances syntaxiques pourraient améliorer les résultats. De même, l'ajout d'informations, telle qu'une estimation de la pertinence des structures syntaxiques, améliorerait le modèle. S'il est envisageable d'obtenir

Figure 1 :

 1 Figure 1: Structure utilisée pour la phrase : "les manifestations contre le transport de déchets radioactifs par conteneurs en Allemagne."


Caroline Tambellini
email: caroline.tambellini@imag.fr

Catherine Berrut
email: catherine.berrut@imag.fr

Christophe Brouard
email: christophe.brouard@imag.fr

Une Analyse préalable à l'indexation de transcriptions de conversations téléphoniques

Keywords: Recherche d'information, indexation de documents audio, découpage thématique, analyse de conversations Information retrieval, audio documents indexing, topic segmentation, conversation analysis

Nous nous intéressons dans cet article au problème de l'indexation de documents audio de type « conversation téléphonique ». Nous nous interrogeons en particulier sur le bien fondé de l'utilisation, pour ce type de documents, des méthodes d'indexation classiquement utilisées en recherche d'information textuelle. Pour répondre à ces questions, nous revisitons certaines hypothèses de la recherche d'information en étudiant la spécificité et l'applicabilité de ces hypothèses à des transcriptions de conversations téléphoniques. Nos observations nous conduisent à proposer les bases d'un système d'indexation pour ce type de documents qui comprend un module de découpage thématique de la conversation.

ABSTRACT. This paper deals with the problem of indexing the "phone conversation audio documents. In particular, we want to know how to use, for this kind of documents, the indexing methods traditionally used in textual information retrieval. To answer these questions, some information retrieval assumptions are revisited. The applicability and the specificity of these assumptions to phone conversations transcriptions are studied. Our study makes it possible to propose the bases of an indexing system for kinds type of documents which includes a module of conversation topic segmentation.

Introduction / Problématique

L'émergence des nouvelles technologies de communication (conférences téléphoniques, vidéo conférences, …) génère de nouveaux besoins en terme de recherche d'information. Ainsi, par exemple, dans le cadre des entreprises virtuelles (entreprises dont les membres sont répartis géographiquement à différents endroits) le couplage des moyens de communication actuels (permettant notamment la réunion téléphonique) à des outils dédiés qui apportent un support à la communication, tels que des systèmes de recherche d'information en ligne, apparaît comme une nécessité.

Les finalités de systèmes de recherche d'informations pour la conférence téléphonique peuvent se situer à trois niveaux . Durant la réunion téléphonique, on peut s'assurer que l'ordre du jour est bien suivi. Pour cela, une correspondance entre le contenu de l'ordre du jour et les propos échangés doit être établie.

Il peut aussi être profitable de mettre à disposition des différents interlocuteurs les documents en rapport avec les thèmes abordés. Ces documents proposés aux interlocuteurs peuvent être trouvés dans une base de documents générale ou peuvent être mis à disposition par un des intervenants. Ainsi si un interlocuteur souhaite approfondir ou vérifier un point, il peut le faire grâce aux documents qu'il aura à sa disposition.

Dans un souci d'efficacité, ces tâches doivent être effectuées au fil de la conversation. Il existe donc une contrainte de temps que l'on ne rencontre pas dans les systèmes de recherche d'information « classique ».

Après une réunion, il est intéressant de retrouver seulement des parties de la réunion traitant d'un thème donné. En effet, lors d'une réunion, plusieurs points sont souvent abordés et une personne extérieure (ou non d'ailleurs) à la réunion peut souhaiter connaître (ou revoir) ce qui a été dit sur un point précis. De même, la rédaction du compte rendu de la réunion est une tâche qui s'effectue après la réunion. La détermination de ces parties de la réunion ainsi que la rédaction du compte rendu de la réunion nécessitent un outil de découpage thématique de la réunion téléphonique.

Il s'agit donc de mettre en place un système de recherche d'information sur des données de type conversations téléphoniques, et avec des finalités spécifiques. Ce problème nous amène à nous poser les deux questions suivantes :

-Quelle est la spécificité des documents "conversation téléphonique", en regard des documents traditionnellement traités en recherche d'informations ? -Quel positionnement avoir par rapport à une recherche d'information classique, c'est-à-dire basé sur des documents textuels consistants ?

Figure 1. Processus d'indexation thématique des conversations téléphoniques

Pour ce faire, nous avons analysé un corpus de réunions téléphoniques transcrites. Cette analyse nous a amené à une réflexion sur l'indexation thématique des conversations (figure 1).

Tout système de recherche d'information "textuel" présuppose une "extraction" du vocabulaire qui fait sens. Et la question de l'applicabilité des hypothèses de RI qui sous-tendent ce processus d'extraction au cas des transcriptions de conversations, se pose. De plus, lorsqu'il s'agit de transcriptions de conversations, un processus de sélection visant à la distinguer l'"à propos" du "discours organisationnel" semble être un autre pré-requis incontournable à l'indexation thématique.

Le chapitre suivant présente un état de l'art dans le domaine de l'indexation de documents audio. Le chapitre 3 détaille le corpus de réunions téléphoniques que nous avons conçu et utilisé. Le chapitre 4 présente la méthode suivie dans l'analyse du corpus. Le chapitre 5 présente l'extraction et la sélection d'information que nous proposons en les mettant en perspective avec ce qui se pratique classiquement en recherche d'information. Enfin le chapitre 6 présente l'indexation thématique.

Les systèmes d'indexation de documents audio

Le traitement des documents « conversation téléphonique » ramène à deux problématiques que sont l'application de la recherche d'information à de l'audio (tâche d'indexation) et la segmentation thématique de documents. Nous nous intéressons à la combinaison de ces deux problématiques.

La conversation apporte des particularités qui peuvent être utilisées pour segmenter la conversation. Il n'est pas toujours évident de déterminer une unité de traitement pour le discours spontané. Dans certains cas, la dernière partie d'une phrase et la première partie de la phrase suivante forme un seul même intervalle de parole. Une façon de classifier les segments de discours peut se faire en 3 corpus de conversations transcrites Quel vocabulaire fait sens ? Distinction entre l 'à-propos et le discours organisationnel ?

Découpage en passages Extraction de l 'information Sélection de l 'information Indexation thématique indexation thématique des conversations catégories : pause, silence, expressions interjectives et phrase de discours [START_REF] Kazuyuki | Segmentation of spoken dialogue by interjections, disfluent utterances and pauses[END_REF]. Les caractéristiques prosodiques (intonations, hésitations, …) peuvent également être de bons indices pour découper le dialogue.

TDT (Topic Detection and Tracking) aborde la problématique de la segmentation thématique. TDT a pour objectif de déterminer automatiquement les passages d'une conversation traitant d'un même et seul sujet. TDT part de corpus de documents textuels en anglais, chinois et arabe. On peut découper TDT en cinq tâches techniques [START_REF] Charles | Multilingual topic Detection and Tracking : Successful Research Enabled by Corpora and Evaluation[END_REF] :

-Segmentation : trouver des régions thématiques homogènes.

-Tracking : trouver des passages additionnels à propos d'un thème donné.

-Detection : détecter et filtrer ensemble des nouveaux thèmes.

-First Story Detection : détecter de nouveaux thèmes.

-Linking : détecter quels passages traitent du même thème.

Cette problématique de segmentation thématique peut avoir de nombreuses applications. Par exemple, dans l'optique de supprimer le traitement manuel par des documentalistes des documents audiovisuels, le projet THEOREME a été mis en place en 1999 (RNRT, 1999). Dans ce projet, une des tâches est notamment la détection automatique de thèmes à partir d'une transcription entachée d'erreurs. Une des utilisations possibles des transcriptions d'émissions radio ou télévisées consiste en la possibilité d'analyser et de structurer automatiquement le contenu de tels documents. Comme pour les documents écrits on peut envisager l'automatisation de différentes tâches habituellement effectuées par des opérateurs humains, telles que l'indexation des documents, l'identification de thèmes et la détection d'événements.

De même, en 2001, le projet AUDIOSURF a vu le jour (AUDIOSURF, 2001). A partir d'un corpus d'enregistrements d'émission de radio de Radio France, le projet consiste à mettre en place un système permettant de gérer l'information audio selon des procédés du même type que ceux déjà mis en place pour les informations textuelles (indexation, recherche documentaire, filtrage, routage, extraction d'information, catégorisation, etc). Un tel système ne peut se limiter à la simple mise en relation des deux outils : reconnaissance de la parole et indexation de documents textuels. En effet, il faut tenir compte de la particularité des documents retranscrits, à savoir erreurs de transcription, absence de ponctuation, enrichissement par des données non textuelles comme le changement de locuteurs, etc. Il convient donc de penser correctement le lien entre les deux systèmes afin d'obtenir les meilleurs résultats.

TREC (Text REtrieval Conference) a également étudié la piste audio. TREC se base sur un corpus de 100h d'enregistrements d'émissions radio et télévisées pour TREC7 et 500 heures d'enregistrements pour TREC8. La tâche TREC Spoken Document Retrieval (SDR) (Garofolo et al., 2000) a été créée pour résoudre le problème d'indexation des documents audio. Cette tâche s'effectue en deux temps. Premièrement, un système de reconnaissance de la parole est appliqué à un flux audio et génère une transcription du document audio. Dans un deuxième temps, la transcription est indexée et recherchée par un système de recherche d'information. Nous constatons que des systèmes d'indexation basés sur des documents textuels sont utilisés pour les transcriptions des documents audio. Nous pouvons nous demander dans quelle mesure nous pouvons appliquer un tel système à des transcriptions de documents audio. Ces transcriptions de documents audio n'ont-ils pas des particularités propres ? La problématique de l'indexation de l'audio et notamment des conversations téléphoniques est une tâche à laquelle nous nous intéressons plus particulièrement. N. Boufaden et al. (Boufaden et al., 2002) -des mots tels que ok, right, well appelés marques lexicales -des adverbes temporaux, conjonctions appelés marques syntaxiques -le rôle du locuteur dans le développement du thème appelé marques discursives De nombreuses études sur la recherche d'information et le découpage thématique sur de l'audio ont été réalisées mais aucune étude n'a été réalisée afin de voir si les transcriptions de documents audio peuvent être considérés comme des documents textuels « normaux », c'est-à-dire habituellement utilisés en recherche d'information. En effet, ces transcriptions de documents audio respectent-elles la loi de Zipf, suivent-elles la conjecture de Luhn, qui sont les bases sur lesquelles se positionnent les systèmes de recherche d'information ? Ce sont ces questions auxquelles nous essayons d'apporter une réponse dans cet article.

Le corpus audio

Construction d'un corpus

Nous avons construit notre propre corpus de conversations grâce à une collaboration avec l'équipe GEOD (Groupe d'Etude sur l'Oral et le Dialogue) (GEOD) du CLIPS et la société CALISTEL (CALISTEL). La construction de notre corpus s'est faite en deux temps. Dans un premier temps, nous avons recueilli les conversations audio qui ont eu lieu lors de réunions téléphoniques. Dans un second temps, ces conversations ont été retranscrites par un professionnel des sciences du langage afin de constituer notre corpus de conversations retranscrites. De ce fait, les transcriptions comprennent beaucoup d'annotations (ton, hésitations, confusions, répétitions, etc.…) (annexe 1). Même si ce sont des transcriptions, on ne travaille pas sur des documents textuels, mais sur des conversations téléphoniques complètement transcrites (locuteur, tour de parole, hésitations, etc.…). Ainsi, notre étude ne porte pas sur le signal de la conversation mais bien sur une transcription « ASCII » de la conversation. On élude volontairement la problématique liée au traitement du signal dans une première approche.

Description du corpus audio

Le corpus dont nous disposons comporte 13 transcriptions manuelles de réunions téléphoniques. Chaque réunion est d'une durée moyenne de 45 minutes. Ces conversations sont regroupées en trois grandes catégories : réunion de projet, brainstorming et entretien d'embauche. Nous avons choisi de considérer trois types de réunions différents afin d'étudier si les spécificités de chaque réunion apportent des indices supplémentaires pour nos tâches de recherche d'informations. Nous avons établi le nombre de mots, le nombre de tours de parole, le nombre de mots par tour de parole pour chaque transcription de réunions. Le détail de ces statistiques se trouve en annexe 2.

Chacun des trois types de réunions a ses particularités. Ainsi, une réunion de projet a lieu en général en début et tout au long de la mise en oeuvre d'un projet. Cette réunion regroupe en général un responsable de la réunion et un cercle d'intervenants qui sont tour à tour actifs ou passifs. En général, ce type de réunion débute par un tour de table où chaque participant fait le point sur l'état d'avancement personnel au sein du projet et expose parfois ses soucis. Ensuite, quelques points sont débattus et enfin l'équipe fait le point sur les futures tâches à accomplir.

La réunion de type brainstorming, quant à elle, a en général pour but la récolte de nombreuses idées en un minimum de temps. On pourrait assimiler la réunion de type brainstorming à un outil de « résolution de problème ». Dans ce type de réunion, tous les intervenants participent en même temps, chacun étant sur un pied d'égalité vis-à-vis des autres participants.

Enfin, la réunion de type entretien fait penser en premier lieu à l'entretien d'embauche mais ce peut être tout type d'entretien. Dans ce type de réunion, on trouve un jury (composé au minimum d'une personne) face à la personne qui passe l'entretien. En général, au sein du jury se trouve un président de jury qui peut être assimilé au leader du groupe. Souvent, celui-ci dirige l'entretien. Ensuite, plusieurs hypothèses sont possibles. Soit seul le président du jury pose les questions et les autres membres du jury (dans le cas d'un jury composé de n personnes) écoutent et se contentent de juger sans poser de questions, soit chaque membre du jury participe à tour de rôle en posant des questions au candidat.

Méthode d'analyse du corpus

Spécificités des documents « conversations téléphoniques »

Les documents « conversations téléphoniques » ont plusieurs particularités :

Leur contenu relève de deux tâches très différentes :

-le discours organisationnel, qui est l'énoncé oral de la gestion de la réunion. Ce discours permet de faire les liens entre les différents sujets abordés, correspond aux formules de politesse, aux passages de parole d'une personne à l'autre, etc.

Exemple : « Nous allons passer au point suivant » -l'à propos, qui est l'énoncé oral de l'objet effectif de la réunion. Ce discours correspond au développement des sujets tels que annoncés dans l'ordre du jour.

Exemple : « Que pensez-vous de ce point ? » Cet aspect «double discours» est une spécificité des documents conversations.

Ils sont multi locuteurs, et chaque interlocuteur a un rôle identifié.

Un document de type « réunion téléphonique » est donc un document multi locuteurs. Chaque locuteur prend la parole à plusieurs reprises et pour traiter de plusieurs points différents. Le document est donc initialement découpé en locuteurs. C'est un découpage physique de la conversation.

Ainsi comme le montre la figure 2, le locuteur 3 a pris la parole au 3 ème et 5 ème tours de parole.

Une description logique

Parallèlement, toute réunion a un objet généralement décrit dans un ordre du jour. La description de la réunion selon cet ordre du jour donne ainsi une décomposition logique du document. Cette décomposition doit permettre la mise en évidence :

-Des parties des documents où est traité chaque point de l'ordre du jour.

Ainsi, comme le montre la figure 2, le document est découpé selon les trois points de l'ordre du jour et par exemple, le point 3 est abordé par le locuteur 3 puis par le locuteur 2.

-Des portions (phrases, mots) du document pertinentes pour chaque point de l'ordre du jour, telles que le montrent les étoiles de la figure 2.

Connaître cette décomposition logique du document « réunion » permet la mise en place d'applications telles que le suivi de l'ordre du jour, la rédaction de comptes-rendus,…

Extraction, sélection

Découpage Lorsqu'il s'agit de documents textuels, ces processus sont connus et maîtrisés. Se pose alors la question de l'applicabilité de ces principes de la recherche d'information « textuelle » à des documents « conversation ». Et si oui, dans quelles mesures ?

Pour ce faire, nous proposons de suivre une démarche en trois étapes :

vérification de l'applicabilité : il s'agit de vérifier si les hypothèses de la recherche d'information « textuelle » sont respectées avec les documents « conversation ».

évaluation qualitative : dans quelle mesure ces hypothèses sont-elles applicables à nos documents « conversation » ? détermination de seuils : de quelle manière va-t-on appliquer ces hypothèses, quels sont les seuils, les métriques compatibles avec nos documents « conversation » ?

Notre méthode consiste donc, tout d'abord, à vérifier l'applicabilité des méthodes de Recherche d'information classique à chaque tâche. Si l'applicabilité s'avère possible, nous entreprenons ensuite l'évaluation qualitative. Dans un troisième temps, et si les deux premières étapes ont été concluantes, nous déterminons les seuils à appliquer à notre corpus « conversation ». A partir de là, nous appliquons cette démarche en trois étapes à chacun des trois processus : ainsi le chapitre 5 nous décrit cette démarche pour l'extraction et la sélection d'information, le chapitre 6 nous décrit, quant à lui, la façon dont nous proposons de découper logiquement du document.

Extraction et sélection d'information

Positionnement par rapport à la recherche d'information textuelle

Que ce soit pour le suivi de l'ordre du jour ou pour la rédaction du compte rendu d'une réunion, notre objectif peut se résumer dans la définition d'un processus d'indexation permettant une description thématique des conférences téléphoniques.

Nous pouvons présenter ce travail, comme un processus d'indexation avec deux grandes étapes : extraction et sélection, processus qui permettent à partir d'un corpus d'établir une représentation abstraite de son contenu. Comme le montre la figure 4, nous souhaitons vérifier que la loi de Zipf (partie 5.2.) et la conjecture de Luhn (partie 5.3.) sont applicables à des documents « conversation ».

Loi liée à l'occurrence des termes : loi de Zipf

La loi de Zipf

Le vocabulaire des documents classiquement utilisés en recherche d'information suit la loi de Zipf. La loi de Zipf dit que si l'on dresse une table de l'ensemble des mots différents d'un texte quelconque, classés par ordre de fréquence décroissante, la fréquence d'un mot est inversement proportionnelle à son rang dans la liste. Autrement dit, le produit de la fréquence de n'importe quel mot par son rang est constant, ce que traduit la formule : rang du terme * (fréquence du terme / nombre de termes) = constante Ainsi, l'analyse statistique des documents textuels en anglais montre que les mots les 20% les plus fréquents représentent 70% du vocabulaire des documents écrits [START_REF] Salton | A theory of indexing[END_REF].

(

Figure 6. Illustration de la loi rang-fréquence pour le corpus des conversations

On peut voir sur la figure 6 que l'on retrouve une constante pour le coefficient R*F/N. Cette constante est de l'ordre de 0,1 (si l'on fait une moyenne des valeurs).

Analyse qualitative de la loi de Zipf pour les documents « conversation »

Comme le montre la figure 7, en superposant la courbe sur l'usage des mots dans les documents « conversations » et celle de l'usage des mots dans les documents « classiques » de recherche d'information, nous constatons que l'on retrouve la Lorsque nous étudions les statistiques effectuées sur notre corpus de conversations, nous constatons que les mots les 10% les plus fréquents couvrent entre 70% et 80% du vocabulaire des conversations et nous constatons même que si nous faisons cette statistique sur l'ensemble des conversations, nous obtenons un taux de couverture du vocabulaire de près de 90%. Ceci nous montre que le vocabulaire des conversations est extrêmement répétitif.

On constate (voir figure 8) également que ce sont les transcriptions des réunions de type entretien d'embauche qui se rapprochent le plus de l'écrit.

Conclusion

Nous constatons que le vocabulaire des documents « conversation » respecte la loi de Zipf et nous permet d'établir une courbe sur la statistique d'usage des mots similaire à celle connue pour les documents textuels. Nous venons donc d'établir l'applicabilité et l'évaluation qualitative de la loi de Zipf sur les documents « conversation ».

Critère de sélection des termes pour l'indexation : conjecture de Luhn

La conjecture de Luhn

En recherche d'information, la conjecture de Luhn nous indique le pouvoir d'expression des mots dans un texte en fonction de leur fréquence. Ceci est représenté par la courbe de la figure 9.

Figure 9. Conjecture de Luhn : pouvoir d'expression des mots

Sur cette courbe, en abscisse, les mots sont ordonnés du plus fréquent au moins fréquent. En ordonnée, cette courbe montre que les extrêmes (mots peu ou trop utilisés) offrent un pouvoir expressif limité, contrairement aux mots d'utilisation moyenne. Le pouvoir expressif des mots est ici basé sur le calcul de leur fréquence. Toutefois, comme nous allons le voir, d'autres méthodes peuvent être utilisées.

Autres citères de sélection

Parmi les systèmes indexant des documents textuels en français, un certain nombre (IOTA (Bruandet et al., 1997), …) utilisent des indexations non pas basées sur des statistiques mais sur une analyse de la langue naturelle. En analyse morphosyntaxique du langage, on distingue deux grandes familles de mots :

-une famille regroupant les adjectifs qualificatifs, les substantifs propres, les substantifs communs et les verbes (groupe 1 sur la figure 10) -une autre regroupant le reste du vocabulaire (groupe 2 sur la figure 10).

Le vocabulaire porteur de sens pour la recherche d'information se situe dans le groupe 1, comme le montre la figure 10 (Palmer, 1990).

Figure 10. Catégories de vocabulaire

Nous avons donc étudié de façon qualitative et de façon similaire le vocabulaire utilisé dans les documents « conversation ».

Applicabilité de la conjecture de Luhn et détermination de seuils

Méthode L'analyse de notre corpus fait ressortir le vocabulaire apportant le plus de sens est essentiellement constitué des substantifs communs. Les substantifs communs comprennent le vocabulaire relatif aux différents thèmes abordés. Il est donc intéressant de considérer cette famille de mots. Nous avons étudié la fréquence des catégories morpho-syntaxiques en fonction de la fréquence des mots (figure 11). Nous pourrions nous satisfaire d'une méthode de sélection basée sur les catégories morpho-syntaxiques mais pour des raisons d'efficacité, nous souhaitons vérifier l'applicabilité de la conjecture de Luhn qui permettrait une sélection plus rapide puisque ne requérant pas une analyse morpho-syntaxique mais simplement un seuil sur un nombre d'occurrences.

Résultats

Nous observons que les substantifs (qui d'après notre étude sont porteurs de sens) se situent entre deux seuils que nous avons déterminés (figures 11 et 12). On peut donc en déduire l'applicabilité de la conjecture de Luhn.

En abscisse, nous trouvons les termes par ordre décroissant de fréquence dans l'ensemble des conversations et en ordonnée, nous avons le nombre de termes de chaque catégorie.

Figure 11. Fréquence des différentes catégories de mots par portion de 250 termes

En tenant compte des catégories intéressantes (les substantifs communs), les seuils optimaux sont les suivants :

-seuil inférieur : 3 ème bloc (1 bloc = 250 mots) -seuil supérieur : 14 ème bloc Entre ces deux valeurs seuils, nous voyons que la proportion de mots les plus fréquents appartiennent à la catégorie morpho-syntaxique des substantifs communs. Seuls les termes situés entre ces deux seuils seront donc pris en compte.

Seuil inférieur Seuil supérieur

Seuil inférieur

Seuil supérieur à notre corpus de documents « conversation » pour mettre en place l'extraction et la sélection d'information. La tâche de découpage thématique peut alors être étudiée.

Découpage thématique

Principe

Le but du découpage thématique consiste à identifier les parties logiques du document « conversation ». Pour ce faire, notre approche détermine les frontières (ou ruptures) entre les thèmes (relatifs à différents points de l'ordre du jour). Nous verrons que ces frontières s'expriment via le discours organisationnel des conversations.

Figure 13. Principe de découpage du document

Indices de changements de thèmes

Différentes méthodes peuvent être utilisées pour faire une segmentation thématique d'un document (Callan, 1994), (Kaszkiel, 1997), [START_REF] Moffat | Retrieval of partial documents[END_REF], (Salton et al., 1993). Nous nous positionnons dans une optique de suivi thématique positif et non négatif tel que le fait un système de TextTiling [START_REF] Marti | Plaunt Christian, Subtopic structuring for full-length document access[END_REF]. En effet, le TextTiling cherche les ruptures de thèmes et les identifie lorsqu'un passage du document présente un moins grand nombre de mots traitant du thème. Dans notre approche nous privilégions le suivi thématique positif, c'est-à-dire que nous considérons que nous avons un changement de thème lorsque nous rencontrons une forte densité de mots que nous considérons être des mots de rupture. Ceci est possible grâce à la présence d'un discours organisationnel propre aux conversations téléphoniques.

Le découpage

Nous avons comparé un découpage effectué manuellement, avec un découpage calculé à partir du vocabulaire de conversation dédié explicitement au changement de thème (mots de rupture dans le dialogue, interrogations particulières, etc).

Découpage logique en thèmes

Découpage physique en tours de parole

Vocabulaire de rupture, d'interrogations

Par une analyse du vocabulaire des conversations téléphoniques, nous avons mis en évidence des mots identifiant des zones de changement de thèmes. Ces mots sont réunis en trois catégories :

-mots « d'approbation » : ouais, d'accord, okay -mots de « changement » : passons, passer, suite, suivant -question : ?

Pour les expérimentations nous comparons les ruptures détectées manuellement aux ruptures détectées par le système par accumulation de ce vocabulaire.

La comparaison s'établit entre -les résultats manuels -la détection de tous les mots indiqués ci-dessus (appelé ensuite vocabulaire de rupture 1) -la détection uniquement des mots de changement et des questions d'autre part (appelé ensuite vocabulaire de rupture 2).

Expérimentations

Ces expérimentations font ressortir qu'il existe un seuil dans le nombre de mots de rupture, au-dessus duquel les ruptures donnent une bonne approximation des résultats trouvés manuellement.

A partir de là, nous établissons une évaluation de ce seuil, et donc nous avons choisi de le trouver parmi les valeurs donnant les meilleurs résultats dans nos calculs. Pour ce faire, nous procédons en deux étapes :

-quel vocabulaire établit les meilleures détections de rupture (vocabulaire de rupture 1 ou 2) ? -connaissant le meilleur vocabulaire, quelle valeur de seuil donne les meilleurs résultats ?

Résultats

Le tableau en annexe 3 donne pour chaque réunion, pour différents seuils, le taux de rappel et de précision lorsque nous utilisons le vocabulaire de rupture 1. La moyenne globale du rappel est de 0,37, alors que la précision moyenne est de 0,35. Le détail des résultats se trouve en annexe 3.

Comme le montre la figure 14, la méthode prenant en compte le vocabulaire de rupture 2 (les mots de changement + les points d'interrogation) donne un rappel moyen de 0,51 et une précision moyenne de 0,59. La méthode donnant les meilleurs rappels et précisions moyens est donc la méthode prenant en compte le vocabulaire de rupture 2. Notons que l'on peut avoir des précisions de 1 mais dans ce cas là, le rappel est très faible, ceci est dû au fait que l'on prend très peu de pics en compte.

A partir des résultats obtenus, nous avons déterminé le seuil optimal pour les cinq brainstormings avec ce vocabulaire (voir les dernières lignes de la figure 14). Un seuil de 2 est une bonne optimisation.

Le tableau (figure 15) donne pour chaque pour différents seuils, le taux de rappel et de précision lorsque nous utilisons le vocabulaire de rupture 2. La moyenne globale du rappel est de 0,51, alors que la précision moyenne est de 0,59.

Interprétation

Si nous regardons les ruptures données par la combinaison des mots de « changement » et des « questions », nous constatons que les ruptures détectées manuellement sont également détectées par le système par une plus grande densité de ces mots de « changement » et « questions». Au contraire, les mots « d'approbation » ne semblent pas être porteurs de changements de thèmes. La combinaison mots de « changement » + « question » est donc la meilleure pour notre cas.

Bien évidemment, on constate que d'autres ruptures sont détectées alors qu'elles n'avaient pas été faites par un utilisateur. Ceci peut s'expliquer en partie par le fait qu'il n'est pas toujours évident de déterminer des ruptures de thèmes manuellement dans une conversation car on ne passe pas de façon nette et précise d'un thème à un autre, comme on pourrait le faire dans un texte écrit.

Toutefois, nous retrouvons, dans chacune des conversations, un pic bien marqué lors du changement de thème entre le thème du poster et celui des vacances.

Ces premières expérimentations suggèrent que les indices de rupture présentent un réel intérêt pour le découpage de la conversation.

Il paraîtrait intéressant de combiner maintenant ces indices avec des indices tel que le rôle de la personne prononçant ces mots de « rupture ».

Ces expérimentations confirment également l'idée selon laquelle il est difficile et peu approprié de découper le document de façon stricte. En effet, on ne change pas de thème dans une conversation de façon nette et précise. Et souvent, deux thèmes se « chevauchent » dans la conversation.

Conclusion

Notre étude répond aux deux questions suivantes :

-Quelle est la spécificité des documents "conversation téléphonique", en regard des documents traditionnellement traités en recherche d'informations ? -Quel positionnement avoir par rapport à une recherche d'information classique, c'est-à-dire basé sur des documents textuels consistants ?

De ce fait, nous avons étudié l'adaptabilité et l'applicabilité des systèmes de recherche d'information textuels aux documents « conversation téléphonique ». Pour ce faire, nous avons fait une étude qualitative du vocabulaire utilisé dans les conversations téléphoniques en regard de celui utilisé dans les documents textuels « classiques ». Cette étude nous permet d'avoir un premier système permettant l'indexation thématique de transcriptions de conversation. Comme le montre la figure 16, un document de type 'conversation' est composé d'un double discours : le discours organisationnel et l'à propos. L'étude du discours organisationnel permet d'en extraire des mots de rupture qui servent au découpage en fenêtre thématique du document. Le vocabulaire de l'à propos, quant à lui, est utilisé pour sélectionner le vocabulaire faisant sens. La combinaison de l'application d'une pondération simple (par exemple tf*idf) à ces termes (de l'à propos) faisant sens et du découpage en fenêtre du document permet une indexation thématique des conversations.

La prochaine tâche à accomplir est d'intégrer l'aspect signal de la conversation que nous avons volontairement éludé dans un premier temps, dans un souci de simplification. Nous souhaitons mettre en place cette étape à court terme. A plus long terme, nous bâtirons les applications de recherche, filtrage d'informations, aide à la rédaction de compte-rendu, etc.

Nous avons essentiellement basé notre étude sur le vocabulaire des conversations mais la conversation contient bien d'autres indices. Comme nous l'avons vu le rôle du locuteur va tenir une place importante car on peut notamment penser que c'est la personne menant l'entretien qui va amener les changements de thèmes. D'autres indices contextuels propres au caractère « situé » des conversations téléphoniques apportent également de l'information. Tous ces éléments doivent coopérer pour bâtir un système robuste dédié à la réunion téléphonique.

Annexes

Annexe 1 : Extrait de transcription de conversation téléphonique xxxxBG2_1_0088_ACD_00: oui bien sûr ouais . c'est vrai que là par exemple , celui-là -/ il est vraiment /-il a été fait pour un grand public <B> mais <uh> bon a priori ce serait plus pour faire +/ un /+ un vrai poster +/ bien /+ bien sérieux bon à présenter +/ aux /+ aux autres équipes , à d'autres labos <uh> internationaux ou nationaux donc <uh> <B> ce serait plus +/ un /+ un public averti .

Figure 2 .

 2 Figure 2. Construction d'un document "conversation téléphonique"

Figure 3 .

 3 Figure 3. Reconstitution du document logique Il nous est donc nécessaire de bâtir un processus permettant l'extraction, la sélection d'information ainsi que le découpage du document.

Figure 4 .

 4 Figure 4. Processus d'indexation Classiquement en recherche d'information, la tâche d'indexation d'un document textuel est basée sur la loi de Zipf et sur la conjecture de Luhn. L'utilisation de la loi de Zipf et de la conjecture de Luhn permettent la mise en place d'un processus d'indexation généralement en trois phases : extraction, sélection et pondération des termes d'indexation.

  Cette figure fait ressortir le caractère encore plus répétitif du vocabulaire de la conversation.

Figure 7 .

 7 Figure 7. Statistiques sur l'usage des mots dans l'ensemble des conversations de notre corpus

Figure 12 .

 12 Figure 12. Zoom sur le nombre d'apparitions des termes par ordre décroissant de fréquence

  Le système se décompose entre extraction, sélection et découpage thématique comme le montre la figure16.

Figure 16 .

 16 Figure 16. Schéma récapitulatif de la démarche d'indexation thématique des conversations

  oui d'accord . parce que +/ dans la /+ +/ dans nos /+ dans nos consignes <uh> disons , on disait que ce poster c'était pour <uh> présenter le CLIPS aux futures conférences ou fêtes de la science ou colloques donc là +/ ça /+ c'est trop large là . xxxxBG2_1_0093_JCD_00: +/ oui /+ oui c'est incompatible . xxxxBG2_1_0094_ACD_00: <B> oui mais pourquoi <*T>t xxxxBG2_1_0095_JCD_00: ouais . xxxxBG2_1_0096_ACD_00: tu penses ? +/ pourquoi /+ pourquoi <*T>t xxxxBG2_1_0097_EM_00: +/ non /+ non mais si tu dis <uh> ce qui est très juste <uh> que c'est plutôt orienté vers un public averti donc ça cadre bien avec conférence , colloque . par contre fête de la science bon c'est vrai que c'est peut-être un petit peu plus grand public quoi <%> <*T>t xxxxBG2_1_0098_BM_00: voilà . xxxxBG2_1_0099_ACD_00: mhm . xxxxBG2_1_0100_BM_00: tout à fait <%> <*T>t xxxxBG2_1_0101_ACD_00: <B> mais pourquoi -/ on ne serait pas /-on ne pourrait pas être plus clair <uh> . je veux dire <uh> pourquoi on ne serait pas capable de faire +/ un /+ <hm> <B> un poster +/ qui /+ qui puisse <uh> coller +/ aux /+ aux deux cas de figure .

Annexe

  Nous avons établi la fréquence des termes les plus courants dans chaque conversation. Ensuite, nous avons effectué le coefficient R * F/N, où R est le rang du terme, F est la fréquence du terme et N est le nombre total des termes.Voici les résultats obtenus pour notre corpus de conversations :

						Corpus conversation	Transcriptions
			interrogation		indexation
				Fonction de
				correspondance
	1) Loi de Zipf Nature répétitive du discours Figure 5. Usage des mots dans les documents de RI	Extraction
	(2) Conjecture de Luhn						Sélection
	Pouvoir d'expression des mots 5.2.2. Vérification de l'applicabilité de la loi de Zipf sur des documents
	« conversation »
		Brainstorming		Entretien			Réunion projet
	Rang	Terme	F	R * (F/N) Rang	Terme	F R * (F/N) Rang	Terme	F R * (F/N)
	111	Projets	24	0,120	151 professionnel 4	0,143	137	coup	22	0,135
	112	Après	24	0,121	152	prochaine	4	0,144	138	chose	22	0,136
	113	Veux	23	0,117	153	poser	4	0,145	139	vais	21	0,130
	114	Sont	23	0,118	154	parfait	4	0,146	140	clair	21	0,131
	115	Idée	23	0,119	155	oh	4	0,147	141	avoir	21	0,132
	,,,
	849 membres 2	0,077	246	transcription 2	0,117	921	partout	2	0,082
	850 mélanger 2	0,077	247	toute	2	0,117	922	parties	2	0,082
	851	meilleure 2	0,077	248	toujours	2	0,118	923 particulier 2	0,082
	852 maximum 2	0,077	249	tombe	2	0,118	924	pars	2	0,083
	853	marrant	2	0,077	250	terme	2	0,119	925	parle	2	0,083
	,,,
	1202	Action	1	0,054	407	ambiance	1	0,097	1 265 accepter	1	0,056
	1203 accueillent 1	0,054	408	aller	1	0,097	1 266 accélérer 1	0,057
	1204 accessible 1	0,054	409	aider	1	0,097	1 267 accéder	1	0,057
	1205 abstraction 1	0,054	410	agenda	1	0,097	1 268 absente	1	0,057
	1206	Abord	1	0,054	411	activités	1	0,098	1 269	aborder	1	0,057

proche de l'écrit + proche de l'écrit

		Taux de couverture du
	Type de conversations	vocabulaire par les x% de mots les plus fréquents
		10%	20%
	Ecrit	≅ 50%	≅ 70%
	Entretien d'embauche	≅ 70%	≅ 80%
	Réunion de projet	≅ 80%	≅ 85%
	Brainstorming	≅ 80%	≅ 90%
	Toutes les conversations	≅ 90%	≅ 95%	-
	Figure 8. Taux de couverture du vocabulaire pour les différents types de
	conversation

  : donc est-ce qu'il est grand public ou est-ce qu'il est <uh> plutôt à un public <uh> averti ? et peut-être que ça orientera <uh> le <*T>t xxxxBG2_1_0087_JCD_00: mhm .

	xxxxBG2_1_0079_BM_00: <uh> alors moi j'ai +/ peut-être une /+ <uh> peut-
	être une suggestion avant c'est , je voudrais savoir à qui est destiné le poster ? parce
	que suivant +/ la /+ la cible visée il n'aura +/ pas le même /+ <uh> pas le même
	discours .
	xxxxBG2_1_0080_ACD_00: mhm .
	xxxxBG2_1_0081_JCD_00: ouais .
	xxxxBG2_1_0082_EM_00: mhm .
	xxxxBG2_1_0083_ACD_00: oui .
	xxxxBG2_1_0084_EM_00: <%> c'est vrai ouais .
	xxxxBG2_1_0085_ACD_00: +/ ouais /+ ouais c'est vrai .
	; CDR: 00.00
	; TRV: 00.00
	; File: Bg2
	; Last changes made on 12/02/2002
	; Transcriber: ACD
	; Comments:
	;
	xxxxBG2_1_0077_ACD_00: super <Laugh> . <B> bon eh bien [bé] <uh> <hes>
	peut-être que le mieux ce serait de commencer +/ pa= /+ <uh> d'abord +/ par par /+
	le haut +/ du /+ +/ du /+ du poster donc c'est-à-dire +/ le /+ le slogan . est-ce que
	vous auriez <uh> des commentaires ou +/ des /+ des suggestions , peut-être des
	critiques <uh> à faire ?
	xxxxBG2_1_0078_EM_00: mhm .

xxxxBG2_1_0086_BM_00

  2 : Statistiques sur les mots pour chaque conversationTALN 2002TALN , 24-27 juin 2002 Bruandet M-F., Chevallet J.P., Paradis F., Construction de thesaurus dans le systeme de recherche d'information IOTA : application a l'extraction de la terminologie, , in 1eres Journees Scientifiques et Techniques du Reseau Francophone de l'Ingerierie de la Langue de l'AUPELF-URF , Avignon -France, pp537-544, 15-16 Avril, 1997. CALISTEL : http://www.calistel.com/ Callan ,Passage-level evidence in document retrieval, Proceedings of the Seventeenth Annual International ACM SIGIR Conference on Research and Development in Information Retrieval 1994 Garofolo J.S., Auzanne C.G., Voorhees E.M., The TREC Spoken Document Retrieval Track : a success story, 2000

	Seuil	pertinents	retrouvés	pert retrouvés	Rappel	Précision
		7	6			6	2	0,33		0,33
	Brainstorming 2	4	4			15	2	0,50		0,13
		5	4			6	2	0,50		0,33
		6	4			3	1	0,25		0,33
	Brainstorming 3	6	6			9	3	0,50		0,33
		7	6			6	2	0,33		0,33
	Dialogues 8	Nombre de mots 6	4	Nombre de tours de parole 2	Nombre de mots par tour de parole 0,33 0,50
	Brainstorming1 Brainstorming 4	4	6	8373		8	801 3	0,50	10,45	0,38
	Brainstorming2	5	6	7892		3	991 1	0,17	7,96	0,33
	Brainstorming3	6	6	8261		1	927 1	0,17	8,91	1,00
	Brainstorming4 Brainstorming 5	4	4	7226	14	993 1	0,25	7,28	0,07
	Brainstorming5	5	4	6083	10	562 1	0,25	10,82	0,10
	Entretien1	6	4	2793		3	207 1	0,25	13,49	0,33
	Entretien2		1552 Moyenne			138	0,37	11,25	0,35
	Entretien3			2304			171		13,47
	Entretien4 9. Bibliographie			2687			185		14,52
	Réun. Projet 1			9142			723		12,64
	Réun. Projet 2			7671			470		16,32
	Réun. Projet 3			13228			1024		12,92
	Réun. Projet 4			9079			718		12,64
	Annexe3 : Rappel et précision pour différents seuils en utilisant le vocabulaire
	de rupture 1 (les mots d'approbation + les mots de changement + les points
				d'interrogation)
	Seuil	pertinents	retrouvés	pert retrouvés	Rappel	Précision
	Brainstorming 1	5	6		11	4	0,67		0,36
		6	6			8	3	0,50		0,38

AUDIOSURF : http://www.telecom.gouv.fr/rntl/AAP2001/Fiches_Resume/AUDIOSURF.htm Boufaden, Lapalme, Bengio, Découpage thématique des conversations : un outil d'aide à l'extraction,

Rappel = nombre de pics pertinents trouvés / nombre de pics pertinents

Précision = nombre de pics pertinents trouvés / nombre de pics trouvés