domain: shs shs.info info

text:
Amel Fraisse

Patrick Paroubek

Fraisse Amel

Paroubek Patrick

Vers des pratiques collaboratives pour les systèmes d'organisation de connaissances

Keywords: Système d'organisation de connaissances, crowdsourcing, jeu à but, approche collaborative

come

Introduction

La problématique de l'usage et de la conception de systèmes d'organisation des connaissances (SOC) adaptés à la gestion de l'information documentaire numérisée qui ne concernait jusqu'alors qu'un petit nombre de spécialistes tend à devenir un enjeu majeur de la gestion de l'information numérique. En effet, les langages et les index qui organisent l'information, sont devenus des technologies intégrées aux dispositifs de stockage et aux usages de recherche de l'information conditionnant de manière déterminante les modalités d'accès à celle-ci dans les contextes professionnel et de loisir. Depuis les systèmes à base de simple liste de termes (glossaires, dictionnaires, etc.) jusqu'à ceux à base de thésaurus et d'ontologies, les SOC suscitent de plus en plus de travaux dans le domaine des humanités numériques.

Jusque là et quelque soit le type du système d'organisation de la connaissance, ce dernier est conçu et mis en place par des spécialistes de la connaissance et du domaine. Cependant avec l'avènement du Web 2.0, de nouvelles pratiques d'organisation de la connaissance sont apparues. En effet, les utilisateurs ne se contentent plus de la génération du contenu mais ils participent aussi à son indexation. C'est le cas par exemple des mot-dièses sur le réseau social Twitter qui sont utilisés comme des métadonnées afin d'indexer et faciliter l'accès aux messages.

Dans cet article, nous proposons un nouveau paradigme de gestion collaborative et incrémentale de l'information numérique qui est basé sur la participation de différents types d'utilisateurs. Ce dispositif consiste à faire participer des simples utilisateurs, via un jeu à but ou un site collaboratif, à la construction d'une base de connaissances factuelles et affectives.

Les systèmes d'organisation de connaissances

Les systèmes d'organisation de connaissances permettent de fournir une meilleure représentation de l'information qui est utile aux systèmes de recherche d'information.

Les méthodes de représentation de l'information peuvent être divisées en deux grandes catégories : celles qui sont basées sur l'abstraction de sujets des documents et celles basées sur l'indexation du contenu des documents ; qui consistent à extraire depuis le document un ensemble de mots clés décrivant son contenu [START_REF] Cleveland | Introduction to indexing and abstracting[END_REF], [START_REF] Lancaster | Indexing and abstracting in theory and practice[END_REF]. Différents types de SOC basés sur des méthodes d'indexation ont été développés comme par exemple les thésaurus, les classifications et les nomenclatures qui contiennent un vocabulaire contrôlé pour indexer les documents.

Plus récemment, les SOC incluent deux nouveaux modèles de représentation de la connaissance : les ontologies et les folksonomies (Weller, 2007). Les ontologies permettent d'étendre la structure formelle d'un vocabulaire en incluant plusieurs types de relations (synonymie, antonymie, etc.) entre les concepts avec un niveau de rigueur formelle variable.

Les folksonomies intègrent une nouvelle dimension sociale en donnant la possibilité à l'usager d'indexer des documents afin qu'il puisse plus aisément les retrouver grâce à un système de mots-clés (appelés aussi Tag) [START_REF] Marlow | HT06, tagging paper, taxonomy, Flickr[END_REF].

Ces différents systèmes d'organisation de connaissances peuvent être classés en fonction de deux aspects inversement proportionnels à savoir la complexité de la structure et la couverture du SOC. En effet, plus la structure est complexe plus la couverture de domaines est restreinte. Dans [START_REF] Rumshisky | The holy grail of sense defnition: Creating a sense-disambiguated corpus from scratch[END_REF], les auteurs ont expérimenté la construction d'une base de données contenant les sens flous d'un ensemble de verbes polysémiques en faisant appel à des annotateurs nonexperts. Les verbes sont affichés aux annotateurs dans leur contexte d'apparition (phrases) et ces derniers annotent les différents sens du verbe.

Les résultats ont été ensuite évalués en les comparant à un ensemble d'annotations qui ont été effectuées par des lexicographes professionnels. La comparaison entre les deux ensembles présentait une valeur de Fscore de 0.93.

Dans un travail plus récent [START_REF] Rumshisky | Crowdsourcing word sense definition[END_REF], l'auteur conclut que le regroupement (clustering) de 350 lignes de concordance par groupe de sens similaires n'est fiable que pour seulement environ 140 lignes de concordance. Dans [START_REF] Rumshisky | Word sense inventories by non-experts[END_REF], les auteurs expliquent que l'un des problème majeur est d'attirer des annotateurs avec un bon niveau de performance sur AMT pour effectuer des tâches linguistiques complexes. L'utilisation d'un guide de bonnes pratiques peut améliorer la qualité des annotations mais cela ne substitue pas le besoin d'effectuer des expérimentations préliminaires afin de calibrer les paramètres de la tâche d'annotation et de l'interface.

Dans [START_REF] Munro | Crowdsourcing and language studies: the new generation of linguistic data[END_REF], les auteurs ont étudié l'utilisation de AMT pour un ensemble d'expériences linguistiques allant de la sémantique à la psycholinguistique traitant :

• les verbes sémantiques,

• la segmentation de séquences audio,

• le modèle de langage,

• la grammaire du discours,

• le rôle thématique,

• le traitement de la métaphore par le cerveau et,

• le degré de concentration en lecture

Les auteurs mentionnent une valeur de Kappa de 0.9 entre les données annotées sur AMT et celles en laboratoires pour la tâche du modèle du langage. En se basant sur les résultats de leurs expériences, les auteurs concluent que le crowdsourcing permet l'exécution systématique et à grande échelle des études avec des coûts pas trop élevés et de façon plus simple que celle effectuée dans des conditions de laboratoires. [START_REF] Grady | Crowdsourcing document relevance assessment with mechanical turk[END_REF] ont étudié l'impact de plusieurs facteurs et paramètres sur la tâche de jugement de pertinence en recherche d'information. Les auteurs ont étudié l'impact des quatre facteurs cidessous sur le coût, le délai ainsi que la qualité des évaluations :

Recherche et extraction d'information

1. Fournir aux annotateurs uniquement un titre pour la requête au lieu d'une description détaillée.

2.

Différents étiquettes pour le titre de la tâche (spécialisée versus générique (oui/non)).

3. La rémunération de la tâche (0.01$ ou 0.02$). 4.

Le bonus (0 ou 0.02$).

Les évaluations ont été effectuées sur des documents issus du corpus TREC TIPSTER, qui contient des articles journalistiques. Au total, 5 lots d'évaluations ont été crées. Pour chacune de quatre thématiques du corpus, cinq documents ont été évalués et 10 évaluations ont été collectées pour chaque document. Au total, 200 tâches ont été soumises à AMT pour chaque lot d'évaluation (1000 tâches pour les 5 lots d'évaluations). La taille d'un document est entre 162 et 2129 mots. Pour chaque tâche, l'annotateur doit associer un seul lien de pertinence entre une requête et un document.

Dans le lot d'évaluation 5, 23 bonus ont été donnés pour un total de 0.46$. La seule différence observée par rapport aux autres lots est la longueur de commentaires donnés par les annotateurs. La meilleure valeur d'exactitude était de 70.5% et atteinte par le lot 3, qui utilise des titres de requête (au lieu d'une description détaillée) et des réponses simples (yes/no).

Les documents évalués par les annotateurs du lot 5 ont été mieux évalué que le reste des documents (3.37 documents correctement annotés contre 2.10-2.20 pour les lots d'évaluations 1 à 3 et 1.85 pour le lot 4).

Au final d'après les auteurs, les résultats de leur expérimentation sont peu concluants.

Fouille d'opinions et analyse de sentiments

Dans [START_REF] Hsueh | Data quality from crowdsourcing: A study of annotation selection criteria[END_REF], les auteurs ont utilisé AMT pour classifier des segments de texte extraits depuis des blogs politiques selon leurs polarités (positif, négatif, mixte ou neutre). Chaque segment de texte a été annoté par trois annotateurs. Les auteurs mentionnent une valeur de Kappa entre les annotateurs de 70.4%.

Une tâche d'annotation plus fine pour identifier le terme qui exprime une opinion/sentiment par rapport à un terme cible présent dans la phrase a été expérimentée par [START_REF] Sayeed | Crowdsourcing syntactic relatedness judgements for opinion mining in the study of information technology adoption[END_REF] sur CrowdFlower. Les annotateurs doivent classifier en positif, négatif ou neutre le mot d'opinion présélectionné en fonction de sa relation avec le terme cible présélectionné dans la même phrase. L'expérience comprend 200 tâches payées 0.04$ la tâche. Chaque tâche est annotée par trois annotateurs différents pour un coût total de 60$ et un délai de 24h pour toute l'annotation. Afin, d'identifier les annotateurs douteux, les auteurs ont utilisé 30 tâches comme données de référence. Ainsi, seulement 22 annotateurs ont réussi le test de contrôle de qualité de CrowdFower. La suppression des annotateurs douteux (en se basant sur les données de référence du test) avait un effet positif sur les deux valeurs F-mesure et Kapppa. La meilleure valeur de Kappa est de 0.65 obtenue lors de la suppression de 7 annotateurs douteux. Alors qu'une valeur de précision de 0.85 et une valeur d'exactitude de 0.88 ont été atteints après la suppression de 10 mauvais annotateurs. Cette expérience montre qu'il est possible d'utiliser le crowdsourcing pour des tâches d'annotation fine mais cela nécessite la mise en place d'une procédure de contrôle de qualité.

Les entités nommées

Dans [START_REF] Finin | Annotating named entities in twitter data with crowdsourcing[END_REF], les auteurs décrivent leur expérience d'annotation en entités nommées des messages Twitter (organisation, personne, lieu, aucune). Au total 251 tâches ont été envoyées sur AMT et chaque tâche a été annotée par deux annotateurs. Le délai global pour chaque tâche est d'environ 15 heures et le coût est de 27.61$, qui correspond à 0.0275$ par tweet. Au total 42 annotateurs ont participé à l'annotation et la plupart ont été localisés aux Etats-Unis, Inde et Australie. À la fin de la procédure d'annotation, l'accord inter-annotateur a été calculé en utilisant un algorithme proche de PageRank [START_REF] Page | The pagerank citation ranking: Bringing order to the web[END_REF]. La performance des annotateurs de AMT a été jugée inférieure à celle des annotateurs experts mais il est possible d'atteindre des performances équivalentes en combinant les annotations de plusieurs annotateurs.

La traduction automatique

Dans [START_REF] Zaidan | Crowdsourcing translation: Professional quality from non-professionals[END_REF], les auteurs ont expérimenté la tâche de traduction de l'urdu vers l'anglais. Le prix a été fixé à 0.10$ par traduction (environ 0.005$ par mot). Pour chaque phrase les auteurs ont collecté quatre traductions proposées par différents traducteurs de AMT, ensuite ils ont crée un ensemble de tâches de validation croisée de traductions. Les tâches de validation croisée consistent à trier les traductions par ordre de qualité ou à post-éditer pour corriger certaines traductions. Les coûts globaux de l'annotation étaient de :

• coût de la traduction : 716.80 $,

• coût de la post-édition : 447.50$,

• coût du tri de traductions : 134.40$ Au total, 7000 traductions ont été effectuées, 17000 post-édition et 35000 tri de traductions. En incluant le coût de la traduction professionnelle de la référence qui est de 1000$ ainsi que les charges de Amazon, le coût global de cette expérience était de 2500$.

Les auteurs ont étudié la possibilité de réduire le coût en éliminant la traduction professionnelle des données de référence et en augmentant le nombre de post-édition. Une première mesure obtenue montre un score BLEU de 34.86 alors qu'une deuxième mesure permettant de réduire les coûts tout en garantissant une bonne performance montre un score BLEU de 38.67. Ainsi la meilleure stratégie pour la tâche de traduction est la suivante :

• produire plusieurs traductions possibles pour chaque phrase,

• trier plusieurs traductions,

• éditer uniquement les meilleures traductions

Notre approche pour la construction collaborative de connaissances factuelles et affectives

Notre approche se base sur deux étapes principales : la collecte de documents pour la construction d'un corpus textuel multilingue (français, anglais et allemand) suivie de l'extraction de connaissances.

Collecte du corpus textuel

Dans le cadre du projet uComp1 , nous sommes intéressés à la constitution d'une base de connaissances factuelles et affectives relatives au domaine du changement climatique. Ainsi, nous avons constitué une liste fermée de mots clés qui décrivent au mieux le domaine de changement climatique. Nous avons utilisé ensuite cette liste pour collecter depuis le Web des articles journalistiques ainsi que des messages issus de médias sociaux dans les trois langues suivantes : anglais, français et allemand [START_REF] Weichselbraun | Knowledge Capture from Multiple Online Sources with the Extensible Web Retrieval Toolkit (eWRT)[END_REF]. Le Tableau 1 décrit les caractéristiques du corpus collecté dans les trois langues.

Anglais

Français Allemand # Articles journalistiques 1 275 000 720 000 650 000 # messages médias sociaux 20 000 000 410 000 565 000

Tableau 1: Caractéristiques du corpus collecté

Extraction des termes affectifs candidats

Dans un travail antérieur [START_REF] Fraisse | Toward a Unifying Model for Opinion, Sentiment and Emotion Annotation and Information Extraction[END_REF], nous avons proposé une méthode qui permet d'associer de façon automatique à chaque document affectif sa classe d'émotion (par exemple : joie, tristesse, amour, plaisir, peur). Ainsi, afin d'extraire la liste des termes affectifs candidats pour chaque classe d'émotion nous nous sommes basés sur une approche statistique, qui consiste à extraire, à partir du corpus émotionnel collecté (décrit dans la Tableau 1), et pour chaque classe d'émotion, l'ensemble de mots qui lui est associé. Afin de mesurer l'association entre un mot m du corpus et une émotion e, nous nous sommes basés sur la mesure de l'information mutuelle introduite par (Fano, 1961), (Church and Hanks, 1990), qui pour chaque couple de variables aléatoires (X; Y) calcule leur degré de dépendance au sens probabiliste. L'information mutuelle est donnée par la formule suivante : freq(e) est le rapport entre le nombre total de messages étiquetés e (|Te|) et le nombre total de messages.

Validation des termes affectifs candidats

Afin de valider les termes extraits de façon automatique, nous avons mené deux types d'expériences de validation. La première se base sur une approche de crowdsourcing et la deuxième consistait à mettre en place un jeu à but.

Validation par le crowdsourcing

Nous avons mené une expérience de crowdsourcing pour valider la liste des termes affectifs français (9939 termes). Chaque tâche d'annotation est constituée de 8 entrées lexicales (termes). Pour chaque entrée, l'utilisateur doit répondre aux quatre questions décrites dans la Figure 2. CrowdFlower reparti les utilisateurs en trois niveaux en fonction de leur maîtrise de la langue (Good, Great, Best). Dans un premier temps, nous avons choisi le meilleur niveau (Best) et nous avons fixé le prix de la tâche à 6 centimes. Cela nous a permis de valider uniquement 9,1% termes. Ainsi, nous étions amené à modifier la configuration de la tâche en sélectionnant des annotateurs avec le premier niveau (Good). En une semaine tous les termes étaient validés.

Jeu à but : Climate Challenge

Nous avons mené une deuxième expérience de validation collaborative en mettant en place un jeu à but que nous avons appelé Climate Challenge2 (jeu en cours d'expérimentation).

Dans un premier temps, la tâche de validation consiste à attribuer à un terme donné une valeur de polarité parmi les 5 valeurs suivantes : très négatif, négatif, neutre, positif, très positif (Figure 3).

Afin d'avoir un niveau de confiance assez élevé, le même terme est validé par plusieurs joueurs. Chaque joueur dispose d'un score qui indique son niveau dans le jeu: ce score est calculé en fonction du nombre total de termes validés par le joueur ainsi que le nombre de bonnes réponses.

Constitution collaborative d'une ontologie du domaine

Dans le cadre du projet uComp, [START_REF] Wohlgenannt | Computing Semantic Association: Comparing Spreading Activation and Spectral Association for Ontology Learning[END_REF], se sont basés aussi sur des approches statistiques afin d'extraire une première liste de termes candidats à partir du corpus textuel collecté. En utilisant de ressources linguistiques externes comme WordNet ils ont établi des relations (synonymie, antonymie, etc.) entre les concepts collectés. Pour valider les concepts et les relations qu'ils ont construit ils ont mis en place un plugin Protégé3 qui permet de créer des tâches de validation unitaires et de les déployer directement sur des sites d'annotation collaborative comme CrowdFlower (Figure 4). Ainsi, les utilisateurs peuvent accomplir certaines tâches en validant et/ou proposant des termes ou des liens sémantiques entre les termes de l'ontologie [START_REF] Hanika | The uComp Protege Plugin for Crowdsourcing Ontology Validation[END_REF]. Le résultat de cette approche a montré un score d'exactitude qui varie entre 89% et 99%, que le temps passé est équivalent à celui d'un expert du domaine et que le coût de production de l'ontologie est réduit de 75% à 81%.

Conclusion

Pour conclure, nous avons proposé une approche basée sur la participation collaborative de différents types d'utilisateurs (simple utilisateur, experts du domaine, ingénieur de connaissance, etc.). Cette approche se base sur l'utilisation de jeu à but ainsi que le crowdsourcing. Nos deux expérimentations montrent que la qualité obtenue est équivalente à celle qui serait obtenue par des experts de la connaissance et les coûts et les délais sont réduits. Pour la suite de nos travaux, nous souhaitons évaluer la généricité de notre approche en l'appliquant à d'autres domaines et à d'autres types de documents. Nous envisageons aussi d'évaluer la performance de systèmes de recherche d'information qui se basent sur des SOC construits de façon collaborative.

Figure 1 :

 1 Figure 1: Classification des SOC selon la complexité de structure et la couverture

  Ainsi, dans notre cas, il s'agit de mesurer le degré de dépendance entre un mot m et une émotion e. freq(m,e) est le rapport entre le nombre de messages étiquetés e contenant le mot m (|Tm,e|) et le nombre total de messages (|T|). freq(m) est le rapport entre le nombre total de messages contenant le mot m (|Tm|) et le nombre total de messages.

Figure 2 :

 2 Figure 2 : Description de la tâche d'annotation Afin de contrôler la qualité des réponses des utilisateurs, nous avons défini une question test qui permet d'attribuer un niveau de confiance à chaque annotateur et d'identifier les ceux qui sont douteux. CrowdFlower reparti les utilisateurs en trois niveaux en fonction de leur maîtrise de la langue (Good, Great, Best). Dans un premier temps, nous avons choisi le meilleur niveau (Best) et nous avons fixé le prix de la

Figure 3 :

 3 Figure 3: Interface du jeu à but Climate Challenge

Figure 4 :

 4 Figure 4: Interface du plugin Protégé pour la validation des termes de l'ontologie par les utilisateurs

uComp : Embedded Human Computation for Knowledge Extraction and Evaluation http://www.ucomp.eu/

https://www.ecoresearch.net/climate-challenge/

http://protege.stanford.edu/