Ivana Roche

Nathalie Vedovotto

Dominique Besagni

Claire François

Roger Mounet

Edgar Schiebel

Marianne Hörlesberger

Identification of Emergent Research Issues: the Case of Optoelectronic Devices

Introduction

The optoelectronic devices field is one of the last decade's most promising technological fields. Light emitting diodes gain more applications in cars and housing lighting, OLED displays are introduced in electronic devices and consumer electronics. Optimization of lighting power and tuning of light spectrum are well known important research topics. Early recognition of new and alternative products and production processes is a strategic necessity contributing to appropriate assessment and decision-making. Emerging technologies are essential to advances in research, industry and society. But the detection of emerging technologies remains unsolved. An interesting introduction to the use of bibliometrics for the identification of upcoming issues from online databases was published by [START_REF] Lancaster | Bibliometric techniques applied to issues management: A case study[END_REF]. These authors analyzed the spread of an issue from pure sciences literature to popular press, through applied sciences literature. They measured the occurrence of a keyword over time in different online databases covering scientific literature. Additionally they suggested a procedure to identify growing issues in terms of time gradients of the number of published articles where single keywords occur. The selection tree introduced by Armstrong & Green (2007) gives an additional picture of the landscape of the forecasting methods that could be employed to detect these emerging technologies. This tree illustrates the dichotomy between judgmental and quantitative forecasting methods and shows the great diversity of existing approaches like the Delphi or the Nominal Group Technique ones. Forecasts are obtained in a structured way from two or more experts. Other methods combine expert domain knowledge with statistical techniques and allow the identification of causal forces acting on trends. Even though the number of available data is large enough to apply quantitative methods, the important question of the data type used for forecasting remains. The two data types mostly used to detect new topics with bibliometric analysis are provided by bibliographic databases covering scientific literature and patent databases. These methods consist of simple statistical techniques, such as growth curve analysis, or more sophisticated ones, such as clustering or network analysis. A third data type, related to state-funded research grants, is very interesting. The analysis of these three sources of information as a whole, and not as separate entities, allows gaining an understanding of the triple-helix interfaces between university, industry and government. The framework for this study was the PROMTECH project [START_REF] Promtech | Identification and Assessment of Promising Emerging Technological Fields in Europe[END_REF]), financed by the European Commission. The main goal of the project was to elaborate a methodology enabling the identification of promising emerging technologies. As the optoelectronic devices field turns out to be among the most promising ones, we focus on it by identifying its emerging research topics. We then study their evolution by considering data sets of bibliographic records related to two successive time periods and represented by their associated keywords. We apply this diachronic approach to the following analytical methodologies: • a "Diffusion Model" using a bibliometric filter that distributes keywords in different diffusion stages in order to model the field terminology evolution (Schiebel & Hörlesberger 2007). The visualization of the results was operated by the software BibTechMon™, a bibliometric monitoring tool [START_REF] Kopcsa | Science and technology mapping. A new iteration model for representing multidimensional relationships[END_REF]); • a cluster analysis enabling the identification of emerging research topics by comparing the clusters related to each period (Roche et al. 2008). The clustering was operated by the software-tool Stanalyst (Polanco et al. 2001) that produces a graphical representation of the clustering results under the form of a network of clusters. Firstly we refer to the data acquisition. Secondly the applied methodologies are illustrated. Thirdly the results of the applied methodologies to the field ''optoelectronic devices'' are presented. Finally we discuss the two approaches, summarize and conclude our discussion.

Data

The data framework is a sample recorded from PASCAL, a multidisciplinary bibliographic database produced by the French institute for the scientific and technological information (INIST-CNRS), that was specifically adapted to the purpose of our approach. PASCAL provides broad multidisciplinary coverage of scientific publications and contains, nowadays, about 20 million bibliographic records that are derived from the analysis of the scientific and technical international literature published predominantly in journals and conference proceedings. PASCAL is appropriate for the intended analysis, as each analyzed document is registered by a very fine classification, much more sophisticated than the category codes often employed in other sources of bibliographic data. The PASCAL classification categories, named also classification codes, belong to a structured classification scheme hugely detailed that is a taxonomy of every field and subfield of all the scientific disciplines covered in the database. In addition, PASCAL covers international publications in physics, chemistry, engineering sciences, life sciences, and medicine and produces an indexing, on the one hand, by keywords and, on the other hand, by classification categories, both given in the database and assigned to the individual publications, either manually by scientific experts or automatically based on a content analysis. The query operated in this work was based on the information conveyed by these indexations. By extracting from the obtained corpus of bibliographic records the keyword indexing we produced a terminology related to the studied domain. After a verification step, done by a scientific expert, that terminology can be employed in our analysis. The search focused on publications related, on the one hand, to Optoelectronics by means of classification codes or keyword indexing and, on the other hand, to peripheral scientific fields whose research issues, even if apparently far from the concerns of the researchers working on Optoelectronics, could have an impact on this domain. The main idea is to produce a finite space of exploration constituted by the information contained in the set of records answering the search strategy. The choice of these peripheral scientific fields is delicate. Indeed, if it is too large, the exploratory space could present a high level of noise with a great number of records that will be definitively uninteresting and that we would need to eliminate before analysis. But conversely, if the operated choice is too sharp, the exploratory space could not reflect in a suitable way the scientific environment richness of the studied domain and this silence would be very harmful for its analysis. After some iterations, the list of peripheral fields converged towards: "Physics", "Chemical Industry", "Physico-chemistry of polymers" and "Polymer industry". The choice of these fields was motivated by their interest towards the synthesis and characterization of materials involved in optoelectronic devices. A search strategy has been detailed: -firstly, we looked for the PASCAL classified simultaneously in the field "Optoelectronics" and in a field that is either "Physics" or "Chemical Industry" or "Physico-chemistry of polymers" or "Polymer industry": -then we added the records indexed by the keywords "LED" or "Electroluminescent device" or "Optoelectronic device" and classified either in "Physics" or "Chemical Industry" or "Physico-chemistry of polymers" or "Polymer industry". The result is a corpus of 8,169 bibliographic records all in all, divided into the periods from (all years, 2000-2010) are assigned to more than 160 different PASCAL codes, whereas a reference can be assigned to more than one code. The first 20 fields with the biggest number of records in the two considered periods (2000-2004 and 2005-2010) are showed, respectively, in Tables 2 and3. Among the 16 fields matching in both periods, 12 confirm their position or rise in the second period ranking, like e.g. "Infrared, submillimeter wave, microwave and radiowave instruments, equipment and techniques", "Sensors (chemical, optical, electrical, movement, gas, etc)", "Optical elements, devices and systems", "Material sciences: Methods of deposition of films and coatings ; film growth and epitaxy" (see in table 2, the ranks 1 to 4, 6 to 9, and 12 to 15), and 4 fields lose places in the ranking of the second period (see in table 3 the fields written in italic): "Physico-chemistry of polymers: Organic polymers", "Polymer industry: Technology of polymers", "Electronics: Materials", "Electric, optical and optoelectronic circuits". Four fields appear in the top 20 field list in the second period: "Nanoscale materials and structures: Fabrication and characterization", "Structure and nonelectronic properties of surfaces, interfaces and thin films", "Natural energy", "Materials science" and, conversely, four fields disappear from the top 20 field list: "Industrial chemicals", "Electrical engineering. Electrical power engineering", "General and physical chemistry", "Computer science: Software".

Methodology

Diffusion model

New scientific and technological developments are presented and documented in scientific publications. These new ideas are described using specific words and expressions and they sometimes lead to the creation by scientists of new terminological representations. In a bibliographic record, the quintessence of a publication is represented by means of keywords, the investigation of which is meaningful for tracking the developments of new technologies or new ideas in science, especially if these keywords are given by the authors.

Our model is based on the consideration that technologies find their roots in an invention which was created by one person or a small group of scientists who use specific terms for describing it. After a specific invention is published, the respective knowledge is available to other scientists. If scientists are inspired by the new ideas, they make use of the new theories and technologies, publish them and add their own ideas. At that stage, the new terminology is used in few publications and appears therefore in few bibliographic records. New terms are created or applied coming from other disciplines with sometimes a new meaning. If the findings are of interest for other research groups, they pick them up and the number of publications, and of records, including these terms grows. In this second stage the findings are primarily interesting for researchers in the same discipline and the growth is essentially restricted to this area. If the findings are also considered as fundamental for the use in another discipline, the related terms diffuse over the scientific community and they occur in publications of many disciplines. By investigating the terminology of a suitable corpus of bibliographic records at a certain time span, we can divide the terminology into three stages, which expresses an invention or new findings, growth in a discipline and diffusion in the scientific community:

• Stage 1: New terms created or adapted from other fields in connection with a specific considered technology (or discipline, etc.) can be found in a few publications. These terms occur with a low frequency in this considered field where they form an exotic set of unusual terms.

•

Stage 2: Already established specific terms in the considered technology (or discipline, etc.) occur in this stage 2. We refer to these terms as established terms.

•

Stage 3: This is the stage where we consider the so called cross-section terms. Such terms are well established and applied in different technology fields. They are well understood not only in the considered field. They show a broad diffusion to other research or technology fields. One can detect a high number of articles in different technology fields using these terms. We call this three-stage model the "Diffusion Model". Therefore, the diffusion model identifies, with the help of simple criteria, three categories of terms: unusual terms in a considered field, established terms in a considered field, and cross-section terms regarding to a considered field. The categorisation of a term is based on the following indicators and their related criteria: in less than 1/3 of all fields in more than 1/3 of all fields Ratio of the frequency in the considered field to total frequency (which means that a term focuses in a specific technology -Field Focus) more than 2/3 more than 2/3 less than 0.9 Age of the term young old old Table 6. Criteria to dispatch the terms of a considered field into the three stages These criteria are linked to the corpus characteristics and, in the framework of a diachronic analysis as ours, their numerical value can differ within each period (see table 7 and9).

The "total frequency" of a term represents the number of different bibliographic records in which it occurs at least once. Each bibliographic record is associated to at least one scientific field. The more specific a publication is, the fewer the scientific fields associated with its bibliographic record. The fewer scientific fields a term is associated with, the more the term is specific.

The "field focus" of a term is an indicator of its specificity and it lies between 0 and 1. The higher the field focus of a term, the more the term seems to focus on a specific field or the less it is spread to other fields.

The "age of the term" is defined in relation with the year when it occurs in a bibliographic record for the first time in the considered field for a given period. It is considered old if it appears during the first years of the period and young otherwise. In order to dispatch the terminology between the three stages, each four indicators given in table 6 has to be determined for each term. The dynamics of emerging technologies can be described by pathways of terms through diffusion stages from one period to the following one. Figure 1 illustrates the pathways. The dynamics of emerging technologies can be revealed by identifying the terms that follow the mentioned pathways, see [START_REF] Besagni | Les émergences technologiques dans le domaine des dispositifs optoélectroniques : identification et caractérisation[END_REF]. Following the diffusion approach it can be assumed that terms migrate from earlier stages in the first period to later stages in the second period like the following: Pathway VI: the same terms remain in stage three in both periods For the visualization and analysis we used the software BibTechMon™, a bibliometric monitoring tool [START_REF] Kopcsa | Science and technology mapping. A new iteration model for representing multidimensional relationships[END_REF]. The core of the software is an algorithm to position related objects (in our case, terms) in a two dimensional space. The relation between terms is defined by their pairwise co-occurrence in bibliographic records. These cooccurrences are normalized by the often used Jaccard index. The terms are arranged in a network structure by a spring model coming from mass point mechanics. Thus, a term is positioned with respect to all other ones. If a term in the centre of the network or of a subnetwork has a rather strong relationship to many other nodes in the network graph, that is called a high centrality. In our case, established terms or cross-section terms are centred. New terms and unusual terms are positioned in the periphery. A bunch of terms that are cited often together crossing over many publications forms up a subnetwork.

• terms from

Cluster analysis

The diachronic cluster analysis is based on the study of the evolution of cluster maps and contents obtained by a clustering method and considering data sets related to two or more successive time periods. In this work, we deal with two time periods and we apply a clustering algorithm on the corpus of each period, in which documents are represented by the keywords existing in the bibliographic records. The clustering tool we use [START_REF] Lelu | Hypertext paradigm in the field of information retrieval: A neural approach[END_REF][START_REF] Lelu | Modèles neuronaux pour l'analyse de données documentaires et textuelles[END_REF]) applies a non-hierarchical, non-supervised clustering algorithm, the axial K-means method that allows producing clusters presenting the following particular characteristics: -they can overlap because the clustering method allows a document or a keyword to belong to more than one cluster, -documents and keywords as the constituting elements of a cluster, are ranked by decreasing similarity with the cluster ideal type. The clustering is operated by the software-tool Stanalyst (Polanco et al. 2001) that produces a graphical representation of the clustering results under the form of a network of clusters.

Each cluster is a homogeneous subset of the information contained in the analyzed corpus, corresponding to a topic. After the clustering, we represent graphically its results employing two methods: a principal component analysis and a connected component analysis. The first one produces a global map of the topics. The topics that are very far apart represent clusters very different with respect to the keywords defining them. The connected component analysis is then employed to show the relationships that exist between the clusters. It is a method based on the graph theory and defining the connected components representing the relative proximity between clusters. The distance between two clusters is defined as the cosine of the angle between the two axes representing the clusters. A lower and an upper threshold are defined as respectively the minimum and the maximum value of the cosine between the clusters. Nine intermediate levels are defined in that interval. We consider that, at a given level, two clusters are connected if the value of the cosine associated to them is within the range of values of this level. Finally, in order to analyse the evolution of the cluster vocabulary between the two considered periods, we build a comparison matrix (Roche et al. 2008) pointing out the percent of keywords belonging to the second-period clusters and already existing in the first-period clusters. The cumulated percentage is also calculated for each second-period cluster. Using this matrix, we can identify different cluster behaviours: stability, fusion or splitting. Using the cluster maps, we can also detect status change of the clusters in the global network. These detected phenomena need to be validated by experts from the technological domain. The cluster behaviours are calculated in the following way. Let M be the comparison matrix: M = (m ) with : i,j i=1,...,n

where n = number of clusters obtained in the second period P2 P2 j=1,...,n

where n = number of clusters obtained in the first period P1 P1 m = percent of keywords belonging to ij cluster i and existing in cluster j and, for each line i,the marginal value is:

.

P1 j=n j=1 m = m i. ij ∑ .
The analysis of the matrix M allows us to build the following hypotheses: -Let (i,k) be a pair of homonymous clusters. The cluster i is supposed to be stable if:

m ik m < ; j k and j = 1,n ij P1 2 ∀ ≠ (1)
-Let (i,k) be a pair of homonymous clusters. The cluster i is supposed to be unstable if there exists at least one j respecting the condition:

m ik m > ; j k and j = 1,n ij P1 2 ∀ ≠ (2)
-Clusters having new titles (titles not existing in the first-period cluster list) and obeying the condition (1) are supposed to be stable; -Clusters with the lowest marginal values have less inheritance from first-period clusters and we suppose they constitute new terminological notions; -Clusters with the highest marginal values are supposed to aggregate a great number of notions already existing in the first-period clusters. At this point, scientific expertise is needed. We ask scientific experts to validate our hypotheses regarding the analysis of the two cluster maps, taking into account the cluster contents.

Results

Diffusion model

The diffusion model has been applied to the 8,169 bibliographic records delivered by the PASCAL database query, split into two corpora according to their publication year: 2,950 references for P1 (2000 to 2004) and5 Ratio of the frequency in the considered field to total frequency -Field Focus > 0.7 > 0.7 < 0.9

Age of the term young old old Year of first occurrence 2003-2004 2000-2002 2000-2002 Table 7. Filter for the corpus of the first period (2000 -2004) for 2,950 records This filter does not allow for an overlap of common terms. Each term is assigned to only one of these three stages. The criteria are determined as follows:

-Stage 1: The total frequency is defined higher than 7 in order to reject badly spelt terms.

To exclude established terms, the total frequency upper bound is fixed to 20. As we obtain 2,590 records for the first period, a frequency of 20 means that such a term occurs in less than 0.8% of the documents of P1. Furthermore a term must be relevant and not used by chance. The value of field focus should then be high, at least 0.7, so that a focus on a field is ensured. -Stage 2: Established terms must have a higher total frequency than in stage 1. Therefore we fixed the lower bound to 40 in P1 (which means a term frequency of 1.5%). An established term should focus on a specific field. Therefore it has to occur in less than 17 fields, which corresponds to a third of the total number of fields of P1. The spread to other fields (the field focus) should be high, here 0.7. -Stage 3: A cross-section term has a high total frequency : it is used in more than 40 records in P1. Furthermore, it must be used in a high number of fields, in P1 more than 17. The field focus should ensure a distribution to many fields and must not exceed 0.9. This filtering results in the following

Pathways

In that study dealing with the identification of emergent research issues, it appears that the Pathways II, III and V carry the bulk of the relevant information highlighting the potential scientific evolutions, or even breakthroughs. That is why we focus on these three pathways.

Pathway II

Terms which follow the Pathway II progress from "unusual term" in the first period to "established term" in the second period. Terms which follow the Pathway V progress from the "established stage" in P1 to the "cross-section stage" in P2.

These terms are:

• Doping • Gallium arsenides • III-V semiconductors • Injection laser • Luminescence •
Quantum dot For example, the keywords "Injection laser", "Luminescence", or" Quantum dot" are used to index publications like:

• Carrier dynamics in active-region materials for diode laser applications. The keywords "Gallium arsenides", "Injection laser" or "Quantum dot" are used in:

• Superluminescent Diodes versus Broadband Laser Diodes.

BibTechMon™ visualization

For the calculation and the visualization of the term networks we used the software BibTechMon™. The algorithm in BibTechMon™ is based on a co-object analysis, which can be briefly described as follows. An object (in our case, a term) occurs with a certain frequency, defined by the number of bibliographic records in which the considered term occurs at least once. It is counted once per record. When a term occurs with another term in the same bibliographic record, we call that a co-occurrence. The co-occurrence strength is given by the number of co-occurrences pairwise. These co-occurrences are normalized via the so called Jaccard index. After that, the terms find their position inside the network by the application of a spring model, where the Jaccard indices are the measures for the interactions. Thus, a term is positioned with respect to all other terms and to their Jaccard indices.

The network consists of points which represent the terms and lines which show the intensity of the individual relation between two terms. The size of the points represents the total frequency of the term occurring in the corpus. The relative position of the objects compared to each other is important: objects which are positioned close to each other form subtopics and clusters because they occur in similar contexts.

Figure 5 shows the location of the terms of Pathway V in the network of the second period.

In this figure, cross-section terms can be found in the subnetwork at the centre. They have connections to many other terms. The study of Pathway III is even more interesting. Figures 6 and7 show respectively the terms of Pathway III ("Nanoparticle", "Imager") in the network of the first period and the second period. In the first period, the terms "Nanoparticle" and "Imager" are unusual. Indeed, their position is marginal with respect to the strong subnetworks of the P1 graph (figure 6). Conversely, these terms play a more important role in the second period: they are located in the core of important and dense networks of the P2 graph (figure 7). Furthermore, as figure 8 shows, these two terms are connected to many other terms in the network of the second period.

Cluster analysis

The 8,169 records delivered by the PASCAL database query have been split into two corpora according to their publication year: 2000 to 2004 (P1) and 2005 to 2010 (P2). In the first period, we obtained 2,950 documents and 6,735 different keywords among which 5,257 (78%) appear less than 4 times. The second period had 5,219 articles and 6,378 keywords among which 3,976 (62%) occur less than 4 times. The clustering step was preceded by an expert revision of the keyword index of each period corpus in order to detect the presence of indexing artefacts, to homogenize the variational forms of common concepts and to eliminate keywords that are not discriminating in the context of our analysis. For instance, all the keywords employed in the query have been discarded. On the other hand, the expert decided to take into account only the keywords occurring at least 4 times in the two corpora. After this terminology validation step, we obtained for P1 and P2 two indexes formed, respectively, by 1,472 and 2,391 keywords that were the input data of the clustering step.

After that, we study the evolution of the clusters between P1 and P2 with the help of a comparison matrix before its validation by the experts.

Clustering step

We applied a clustering algorithm on each one of our two corpora in which the documents are represented by the keywords existing in the bibliographic records. In the table 11, we present, for the two periods, the name of the obtained clusters and the number of theirs keywords and documents. The homonymous clusters are highlighted.

Nb keywords

Nb records

Second period Nb keywords

Nb records

First period

Cluster The clustering algorithm produced 20 clusters involving 2,938 documents and 823 keywords in P1, and 20 clusters relating 5,214 documents and 937 keywords in P2. Let us notice that the important reduction, in both periods, of the number of keywords associated to the clusters, around 85% with respect to the initial number of terms obtained directly from the query results, does not entail a significant loss of information at the level of the documents. Indeed, despite these huge reductions of terminology, we always had almost 100% of the initial information corpora in the clusters. The figures 9 and 10 show the cluster maps obtained for, respectively, P1 and P2. In Stanalyst, the level of connexions is code-coloured. Since these colours do not come out in print, we mentioned in figure 9 and 10 the level next to the connexion with a symbols going from L1 (strongest connection) to L8 (weakest connection).

Comparison matrix analysis

The main purpose of the diachronic cluster analysis is to determine which topics of the second period find their roots in the first one and which new topics emerge in the second period. In order to analyze the evolution of the cluster vocabulary between the two considered periods, we built a comparison matrix pointing out the percent of keywords belonging to the second-period clusters and already existing in the first-period clusters. The cumulated percentage is also calculated for each second-period cluster. Using this matrix, we can identify different cluster behaviours: stability, fusion or splitting. Using the cluster maps, we can also detect status change of the clusters in the global network. The comparison matrix is showed in table 12. For instance, if we consider the row 17 of the matrix, corresponding to the cluster "Nanostructure" of P2, we can see that 26% (see element highlighted) of its keywords come from the cluster "Chemical synthesis" (see column 4) of P1. Furthermore, the cumulated values of the set of inheritances of each cluster of P2, in terms of keywords already present in the clusters of P1, are given in the marginal column.

P2/P1 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 1 3 0 3 7 0 0 0 0 0 7 22 0 0 0 3 7 7 0 7 0 66 2 0 42 4 0 0 4 0 0 0 0 0 4 0 0 0 0 0 9 0 0 63 3 0 0 0 4 2 0 24 0 0 21 4 0 26 0 0 34 0 0 7 0 122 4 2 6 2 2 0 4 0 2 6 0 0 2 0 2 4 0 4 0 0 0 36 5 3 1 8 2 0 0 0 1 0 0 0 3 0 3 2 0 2 7 5 12 49 6 4 1 8 5 0 0 0 0 0 0 0 5 0 2 2 0 1 8 1 11 48 7 8 5 1 0 3 5 0 0 3 0 0 1 0 3 7 0 26 0 1 3 66 8 0 0 0 12 4 5 4 0 5 4 31 0 4 0 5 5 0 1 1 0 81 9 2 0 11 0 0 0 0 3 0 0 0 6 0 5 1 0 0 4 7 3 42 10 1 0 5 0 0 0 0 2 0 1 0 1 2 4 0 1 2 4 51 4 78 11 0 7 2 7 11 33 4 0 40 2 14 0 4 0 0 4 7 0 0 0 135 12 0 0 0 0 2 0 13 0 0 5 2 0 73 0 0 15 0 0 5 0 115 13 2 10 2 0 0 0 0 2 0 0 5 5 0 2 0 0 0 18 0 7 53 14 12 0 4 0 0 1 0 6 0 0 0 1 0 7 9 0 11 3 0 12 66 15 8 1 4 1 1 0 0 2 1 0 4 1 0 7 15 0 7 0 2 3 57 16 5 0 8 5 4 0 0 7 0 0 0 0 0 5 8 0 7 1 7 7 64 17 1 1 3 26 1 1 5 0 1 1 9 1 5 0 5 5 1 0 0 1 67 18 1 0 1 10 0 7 1 0 0 1 12 3 1 1 3 3 1 0 9 0 54 19 4 1 4 3 0 1 0 3 1 0 1 9 0 5 3 0 1 12 4 5 57 20 4 13 0 0 4 9 0 0 4 0 4 13 0 9 13 0 9 13 0 4 99

Experts validation

Starting from these quantitative data the expert worked on the validation of our hypotheses by analysing the contents of the clusters and their relative position in the cluster network drew in the map of each period. Special attention has been paid on the detection of brutal changes of cluster relative position. The expert's analysis confirms the stability of two homonymous clusters between P1 and P2: "Infrared detector" and "Semiconductor laser". The homonymous clusters "Thin film" and "Conjugated copolymer" are rather stable between P1 and P2, but the former shows a higher relative weight of organic towards inorganic materials in P2, and the latter a higher relative weight of devices towards characterization of the materials. Despite their less apparent stability, due to a lower inheritance from P1 to P2, the homonymous clusters "Measurement sensor" and "III-V semiconductors" are stable between P1 and P2. The other clusters of P1 from which they inherit deal with similar topics. The P2 cluster "Optical sensor" does not inherit predominantly from its P1 homonymous. Meanwhile, its stronger keywords inheritance comes from topically close clusters as "Image processing" and "Measurement sensors". This cluster is rather stable between P1 and P2, but it highlights the emergence in P2 of some applications related to biomedical imaging and security. The take off of these new applications of sensors can explain the relatively low inheritance level of the P2 clusters "Optical sensor" and "Optical method".

As the former one, the P2 cluster "Electroluminescence" does not inherit predominantly from its P1 homonymous. Indeed, three P1 clusters hand more keywords down to it than its homonymous: "Photoluminescence", "Conjugated polymers" and "Conjugated copolymers". This fact shows the strong inheritance relation between the studies of P1 related to synthesis of conjugated (co)polymers and characterization of their luminescent properties, and the studies of P2 related to the potential applications of these materials for the design of electroluminescent devices.

The strong inheritance of the P2 cluster "Lighting fitting" from the P1 cluster "LED lamps" shows the importance of the topic dealing with the use of electroluminescent devices as light sources through the two periods of time. In the second period, the weight of this topic is reinforced by the presence of the cluster "Nonimaging optics" and by a growing number of bibliographic records. The P2 cluster "Organic light-emitting devices" inherits most of its keywords from the P1 cluster "Thin films". This relation shows the temporal evolution of the field, from the study of the potential use of thin films and heterostructures in optoelectronic devices in P1, to the fabrication and characterization of these devices in P2. The stronger implication of organic materials in P2, highlighted by the name of the P2 cluster, confirms the tendency formerly observed when analyzing the stability of the homonymous class "Thin films" between P1 and P2. The P2 cluster "Nanostructure" inherits most of its keywords from the P1 cluster "Chemical synthesis", which deals essentially with the synthesis of nanomaterials (nanowires, nanocomposites, nanoboxes, nanospheres…). This inheritance, together with the strong relative growth of the number of documents between the two clusters, shows the growing importance of nanomaterials in the field of optoelectronic devices in P2. Amongst the clusters of P2 showing a low marginal value, "Single photon" gathers bibliographic records dealings with the application of avalanche photodiodes to fields like quantum information, quantum communication or quantum cryptography. This low marginal value is thus closely related to the emergence of a new scientific field. The analysis of the cluster maps obtained for the two periods completes and confirms these observations. In the cluster map of the first period (see figure 11), the four cluster "Conjugated polymers", "Conjugated copolymers", "Electroluminescence" and "Photoluminescence" form a very strong network (N1), This result highlights the importance of organic semiconductors in the field of optoelectronic devices and confirms the conclusion of a former study, in which we analyzed the evolution of the same scientific field over an older time period [START_REF] Schiebel | An advanced diffusion model to identify emergent research issues: the case of optoelectronic devices[END_REF]). This network is still present in the second period, but it has included the cluster "Organic light-emitting device", illustrating the transition from materials to devices. Furthermore, the proximity of the cluster "Nanostructure" shows the growing implication of such materials in optoelectronic devices in P2.

The topic related to imaging devices is already present in the first period (see figure 11), but the corresponding clusters ("Measurement sensor", "Infrared detector", "Optical sensor", "Image processing") do not show strong relations. On the contrary, they form a much strong network (N2) in the second period (see figure 12). Though this topic is not new, the comparison of the two cluster maps give evidence of its growing importance in the second period. Close to this network, the appearance in the second period of the cluster "Single photon" illustrates the emergence of quantum information processing in the field.

Convergence between the two methodologies

Once applied to a corpus of 8,169 PASCAL bibliographic records related to optoelectronic devices and divided into two successive periods (2000 to 2004 and 2005 to 2010), both methodologies lead to complementary and converging results. The stability of inorganic semiconductor materials over the two periods is illustrated by the crossover from the stage "established term" to the stage "cross-section terms" (Pathway V) of keywords like "III-V semiconductors" or "Gallium arsenides" (diffusion model) and by the diachronic stability of the cluster "III-V semiconductors" (cluster analysis).

The leading role of organic materials, and especially organic polymers, over the two periods is highlighted by the presence of keywords like "Conjugated copolymer", "Conjugated polymer" or "Phenylenevinylene derivative polymer" in the "established terms" and "cross-section terms" stages of both periods (diffusion model) and by the strength of the cluster subnetwork N1 right from the first period (cluster analysis).

The growing importance of nanotechnology and nanomaterials in P2 is highlighted by the crossover from the stage "unusual term" to the stage "cross-section terms" (Pathway III) of the keyword "Nanoparticle" (diffusion model) and by the emergent role of cluster "Nanostructure" in the second period map (cluster analysis).

The growing importance of imaging devices in P2 is highlighted by the crossover from the stage "unusual term" to the stage "cross-section terms" (Pathway III) of the keyword "Imager" (diffusion model) and by the strength of the cluster subnetwork N2 in the second period map (cluster analysis).

The emergence in the second period of applications of optical sensors towards biomedical imaging, highlighted by cluster analysis, is illustrated by the appearance of the keyword "Biomedical imaging" amongst the top 10 "unusual terms" of the diffusion model in P2.

The reinforcement of the applications of LED as light sources, highlighted by cluster analysis, is illustrated by the appearance of the keyword "Daylight" amongst the top 10 "unusual terms" of the diffusion model in P2. This keyword is related to studies focused on the design of daylight emitting LED lamps.

Conclusion

It is a challenge to identify emerging technologies. "Optoelectronic devices" is a broad field and by applying the complementary methods presented here, it can be better characterised and described. One particularity of our approach is the alternate utilisation of different bibliometric and/or informetric methods and scientific expertise. This expertise is necessary to validate or to complete the results obtained at each step of the work as well as to get the experts personal input on the matter at hand. This could be time consuming, but with our approach, the amount of data submitted to the experts' appreciation is limited, thus making their task notably easier.

The diachronic approach we adopted consists in splitting the corpus in two periods, applying on the one hand the diffusion model to explore the terminological evolution of the subject field, and on the other hand a content cluster analysis for each period to detect the evolution of the topics by examination of the vocabulary related to the respective clusters.

The application of the diffusion model is a novel bibliometric approach giving a more indepth view of the considered field. Associating terms with technologies allows the development of a new interesting analysis methodology based on the notion of terminology diffusion. The indicators we used such as term frequency, relative term frequency and age of terms helped work out the different features of a field. Exploiting these results, we were able to understand the field specifications. The bibliometric filter assigning keywords to three stages gives an insight on the emergence of research topics in a technology. At a first glance it is a formal taxonomy used to disassemble what is called a technology in its "atoms" of research and traces the breakthroughs if they happen. Terms in the unusual phase show potentials of future developments in a technology although it is neither a prognosis, nor a prediction. To discuss the merit of emergences and research potentialities it is important to obtain a validation of the results from experts in the concerned field.

Our cluster analysis approach allows to have a global view of the field landscape at two successive time periods. The analysis of the cluster contents and their relative position on the cluster maps supplies indications about their similarity with respect to their respective associated keywords. The observation of cluster maps allows to detect exceptional topics and interesting topic sub-sets. Here also, the experts' input remains at each step absolutely necessary to validate and position the analysis results in the field context by giving them a scientific foundation.

Applying at the same time cluster analysis and diffusion model allows to confirm the results detected by each method and also to lead to a deeper understanding and characterization of the technological field. Furthermore, the diffusion model approach allows new interpretation of clustering results introducing external term categorizations.

  2000 to 2004 and 2005 to 2010 delivers: • 2,590 records for the first period (2000-2004) • 5,219 records for the second period (2005-2009/2010 1 ) The 8,169 bibliographic records

Fig. 1 .

 1 Fig. 1. Taxonomy of the migration pathways of terms through different stages of the diffusion model in two time periods

  ,219 references for P2(2005 to 2010). In these bibliographic records:• the technological fields are the PASCAL classification codes, reduced to the classification scheme headings, • the terms are the PASCAL keywords, • a term is considered old if it appears during the first 3 years of a period. For P1, the terms have been dispatched into the three stages according to the following criteria

  Fig. 2. Migration Pathway II The terms which follow Pathway II are: • Sensor materials • Thermal imaging These two keywords play a role in several articles as: • Advanced pixel design for infrared 3D LADAR imaging • Advanced infrared detectors for multimode active and passive imaging applications • Dual-Band MW/LW IRFPAs made from HgCdTe grown by MOVPE • Comparison of QWIP to HgCdTe detectors for gas imaging 4.1.1.2 Pathway V

Fig. 4 .

 4 Fig. 3. Migration Pathway V4.1.1.3 Pathway IIITerms which follow the Pathway III progress from the "unusual stage" in P1 to the "crosssection stage" in P2.

Fig. 5 .

 5 Fig. 5. Pathway V terms in the network of the second period

Fig. 6 .

 6 Fig. 6. Terms of Pathway III in the first period

Fig. 8 .

 8 Fig. 8. Networks of "Imager" and "Nanoparticle" in the second period The visualization obtained with BibTechMon™ thus supports the results of the diffusion model according to Pathway III and Pathway V that is the strong networks built by imaging techniques and nanotechnology in the optoelectronic technological field for the second period.

Fig. 9 .

 9 Fig. 9. Cluster map of P1 (2000-2004), with indication of the strength of the connections

Fig. 11 .

 11 Fig. 11. Networks of clusters for P1

Table 1 .

 1 General scientific fields present in the corpus "Optoelectronic devices"

	ACOUSTICS.
	ANALYTICAL CHEMISTRY.
	ATOMIC AND MOLECULAR PHYSICS.
	BUILDINGS. PUBLIC WORKS.
	CHEMICAL ENGINEERING.
	CHEMICAL INDUSTRY AND CHEMICALS.
	COMPUTER SCIENCE. CONTROL THEORY. SYSTEMS.
	CONDENSED MATTER: ELECTRONIC STRUCTURE, ELECTRICAL,
	CONDENSED MATTER: STRUCTURE, MECHANICAL AND THERMAL
	CROSS-DISCIPLINARY PHYSICS: MATERIALS SCIENCE, RHEOLOGY.
	EARTH, OCEAN, SPACE.
	ELECTRICAL ENGINEERING. ELECTRICAL POWER ENGINEERING.
	ELECTROMAGNETISM, ELECTRON, AND ION OPTICS.
	ELECTRONICS.
	ENERGY.
	FLUID DYNAMICS.
	FUNDAMENTAL AND APPLIED BIOLOGICAL SCIENCES.
	GENERAL AND PHYSICAL CHEMISTRY.
	GROUND, AIR AND SEA TRANSPORTATION, MARINE
	HEAT TRANSFER.
	INFORMATION SCIENCE. DOCUMENTATION.
	INFORMATION, SIGNAL AND COMMUNICATION THEORY.
	INORGANIC CHEMISTRY AND ORIGINS OF LIFE.
	INSTRUMENTS, APPARATUS, COMPONENTS AND TECHNIQUES
	MATHEMATICS.
	MECHANICAL ENGINEERING. MACHINE DESIGN.
	MEDICAL SCIENCES.
	METALS. METALLURGY.
	NUCLEAR PHYSICS.
	OPERATIONAL RESEARCH. MANAGEMENT SCIENCE.
	OPTICS.
	ORGANIC CHEMISTRY.
	PHYSICOCHEMISTRY OF POLYMERS.
	PHYSICS OF ELEMENTARY PARTICLES AND FIELDS.
	PHYSICS OF GASES, PLASMAS AND ELECTRIC DISCHARGES.
	POLLUTION.
	POLYMER INDUSTRY, PAINTS, WOOD.
	SOLID MECHANICS.
	TELECOMMUNICATIONS.

Table 4 .

 4 The top 10 countries in terms of affiliation rates in the first and second periods This literature is of English expression in more than 99 % of documents and was published in 14 and 11 countries, respectively, in the first and second period. In table 5, we give the top 5 publishing countries for both periods. The USA strengthens its first place, the Netherlands rate grows up and the rates of Switzerland, United Kingdom and Germany go down.

		First period			Second period
	Rank	Country	% of	Rank	Country	% of
		publications		publications
	1	USA	41	1	USA	58
	2	Switzerland	16	2	Netherlands	15
	3	UK	14	3	UK	12
	4	Germany	12	4	Switzerland	9
	5	Netherlands	11	5	Germany	4
	… 14			… 11

Table 5 .

 5 The top 5 countries in terms of publishing rates in the first and second periods

Table 10 .

 10 table, presenting the top 10 terms of each stage: Top 10 terms for the second period(2005 -2010)

	Unusual terms	Established terms		Cross-section terms
	CMOS image sensors	Binary compound	Photoluminescence
	Thermal imaging	Semiconductor materials Ternary compound
	Sensor materials	Quantum well	Thin film
	Imager	Gallium nitride	Conjugated copolymer
	Chip	III-V semiconductors	Quantum yield
	Test	Optical absorption	Phenylenevinylene derivative polymer
	Spatial resolution	Molecular beam epitaxy Measurement sensor
	Digital image	Gallium arsenides	Phenylene derivative copolymer
	Organometallic compound Gallium Nitrides	Crystal growth from vapors
	Diode array	Injection laser	Silicon
	Table 8. Top 10 terms for the first period (2000 -2004)
	The P2 terms have been dispatched into three stages according to the following criteria:
			STAGE 1		STAGE 2	STAGE 3
	Consider a specific term for the	Unusual terms	Established	Cross-section
	following indicators		in a considered	terms in a	terms regarding
			field		considered field	a considered
					field
	Total frequency		between 8 and	> 80	> 50
			40
	Number of fields where the term			< 16	≥ 16
	occurs (diffusion of a term)
	Ratio of the frequency in the	> 0.7		> 0.7	< 0.9
	considered field to total frequency -
	Field Focus
	Age of the term		young		old	old
	Year of first occurrence		2008-2010		2005-2007	2005-2007
	Table 9. Filter for the corpus of the second period (2005 -2010) for 5,219 records
	The criteria are similar to the first period (see below Table 7) but adapted to the number of
	records of 5,219 records of this second period. Therefore the numbers of the total frequency
	differs from them in the first period.

This filtering results in table 10, presenting the top 10 terms of each stage.

Table 12

 12

	. Comparison matrix of the keywords of the two periods: P1 (2000-2004) and P2
	(2005-2010)

Table 13 .

 13 Clusters singularized in second period

2010 can not be complete: the data, recorded on June

2010, contains around a half of the expected production of one entire year

Acknowledgement

This work was carried out thanks to a European Union funding: Project number 15615 NEST Programme launched within the framework of the 6 th Research and Development Framework Plan. The project acronym was PROMTECH and the project full title was "Identification and Assessment of Promising and Emerging Technological Fields in Europe". The Consortium was composed by the Austrian Institute of Technology GmbH (AIT, Vienna, Austria), the Fraunhofer Institut für Systemtechnik und Innovationsforschung (ISI, Karlsruhe, Germany) and the Institut de l'Information Scientifique et Technique (INIST-CNRS, Vandoeuvre-lès-Nancy, France).


Kafil Hajlaoui
email: kafil.hajlaoui@inist.fr

Pascal Cuxac
email: pascal.cuxac@inist.fr

Jean Charles Lamirel

Claire François
email: claire.francois@inist.fr

Aide à l'expertise des brevets par alignement avec les publications scientifiques

Keywords: Classification supervisée, Veille scientifique et technique, Brevets, K-PPV, Règles d'association Supervised classification, Technological and scientific survey, Patents, KNN, Association rules Palabras clave : Clasificación supervisada, escudriñar científico y tecnológico, patentes

K-NN, reglas de asociación

Résumé

Ce travail s'inscrit dans le cadre du programme de recherche QUAERO 1 , un vaste projet de recherche et d'innovation se rapportant au traitement automatique de contenus multimédias et multilingues. L'objectif abordé dans cet article est de proposer une méthode de classification automatique d'articles dans un plan de classement international de brevets relevant du même domaine. La finalité applicative de ce travail est de proposer une aide aux experts dans le processus d'évaluation de l'originalité et la nouveauté d'un brevet, en lui proposant les citations scientifiques les plus pertinentes. Ce problème soulève de nouveaux défis en catégorisation liés du fait que le plan de classement des brevets n'est pas directement adapté à la structure des documents scientifiques et que la répartition des exemples disponibles n'est pas nécessairement équilibrée entre les différentes classes d'apprentissage. Nous proposons pour les résoudre d'appliquer une amélioration de l'algorithme des K-plus-proches-voisins (K-PPV) se basant sur l'exploitation des règles d'associations entre les termes descripteurs des documents et ceux des classes de brevets. En utilisant conjointement comme référentiels une base de brevets du domaine de la pharmacologie et une base bibliographique du même domaine issue de la collection Medline, nous montrons que cette nouvelle technique de catégorisation, qui combine les avantages des approches numériques et ceux des approches symboliques, permet d'améliorer sensiblement les performances de catégorisation, relativement aux méthodes de catégorisation usuelles, dans le cas du problème posé.

Introduction

La catégorisation automatique de textes (CAT) vise à regrouper, souvent selon des thèmes communs, les documents ayant des caractéristiques spécifiques et homogènes [START_REF] Cohen | A survey of current work in biomedical text mining[END_REF]. La première étape ce type de catégorisation est la transformation des documents en une représentation appropriée pour le classifieur. Cette transformation vise à pondérer et à réduire l'espace de représentation des documents tout en ménageant la possibilité de discriminer entre ces derniers. Elle comprend usuellement des opérations de suppression des mots vides, de lemmatisation, de sélection et de pondération des descripteurs. La deuxième étape est l'apprentissage : le système apprend à classer les documents selon un modèle de classement où les classes sont prédéterminées et les exemples sont connus et correctement étiquetés d'avance.

La catégorisation automatique de textes a été l'un des domaines les plus étudiés en apprentissage automatique [START_REF] Hillard | An active learning framework for classifying political text[END_REF]. En conséquence, une variété d'algorithmes de classification ont été développés et évalués, souvent dans des applications telles que le filtrage des mails [START_REF] Cormack | Online supervised spam filter evaluation[END_REF] ou l'analyse des opinions et des sentiments [START_REF] Pang | Opinion mining and sentiment analysis[END_REF]. Dans le domaine des sciences sociales, l'apprentissage automatique a été utilisé dans la classification d'actualités [START_REF] Purpura | Automated classification of congressional legislation[END_REF] [START_REF] Evans | Recounting the courts? Applying automated content analysis to enhance empirical legal research[END_REF], ou des blogues [START_REF] Durant | Predicting the Political Sentiment of Web Log Posts Using Supervised Machine Learning Techniques Coupled with Feature Selecti on[END_REF]. Parmi les méthodes d'apprentissage les plus souvent utilisées, figurent les réseaux de neurones [START_REF] Wiener | A Neural Network Approach to Topic Spotting[END_REF] [START_REF] Schütze | A Comparison of Classifiers and Document Representations for the Routing Problem[END_REF], les K-plus-proches-voisins (K-PPV) [START_REF] Yang | An example based mapping method for text categorization and retrieval[END_REF], les arbres de décision [START_REF] Lewis | Comparison of two learning algorithms for text categorization[END_REF] [27] [START_REF] Apte | Text mining with decision rules and decision trees[END_REF], les réseaux bayésiens [START_REF] Lewis | An Evaluation of Phrasal and Clustered Representations on a Text Categorization Task[END_REF] [START_REF] Joachims | A Probabilistic Analysis of the Rocchio Algorithm with TFIDF for Text Categorizati on[END_REF], les machines à vecteurs support (SVM) [11], et plus récemment, les méthodes basées sur le boosting [START_REF] Schapire | Boosting and Rocchio applied to text filtering[END_REF] [START_REF] Iyer | Boosting for document routing[END_REF]. Bien que beaucoup de méthodes développées dans le domaine de la catégorisation automatique de textes ont permis d'atteindre des niveaux de précision appréciables lorsqu'il s'agit de textes à structure simple (par ex. courriels, résumés, etc.), il reste néanmoins encore de nombreux défis à relever dans le cas de documents complexes, ou, comme le cas que nous traitons, si le plan de classement des documents n'est pas directement adapté à leur contenu et si la répartition des exemples entre les différentes classes d'apprentissage n'est pas équilibrée.

Plusieurs travaux ont été réalisés plus spécifiquement sur des données issues de la base Medline. Ces travaux illustrent plus particulièrement l'importance des étapes de prétraitement et de représentation des données dans le cadre de la catégorisation des textes. Dans [START_REF] Lan | Text representations for text categorization: a case study in biomedical domain[END_REF], les auteurs montrent qu'avec une représentation de textes basée sur l'approche dite « sac de mots », la pondération des termes extraits augmente significativement la performance du classifieur. Pour classer un article scientifique dans un sujet (thème), Suomela et Andrade [START_REF] Suomela | Ranking the whole MEDLINE database according to a large training set using text indexing[END_REF], se basent quant à eux sur la fréquence des termes, en restreignant ces derniers à des classes lexicales prédéfinies (Noms, Adjectifs, Verbes). Les auteurs évaluent leur proposition en utilisant des thèmes issus de la base Medline, et obtiennent une performance F-score de 65%. La même approche est reprise par le système MedlineRanker web-service [START_REF] Fontaine | MedlineRanker: flexible ranking of biomedical literature[END_REF] qui permet de retrouver une liste pertinente de notices Medline à partir d'un ensemble de mots-clés définis par l'utilisateur. Les travaux de Yin et al. [START_REF] Yin | Document classification for mining host pathogen protein-protein interactions[END_REF] portent sur l'identification et l'extraction des interactions entre protéines à partir des articles Medline. Les documents sont traités en utilisant des bi-grammes. Avec la méthode SVM, les auteurs obtiennent une performance de 50% de vrais positifs, et un taux de rappel de 51%. Récemment la tâche d'évaluation Bio-creative III a proposé comme challenge la classification d'articles Medline spécifiques au domaine biomédical [START_REF] Krallinger | Results of the BioCreative III (Interaction) Article Classification Task[END_REF]. Sur cette collection, les meilleures performances ont été obtenues, avec une précision de 89,2% et un F-score de 61,3%. L'évaluation des brevets est une opération jusqu'ici manuelle qui fait intervenir des groupes d'experts ayant des compétences dans le domaine d'analyse et qui connaissent parfaitement l'objet des brevets. Elle s'appuie sur des références et des citations vers des documents scientifiques pertinents (articles, thèses, ouvrages…). Un classement automatisé des publications dans les classes de brevets peut donc constituer une aide précieuse pour les experts. Cette démarche implique de classer des articles scientifiques (notices) dans un plan de classement des brevets ; il ne s'agit donc pas d'une problématique traditionnelle de la classification automatique, car le plan de la classification utilisé n'est pas a priori adapté à une classification de notices bibliographiques d'articles scientifiques.

Dans ce nouveau contexte, deux alternatives sont possibles. Une première alternative est de concevoir une passerelle entre le plan de classement des publications et celui des brevets. Cette démarche est cependant difficile à mettre en oeuvre car elle implique l'exploitation intensive de techniques très lourdes de comparaison d'arbres (matérialisés ici par les plans de classement), et doit s'opérer en partie de manière supervisée. Une deuxième alternative est d'élaborer un système de classification des notices bibliographiques dans le plan des brevets. Elle est basée sur l'hypothèse que les citations scientifiques qui apparaissent dans un brevet sont fortement liées au domaine du brevet, donc au code de classement de ce dernier. Dans ce cadre, le corpus d'apprentissage d'une classe donnée représentera alors l'ensemble des citations extraites des brevets de cette classe. Même si cette idée est plus facile à mettre en oeuvre, elle implique néanmoins de résoudre un problème supplémentaire qui est celui d'avoir à disposition un nombre équivalent d'exemple d'apprentissage (i.e. de citations de publications) dans chacune des classes de brevets, ces classes n'ayant pas nécessairement elles-mêmes un effectif homogène, en termes de brevets.

Dans les sections suivantes, nous menons une expérimentation complète de catégorisation des publications à partir d'un corpus de brevets issus du domaine de la pharmacologie et d'un corpus bibliographique issu de la collection Medline. Dans la première section, nous présentons notre stratégie de constitution du corpus expérimental et nous illustrons les phénomènes de déséquilibre des exemples d'apprentissage et de similarité des classes qu'il est possible d'observer. En exploitant les méthodes de catégorisation usuelles, nous illustrons ensuite, dans la seconde section, l'influence de la stratégie de choix des termes descripteurs utilisés pour les documents-exemples sur les résultats de catégorisation. Deux approches sont plus particulièrement abordées, la première basée sur l'exploitation directe des mots-clés Medline, la seconde basée sur l'extraction d'index à partir du texte plein des titres et résumés en utilisant une plateforme de traitement linguistique. Dans la troisième section, nous présentons une adaptation de l'algorithme des K-plus-proches-voisins (K-PPV) se basant sur l'exploitation des règles d'associations identifiées entre les termes descripteurs des documents et ceux des classes de brevets. Nous montrons qu'elle permet d'améliorer les résultats obtenus dans notre contexte d'apprentissage. La dernière section présente notre conclusion et nos perspectives.

Constitution et indexation du corpus 2.1 Extraction des données

La ressource principale de notre corpus est une collection de brevets du domaine de la pharmacologie auxquels sont associés des citations bibliographiques. Les notices brevet au format XML sont au nombre de 6387 réparties dans les 15 classes de la catégorie A61K (préparations à usage médical…). Comme l'illustre la figure 1, nous commençons par l'extraction des références à partir des brevets. Grace à des robots web, nous interrogeons une base de données de publications pour extraire les notices relatives aux références collectées. Chaque notice est ensuite étiquetée par la classe du brevet citant. L'ensemble des notices étiquetées représente notre corpus d'apprentissage.

Nous avons interrogé la base de données Medline 2 qui est spécialisée dans le domaine de la médecine et qui, d'autre part, bénéficie de mises à jour régulières. A partir des 6387 brevets, nous avons extraits 25887 références de types bases de données, livres, encyclopédie… et articles scientifiques. L'interrogation de Medline avec les références de types articles scientifiques nous a fourni 7501 notices, ce qui représente un rappel de 90% relatif à ce type de références.

Représentation des données

Dans la classification automatique de textes, le choix de représentation des documents est une étape cruciale. Une approche fréquente consiste à faire appel à une représentation dite « sac de mots », où la seule information utilisée est la présence et/ou la fréquence de certains mots. Dans notre contexte, nous utilisons une représentation vectorielle des documents selon le modèle de Salton [START_REF] Salton | Automatic processing of foreign language documents[END_REF], de manière à pouvoir représenter les documents sous forme de vecteurs de mots pondérés. Chaque notice de la collection est représentée comme un vecteur dans un espace à N dimensions, où N est le nombre total des termes extraits de la collection de notices. L'ensemble de la collection des notices est représenté par une matrice de dimension (N +1) x J, où J est le nombre de notices dans la collection. Chaque ligne j de cette matrice est un vecteur à N dimensions auquel on ajoute l'étiquette de la classe pour la notice j. Si un descripteur i n'est pas produit par la notice j, alors la valeur a ij de la matrice vaut 0. Dans le cas contraire, a ij prend une valeur positive. La méthode pour calculer cette valeur positive dépend à la fois du choix de représentation et du choix de pondération des descripteurs.

Nous avons ensuite construit nos descriptions à partir de deux approches différentes, une première basée sur les mots-clés présents dans les notices, et une approche alternative, basée sur les lemmes issues du traitement du texte plein des résumés à partir de méthodes de traitement automatique des langues (TAL La sélection d'attributs selon les catégories grammaticales permet d'identifier par exemple des traits de jugement subjectif pour la classification de documents par genre ou par opinion. Il serait donc pertinent, dans notre cas, de mesurer l'impact de l'utilisation de descripteurs fondés sur la sélection de catégorie(s) grammaticale(s). Cette étude peut permettre de réduire de manière conséquente la taille de l'espace de description. De plus, nous avons décidé de retenir les mots lemmatisés '<unknown>' par TreeTagger et catégorisés comme nom sous leur forme non lemmatisée (NN). Par exemple, dans le cas illustré à la figure 3, nous avons retenu le mot 'pleurodesis' pour la classification.

La pondération fréquentielle se fonde sur le nombre d'occurrences des descripteurs dans un document. Cependant, en procédant de la sorte, on donne une importance trop grande aux descripteurs qui apparaissent très souvent dans un grand nombre de documents et qui sont peu représentatifs d'un document en particulier. On trouve dans la littérature [START_REF] Vincarelli | Indexation de documents manuscrits[END_REF] [20] [START_REF] Jones | A statistical interpretation of term specificity and its application in retrieval[END_REF] une autre mesure de poids, connue sous le nom de TF.IDF (Term Frequency Inverse Document Frequency). Elle permet de mesurer l'importance du mot en fonction de sa fréquence dans le document (TF=Term Frequency) pondérée par la fréquence d'apparition du terme dans tout le corpus (IDF=Inverse Document Frequency).

. ( , ) ( , ) ( ) Nous proposons donc à la section suivante une amélioration basée sur la meilleure méthode, à savoir celle des K-PPV, et susceptibles de prendre en compte les caractéristiques spécifiques du corpus, à savoir le déséquilibre entre les classes d'apprentissage et la forte similarité entre ces dernières.

k j k j k Tf Idf

La méthode K-PPVBA-2T

Dans cette partie, nous nous intéressons à une amélioration de l'algorithme K-PPV exploitable dans le contexte de notre problème. Nous allons présenter une définition générale des règles d'association. Ensuite, nous suggérerons une nouvelle approche pour calculer le poids des attributs des classes par l'utilisation d'un type particulier de règles d'association. Enfin, pour obtenir plus de précision dans la classification des données nous présenterons un nouvel algorithme appelé « K-PPVBA-2T » inspiré de la méthode développée antérieurement par Mordian et al. [START_REF] Mordian | k-Nearest Neighbours Based Association Algorithm[END_REF]. 1) Recherche des tous les « patrons » ou itemsets fréquents, qui apparaissent dans la base de données avec une fréquence supérieure ou égale à un seuil défini par l'utilisateur, appelé minsup.

4.1.

Règles d'association

2) Génération, à partir de ces patrons fréquents, de l'ensemble des règles d'association ayant une mesure de confiance supérieure ou égale à un seuil défini par l'utilisateur, appelé minconf.

L'algorithme K-PPVBA-2T

K-PPVBA est une amélioration de l'algorithme des K-PPV. L'objectif est d'attribuer des poids à chaque attribut en utilisant les règles d'association. Nous avons utilisé les règles d'associations qui permettent d'identifier les termes les plus représentatifs d'une classe donnée. Chaque transaction est composée de l'ensemble des termes extraits (attributs) et de l'étiquette de la classe. Après la génération des règles, on ne garde que les règles de type :

Classe Attribut  et Classe Attribut Attribut  2 1 ,
.

Les règles composées de trois attributs sont rares et ne sont pas déterminantes. L'idée est que si deux attributs, attribut 1 et attribut 2 sont associés ensembles à une classe et si chacun d'eux individuellement est associé à la même classe, ces deux attributs sont jugés pertinents. La force informationnelle de chacun des deux attributs déduite de leur association, est plus importante que la force informationnelle d'un attribut seul. Nous l'appliquons en deux versions : une première (K-PPVBA-1T) où nous ne prenons en compte que les règles composées d'un seul attribut (Terme). Une deuxième version (K-PPVBA-2T) où les règles d'un seul attribut sont déduites des règles de deux attributs. La fonction de pondération se base sur deux paramètres : le plus grand support pour chaque attribut noté G_sup et aussi la plus grande confiance pour chaque attribut appelé G_conf. Par conséquent, la formule de la distance de l'algorithme K-PPV doit être modifiée en ajoutant le vecteur poids (W) défini comme :

[] 1 [ ] ( ) 1 sup i Wi G  
La nouvelle formule de calcul de distance utilisée dans la méthode K-PPVBA-2T, s'écrit alors : Cette technique étend ainsi la méthode des K-plus-proches-voisins selon deux voies :

     n i bi ai x x i W b a D 1 2 ) ( ] [ )
1) Tout d'abord, un schéma de pondération des descripteurs est introduit en fonction de leur poids informationnel par rapport à toutes les classes.

2) Le vote des plus proches voisins est basé sur une fonction étendue par le vecteur w. La seconde extension utilise la force d'activation des termes par rapport à toute la distribution des classes.

Cette extension est fondée sur l'idée que les observations de l'échantillon d'apprentissage, qui sont particulièrement proches de la nouvelle observation (y, x), doivent avoir un poids plus élevé dans la décision que les voisins qui sont plus éloignés du couple (y, x). Ce n'est pas le cas avec la méthode K-PPV : en effet seuls les k plus proches voisins influencent la prédiction, mais l'influence est identique pour chacun des voisins, indépendamment de leur degré de similarité avec (y, x). Pour atteindre ce but, les distances, sur lesquelles la recherche des voisins est fondée dans une première étape, sont transformées en fonction de la force (i.e. du pouvoir) du terme à activer la classe. Le tableau 3 donne les résultats de précision obtenus après l'application des trois algorithmes d'apprentissage sur le corpus des notices (lemmes : NVA) avec une pondération TF-IDF. Les meilleurs résultats sont obtenus avec l'algorithme K-PPVBA-2T comparativement aux algorithmes K-PPV et K-PPV -1T. Nous constatons que le pourcentage des notices bien classées, grâce à la pondération du vecteur W, passe de 61% à 65% avec K-PPVBA-1T et à 67% avec K-PPVBA-2T. L'approche K-PPV BA-2T améliore donc sensiblement les performances de la classification sur notre base de test. Comme le montre la figure 6, nous avons, grâce à cette approche, joué à la fois sur la correction de la distribution des termes dans les classes et sur la correction de la similarité entre les classes. Comme le montre également la figure, le lissage de la distribution des termes n'est cependant pas effectif sur la plus grosse classe (A61K31) qui reste toujours une classe majoritaire.

Discussion et Conclusion

La classification d'articles scientifiques dans un plan de classement de brevets est un véritable challenge, ce type de plan étant très détaillé et finalement peu adapté contenu des documents scientifiques.

Dans cet article nous avons présenté une nouvelle méthode de classification supervisée issue de la méthode des K-PPV. Cette méthode que nous avons nommée K-PPV-BA-xT exploite une pondération des termes descripteurs des classes basée sur les règles d'association induites par ces termes. Nous l'avons appliqué sur un corpus de notices bibliographiques issues de la base Medline, dans le but des les classer dans un plan de classement de brevets du domaine de la pharmacologie. Cette nouvelle méthode offre des performances très intéressantes dans notre cas d'étude. Cependant le déséquilibre et la similarité de la description des classes obtenues restent toujours des problèmes majeurs qui freinent l'amélioration des performances de la classification automatique des Nous comptons également expérimenter notre méthode K-PPVBA-2T avec des benchmarks internationaux reconnus afin de nous comparer plus efficacement aux algorithmes existants.

Annexe

Algorithme: KNNBA-2T

Figure 1 :

 1 Figure 1 : Processus de construction du corpus d'apprentissage La figure 2 résume la répartition des notices du corpus. Au vu de ces chiffres, il semble clair qu'un des critères importants pour le choix de la méthode de classification sera sans doute sa capacité à traiter le déséquilibre des exemples entre les classes. En effet la distribution des notices entre les classes est très hétérogène : nous avons des sous-classes qui ne contiennent que quelques dizaines de notices en comparaison avec d'autres qui en contiennent plus de 2500.

Figure 2 :

 2 Figure 2 : Répartition des données dans les classes : brevets-notices-termes

Figure 4 :

 4 Figure 4 : Similarité Classe/Classe

  La méthode d'extraction de règles d'associations représente une méthode permettant de découvrir des relations pertinentes entre deux ou plusieurs variables. Cette méthode se base sur des lois locales et ne nécessite pas d'intervention de l'utilisateur (on laisse le système s'auto-organiser). Elle permet d'identifier, à partir d'un ensemble de transactions, un ensemble de règles qui expriment une possibilité d'association entre différents items (mots, attributs, concepts). Une transaction est une succession d'items exprimés selon un ordre donné ; de plus, les transactions peuvent être de longueurs différentes. La pertinence d'une règle d'association ainsi extraite est mesurée par son indice de support et son indice de confiance. Si on a une règle d'association : XY  alors les indices de support et confiance sont définies par les deux équations suivantes : qu'un enregistrement contienne à la fois X et Y, et ) ( X Y P est la probabilité conditionnelle d'avoir Y sachant qu'on a X. La première méthode efficace d'extraction de règles d'association a été introduite par Agrawal pour l'analyse du panier de la ménagère, par l'intermédiaire de l'algorithme Apriori [AGR]. Le fonctionnement de cet algorithme peut être décomposé en deux phases :

Figure 5 :

 5 Figure 5 : Processus générale de l'approche K-PPVBA

Figure 6 :

 6 Figure 6 : Correction du déséquilibre et de la similarité des classes avec l'approche K-PPVBA-2T

}

  un modèle des données d'apprentissage étiquetées avec Ri ; Ri : une instance de D tqri : (Att1i,Att2i,…,Attni,ClassEtq) ; T: est un nouveau Modèle de test non étiquetées ; Tab_G_Sup: Tableau de supports de tous les attributs ; Tab_G_Conf: Tableau de confiance de tous les attributs ; Min_Sup : seuil de support défini par l'utilisateur ; Min_Conf: seuil de confidence défini par l'utilisateur ; Choix de k: k plus proches voisins déterminé par l'utilisateur (impair); Retour l'étiquette de classe ; End : fin classification ;

  annoter automatiquement un texte avec des informations morphosyntaxiques alors qu'un lemmatiseur associe un lemme, ou racine syntaxique, à chaque mot du texte. Dans un premier temps, les documents ont été lemmatisés. La suite des analyses a été effectuée sur les formes lemmatisées, sauf lorsque le mot était inconnu du tagger et, dans ce cas, la forme originale a été conservée. Les signes de ponctuation et les nombres, identifiés par le tagger, ont été supprimés. Un exemple de sortie du programme TreeTagger 3 est donné à la figure3.

	The	DT	the
	most	RBS	most
	widely	RB	widely
	used	VVN	use
	therapeutic	JJ	therapeutic
	modality	NN	modality
	is	VBZ	be
	chemical	JJ	chemical
	pleurodesis	NN	<unknown>

). L'objectif de cette dernière approche est d'améliorer la représentation du contenu des documents. Pour ce faire nous utilisons le programme TreeTagger

[START_REF] Schmid | Probabilistic part-of-speech tagging using decision trees[END_REF]

qui est à la fois un étiqueteur et un lemmatiseur développé par l'Institute for Computational Linguistics de l'Université de Stuttgart. Un étiqueteur est un outil qui permet d'Figure 3 : Exemple d'une phrase étiquetée et lemmatisée par TreeTagger 3

  http://www.ims.uni-stuttgart.de/projekte/corplex/TreeTagger/Penn-Treebank-Tagset.pdf où S est le nombre de documents dans le corpus et () k DF t est le nombre de documents contenant k t . dernière mesure permet de donner un poids plus important aux mots discriminants d'un document. Inversement, un terme apparaissant dans tous les documents du corpus aura un poids faible, voire nul.Dans l'ensemble des tests, nous appliquons deux techniques de pondération différentes selon les descripteurs extraits. Pour les lemmes nous pondérons conjointement par la technique fréquentielle (TF) normalisée par la valeur maximum de fréquence et par la technique IDF. Pour les mots-clés, la technique TF n'a pas de sens puisque les termes d'indexation documentalistes ne sont pas redondants. C'est pourquoi nous n'utilisons dans ce cas que la technique IDF pour la pondération.

					Tableau 2 : Résultat de la classification basée sur l'indexation par lemmes
		Algorithmes			KNN					NB			SVM
	mesure Cette 3. Classification A N NA NV NVA	Fréquentiel Précision Rappel Précision Rappel Précision Rappel Précision Rappel Précision Rappel Précision Rappel TF-IDF Fréquentiel TF-IDF Fréquentiel TF-IDF 0,42 0,36 0,42 0,36 0,38 0,2 0,37 0,18 0,45 0,46 0,45 0,46 0,5 0,41 0,52 0,4 0,43 0,31 0,44 0,28 0,54 0,55 0,54 0,55 0,55 0,4 0,57 0,39 0,45 0,36 0,46 0,36 0,55 0,55 0,55 0,55 0,49 0,38 0,52 0,38 0,44 0,35 0,44 0,31 0,53 0,54 0,53 0,54 0,6 0,54 0,61 0,55 0,44 0,34 0,45 0,34 0,54 0,55 0,55 0,55
	où	t D Booléen TF t D  NB Précision Rappel Précision Rappel Précision Rappel Précision Rappel Précision Rappel Précision Rappel Idf t  TF t D est le nombre d'occurrences de k ( , ) kj t dans j D , et, Algorithmes KNN SVM mesure Booléen IDF IDF Booléen IDF Nombre de couple NB_couple 0 2 4 6 8 11 14 17 20 23 26 29 32 35
		mots-clés	0,39	0.1	0,39	0.2	0,39	0.3	0,43	0.4	log () k 0,47 0,43 S DF t Intervale de simularité () k Idf t 0,4  0.5 0.6 0.7	0,44 0.8	0,4 0.9	0,45 1	0,4	0,45

3

Pour évaluer la pertinence des différentes méthodes d'indexation et de pondération, nous avons choisi d'utiliser trois classifieurs pour la classification supervisée : un classifieur de type K-plus-proches-voisins (K-PPV) exploitant une distance euclidienne, un classifieur fondé sur les machines à vecteurs supports (SVM) et un classifieur probabiliste (Naive Bayes). Le choix s'est fixé sur ces trois méthodes parce qu'il s'agit des algorithmes d'apprentissage supervisé qui donnent le plus souvent les meilleurs résultats pour la classification des textes

[START_REF] Sebastiani | A tutorial on automated text categorisation[END_REF]

[START_REF] Yang | A reexamination of text categorization methods[END_REF]

. Ces algorithmes sont utilisables sous l'environnement Weka 4 .

Dans la le cas des de l'indexation basée sur les lemmes, nous présentons les différentes expérimentations que nous avons réalisées, en faisant varier les catégories grammaticales prises en compte dans l'indexation (A : Adjectif, N : Nom, NA : Nom+Adjectif, NV : Nom+Verbe, VA : Verbe+Adjectif, NVA : Nom+Verbe+Adjectif). Les résultats de la classification sont présentés en termes de précision et de rappel. Une précision de 100% signifie que toutes les notices sont classées dans la bonne catégorie. Cette mesure est calculée après l'application d'une validation croisée en dix sous-ensembles (90% du corpus est utilisée pour l'apprentissage et 10% pour le test). Le rappel est le pourcentage de réponses correctes qui sont données.

Tableau 1 : Résultat de la classification basée sur l'indexation par mots-clés

Les tableaux 1 et 2 montrent la précision et le rappel obtenus pour la classification avec les trois algorithmes d'apprentissage sur le même corpus de notices bibliographiques, en faisant varier les méthodes d'indexation. Ils permettent de montrer à la fois que les approches utilisées pour la classification, les méthodes d'indexation et les méthodes de pondération des descripteurs ne sont pas équivalentes dans le cas du problème posé. Ainsi, les meilleurs résultats sur notre corpus sont obtenus avec la méthode K-PPV, combinée à une indexation basée sur les lemmes, impliquant les trois catégories grammaticales (Noms, Verbes, Adjectifs), et une pondération de type TF-IDF, avec une Précision de 61% et un Rappel de 55%. Ces résultats peuvent cependant être considérés comme moyens. Ceci peut s'expliquer par le fait que les exemples d'apprentissage ne sont pas équitablement répartis entre les classes (cf. figure

2

), mais également que les classes sont très proches les uns des autres. Une similarité classe/classe a été calculée et elle montre bien cette proximité (figure

4

), rendant difficile pour tout modèle la détection exacte de la bonne classe. La figure 4 montre ainsi que plus de 70% des couples de classes ont une similarité entre 0,5 et 0,9.

  Le processus général de l'approche K-PPVBA-2T est décrit dans la figure5et est composé de trois phases :Phase 1 : cette phase est constituée de deux étapes. La première étape est la construction des transactions qui représenteront les entrées pour générer les règles d'associations. Chaque document est transformé en une transaction, constituée de l'ensemble des descripteurs représentatifs du document associée à l'étiquette de la classe. La deuxième étape est la génération des règles d'association grâce à un algorithme de recherche de type Apriori[START_REF] Agrawal | Fast algorithms for mining association rules in large data bases[END_REF]. Phase 2 : dans cette phase, nous cherchons à générer un vecteur poids pour tous les attributs de l'espace de description des documents. Pour chaque attribut, un groupe de 15 règles (15 correspondant au nombre de classes) est construit. La règle la plus pertinente (le support le plus élevé, la confiance la plus élevée) est retenue. Le vecteur poids est construit d'après la formule indiquée dans l'algorithme. Phase 3 : cette phase permet d'appliquer l'algorithme K-PPV avec l'extension ajoutée. Pour prédire la classe d'un nouveau document par le calcul de la similarité inter-document, nous prenons en compte le vecteur poids généré dans la phase précédente.

	(	,
	où a et b sont deux documents, ai x et bi x représentent le terme i de chaque vecteur document.

  plan internationale des brevets. C'est pourquoi, nous avons entrepris de nouvelles expérimentations dans le but de combiner notre méthode à des techniques alternatives, et notamment à des techniques plus spécifiques de gestion de l'équilibre des classes.

	notices dans le
		35
		32
			NB_couple_KNN
		29	NB_couple_KNNBA
	Nombre de couple	11 14 17 20 23 26
		0 2 4 6 8
		0.1	0.2	0.3	0.4	0.5	0.6	0.7	0.8	0.9	1
						Intervale de simularité

http://www.quaero.org

http://www.cs.waikato.ac.nz/ml/weka/index.html

http://www.quaero.org

http://www.oseo.fr/

Remerciements : ce travail a été réalisé dans le cadre du programme QUAERO 5 financé par OSEO 6 , agence nationale de valorisation de la recherche.

Bibliographie