A Laurendeau

M Causse

P Guéguen

M Perrault Isterre

L F Bonilla

J Douglas

A set of Eurocode 8-compatible synthetic time-series as input to dynamic analysis

Keywords: Eurocode 8(EC8), spectrum-compatible time-histories, nonlinear site response, structural response

Non-linear dynamic analysis of existing or planned structures often requires the use of accelerograms that match a target design spectrum. Here, our main concern is to generate a set of motions with a good level of fit to the Eurocode 8 (EC8) design spectra for France. Synthetic time series are generated by means of a non-stationary stochastic method. To calibrate the distributions of various strong-motion parameters, we first select a reference set of accelerograms for a type B site category from the PEER Ground-Motion Database, which are then adjusted to the target spectrum through wavelet addition. Finally, we analyse non-linear seismic responses of a soil column including pore pressure effects and ductile structures using these records, revealing considerable variability despite the similarities in terms of spectral acceleration.

INTRODUCTION

The selection of accelerograms for earthquake engineering (both the geotechnical and the structural branches) is becoming increasingly important with the growing use of nonlinear dynamic analysis, for which a set of input motions is a key component. It is vital that this set of motions allows the accurately prediction of the average response of the analyzed system but also an indication of the variability around this average due to possibly variations in ground motions (e.g. [START_REF] Douglas | Strong-motion records selection for structural testing[END_REF]. The Eurocode 8 (EC8) design code gives little guidance on how accelerograms should be selected and hence previous studies have used sets obtained in different ways, including purely natural accelerograms through to purely artificial via various types in between (e.g. [START_REF] Douglas | A survey of techniques for predicting earthquake ground motions for engineering purposes[END_REF]. It is rare, however, to compare the impact of using different techniques on the results of the final engineering analysis. This article presents a comparison of building and soil response analyses conducted using six sets of accelerograms all of which match the French EC8 design spectrum for a B site class but which have been compiled in different ways: scaled natural accelerograms, waveletadjusted natural accelerograms, simple stationary white-noise records filtered to match the design spectrum and two variants of this approach where phases are taken from two sets of natural accelerograms and, finally, records generated by a recently-developed non-stationary stochastic approach. A selection step is proposed for the stochastic approach so as to retain a set of accelerograms that display a similar level of variability to that observed in the natural motions. The article begins with the selection of a reference set of natural accelerograms and a description of the different methods used to develop additional sets of input time-histories. Section 3 presents the results of building response analyses using the six sets and Section 4 discusses the results of using the various accelerograms for site response calculations. The article ends with some brief conclusions.

DATASET

As a common basis for this study we queried the PEER Ground-Motion Database (http://peer.berkeley.edu/peer_ground_motion_database/spectras/new) to find the ten accelerograms with 5.8M w 6.2, 0r rup 20km and 400V s30 600m/s that best match the French version of the Eurocode 8 (EC8) design spectrum for a EC8 class B site (see Table 2.1). This database provides free access to thousands of strong-motion records from shallow crustal earthquakes in active areas and also easy-to-use online tools for the selection of records that match criteria in terms of earthquake scenario, local site conditions and response spectra. In order not to under account for the true variability in ground motions or to bias the results by site-or event-specific characteristics we tried not to select more than one record from a given earthquake or given site. For each triaxial accelerogram, the best matching of the two horizontal components was s e l e c t e d a n d s c a l e d t o a t a r g e t p e a k g r o u n d acceleration (PGA) of 0.22g. This set of accelerograms is the first set of input motions and it is called here: Natural_Scaled. There is a large variability in the response spectra of these accelerograms even though, on average, they match the target spectrum quite well, although the high short-period (<0.1s) energy present in the French EC8 spectra is lacking in these accelerograms. These ten accelerograms were then adjusted using the software SeismoMatch (http://www.seismosoft.com/en/HomePage.aspx), which adds wavelets so that the response spectra more closely match the target without greatly changing the 'look' of the accelerograms. After applying this spectral matching the response spectra show a much closer match to the target spectrum, although again they lack short-period energy, but the accelerograms retain much variability in the time-domain. This is the second set of input motions and it is called here: Natural_Matched. Until recently many engineering studies used SIMQKE [START_REF] Gasparini | SIMQKE: A Program for Artificial Motion Generation[END_REF] to create accelerograms whose response spectra match a target spectrum. Although this technique is no longer considered state-of-the-art, we generate ten accelerograms to match the target EC8 spectrum using SIMQKE as a test of the validity of such an approach. So that the durations of the SIMQKE accelerograms are physically realistic we adopted the exponential envelope function with a and b parameters that lead to a relative significant duration (5-95% of Arias intensity) close to the median duration predicted by the ground-motion prediction equation of [START_REF] Abrahamson | Empirical ground motion models[END_REF] for M w =6 at r rup =10km and V s30 =500m/s. These accelerograms have spectra that exactly match the target and there are all very similar in the time-domain. This is the third set of input motions and it is called here: SIMQKE.

In the original SIMQKE procedure, a white-noise time series is filtered with a trapezoidal envelope in the time domain. The phase of the output time histories is chosen randomly. In this study, we modified the original version by using natural phase accelerograms to obtain more realistic time-histories.

Moreover the strong motion duration of the natural accelerograms is conserved by the definition of the envelope. Two sets of natural accelerograms are chosen to provide the phases and envelopes:

-Natural accelerograms were selected from the French Accelerometric Network database (RAP, Péquegnat et al., 2008). We selected ten records corresponding to earthquakes with local magnitudes M L > 4, focal depths less than 10 km, and that were recorded at epicentral distances shorter than 40 km, so that they present an acceptable signal-to-noise ratio. These ten accelerograms were then adjusted using the modified SIMQKE procedure. This is the fourth set of input motions and it is called here: RAP_mSIMQKE.

-The same process was performed but using the Natural_Scaled dataset instead, which presents a larger variability and matches the target spectrum better than the RAP records. This is the fifth set of input motions and it is called here: Natural_mSIMQKE.

The nonstationary stochastic method [START_REF] Pousse | Nonstationary stochastic simulation of strong ground motion time histories including natural variability: Application to the K-net Japanese database[END_REF]Laurendeau et al., 2012) has the advantage of being both simple (it does not require detailed knowledge on the rupture or site conditions) and taking into account basic concepts of seismology (Brune's source, an realistic envelope function, nonstationarity and variability). Time-domain simulations are derived from the signal spectrogram and depend on three strong-motion indicators: the strong-motion duration (SMD), the Arias intensity (AI) and the central frequency (F c (t)) of the signal. The indicator distributions are deduced from the Natural_Scaled dataset. A large number of signals are simulated and we select those for which the mean squared error of the difference between the spectral accelerations of the record and the target spectrum between 0.1 and 2 s is the lowest. This is the sixth set of input motions and it is called here: STOCH.

Table 2.2 presents the means and variabilities of the three intensity measures considered when simulating the nonstationary stochastic accelerograms for the six sets of time-histories. Figure 1 presents the accelerograms and spectra of the six sets and as a measure of the variability in the spectra within each set, the coefficients of variation for spectral acceleration. From Table 2.2 and Figure 1 it can be seen that the Natural_Scaled set shows the greatest variability and the SIMQKE records the least, with the other sets somewhere in between. It will be shown subsequently that this variability in input records carries over to variability in building and site response.

ANALYSIS OF BUILDING RESPONSE

In this section some analyses of building response using the six sets of acclerograms are presented. We have chosen to conduct relatively simple structural modeling because of the number of runs that are required but we believe that the general trends observed will carry over to more sophisticated dynamic analyses.

Method

It is well known that structures do not remain elastic under strong shaking. To compare the effect of the six sets of accelerograms presented above, we compute the non-linear response of SDOF systems. The building behaviour is described following a model developed to simulate hysteretic energy capacity. In this paper, we used the Takeda model, first proposed by [START_REF] Takeda | Reinforced concreete response to simulated earthquakes[END_REF] and since analysed in depth by [START_REF] Schwab | Assessemnt of the seismic non-linear behavir of ductile wall structures due to synthetics earthquakes[END_REF] and [START_REF] Lestuzzi | Non-linear seismic behavior of structures with limited hysteretic energey dissipation capacity[END_REF]. The Takeda model includes realistic conditions for the reloading curves that model the characteristics of reinforced concrete better than the standard elasto-plastic model. The Takeda model also accounts for the degradation of the stiffness with increasing excitation, which is related to the opening and closing process of existing cracks in the concrete, i.e. a reduction in the natural frequency of the building is accounted for. This behaviour is often observed in real structures under intense loading.

Five parameters are used to describe the Takeda-model: the initial stiffness related to the natural frequency of the SDOF, the yield displacement (U lin =0.002m), the post-yield stiffness corresponding here to 5%, the coefficient related to the stiffness degradation and the target of the reloading curve.

In this study, standard values are used to develop the Takeda model: = 0.4 and = 0.0. The strength reduction factor R is 2, i.e. considering a structure having limited hysteretic energy dissipation capacity, and currently recommended by design codes.

For each set of accelerograms, three initial frequencies are considered, 1Hz (1s), 2Hz (0.5s) and 5Hz (0.2s) roughly corresponding to frequencies of low-a n d m e d i u m -rise reinforced-concrete (RC) buildings. A damping coefficient of 5% is used, which is standard for RC structures.

Results

Figure 2 shows the force-displacement of the Takeda-model for the Parkfield record (#1, Table 2.1) and the 1Hz SDOF. We observe the hysteretic loops of the non-linear behaviour of the system. The relative displacement of the SDOF is also shown in Figure 2 (upper row), this parameter being chosen to compare the effect of the variability of the seismic ground motion in building response. Considering the six sets of accelerograms analysed in this paper, the three SDOF are tested and the relative displacements are compared (Figure 3). We observe higher variability in the building response for natural accelerograms (sets 1 and 2). This indicates that natural variability should be accounted for when selecting accelerograms and using synthetic time histories partially reduces the variability of the structural response (i.e. sets 3, 4 and 5). In addition, the variability of the relative displacement increases for long-period buildings (1Hz). Depending on the features of the buildings, if this variability is neglected, the computed building response may underestimate the building response and the post-earthquake integrity of the building. Also depending on the set of accelerograms, the relative displacement may be much larger than the drift ratios used to define median values of structural damage, considering the category of shear-walls RC buildings, with moderate elevations defined by HAZUS (C2M type). We observe that the damage state of the building can be greatly underestimated when the ground-motion variability is not considered.

ANALYSIS OF SOIL RESPONSE

Because nonlinear dynamic analyses are not only commonly conducted for building response but also for geotechnical studies, in this section the response of soil layers are analyzed using the same six sets of accelerograms.

Method

The multi-shear mechanism model [START_REF] Towhata | Modeling soil behavior under principal axes rotation[END_REF] is a plane-strain formulation to simulate pore pressure generation in sands under cyclic loading and undrained conditions. Iai et al. (1990a, b) modified the model to account for the cyclic mobility and dilatancy of sands. The multiple mechanism model relates the stress and strain through the following incremental equation (Iai et al., 1990a, b):

{d'} = [D] ({d} -{d p }) (4.1)
where the curly brackets represent the vector notation; { p } is the volumetric strain produced by the pore pressure, and [D] is the tangential stiffness matrix. This matrix is composed by the volumetric and shear mechanisms, which are represented by the bulk and tangential shear moduli, respectively. The latter is idealized as a collection of I springs separated by = / I (Figure 4). Each spring follows the hyperbolic stress-strain model [START_REF] Konder | A hyperbolic stress-strain formulation for sands[END_REF] and the generalized Masing rules for the hysteresis process [START_REF] O'connell | Strong ground motion estimation[END_REF]. For more details on the model the reader is referred to Iai et al. (1990a, b). The plane strain is the combination of pure shear (vertical axis) and shear by compression (horizontal axis) (after [START_REF] Towhata | Modeling soil behavior under principal axes rotation[END_REF]. [START_REF] Iai | Response of a dense sand deposit during 1993 Kushiro-Oki Earthquake[END_REF] thoroughly studied the soil response at Kushiro Port during the Kushiro-Oki M7.8 1993 earthquake. The soil column is composed of dense sands where the first 30 m are suspected of having strong dilatancy effects. In this paper, we use the same velocity model assumed to be overlaying EC8 site class B material with a shear wave velocity of 500 m/s so that it is consistent with the accelerograms chosen above. Furthermore, we keep [START_REF] Iai | Response of a dense sand deposit during 1993 Kushiro-Oki Earthquake[END_REF] dilatancy parameters to simulate pore pressure changes in the soil column in the first 30 m depth. As an input motion we use the 60 acceleration time histories presented in Section 2. The boundary condition at the bottom of the soil column is assumed to be an elastic boundary condition (outcrop ground motion). The incident wavefield is divided by two before computing wave propagation in order to remove the free-surface effect.

Results

The results of all computations are presented in terms of maximum shear deformation as a function of depth and response spectra of the resulting ground motion at the surface. Figure 5 (left) shows the geometric mean distribution of shear strain versus depth for each input set. Figure 5 (right) shows the coefficient of variation (C V ) for each dataset. These results indicate that soil response is sensitive to the chosen acceleration time history in spite of having the same response spectrum. The large values of C V for natural time-histories indicate that natural variability should be taken into account when selecting spectrum-compatible accelerograms. In addition, this dispersion increases in layers where pore pressure effects take place. If this variability is neglected, the computed soil response may underestimate quite considerably the soil deformation. Figure 6 shows the geometric mean response spectra (left) and the corresponding C V (right) for the time histories obtained at the surface for each dataset. These results are informative and show the complexity of ground-motion prediction when nonlinear soil behaviour takes place. Indeed, there is a partial correlation between the values of C V and the resulting ground motion at the surface. For example, the natural data (Set 1, red curve), which show the largest variability (C V ) do not lead to the highest response spectrum. This can be explained by looking at Figure 5 where the shear strain is largely mobilized by this dataset, thus strong nonlinearity occurs thereby reducing the computed ground motion at the surface. Conversely, the dataset having the smallest C V (Set 5, yellow curve) has almost the largest response at the surface together with dataset 3 in blue. A special case is the one obtained using the nonstationary stochastic accelerograms because these records produce the lowest strains and surface ground motion; yet, its C V in terms of response spectra lies in the middle of other cases (Set 6, cyan curve). Finally, in spite of all these differences in terms of source generation and wave propagation, the resulting response spectra are relatively close. Nevertheless, these results suggest that care should be taken in selecting compatible time histories for soil response that includes nonlinear effects. Few computations may not be enough, thus it is probably a good idea to use several input ground motions in order to see and quantify the dispersion of the resulting ground motion at the surface.

CONCLUSION

This study shows that the selection of accelerograms is a fundamental component in earthquake engineering analyses. Using various techniques we have generated six sets of accelerograms following the Eurocode 8 (EC8) guidance (i.e. with the constraint that their response spectra match the EC8 design spectrum) for a B site class, and analyzed their impact on non-linear structures and soil columns. In both cases the variability of the non-linear response highly depends on the set of input accelerograms. It is thus crucial to select sets of accelerograms that represent the natural groundmotion variability.

Since the number of real accelerograms is sometimes limited for a given scenario, an alternative approach is to use nonstationary stochastic simulations [START_REF] Laurendeau | Seismic Indicators Prediction Equations for Japan[END_REF]. This technique allows the rapid generation of many sets of "realistic" accelerograms with chosen variability of ground-motion parameters. For instance, the results presented in this paper could be expended to sites of classes A, C and D deploying stochastic simulations with ground-motion indicators calibrated using the PEER database, in which a large number of records are available for class B sites.

AKCNOWLEDGEMENT

This work was sponsored by the Ministry of Sustainable Development through the French Accelerometric Network working group (Seismic ground motion for engineering)

Figure 1 .

 1 Figure 1. Left: The 6 sets of accelerograms generated for the nonlinear dynamic analyses. Middle: Corresponding response spectra (gray), geometric mean of response spectra (black) and EC8 design spectrum for type B soil (red). Right: Coefficient of variation of spectral acceleration.

Figure 2 .

 2 Figure 2. Example of relative displacement (upper figure) and force-displacement curve (lower figure) for the 1Hz SDOF building using the Parkfield record (#1 Table 1).

Figure 3 .

 3 Figure 3. Comparison of the relative displacement computed for 1Hz (gray), 2Hz (black) and 5Hz (open) buildings, for the six sets of accelerograms. The dotted lines correspond to the inter-story drift ratios suggested by HAZUS and used to define median values of structural damage (Slight, Moderate, Extensive and Complete) for C2M buildings.

Figure 4 .

 4 Figure 4. Schematic figure for the multiple simple-shear mechanism. The plane strain is the combination of pure shear (vertical axis) and shear by compression (horizontal axis) (after Towhata and Ishihara, 1985).

Figure 5 .

 5 Figure 5. Distribution of maximum shear deformation versus depth (left). Each line corresponds to the geometric mean strain of each dataset (Table2.2). Coefficient of variation versus depth for each computed dataset (right).

Figure 6 .

 6 Figure 6. Mean response spectra of computed ground motion at the surface (left) and the corresponding coefficient of variation (right).

Table 2 .1. Natural_Scaled dataset.

 2

		Event	M w	Station	R rup (km) V s30 (m/s)
	1	Parkfield	6.19	Temblor pre-1969	16.0	527
	2	Friuli, Italy-02	5.91	Forgaria Cornino	14.8	412
	3	Irpinia, Italy-02	6.20	Calitri	8.8	600
	4	Morgan Hill	6.19	Anderson Dam (Downstream)	3.3	488
	5	San Salvador	5.80	Geotech Investig Center	6.3	545
	6	Whittier Narrows-01	5.99	Garvey Res, -Control Bldg	14.5	468
	7	Northridge-04	5.93	Moorpark -Fire Sta	14.7	405
	8	Chi-Chi, Taiwan-02	5.90	TCU073	10.7	508
	9	Chi-Chi, Taiwan-03	6.20	TCU078	7.6	443
	10	Chi-Chi, Taiwan-04	6.20	CHY074	6.2	553

Table 2

 2

		.2: Means and variabilities of three key strong-motion parameters for the six sets of records
				Ln(PGA)		Ln(AI)		Ln(SMD)
			Exp(µ)	Exp()	Exp(µ)	Exp()	Exp(µ)	Exp()
			(m/s 2 )		(m/s)		(s)
	1	Natural_Scaled	2.15	1.00	0.33	1.80	7.24	1.74
	2	Natural_Matched	2.23	1.16	0.29	1.51	7.66	1.63
	3	SIMQKE	2.20	1.00	0.69	1.20	7.65	1.02
	4	RAP_mSIMQKE	2.36	1.06	0.90	1.22	16.41	1.29
	5	Natural_mSIMQKE 2.53	1.14	0.51	1.28	8.74	1.38
	6	STOCH	2.19	1.04	0.36	1.15	7.59	1.17


Zuheng Ming

Gang Feng

Denis Beautemps
email: denis.beautemps@grenoble-inp.fr

de la parole: Les voyelles du Français en Langue Française Parlée Complétée

Keywords: LPC, LSP, MFCC, PARAMETRES LABIAUX, CONVERSION, MODELE LINEAIRE, GMMS Cued Speech, LSP, MFCC, Lips, Linear modeling, GMMs

archive ouverte pluridisciplinaire HAL, est destinée au dépôt

Introduction

Le cadre de cet article est la communication parlé e chez les personnes sourdes. En France, cinq à six millions de personnes sont atteintes de surdité . Le recours à la lecture labiale est dans ce cas primordial pour la perception de la parole. Or l'information fournie par la forme des lè vres est ambigü e au sens où plusieurs sons de paroles peuvent avoir des formes aux lè vres similaires ([p], [b], [m] par exemple) ce qui de ce fait rend difficile la perception complè te de la parole sans information complé mentaire (auditive, sémantique,…). Avec des consé quences pour le développement du langage chez l'enfant. La mé thode du Cued Speech [START_REF] Cornett | Cued Speech[END_REF] a é té introduite pour combler ce manque. C'est un code manuel conç u pour dé sambiguï ser la lecture labiale. Le locuteur, tandis qu'il parle, utilise une de ses mains pour pointer des positions particuliè res sur le visage, le cô té du visage ou le cou (pour coder les voyelles) tout en pré sentant le dos de la main avec des formes particuliè res (8 clé s digitales pour coder les consonnes). La main en position et pré sentant une clé digitale code ainsi une syllabe Consonne-Voyelle. Avec ce systè me, les sons similaires aux lè vres sont dé sambiguï sé s par des positions ou clé s digitales distinctes. Etendue à plus de 60 langues depuis son invention en 1967, dont la langue Franç aise avec la Langue Parlé e Complé té e (LPC), cette mé thode permet aux enfants sourds congé nitaux stimulé s par cette mé thode depuis leur plus jeune â ge d'accé der à un systè me phonologique complet de la langue parlé e et d'avoir un dé veloppement du langage similaire à des enfants normo-entendants [START_REF] Leybaert | PHONOLOGY ACQUIRED THROUGH THE EYES AND SPELLING IN DEAF CHILDREN[END_REF]. Enfin, cette mé thode renvoie vers l'audition comme l'indique son utilisation dans la pratique orthophoniste des enfants implanté s cochlé aires. L'objectif du travail présenté dans cet article est la conversion automatique du son de parole en paramè tres de formes labiales et LPC. Ces paramè tres sont les sorties des systè mes de synthè se visuelle incluant la modalité LPC (voir par exemple [START_REF] Attina | A pilot study of temporal organization in Cued Speech production of French syllables: rules for Cued Speech synthesizer[END_REF][START_REF] Gibert | Analysis and synthesis of the 3D movements of the head, face and hand of a speaker using Cued Speech[END_REF]. Des travaux anté rieurs ont dé veloppé de nombreux dispositifs visant à traduire automatiquement le son de parole en clé s LPC. Tous s'appuient sur le couplage d'un système de reconnaissance automatique avec un systè me visuel de gé né ration des clé s du LPC (Autocuer, [START_REF] Cornett | Cued Speech, manual complement to lipreading, for visual reception of spoken language[END_REF] ou un systè me de synthè se de la main [START_REF] Duchnovski | Development of speechreading supplements based on automatic speech recognition[END_REF] ou encore un systè me de parole audio visuelle [START_REF] Attina | A pilot study of temporal organization in Cued Speech production of French syllables: rules for Cued Speech synthesizer[END_REF][START_REF] Gibert | Analysis and synthesis of the 3D movements of the head, face and hand of a speaker using Cued Speech[END_REF][START_REF] Beautemps | TELMA: Telephony for the Hearing-Impaired People, From Models to User Tests[END_REF]. Dans ces diffé rents dispositifs le recours au niveau syntaxique est une des clé s du systè me. Ceci a l'inconvénient de perdre la richesse contenue dans la variabilité du signal de parole. L'objectif visé ici est ainsi d'étudier les mé thodes de mapping des paramè tres acoustiques du son de parole vers les paramè tres visuels (labiaux et LPC) en utilisant un bas niveau d'interfaçage de type signal et donc sans le recours à la reconnaissance automatique de la parole. L'introduction de la composante manuelle du LPC dans ce programme constitue une vé ritable originalité de ce travail avec des retombé es claires pour les systè mes de communication utilisant le geste associé à la parole ou non, tels que le LPC mais aussi des gestes de pointage ou la Langue des Signes. Nous abordons ce programme en traitant le cas des voyelles orales du Franç ais. Le mapping consistera ici à dé terminer les coefficients d'une combinaison linéaire reliant les paramètres de l'espace acoustique (les prédicteurs) aux paramè tres de l'espace visuel (lè vres et LPC) en minimisant l'erreur au sens des moindres carré s entre le ré sultat de la pré diction et les valeurs des paramè tres visuels. Dans la suite, nous pré senterons tout d'abord l'expérimentation et les paramè tres considé ré s pour caracté riser chacun des espaces, puis nous é tudierons les limites de l'approche par prédiction multi-liné aire pour finir par les ré sultats de la pré diction multigaussiennne GMM.

Expé rimentation, paramè tres spectraux, visuels et LPC

Dispositif expé rimental

Les données sont composées d'un enregistrement vidéo d'un locuteur prononçant et codant un corpus de 50 mots isolé s. Les mots é taient constitué s de 32 nombres (de zé ro à 31), des douze mois de l'année et de six mots couramment rencontrés en Franç ais. Chaque mot é tait pré senté sur un moniteur placé en face du locuteur, dans un ordre alé atoire. Le corpus a ainsi é té ré pé té 10 fois. Le locuteur est une femme de langue maternelle franç aise, codeuse et diplômée en LPC. L'enregistrement a été réalisé en chambre sourde à la fré quence vidé o de 25 Hz conformé ment au banc expé rimental vidé o du laboratoire. Le locuteur était assis en face de la caméra et d'un micro pour la bande son numé risé e à la fré quence de 44100 Hz. Des pastilles coloré es é taient placé es sur la peau entre les arcades sourciliè res et à l'extrémité des doigts pour permettre l'extraction des coordonné es aprè s numé risation des images. Enfin, un panneau quadrillé placé dans le plan du visage a é té enregistré par la camé ra pour permettre une conversion pixel/centimètre pour la suite des traitements. L'enregistrement vidéo réalisé en format PAL, a été numérisé comme des images RGB constituées de l'entrelacement des deux ½ trames vidé o (composé es des lignes impaires et paires respectivement). Pour chaque image ainsi numé risé e, les deux ½ trames ont é té reconstitué es et pour chacune les lignes manquantes obtenues par interpolation liné aire des autres lignes de faç on à obtenir deux images complè tes sé paré es de 20 ms.

Extraction des paramè tres de lè vres, de main et spectraux

Ces trames définissent l'ensemble des images à la cadence de 50 Hz auxquelles il sera fait ré fé rence dans la suite. De cet ensemble de donné es, des images correspondant aux instants t0 des voyelles en position labiale cible ont é té sé lectionné es manuellement par un des expérimentateurs ainsi que l'extraction des coordonnées du contour interne des lèvres desquels les paramètres labiaux d'étirement (A), d'aperture (B) et d'aire inté rolabiale (S) ont alors é té calculé s selon les formules classiques dans le domaine [START_REF] Lallouache | UN POSTE VISAGE-PAROLE COULEUR. ACQUISITION ET TRAITEMENT AUTOMATIQUE DES CONTOURS DES LEVRES[END_REF]. De mê me, les images correspondants aux instants t1 auxquels la main pointant la position LPC atteint la cible de la voyelle ont é té sé lectionné es et les coordonné es (x,y) de l'extrémité du doigt « pointeur » ont é té extraites en ré fé rence au centre de la pastille placé e entre les arcades sourcillè res. Enfin pour chaque instant t0, deux extraits du son de parole correspondant (pondé ré s par une fenê tre de Hamming) d'une durée de 20 et 32 ms centrés sur t0 sont utilisé s pour le calcul des 16 coefficients spectraux LSP et MFCC respectivement. Enfin, 4 formants ont été extraits de l'enveloppe spectrale obtenue à partir des coefficients LSP. L'ensemble de ces traitements a ainsi permis de constituer deux bases de donné es de 331 et 263 é lé ments (Table 1) avec pour chacun, les 4 composantes principales (par Analyse en Composantes Principales) de l'ensemble des 4 formants, les 16 composantes principales des coefficients LSP, ceux des coefficients MFCCs, les 32 composantes principales de l'ensemble des coefficients LSP et MFCC, les coordonné es (x,y) lié s à la main et les 3 paramè tres labiaux (A,B,S). k de régression linéaire. L'erreur résiduelle de prédiction est alors soumise à une ré gression liné aire avec F 2 et ainsi de suite jusqu'à l'ordre p (p entier tel que 1≤p≤32). La formule de prédiction à l'ordre p s'écrit alors :

Taille [a] [i] [u] [y]  [e]  [
1 1 2 2 ˆ... pp B k F k F k F B     

Ré sultats sur les paramè tres labiaux

Cette formule de pré diction a é té appliqué e aux paramè tres labiaux (A,B,S) à partir de l'analyse de la base de données composé e des 331 observations des voyelles (

Ré sultats sur les paramè tres LPC de main

La même méthode d'analyse a été appliquée pour les coordonné es (x,y) de la main. La valeur finale de la variance ré siduelle atteint 40,8 % pour la coordonné e x et 35,5% pour y, mê me dans le cas des meilleurs pré dicteurs constitué s de l'ensemble des paramètres LSPs et MFCCs. Cette valeur é levé e de la variance résiduelle finale s'explique par les valeurs faibles des corré lations  (0,43 et 0, 42 respectivement pour les coordonné es x et y). Cette faible corrélation est vraisemblablement liée à la relation d'ordre entre les coordonné es et les paramè tres spectraux, ce qui constitue une limite de la mé thode. Afin de vé rifier cette hypothè se nous avons redistribué les positions (x, y) du LPC de faç on 1 ()

YX XX i ii W    1 () YX XX YX i i i ii b     1 ( , , ) ( | ) ( , , ) XX X ii i i m XX X pp p p Nx P c x Nx      
cohérente avec le triangle vocalique défini par l'espace des deux premiers formants, étant donné la forte corré lation entre les formants et les paramè tres spectraux (0,96 et 0,98 pour les 2 premiers formants). Nous avons alors pu observer une grande baisse de la variance ré siduelle pour atteindre finalement 7,85% et 7,08% respectivement pour x et y).

La modé lisation multi-gaussienne GMM

Mé thode

Dans cette partie, l'espace spectral est caracté risé par les 16 premiè res composantes principales de l'ensemble des coefficients LSP et MFCC, composant les éléments du vecteur x de dimension N (1≤N≤32): En ré fé rence à la formulation de [START_REF] Kain | High-resolution voice transformation[END_REF] (voir aussi Hueber et al., 2011), l'estimateur (au sens des moindres carré s) du paramè tre y est une combinaison de l'observation x pondé ré es par les m probabilité s P(ci/x) additionné e d'un biais : P(ci/x) é tant la probabilité conditionnelle a posteriori que l'observation x soit gé né ré e par le modè le gaussien ci (de moyenne X i  et de covariance [a,i,e,],[y,o,u,] et []. Pour les coordonné es de main, le nombre de gaussiennes a é té fixé à m=5 pour rendre compte des 5 positions du LPC pour les voyelles du Franç ais ce qui donne dans ce cas 5 sous-ensembles de voyelles : [y,e]. Les moyennes et matrices de covariances des modè les gaussiens ont é té calculé es sur ces sous-ensembles. Enfin, les 16 composantes spectrales sont ordonnées dans l'ordre décroissant de leur explication de la variance du paramètre estimé . Les N composantes du vecteur x sont alors les N premiè res composantes selon cet ordre.

[a, o, ], [i], [,u,], [] et

Ré sultats de la modé lisation

Nous avons appliqué la modélisation au corpus d'apprentissage des 331 observations des voyelles (Table 1). La Figure 2 présente les résultats de l'analyse de la variance des

1 ˆ( ) ( ) ( | ) m i i i i y F x W x b P c x     
 donné es. Elle montre une dé croissance de la variance ré siduelle en fonction de la dimension de l'espace spectral pour atteindre une valeur très basse en dessous de 5%. En comparaison des meilleurs ré sultats de la modé lisation liné aire, on observe une amé lioration significative. La dé croissance rapide montre que la mé thode converge avec peu de dimensions (5 pour les lèvres et 8 pour la main). Nous avons tenté d'améliorer ce résultat en utilisant l'algorithme k-means et l'algorithme EM (Expected Maximization).

Nous n'avons pas obtenu de meilleurs résultats même en augmentant le nombre de gaussiennes de maniè re significative.

Evaluation

L'évaluation consiste à tester l'estimateur en fonction des dimensions de l'espace spectral sur la base des donné es de test (Table 1). Nous présentons les résultats de l'évaluation tout d'abord en terme de variance expliquée (Figure 3) pour permettre une comparaison avec la phase d'analyse puis en terme d'erreur quadratique moyenne (Figure 4). Ainsi sur la Figure 3 relative au paramè tre labial A, le point de la courbe à l'abscisse p correspond au résultat du test en utilisant l'estimateur composé de 3 gaussiennes à p dimensions dont les paramètres ont été calculés sur la base d'apprentissage. De façon similaire sur la courbe correspondant à la coordonné e y, le point à l'abscisse p correspond au ré sultat du test en utilisant l'estimateur composé de 5 gaussiennes à p dimensions dont les paramètres ont été calculés sur la base d'apprentissage. Les valeurs finales de la Figure 3 sont de l'ordre de 10 à 12 %. Ces valeurs sont supérieures à celles obtenues avec les données d'apprentissage tout en restant proches. Avec l'ordre déterminé dans l'apprentissage, on constate de légères fluctuations dans la décroissance. Néanmoins, la décroissance reste rapide. L'ensemble montre une bonne adé quation du modè le. Ainsi la Figure 4 montre que les erreurs quadratiques moyennes suivent la mê me é volution pour atteindre une pré cision finale de 0,4 cm, 0,15 cm et 0,6 cm2 pour A, B et S respectivement et 1 cm pour les coordonné es x et y. Pour ces derniers, la variance de la pré diction à l'intérieur de chaque position LPC est similaire à celle des données et est centrée sur leur valeur moyenne.

Conclusion

Cet article étudie les relations entre l'espace des paramètres spectraux de la parole et l'espace visuel de la parole et de la Langue parlée Complétée (LPC) dans l'objectif d'un mapping de l'un vers l'autre. Nous avons abordé ce programme avec le cas des voyelles du Français. Ainsi nous avons tout d'abord exploré la modélisation multi-liné aire pour convertir les paramè tres spectraux vers les paramè tres labiaux ainsi que les paramè tres de la Langue Parlé e Complé té e. Les ré sultats montrent que les meilleurs pré dicteurs sont 16 paramètres issus d'une analyse en composantes principales de l'ensemble composé de 16 coefficients LSP et 16 coefficients MFCC. L'approche linéaire a montré ses limites pour le cas de la composante manuelle du LPC. Nous avons ensuite testé l'approche GMM avec la modé lisation multi-gaussienne de l'espace spectral. Les résultats ont été amé lioré s aussi bien pour les paramè tres de lè vres que pour ceux de la composante LPC avec une explication de 95% de la variance totale sur le corpus d'apprentissage. Ces ré sultats (les meilleurs obtenus) ont é té observé s lorsque les gaussiennes é taient

Figure 1 -

 1 Figure1-Variance ré siduelle de la pré diction des paramè tres labiaux, de gauche à droite respectivement A, B et S, exprimé s chacun relativement à leur variance totale, en fonction du nombre de pré dicteurs (leurs composantes principales) et pour chaque ensemble de pré dicteurs : 2, 4 formants (fmt), MFCC, LSP et l'ensemble de MFCC-LSP.

  respectivement la matrice de transformation et de biais associé s à ci.où :αi est le coefficient de pondé ration du modè le gaussien ci, la somme de tous les coefficients valant 1 ; YX i  é tant la matrice de covariance entre x et le y calculé e sur le sous-ensemble de donné es i et Y i  la moyenne du paramè tre y de ce mê me sous-ensemble. Dans cette expé rience, le nombre de gaussiennes a é té fixé à m=3 pour l'estimation des paramètres labiaux. En effet dans cet espace les voyelles sont traditionnellement ré parties en 3 sousensembles de voyelles (les visè mes) :

Figure 2 -

 2 Figure 2 -Variance ré siduelle des paramè tres labiaux et de main exprimé s chacun relativement à leur variance totale, en fonction de la dimension de l'espace spectral.

Figure 3 -

 3 Figure3-Variance ré siduelle sur les donné es de test des paramè tres labiaux et de main exprimé s chacun relativement à leur variance totale, en fonction de la dimension de la dimension de l'espace spectral.

Figure 4 -

 4 Figure4-Erreur quadratique moyenne (RMSE) sur les donné es de test des paramè tres labiaux et de main en fonction de la dimension de l'espace spectral.

Table 1 -

 1 Bases de donné es des 331 voyelles pour l'apprentissage et 263 pour le test. de cette partie est de prédire les paramè tres labiaux (A,B,S) et de main (x,y) à partir des paramè tres spectraux (leurs composantes principales Fi) par la méthode de prédiction multi-linéaire. De façon à ordonner ces prédicteurs Fi, le coefficient de corrélation de chacun des i F avec le paramètre à prédire est calculé. Les pré dicteurs sont alors ordonné s dans le sens dé croissant des valeurs de leur  pour donner un ensemble ordonné {F 1 ,F 2 ,…F 32 }. Ainsi pour le paramè tre B, celui-ci est tout d'abord centré sur sa valeur moyenne puis soumis à une ré gression liné aire avec F 1 ce qui permet d'obtenir le coefficient 1

	o] 

3 La modé lisation multi-liné aire

3.1. Mé thode L'objectif

  Table1). La figure1pré sente les ré sultats de pré diction. Elle montre une dé croissance de la variance ré siduelle en fonction du nombre de pré dicteurs. Ce ré sultat conduit à trois remarques. Tout d'abord, la variance résiduelle reste élevée avec l'utilisation des formants (de l'ordre de 30% de la variance totale). Ce ré sultat est vraisemblablement dû au manque de dimension. En effet, l'utilisation de 16 paramètres MFCC et LSP améliore très significativement le ré sultat (variance ré siduelle entre 15 et 20%). Une seconde remarque consiste à constater que les MFCCs permettent une dé croissance rapide tandis que les LSPs permettent d'atteindre une plus faible variance résiduelle. La prédiction utilisant les 16 composantes principales de l'ensemble des LSPs et MFCCs permet à la fois une baisse rapide et une valeur finale basse. La troisième remarque est liée au constat que l'erreur reste malgré tout relativement é levé e (10%). Ces ré sultats servent de ré fé rence pour la suite de la modé lisation, notamment pour le choix des pré dicteurs performants.

distribué es en fonction de connaissances phoné tiques sur les repré sentations labiales et LPC des voyelles du Franç ais. Dans le cadre de la conversion automatique, ces ré sultats prometteurs restent à ê tre inté gré s dans les systè mes de synthè se visuelle de la parole pour une é valuation perceptive auprè s des personnes sourdes utilisatrices du LPC.

Remerciements

Les auteurs souhaitent remercier Myriam Diboui, la codeuse en LPC, pour avoir accepté les contraintes d'enregistrement. Ces travaux sont soutenus par l'Agence Nationale de la Recherche Franç aise au travers des projets TELMA et PLASMODY.

L'