G Lemarquand

Ironless loudspeakers

We note the drawbacks of classical loudspeaker motors: the inductance varies with the coil's position, there is a reluctant effect and Eddy currents appear because of the iron in the motor. We then present ironless structures of loudspeaker motors to eliminate these drawbacks. These structures are studied with the use of Coulomb's model of permanent magnets, which affords analytical calculations. Thus the design can be optimized to create a uniform, high level induction in the space where the coil moves.

I. CLASSICAL IRON STRUCTURES

Classical loudspeakers have a well-known structure: the coil moves in front of the iron pole pieces of a magnetic circuit which is excited by a permanent magnet. This structure has three major drawbacks [START_REF] Cunningham | Nonlinear distortion in dynamic loudspeakers due to magnetic effects[END_REF]. The magnetic field in the airgap is non-uniform. The inductance of the coil varies with the coil's position. Both effects create a distortion that increases with the displacement of the coil i.e. with the sound level. Eddy currents in the pole pieces create a force that ejects the coil out of the airgap and lessens the stability of the loudspeaker. The suppression of the nonlinearities has been the permanent challenge of moving coil loudspeaker designers [START_REF] Gander | Moving-coil loudspeaker topology as an indicator of linear excursion capability[END_REF].

A. Electrical model

The simple descriptions of the electrodynamic loudspeakers use equivalent electrical circuits. The voice coil is considered an impedance that is resistive and inductive, where the coil gives rise to a back electromotive force (EMF) proportional to the cone velocity. The acoustomechanical aspects of the cone motion are reflected in the impedance, and the loudspeaker output can be predicted from the electrical input in the range of frequencies for which the cone moves as a rigid assembly [START_REF] Thiele | Loudspeakers in vented boxes[END_REF] [4] [START_REF] Small | Closed-boxloudspeaker systems, part 1: Analysis[END_REF].

B. Inductance effects

Several parameters make the inductance vary and we describe here all these effects. The iron pole pieces increase the inductance of the moving coil. The corresponding impedance increases with the frequency. The loudspeaker is fed by a voltage amplifier, and the force exerted by the coil on the diaphragm is proportional to the current [START_REF] Mills | Distortion reduction in moving-coil loudspeaker systems using current-drive technology[END_REF]. So the force decreases with the frequency, and this force is not in phase with the voltage. The phase shiftings of the harmonics of the electrical signal are not maintained. This frequency-dependent impedance variation causes a variation in the applied force. In the classical structure, a short circuiting coil is added on the stator to reduce the inductance of the moving coil and thus the distortion of the speaker's output.

Another effect of the iron pole pieces is the following. The coil behaves like a moving iron yoke coil, the yoke in this case is around the coil. When the coil moves, the position of the yoke changes and as a consequence the reluctance of the magnetic circuit of the coil varies. For a displacement from the centered position of the yoke with regard to the coil, the reluctance increases and this leads to the creation of a force on the coil in a direction that decreases the reluctance. A centering effect is thus observed. This force is proportional to the current in the coil. Both described effects are in fact position dependent. When a high frequency signal is superimposed to a low frequency signal, the answer of the loudspeaker is not the same as for the high frequency signal alone, because the mean position of the coil in the airgap is not the same. As a result, intermodulation is observed.

C. Eddy currents effects

Many authors have noted that Eddy currents flowing in the solid iron pole structure modify the electrical impedance. The voice coil motors have a normal inductive behavior at low frequencies. At high frequencies, the Eddy currents hinder the magnetic flux from penetrating the iron. A first consequence is the decrease of the effective permeability of the iron and so, a decrease of the inductance of the coil: this decrease is a proof for the existence of the Eddy currents. The measurement of the inductance is the easiest way to determine the frequency at which Eddy currents appear. Vanderkooy describes this as a semi-inductive behavior of the loudspeaker [START_REF] Vanderkooy | A model of loudspeaker driver impedance incorporating eddy currents in the pole structure[END_REF].

The Eddy currents appear to suppress that which creates them. The Eddy currents flow circularly in the iron pole pieces around the coil's axis. They create a magnetic moment that has the same direction as the one created by the current in the coil. Thus they create a magnetic field in the coil that is opposed to its own field. The moving coil becomes axially unstable (and radially stable). As soon as the coil moves, the action of the Eddy currents is to create axial forces that tend to eject the coil from the airgap. The system behaves like an Eddy current magnetic bearing. This axial force is another cause of distortion.

To reduce Eddy currents Yamamuro [START_REF] Yamamuro | moving voice-coil electro-acoustic converter with laminated magnetically anisotropic poles[END_REF] and Bank [START_REF] Bank | Magnet assembly[END_REF] propose to use laminated pole pieces.

II. IRONLESS MOTOR

We present an ironless structure, made totally out of permanent magnets. The first advantage is that the inductance of the coil is very low and constant. The second advantage is the absence of the reluctance effects and a great decrease of the Eddy currents, depending on the electrical conductivity of the permanent magnets' material. As a consequence, some sources of distortion are suppressed. The third advantage is the increase of the magnetic field and the decrease of the magnetic leakage, leading to good efficiency of the loudspeaker [START_REF] Berkouk | Analytical calculation of ironless loudspeaker motors[END_REF].

Our major goal is to create a very uniform induction in the space of the moving coil to cancel the harmonic distortion. The induction level must be increased to improve the efficiency of the loudspeaker.

The maximum excursion of the coil is limited in the presented structure by the inversion of the magnetic field in the areas outside the nominal displacement. This constitutes a good protection for the suspensions elements, spider and outer peripheral edge when a peak of power is applied to the voice coil motor. It is noticeable that these structures are not very difficult to realize with the use of plastic bonded magnets.

A. Geometry of the device

The motor comprises two concentric sets of permanent magnets rings (Fig. 1). The rings have a triangular section. Each set is a stack of three rings. The ring in the middle has a radial magnetization. The two other rings are axially magnetized. The radial space between the sets defines a cylindrical airgap in which the whole coil is located. At standstill, the sets are centered and the centers of the central ring of each set are in the same perpendicular to the axis plane. The radial component of the magnetic field in the airgap goes from the inner set to the outer set. We consider this direction as the positive one.

B. Analytical study of the structure

We consider a magnetic polar model for all the permanent magnets. We assume that the magnetization of the magnets is uniform, so we have to consider only surface pole densities. For a general purpose, we consider that the magnetization of each magnet is equal to 1 tesla. We consider a structure of infinite radius (length) in order to show results that are independent of the radius of the device. We give the result for one set of rings.

We use Coulomb's theorem to calculate the field created in the free space by a charged plane and apply it to all the planes. For the whole structure, the total field is calculated by multiplying the previous result by two (for the two sets) and by the real value of the magnetization of the magnets. The curvature must be taken into account too.

1) Field created by one magnet: We calculate the field created by a single rectangular magnet (height, h, of 2cm, width, w, of 1cm, infinite length) in the air at a distance, d, of 0.5mm of the magnet (Fig. 2). This analytical calculation uses the well-known formulas of the field created by two charged planes [START_REF] Yonnet | Magnetomechanical devices[END_REF].

Fig. 3 shows the component, B r , of the magnetic induction along the observation axis. The field created by the near face (the face at the lower distance from the observation axis) is almost uniform in front of the magnet. The field created by the far face (the face at the greater distance from the observation axis) has the opposite sign and varies over the front of the magnet. We notice that for a thin magnet (the width is the half of the height) the resultant field is lowered and distorted by the influence of the far face. For a position on the observation axis no longer in front of the magnet the sign of the radial component, B r , of the induction changes.

Fig. 4 shows the influence of the width of the magnet.The dashed line shows the induction created by the near face alone. Of course, when the width increases the resultant induction approaches the induction created by the near face. When the width decreases, the induction is both decreased and distorted. 2) Three prismatic magnets structure: We consider now our new device with the stacked structure of the magnets illustrated by Fig. 5.

We first compare the induction created by this structure with the one created by a single square magnet (w is 2cm, h is 2cm). The central magnet is 2cm high and 2cm wide. The angle θ defining the dimensions of the side magnets is varied. When θ equals 90 o the whole structure has a square section, identical to the single magnet one. Fig. 6 shows that the induction in front of the central magnet increases nevertheless by 22%. We observe that when θ decreases, the induction in front of the central magnet increases. As an example, this increase reaches 76% for a value of θ of 30 o . We also notice that an optimal value of θ exists that makes the radial induction, B r , quite uniform in front of the central magnet. These structures increase the induction value on the side of the observation axis (front) because they diminish the flux on the other side of the structure (rear). Indeed, the rear flux appears as a leakage for the loudspeaker.

An optimum is found when θ equals 45 o (Fig. 7). Both first and second derivatives of the induction are null in front of the central magnet (x = 0), so, the induction is almost a constant for small displacements of the coil. The value of the induction is 0.57T , which represents 164% of the value obtained whith a single square magnet.

As a remark, the magnetic pole density, σ * c , of the central magnet on the inclined plane is:

σ * c = Jcosα ( 1
)
where J is the magnet polarization and α the magnet's angle defined on Fig. 5. The magnetic pole density, σ * l , of the lower (resp. upper) magnet on the same inclined plane is:

σ * l = -Jcos(90 -α) (2)
When the width, w, is greater than the half height, h/2, the angle α is greater than 45 o . So, σ * c is greater than σ * l and the resulting magnetic pole density on the inclined separating plane of the magnets is negative. Of course, there is no magnetic pole density on the lateral sides of the upper and lower magnets (rear of the structure). When the width, w, equals the half height, h/2, the angle α is 45 o and there is no magnetic pole density on the separating plane of the magnets. When the width, w, is smaller than the height, h, the value of the induction in front of the central magnet is still greater than for the single magnet, but the second derivative of the induction can no longer be cancelled (Fig. 8). The radial induction varies greatly in front of the central magnet. In this case also, variations of θ only modify the induction in the area which is not in front of the central magnet.

3) Improved thin structure: Fig. 9 shows the three magnets structure where the central magnet is no longer triangular, but has been truncated to a trapezoid. The angle α can now be varied independently from the width, w, of the structure. This allows the optimization of the shape of the induction in front of the central magnet (Fig. 10, Fig. 11). Of course, the induction created by a thin structure is lower than for a wide one. For a 7mm (resp.5mm) width, w, the radial induction created by a single magnet is 0.19T (resp.0.14T ). But the three magnets structure still gives higher induction levels than the single magnet. The optimal structure with regard to the uniformity of the induction reaches a value of the induction 188% (resp.195%) higher than the single magnet one.

III. CONCLUSION

The principal aim in the design of a loudspeaker motor structure is to achieve the greatest possible magnetic field strength and uniformity in the space where the coil moves. We note that in classical structures, the iron of the motor makes the inductance of the coil vary with the position of the coil, thereby creating a reluctant effect. These solid iron pole pieces also allow Eddy currents to appear. The consequence is a distortion of the sound of the loudspeaker. We propose ironless structures of motors: the inductance is small and constant, there is neither reluctant effect, nor Eddy currents. The analytical calculations of the induction in these structures, using Coulomb's model of a magnet, afford optimization of the dimensions of the structures with regard to the induction uniformity. Stacked structures of magnets afford high induction values. These ironless structures seem to be an interesting alternative to the classical structures of loudspeaker motors.

Fig. 1 .

 1 Fig. 1. Ironless loudspeaker structure.

Fig. 2 .Fig. 3 .

 23 Fig. 2. Single rectangular magnet structure.

Fig. 4 .Fig. 5 .

 45 Fig.[START_REF] Small | Direct radiator loudspeaker system analysis[END_REF]. Radial magnetic induction, Br (T), along the observation axis, created by the near face (dashed) and by one magnet for various values of the width, from bottom to top, w = 0.5cm, 1cm, 2cm and 4cm.

Fig. 6 .Fig. 7 .

 67 Fig. 6. Radial magnetic induction, Br (T), along the observation axis. Comparison between the single magnet structure (dashed) and the three magnets structure when θ equals 30 o , 60 o and 90 o (from bottom to top) and w = 2cm, h = 2cm.

Fig. 8 .Fig. 9 .Fig. 10 .Fig. 11 .

 891011 Fig. 8. Radial magnetic induction, Br (T), along the observation axis, created by thin three magnets structures. From bottom to top: w=2cm, h=5mm, d=0.5mm, θ = 30 o , 60 o , 90 o . Dashed line: single magnet.


Guy Lemarquand

Michel Bruneau

Nonlinear Intermodulation of two Coherent Acoustic Progressive Waves Emitted by a Large Bandwidth Loudspeaker

The main purpose of the paper is to contribute at presenting a formalism which would be relevant for interpreting qualitatively the nonlinear harmonic distortion, and more particularly the strong intermodulation, which occur in air in the frequency range (20 Hz-20 kHz) when the vawe is propagating.

For that purpose, the one-dimensional nonlinear acoustic propagation in infinite medium of two harmonic waves, at frequencies respectively equal to several Hz and several kHz, is dealt with. Despite the experimental uncertainties which result from the nature of the field emitted by the large bandwidth loudspeaker used, it can be concluded especially that intermodulation due to nonlinear effects when the acoustic wave propagates provides important non harmonic distortion in usual listening conditions.

I. INTRODUCTION

I

I is well known that the high fidelity sound reproduction is very difficult to achieve because it involves many nonlinear effects [START_REF] Beers | Frequency modulation distortion in loudspeakers[END_REF]. Regarding the nonlinearities of the loudspeakers themselves, papers are concerned with the causes of these nonlinearities [START_REF] Klippel | Tutorial: Loudspeaker nonlinearities-causes, parameters, symptoms[END_REF] and their nature (eddy currents [START_REF] Vanderkooy | A model of loudspeaker driver impedance incorporating eddy currents in the pole structure[END_REF], suspension and non homogeneous magnetic field [START_REF] Dobrucki | Nontypical effects in an electrodynamic loudspeaker with a nonhomogeneous magnetic field in the air gap and nonlinear suspension[END_REF], and others). The purpose of a recently published paper is to contribute at diminishing some of these nonlinearities, particularly those arising from the suspension and Manuscript Submitted: February 8, 2007. Revised: September 10, 2007. guy.lemarquand@univ-lemans.fr the motor [START_REF] Berkouk | Analytical Calculation of Ironless loudspeaker motors[END_REF], [START_REF] Lemarquand | Ironless loudspeaker[END_REF]. A small loudspeaker (5 cm in diameter) has been designed which allows to investigate the effects of other nonlinear phenomena, namely those occuring when the wave propagates. Several effects have been invoked to explain both observed harmonic distortion and intermodulation distortion generated by loudspeakers [START_REF] Braun | Time-domain formulation of the doppler effect[END_REF], [START_REF] Butterweck | About the doppler effect in acoustic radiation from loudspeakers[END_REF], [START_REF] Van Wulfften Palthe | Doppler effect in loudspeakers[END_REF], [START_REF] Klipsch | Modulation Distortion in Loudspeakers[END_REF], [START_REF] Klipsch | Modulation Distortion in Loudspeakers: Part 2[END_REF], [START_REF] Klipsch | Modulation Distortion in Loudspeakers: Part 3[END_REF], [START_REF] Klipsch | A Note on Modulation Distortion: Two Frequencies radiated from the Same Diaphram[END_REF]. But the contribution of nonlinear effects due to both the nonlinear properties of the medium and the nonlinear behaviour occuring at high acoustic pressure level was not considered so far to interprete the intermodulation phenomena.

The literature abounds with many papers in which topics involving nonlinear propagation of harmonic signals are of principal focus. These topics have been discussed a long time ago (see for example [START_REF] Blackstock | Propagation of plane sound waves of finite amplitude in non dissipative fluids[END_REF], [START_REF] Blackstock | On plane spherical and cylindrical sound waves of finite amplitude in lossless fluids[END_REF], [START_REF] Blackstock | Connection between the fay and fubini solutions for plane sound waves of finite amplitude[END_REF]) and are also currently discussed in standard textbooks [START_REF] Bruneau | Fundamentals of Acoustics[END_REF], [START_REF] Pierce | Acoustics[END_REF], [START_REF] Blackstock | Progressive Waves in Lossless and Lossy Fluids[END_REF], which provide methodology for predicting acoustic properties when nonlinear effects are taken into account . Analytical works deal primarily with methods which account for both nonlinear effects due to the finite amplitude of the wave (the material derivative with respect to the spatial coordinates does not reduce to the partial derivative) and the nonlinear behaviour of the fluid when it experiences pressure variations (pressure variations are no more proportional to density variations). They also account for the dissipative processes due to heat conduction and viscosity, among others. Regarding the analytical, numerical and experimental methods for describing the one-dimensional acoustic propagation in an unbounded medium, papers are usually concerned with the shape profile perturbation of the wave when propagating, with the generation of harmonic components of the signal created by the source, and also with combinations of two harmonic signals created by a source to generate a wave at a much lower frequency than both frequencies of the primary signals (i.e. the difference of the frequencies created by the source).

But an analytic and experimental procedure whereby two harmonic acoustic waves, one at very low frequency and the other one at a much higher frequency, can generate several observable frequencies which are linear combinations of the primary frequencies, when nonlinear acoustic phenomena in fluid media are taken into account, providing an understanding that strong intermodulations can occur in gases and then providing methodology for predicting acoustical properties of complex but coherent sound fields emitted by a sound source, leads to situations not considered so far in the framework of the design of current, wide frequency range loudspeakers.

Therefore, in the present paper, the one-dimensional acoustic propagation in infinite medium of two harmonic waves, at frequencies respectively equal to several Hz and several kHz, emitted by a wide band, quasi linear medium loudspeaker, using an analytical method relying on the well-known nonlinear Fubini's theory [START_REF] Klipsch | Modulation Distortion in Loudspeakers: Part 3[END_REF], [START_REF] Klipsch | A Note on Modulation Distortion: Two Frequencies radiated from the Same Diaphram[END_REF] (inviscid and non heat-conducting fluid) and in some respect (extending in range for both frequencies) Fenelon's works [START_REF] Fenlon | An extension of the Bessel-Fubini series for a multiple frequency cw acoustic source of finite amplitude[END_REF], [START_REF] Fenlon | Derivation of the multiple frequency Bessel-Fubini series via Fourier analysis of the preshock time waveform[END_REF], is dealt with. Therefore the main goal of the paper is to contribute at emphasising that the intermodulation phenomena when the wave propagates reduce in practice the frequency range of a single loudspeaker, this limitation being particularly strong for loudspeakers which allow a great displacement amplitude and thus a high sound level with a relatively small membrane.

It is worth noting that the theoretical part of the present paper assumes a plane wave propagation because, in the experiment, the shape of each wave depends strongly on the frequency (accurate interpretation of these complex waves would provide more complex analytical solutions which would overshadow the purpose of the paper, even they would assume drastic approximations).

II. NON LINEAR FUNDAMENTAL EQUATIONS

The one dimensional problem addressed here governs the behaviour of an acoustic field in infinite domain, assumed to be excited by two time-periodic sources at the same location, here at x = 0 (in fact one loudspeaker providing two signals), in the framework of the nonlinear acoustics, the fluid being inviscid and non heat-conducting. The parameters which specify the properties and the nature of the fluid are the ambient values of the density ρ 0 , the mean pressure P 0 , the adiabatic speed of sound c 0 , and the specific heat ratio γ. The variables describing the dynamic and the thermodynamic state of the fluid are the pressure variation p = P -P 0 , the particle velocity (along the x-axis) v, and the density variation ρ = ρ-ρ 0 . A complete set of linearised, homogeneous (outside the source) equations governing disturbances of the fluid includes the following (equations 10.54 to 10.60 in [START_REF] Bruneau | Fundamentals of Acoustics[END_REF]):

-the Euler equation ∂ρ ∂t

+ v ∂ρ ∂x + ρ ∂v ∂x = 0 , (1)
-the conservation of mass equation

∂v ∂t + v ∂v ∂x + ρ -1 ∂p ∂x = 0 , (2)
-the adiabatic behaviour of the gas

∂p ∂x = c 2 ∂ρ ∂x , (3)
where the parameter c, defined as

c = c 0 1 ± γ -1 2 v c 0 (4)
depends on the unknown particle velocity field v, the parameter γ -1 = χ T -χ S χ S giving a relative "measure" of the "gap" between the isothermal compressibility χ T and the adiabatic compressibility χ S .

Combining equations 1 to 3 with equation 4 to remove the variables p and ρ leads to the nonlinear propagation equations governing the counter-propagating particle velocity waves:

∂v ∂t ± c 0 1 ± γ + 1 2 v c 0 ∂v ∂x = 0 . ( 5
)
This result conveys the interpretation of the function

c w = c 0 1 ± γ + 1 2 v c 0 (6)
as the speed of sound, which depends on the unknown particle velocity field v through the nonlinear parameter γ+1 2 .

A. Single frequency source activity

The solution of these equations, for harmonic plane motion ( angular frequency ω), takes the wellknown form (Fubini's solution) given in Appendix A. As the wave propagates, distortion of its profile with respect to the distances from the loudspeaker appears, until a shock wave (amplitude discontinuity) occurs at a critical distance, x ω (equation 10 in Appendix A)

This critical distance x ω is presented in figure 1 as a function of the frequency, for two particle velocities given at the source location x = 0, namely 1m/s (full line) and 0.1m/s (dashed line), showing that this critical distance decreases when both the frequency and the initial particle velocity increase. As a result, when the frequency is equal to 5kHz and the initial particle velocity amplitude is equal to 0.1m/s (that is for an acoustic pressure level equal to 126 dBSPL), the shock wave appears at x ω 30m which is quite far from the loudspeaker compared to the usual listening distance, but the shape of the wave becomes significantly modified only after a few meters propagating. Therefore it can be emphasized that "high fidelity" sound reproduction is physically impossible, even if transducers would be perfect, when high particle velocity ( or pressure level) is required, except very near the source (which is not really recommended for such levels!).

B. Double frequency source activity

The solution of the fundamental equations when two harmonic waves are created by the source is given in Appendix B (equations 25 to 28). It differs here from those available in the literature [START_REF] Fenlon | An extension of the Bessel-Fubini series for a multiple frequency cw acoustic source of finite amplitude[END_REF][21] because the present paper considers that the frequencies are independent. The results show not only the generation of harmonic components of each wave separately, as expected, but also the nonlinear intermodulation between these two harmonic waves. The following section shows that under some circumstances a strong intermodulation phenomenon can occur.

III. THEORETICAL RESULTS

Being concerned by the nonlinear wave distortion when the wave propagates away from the source, we give in this section the results for the nonlinear distortion of a harmonic wave and the nonlinear intermodulation between two harmonic waves created by the loudspeaker. These theoretical results mainly concern the amplitude of generated signals at frequencies which are combinations of the primary frequencies.

An example of the contribution of the nonlinear effects to the generation of harmonic components of the signal created by the source, calculated from Fubini's solution [START_REF] Klipsch | Modulation Distortion in Loudspeakers: Part 2[END_REF], is given in figure 2, showing the amplitude of the n th harmonics (n = 0 to 5) in dB rear the amplitude of the fundamental (n = 0), as a function of the integer n, for three values of the normalised distance σ ω from the source, namely the distance of the creation of the shock wave σ ω = 1 (upper dots), σ ω = 0.5 (middle dots) and σ ω = 0.1 (lower dots). As an example, the level of the first harmonic at a distance half of the critical distance (σ ω = 0.5) is only 27 dB lower than the level of the fundamental signal created by the loudspeaker, which is non negligible in the usual listening conditions.

Another example of harmonic generation is given in figure 3 The second set of theoretical results presented here involves the contribution of the nonlinear effects to the nonlinear intermodulation between two harmonic waves created by the loudspeaker, at a distance Then, even when the distance from the loudspeaker considered is very small (1 m, i.e. far from the distance of the generation of the shock wave), it is remarkable that the nonlinear intermodulation cannot be negligible. Actually, because it is proportional to both amplitudes of the original signals (at the angular frequencies Ω and ω), this nonlinear effect becomes negligible when these levels are much lower than those considered here.

More details are given in table 1, giving the particle velocities (dB) as functions of the frequencies, for two harmonic particle velocity waves generated simultaneously by a source one meter far from the observation point, at frequencies respectively equal to ω/2π = 110 Hz and Ω/2π = 5 kHz, at levels both equal to 1 m/s in the case one (corresponding to figure 3) and respectively equal to 5 m/s and 1 m/s in the case 2 (corresponding to figure 4).

Frequencies case 1: Fig. In order to show the contribution of a distortion of the signal created by the source (due to source nonlinearities) to the nonlinear intermodulation due to the nonlinear propagation effects, three signals are assumed to be generated simultaneously by the source, two of them at the same frequencies as those considered before (110 Hz and 5 kHz) and the third one at the first harmonic of the lower frequency,

IV. EXPERIMENTAL RESULTS AND CONCLUSION

Various experimental results given below serve to confirm the estimate of the nonlinear intermodulation, especially the first order intermodulation, predicted by the modelling lying on the Fubini's theory presented in the previous sections. Electrical energy, containing two harmonic signals, one at 110 Hz and the other one at 5 kHz, is provided to an electrodynamic loudspeaker. But the velocity field of the membrane of the loudspeaker (50 mm in diameter) incorporates nonlinear features because both signals are generated at a quite high level. Results of measurements of the velocity of the membrane, using a laser vibrometer, are shown in figure 6: they reveal that the spectrum contains several harmonics of the fundamental electric signals, the more important ones being associated to the lowest frequency because the associated displacement is much greater than the displacement associated to the highest frequency (the first peak at 50 Hz is due to the electric amplifier). Actually, this harmonic distortion and the complex shape of the wave emitted by the acoustic source will prevent us to derive results with sufficiently accurate precision to obtain fine quantitative conclusions; nevertheless the measurements furnish results with orders of magnitude which permit to support qualitatively the theoretical results, as mentioned below.

For purposes of justifying this proposition, figures 7, 8, and 9 depict the spectral components of the acoustic pressure measured at the observation point one meter far from the loudspeaker on its axis. Fig. 6. Spectrum of the velocity of the membrane, measured using a laser vibrometer. Fig. 7. Spectral harmonic components of the acoustic pressure measured at the observation point one meter far from the loudspeaker on its axis, on the frequency range (100 Hz, 500 Hz).

The harmonic components (220 Hz, 330 Hz, and so on) of the low frequency initial signal (110 Hz) which appear on figure 7 characterise both the nonlinearity of the loudspeaker emission and the nonlinearity occurring as the wave propagates (term S ω from equation 26), one of them not being able to be departed from the other one here.

The nonlinear intermodulation effects are shown in figure 8. First, as expected, the first order intermodulation signal, at (5000 ± 110) Hz, which corresponds to the term D Ω,1ω in the modelling, is the most important one, its level being roughly 30 dB lower than the level of the fundamental signals (5 kHz, 125 dBSPL); this result is totally coherent with the corresponding theoretical result (see the theoretical intermodulation signal on figure 3 andtable 1) because the experimental level of the low frequency (110 Hz) signal is 25 dB lower than the level of the high frequency (5 kHz) when they have the same level in the results presented in figure 3.

Second, the components at (5000±220) Hz can correspond either to the second order term of the solution D Ω,2ω in the modelling associated to the fundamental frequencies 5kHz and 110 Hz, or to the first order term of the solution D Ω,1ω in the modelling associated to the fundamental frequency 5kHz and the first harmonic (220 Hz) of the fundamental (110 Hz) due to the nonlinear behaviour of the loudspeaker (in any case, both represent an intermodulation phenomenon arising from the nonlinear propagation effects).

Finally, the upper order intermodulation effects, namely at (5 000 ± n.110) Hz with n ≥ 3, exist but their levels decrease quite rapidly.

The first harmonic component (at 10 kHz) of the fundamental frequency (at 5 kHz), and the frequencies arising around it by the intermodulation phenomena, both being essentially due to the nonlinear propagation of the wave, are shown in figure 9, which gives their amplitudes as functions of the frequency.

To conclude, it can be said that this work has highlighted the importance of the nonlinear propagation phenomena, modelled in the framework of Fubini's theory, in having given results concerning not only the well known generation of harmonics but also important intermodulation effects. Actually, the harmonic distortion of the loudspeaker used in the experiments and the local effects at its surrounding (for example edge effects not evaluated here) will prevent us to derive results with sufficiently accurate precision to obtain fine quantitative conclusions. Nevertheless, despite the discrepancies and the uncertainties which result from these features, it can be concluded that there is seen to be qualitative agreement between analytical and experimental results, thereby supporting the fact that not only the harmonic distortion is non negligible at high level, but also that intermodulation, due to nonlinear effects when the acoustic wave propagates, provides important non harmonic distortion in usual listening conditions.

APPENDIX

In the problem addressed in this appendix, the harmonic source set at x = 0 creates a wave at the angular frequency ω which propagates in the direction of the x-axis, the particle velocity at x = 0 being given by: v (0, t) = V ω sin ωt . [START_REF] Braun | Time-domain formulation of the doppler effect[END_REF] The solution of equation 5, subject to the boundary condition 7, is given by (Fubini's solution)

v (x, t) = V ω sin ω t - x c 0 1 + γ + 1 2 v c 0 -1 . ( 8
)
Usually, this result can be truncated to include only the first order expansion with respect to the small non-dimensional parameter γ+1

2 v c 0 , leading to v (x, t) V ω sin ω t - x c 0 1 - γ + 1 2 v c 0 . ( 9
)
As the wave propagates, distortion of its profile with respect to time appears, until a discontinuity occurs (generation of higher harmonics and shock wave) at the distance from the source x ω which is given by equation [START_REF] Klipsch | Modulation Distortion in Loudspeakers[END_REF] expressing that the difference between the distance covered by a neutral point of the wave (v = 0) and the distance covered by the crest of the wave (maximum of the amplitude of the wave) at the same time is equal to a quarter wavelength, namely:

x ω 2c 2 0 (γ + 1) ωV ω . ( 10
)
It should be noted that, beyond this critical point, solution [START_REF] Van Wulfften Palthe | Doppler effect in loudspeakers[END_REF] has no physical meaning because it is a multi-valued function with respect to x (when analysing the phenomena in the neighbouring or beyond this point, the dissipative processes must be taken into account because they become predominant at the vicinity of the discontinuity).

This critical distance x ω is presented in figure 1 as a function of the frequency, for two particle velocities given at the source location x = 0, namely 1m/s (full line) and 0.1m/s (dashed line), showing that this critical distance decreases when both the frequency and the initial particle velocity increases. As a result, when the frequency is equal to 5kHz and the initial particle velocity amplitude is equal to 0.1m/s (that is for an acoustic pressure level roughly equal to 126 dBSPL), the shock wave appears at x ω 30m

which is quite far from the loudspeaker compared to the usual listening distance, but the shape of the wave becomes significantly modified only after several meters propagating (as shown in sections 3 and 4).

In the present paper, the distance from the source considered is always much lower than this critical distance x ω , so that the dissipative effects can be neglected. Then, solution (9) can also take the form of a Fourier series as follows:

v (x, t) = V ω ∞ n=1 2 nσ ω J n (nσ ω ) sin nω t - x c 0 (11)
where the functions J n are the Bessel functions of the first kind, with

σ ω = x x ω < 1 . ( 12
)
This result shows clearly that the nonlinear phenomena lead to energy transfer from the signal created by the source (at the fundamental frequency) to harmonic components (generating the shape profile distortion of the wave when propagating).

In this appendix, the source set at x = 0 is assumed to create two harmonic waves, at the angular frequencies denoted ω and Ω, their particle velocity amplitudes being denoted respectively V ω and V Ω , so:

v (0, t) = V ω sin ωt + V Ω sin Ωt . ( 13
)
A solution of equation ( 5) subject to the boundary condition ( 13) can be writen as the sum of two terms:

v (x, t) = v ω (x, t) + v Ω (x, t) , (14)
leading to (8):

v (x, t) = V ω sin ω   t ∓ x c 0 1 ± γ+1 2 v c0   + V Ω sin Ω   t ∓ x c 0 1 ± γ+1 2 v c0   (15)
We lay

u = t ∓ x c 0 1 ± γ+1 2 v c 0 (16)
This result follows from the two partial derivatives given below, namely the time derivative:

∂v ∂t =   1 + x γ+1 2 ∂v ∂t c 2 0 1 ± γ+1 2 v c0 2    (V ω ω cos ωu + V Ω Ω cos Ωu) (17)
or

∂v ∂t   1 - x γ+1 2 (V ω ω cos ωu + V Ω Ω cos Ωu) c 2 0 1 ± γ+1 2 v c0 2    = (V ω ω cos ωu + V Ω Ω cos Ωu) (18)
and the spatial derivative:

∂v ∂x =   ∓ 1 c 0 1 ± γ+1 2 v c0 + x γ+1 2 ∂v ∂x c 2 0 1 ± γ+1 2 v c 0 2    (V ω ω cos ωu + V Ω Ω cos Ωu) (19)
or

∂v ∂x   1 - x γ+1 2 (V ω ω cos ωu + V Ω Ω cos Ωu) c 2 0 1 ± γ+1 2 v c 0 2    = ∓ (V ω ω cos ωu + V Ω Ω cos Ωu) c 0 1 ± γ+1 2 v c 0 (20)
Invoking equation ( 18) and [START_REF] Fenlon | An extension of the Bessel-Fubini series for a multiple frequency cw acoustic source of finite amplitude[END_REF] shows straightforwardly that the solution (15) satisfies equation ( 5)and [START_REF] Klipsch | A Note on Modulation Distortion: Two Frequencies radiated from the Same Diaphram[END_REF]. This result leads to the approximate solution for both outgoing expected waves, namely

v Ω (x, t) = V Ω sin Ω t - x c 0 1 - γ + 1 2 v Ω + v ω c 0 , ( 21
) v ω (x, t) = V ω sin ω t - x c 0 1 - γ + 1 2 v Ω + v ω c 0 . ( 22
)
Then, the general solution can take successively the following forms, discarding the second order term of the small quantity γ+1 2

v c 0 : v (x, t) = v Ω (x, t) + v ω (x, t) (23) V Ω sin Ω t - x c 0 1 - γ + 1 2 vΩ c 0 + x c 0 γ + 1 2 vω c 0 + V ω sin ω t - x c 0 1 - γ + 1 2 vω c 0 + x c 0 γ + 1 2 vΩ c 0 = V Ω 1. sin Ω t - x c 0 1 - γ + 1 2 v Ω c 0 + VΩ Ωx c0 γ + 1 2 vω c0 . cos Ω t - x c0 1 - γ + 1 2 vΩ c0 + V ω 1. sin ω t - x c 0 1 - γ + 1 2 vω c 0 + V ω ωx c 0 γ + 1 2 v Ω c 0 . cos ω t - x c 0 1 - γ + 1 2 v Ω c 0 VΩ sin Ω t - x c0 1 - γ + 1 2 v Ω c0
+ VΩ vω γ + 1 2c 2 0 Ωx cos Ω t - x c0 + Vω sin ω t - x c0 1 - γ + 1 2 v ω c0 + V ω v Ω γ + 1 2c 2 0 ωx cos ω t - x c 0 . ( 24
)
The last form of the solution emphasizes that the particle velocity wave can be interpreted as the superposition of four components. Two of them, the first one and the third one, which represent harmonic waves v Ω and v ω (angular frequency respectively Ω and ω) propagating independently, have exactly the same behaviour as the Fubini's solutions abovementioned [START_REF] Klipsch | Modulation Distortion in Loudspeakers: Part 2[END_REF], namely:

S Ω = V Ω sin Ω t - x c 0 1 - γ + 1 2 v Ω c 0 = V Ω ∞ n=1 2 nσ Ω J n (nσ Ω ) sin nΩ t - x c 0 , ( 25
)
S ω = V ω sin ω t - x c 0 1 - γ + 1 2 v ω c 0 = V ω ∞ n=1 2 nσ ω J n (nσ ω ) sin nω t - x c 0 . ( 26
)
The other components of the solution (24), the second one and the fourth one, result both from the coupling of the two primary coherent waves created by the acoustic source and propagating nonlinearly due to nonlinear effects. Invoking respectively expression (26) for S ω and expression (25) for S Ω , these second and fourth components take the following forms:

These results highlight the generation of signals at frequencies (ω ± nΩ) and (Ω ± nω), n = 1, 2, 3,...,

showing the intermodulation effects which are discussed in section 3.

It is noteworthy that results presented on the particle velocity give straightforwardly similar results on the acoustic pressure, thanks to the well-known relationship between both i.e. Euler equation which can be reduced to the linear expression when used locally each frequency of interest (ρ 0 ∂v ∂t = -∂p ∂x ), leading to the same conclusions as those obtained for the particle velocity.

Fig. 1 .

 1 Fig. 1. Distance from the source xω where a discontinuity occurs as a function of the frequency, for two particle velocities given at the source location x = 0, namely 1m/s (full line) and 0.1m/s (dashed line).

Fig. 2 .

 2 Fig. 2. Theoretical amplitudes of the n th harmonics (n = 0 to 5) in dB rear the amplitude of the fundamental (n = 0), as a function of the integer n, for three values of the normalised distance σω from the source, namely the distance of the creation of the shock wave σ ω = 1 (upper dots), σ ω = 0.5 (middle dots) and σ ω = 0.1 (lower dots).

Fig. 3 .

 3 Fig. 3. Particle velocity spectrum (dB) as a function of the frequency, for two harmonic particle velocity waves generated simultaneously by a source 1 meter far from the observation point, at frequencies respectively equal to ω/2π = 110 Hz and Ω/2π = 5 kHz, at levels both equal to 1 m/s. This level is considered as the reference one.

Fig. 4 .

 4 Fig. 4. Particle velocity spectrum (dB) as a function of the frequency, for two harmonic particle velocity waves generated simultaneously by a source one meter far from the observation point, at frequencies respectively equal to ω/2π = 110 Hz and Ω/2π = 5 kHz, at levels respectively equal to 5 m/s and 1 m/s. The latter level is considered as the reference one.

Figure 5

 5 Figure 5 shows the particle velocity spectrum (dB) as a function of the frequency when the source generates a distorted low frequency signal, with the fundamental (110 Hz, not shown) and the first harmonic (220 Hz, 0.05 m/s), and the high frequency signal (5 kHz, 1 m/s). The contribution of the four terms of the solution (24), namely S Ω (equation 25), S ω (equation 26), D Ω,nω (equation 27), D ω,nΩ (equation 28), can be clearly identified on figure 3 as on figures 4 and 5. The intermodulation signals, at (5000 ± 110) Hz, are non negligible, regarding the small distance (1 m) from the loudspeaker considered.

Fig. 5 .

 5 Fig. 5. The particle velocity spectrum (dB) as a function of the frequency, when the source creates simultaneously three signals, respectively at 110 Hz (not shown), at 220 Hz (the first harmonic due to the distortion, 0.05 m/s), and at 5 kHz (1 m/s). The level 1m/s is considered as the reference.

Fig. 8 .

 8 Fig. 8. Inter-modulation nonlinear effect on the acoustic pressure field on the frequency range (3 kHz, 7 kHz) around the fundamental frequency at 5 kHz.

Fig. 9 .

 9 Fig. 9. Harmonic component (at 10 kHz) of the fundamental frequency (at 5 kHz), and the frequencies arising around it by the intermodulation phenomena, in the frequency range (9.5 kHz, 10.5 kHz).

TABLE I THE

 I PARTICLE VELOCITIES (DB) AS FUNCTIONS OF THE FREQUENCIES, FOR TWO HARMONIC PARTICLE VELOCITY WAVES GENERATED SIMULTANEOUSLY BY A SOURCE 1 METER FAR FROM THE OBSERVATION POINT, AT FREQUENCIES RESPECTIVELY EQUAL TO ω/2π = 110 HZ AND Ω/2π = 5 KHZ, AT LEVELS BOTH EQUAL TO 1 M/S IN THE CASE 1 (CORRESPONDING TO FIGURE 3) AND RESPECTIVELY EQUAL TO 5 M/S AND 1 M/S IN THE CASE 2 (CORRESPONDING TO FIGURE 4). THE LEVEL 1M/S IS CONSIDERED AS THE REFERENCE ONE.


Matthieu Geist
email: matthieu.geist@supelec.fr

Olivier Pietquin
email: olivier.pietquin@supelec.fr

Gabriel Fricout
email: gabriel.fricout@arcelormittal.com

Différences Temporelles de Kalman : le cas stochastique

Les différences temporelles de Kalman (KTD pour Kalman Temporal Differences) sont un cadre de travail statistique qui traite de l'approximation de la fonction de valeur et de qualité en apprentissage par renforcement. Son principe est d'adopter une représentation paramétrique de la fonction de valeur, de modéliser les paramètres associés comme des variables aléatoires et de minimiser l'espérance de l'erreur quadratique moyenne des paramètres conditionnée à l'ensemble des récompenses observées. Ce paradigme s'est montré efficace en terme d'échantillons (i.e. convergence rapide), capable de prendre en compte la non-stationnarité ainsi que de fournir une information d'incertitude. Cependant ce cadre de travail était restreint au processus décisionnels de Markov bénéficiant de transitions déterministes. Dans cette contribution nous proposons d'étendre le modèle au transitions stochastiques à l'aide d'un bruit coloré, ce qui mène aux différences temporelles de Kalman étendues (XKTD pour eXtended KTD). L'approche proposée est illustrée sur des problèmes usuels en apprentissage par renforcement.

Introduction

Cet article aborde le problème de la détermination de la politique optimale d'un processus décisionnel de Markov (PDM) dans un contexte d'apprentissage par renforcement (AR), c'est-à-dire principalement apprentissage en ligne du contrôle optimal sans connaissance a priori du modèle. Un algorithme d'AR devrait posséder certaines caractéristiques : pouvoir prendre en compte de grands espaces d'état et d'action (approximation de la fonction de valeur), être efficace en terme d'échantillons (apprendre un bon contrôle avec aussi peu d'interactions que possible), prendre en compte la non-stationnarité (même si le système est stationnaire, le contrôler tout en cherchant à apprendre la politique optimale peut induire des non-stationnarités) et prendre en compte l'incertitude (qui est une condition quasi-nécessaire pour pouvoir s'intéresser au dilemme entre exploration et exploitation). Tous ces aspects font partie intégrante du cadre de travail des différences temporelles de Kalman (KTD pour Kalman Temporal Differences) de Geist et al. (2009a,b) que nous décrivons brièvement par la suite. Un algorithme d'AR devrait aussi pouvoir prendre en compte des transitions stochastiques, ce qui est l'objet de cette contribution.

Un PDM est un tuple {S, A, P, R, γ} où S est l'espace d'état, A l'espace d'action, p : s, a ∈ S × A → p(.|s, a) ∈ P(S) une famille de probabilités de transitions, R : S × A × S → R une fonction de récompense bornée et γ ∈ [0, 1) un facteur d'actualisation. Une politique π associe à chaque état une probabilité sur les actions : π : s ∈ S → π(.|s) ∈ P(A). La fonction de valeur d'une politique donnée associe à chaque état le cumul espéré de récompenses en partant de cet état et en suivant la politique par la suite, c'est-à-dire plus formellement V π (s) = E[ ∞ i=0 γ i r i |s 0 = s, π] où r i est la récompense immédiate observée au temps i, et l'espérance dépend des probabilités des trajectoires partant de s, étant données la dynamique du système et la politique suivie. La Q-fonction (ou fonction de qualité) ajoute un degré de liberté supplémentaire sur le choix de la première action, et elle est définie par Q π (s, a) = E[ ∞ i=0 γ i r i |s 0 = s, a 0 = a, π]. L'objectif de l'AR est de déterminer (à partir d'interactions) la politique π * qui maximise la fonction de valeur pour chaque état : π * = argmax π (V π ). A la base, le cadre de travail de KTD ne permet de traiter que les PDM aux transitions déterministes, ce qui sera le cas de la première partie de cet article : les transitions et politiques deviennent déterministes, et nous les notons pour l'instant p(s, a) et π(s).

Deux schémas (plus généraux que le cas déterministe) parmi d'autres peuvent mener à la politique optimale. Premièrement, l'itération de la politique implique d'apprendre la fonction de valeur d'une politique donnée, puis d'améliorer cette politique, la nouvelle étant gloutonne respectivement à la fonction de valeur apprise. Cela implique de résoudre l'équation d'évaluation de Bellman, qui est donnée ici pour l'évaluation de la fonction de valeur ainsi que de la Q-fonction : V π (s) = R(s, π(s), s ) + γV π (s ), ∀s

(1) Q π (s, a) = R(s, a, s ) + γQ π (s , π(s )), ∀s, a

(2) où s dénote l'état vers lequel transite le système, c'est-à-dire s = p(s, π(s)) ou s = p(s, a), selon le contexte. Le second schéma, l'itération de la valeur, permet de directement déterminer la politique optimale. Il implique de résoudre l'équation d'optimalité de Bellman :

Q * (s, a) = R(s, a, s ) + γ max b∈A Q * (s , b), ∀s, a (3)
Un important problème en AR est de trouver une solution approchée de l'une des équations de Bellman lorsque l'espace d'état et/ou d'action est trop grand pour les algorithmes classiques d'AR ou de programmation dynamique [START_REF] Bertsekas | Neuro-Dynamic Programming[END_REF]. Pour ce faire, les méthodes de différences temporelles (TD pour Temporal Differences) sont considérées. Elle forment une classe d'approches qui consistent à corriger une représentation de la fonction de valeur (ou de qualité) en accord avec l'erreur de différence temporelle définie ci-après. La plupart d'entre elles peuvent s'écrire de façon générique comme :

θ i = θ i-1 + K i δ i (4)
Dans cette expression, θ i-1 est la dernière représentation de la fonction de valeur (un vecteur de paramètres), θ i est une mise à jour de cette représentation étant donnée une transition observée, δ i est l'erreur dite de différence temporelle (la différence entre les membre de droite et de gauche d'une des équations de Bellman pour une transition échantillonnée), et K i est un gain qui indique dans quelle direction la représentation de la fonction de valeur doit être corrigée. Par exemple, des algorithmes comme TD, SARSA ou encore Q-learning avec approximation de la valeur [START_REF] Sutton | Reinforcement Learning : An Introduction[END_REF] peuvent être écrits de façon générique sous la forme (4). Pour tous ces algorithmes le vecteur de paramètres dépend de la paramétrisation choisie (réseaux de neurones, machines à noyaux, tile coding, tabulaire, etc). Pour TD, qui est lié à l'équation (1), l'erreur TD est et al. (2009a,b) montrent comment d'autres algorithmes de l'état de l'art comme TD(λ) [START_REF] Sutton | Reinforcement Learning : An Introduction[END_REF], LSTD [START_REF] Bradtke | Linear Least-Squares Algorithms for Temporal Difference Learning[END_REF] ou encore les algorithmes dits résiduels [START_REF] Baird | Residual Algorithms : Reinforcement Learning with Function Approximation[END_REF] peuvent être génériquement exprimés sous la forme de l'équation (4).

δ i = r i + γ Vθi-1 (s i+1 ) -Vθi-1 (s i ), i étant l'indice temporel. Pour SARSA, qui est lié à (2), cette erreur est δ i = r i + γ Qθi-1 (s i+1 , a i+1 ) -Qθi-1 (s i , a i ). Pour le Q-learning, lié à (3), c'est δ i = r i +γ max b∈A Qθi-1 (s i+1 , b)-Qθi-1 (s i , a i ). Pour TD le gain est K i = α i ∇ θi-1 Vθi-1 (s i ), où α i est un taux d'apprentissage, et pour SARSA et Q-learning ce gain vaut K i = α i ∇ θi-1 Qθi-1 (s i , a i ). Geist
En postulant une mise à jour linéaire de la forme (4), le principe de KTD est de modéliser le vecteur de paramètres comme un vecteur aléatoire (éventuellement non-stationnaire) et de minimiser l'espérance de l'erreur quadratique sur les paramètres conditionnée aux récompenses passées, ce qui définit un gain K i spécifique, le gain de Kalman. Cela donne naissance à des algorithmes du second ordre. Ce cadre de travail permet également de prendre en compte les non-stationnarités (le filtrage de Kalman ayant été développé à l'origine pour traquer l'état caché d'un système dynamique et stochastique). Les paramètres sont modélisés comme des variables aléatoires, ce qui permet d'estimer une information d'incertitude sur les valeurs approchées, comme illustré par Geist et al. (2009a). De plus, cette approche est en ligne, ce qui est un aspect de l'AR que nous pensons important. La section 2 présente le cadre de KTD dans le cas des transitions déterministes. Il est ensuite étendu au cas des transitions stochastiques en utilisant un modèle de bruit proposé à l'origine par [START_REF] Engel | Reinforcement Learning with Gaussian Processes[END_REF] dans un contexte différent. La section 4 montre une série d'expérimentations, et la dernière section ouvre quelques perspectives.

Différences temporelles de Kalman

Le paradigme de KTD est brièvement décrit dans cette section, pour plus de détails théoriques et une comparaison expérimentale à l'état de l'art le lecteur peut se référer à Geist et al. (2009a). Une transition est noté de façon générique par :

t i =      (s i , s i+1 ) (5a) (s i , a i , s i+1 , a i+1 ) (5b) (s i , a i , s i+1 ) (5c)
étant donné que l'objectif est l'évaluation de la fonction de valeur (5a), l'évaluation de la Qfonction (5b) ou encore l'optimisation directe de la fonction de qualité (5c). De façon similaire, pour les mêmes cas, les notations suivantes sont adoptées :

g ti (θ i ) =        Vθi (s i ) -γ Vθi (s i+1 ) (6a) Qθi (s i , a i ) -γ Qθi (s i+1 , a i+1 ) (6b) Qθi (s i , a i ) -γ max b Qθi (s i+1 , b) (6c)
Le lecteur remarquera que l'équation r i = g ti (θ) correspond aux équations de Bellman pour une transition donnée. Un point de vue statistique est adopté. Le problème est exprimé dans une formulation dite espace-d'état :

θ i = θ i-1 + v i r i = g ti (θ i ) + n i (7)
En utilisant le vocabulaire du filtrage de [START_REF] Kalman | A New Approach to Linear Filtering and Prediction Problems[END_REF] L'objectif de KTD est la minimisation de l'espérance de l'erreur quadratique conditionnée aux observations (transitions) passées :

J( θi ) = E θ i -θi 2 |r 1:i avec r 1:i = r 1 , . . . , r i (8)
De façon générale, l'estimateur minimisant ce coût est l'espérance conditionnelle. Cependant, à part dans certains cas bien spécifiques (par exemple linéaire et gaussien), cet estimateur ne peut pas être calculé. A la place, l'objectif est de trouver le meilleur estimateur linéaire, qui peut être écrit sous une forme très similaire à l'équation (4). Minimiser ce coût sous cette hypothèse donne naissance à l'approche la plus générale de KTD, qui est résumée dans l'algorithme 1, pour lequel les notations suivantes sont utilisées : θi|j = E[θ i |r 1:j ] est la prédiction de l'estimateur au temps i conditionnée aux récompenses r 1:j observées jusqu'au temps j, et P i|j = cov(θ i -θi|j |r 1:j ) est la matrice de variance associée. Une chose importante à noter est que la dérivation de cet algorithme ne fait pas d'hypothèse gaussienne et n'utilise pas directement la règle de Bayes (même si le cadre de travail proposé a des connexions avec l'apprentissage bayésien 1 ).

L'algorithme KTD se décompose en trois étapes. Premièrement, l'étape de prédiction consiste à mettre à jour l'espérance et la variance du vecteur de paramètres en accord avec l'équation d'évolution. Ensuite certaines statistiques d'intérêt sont calculées. Elles sont nécessaire pour l'étape de correction (la troisième étape), qui consiste à corriger les moments d'ordre un et deux du vecteur de paramètres en fonction du gain de Kalman K i , de la récompense prédite ri|i-1 et de la récompense observée r i . La différence entre récompenses prédite et observée, appelée innovation dans le paradigme du filtrage de Kalman, est une forme d'erreur de différence temporelle. Il est à noter qu'étant en ligne, KTD doit être initialiser avec un a priori sur les paramètres moyens et la matrice de variance associée.

Le problème est que dans le cas général les statistiques d'intérêt ne sont pas calculables, excepté pour le cas linéaire, qui ne tient pas si la paramétrisation est non linéaire (réseau de neurones par exemple) ou pour l'équation d'optimalité de Bellman, à cause de l'opérateur max. Cependant, un schéma d'approximation ne requérant pas de calcul de gradient, la transformation nonparfumée de Julier & Uhlmann (2004) (UT pour Unscented Transform), permet d'estimer les moments d'ordre un et deux de la transformation non-linéaire d'une variable aléatoire en connaissant moyenne et variance de la variable aléatoire non-transformée. Cela est utilisé pour dériver une famille d'algorithmes, nommément KTD-V (6a), KTD-SARSA (6b) et KTD-Q (6c), selon que l'objectif est l'évaluation de la fonction de valeur, de qualité, ou l'optimisation directe de la Q-fonction. Les détails et développements peuvent être trouvés chez Geist et al. (2009b).

Algorithme 1 : Algorithme KTD général.

Initialisation : a priori θ0|0 et P 0|0 ;

pour i ← 1, 2, . . . faire
Observer la transition t i et la récompense r i ;

Etape de prédiction;

θi|i-1 = θi-1|i-1 ;

P i|i-1 = P i-1|i-1 + P vi ;
Calcul des statistiques d'intérêt (en utilisant l'UT et les statistiques θi|i-

1 et P i|i-1 ); ri|i-1 = E[g ti (θ i )|r 1:i-1 ] ; P θri = E (θ i -θi|i-1 )(g ti (θ i ) -ri|i-1 )|r 1:i-1 ; P ri = E (g ti (θ i ) -ri|i-1 ) 2 |r 1:i-1 + P ni ; Phase de correction; K i = P θri P -1 ri ; θi|i = θi|i-1 + K i r i -ri|i-1 ; P i|i = P i|i-1 -K i P ri K T i ;
1 De façon générale, le filtrage de Kalman peut être vu sous trois optiques différentes : projection orthogonale, filtrage bayésien (approché si non-linéaire ou non-gaussien) et statistique. C'est ce dernier point de vue que nous adoptons.

Transitions stochastiques

Supposons à présent que les transitions soient stochastiques (les politiques sont toujours supposées déterministes). Nous nous concentrons dans un premier temps sur l'évaluation de la fonction de valeur. L'extension à l'évaluation de la Q-fonction est simple, et l'optimisation directe de la fonction de qualité pose des problèmes particuliers à cause de son aspect off-policy (la politique apprise n'est pas la politique suivie) que nous discutons par la suite. L'équation de Bellman qu'il s'agit maintenant de résoudre est l'espérance de l'équations (1) :

V π (s) = E s |s,π(s) [R(s, π(s), s ) + γV π (s )] , ∀s (9)
Il peut être montré (voir Geist et al. (2009a)) qu'utiliser directement KTD dans un problème stochastique induit un biais de la fonction de coût minimisée (8), ce biais étant très similaire à celui apparaissant lors de la minimisation d'un résidu quadratique de Bellman, comme explicité par [START_REF] Antos | Learning near-optimal policies with Bellmanresidual minimization based fitted policy iteration and a single sample path[END_REF]. Nous rappelons l'expression de ce biais :

trace K i E cov s |si (r i + γV θ (s )) |r 1:i-1 K T i = K i 2 E cov s |si (r i + γV θ (s )) |r 1:i-1 (
C i (θ) = i j=1 1 P nj r j -g tj (θ) 2 (11)
Sous cette forme, le lien avec les problèmes liés aux transitions stochastiques des approches minimisant un résidu quadratique de Bellman est encore plus clair. Cette contribution propose d'étendre KTD avec un modèle de bruit coloré ayant été introduit par [START_REF] Engel | Reinforcement Learning with Gaussian Processes[END_REF] pour une approche bayésienne basée sur une modélisation de la fonction de valeur par un processus gaussien.

Un modèle de bruit coloré

La politique étant fixée dans un contexte d'évaluation, le PDM se réduit à une chaîne de Markov valuée dont la probabilité de transition est donnée par p π (.|s) = p(.|s, π(s)) et dont la récompense est R π (s, s ) = R(s, π(s), s ). La fonction de valeur peut être définie comme l'espérance (sur l'ensemble des trajectoires possibles) du processus aléatoire du cumul pondéré de récompenses suivant :

D π (s) = R π (s, s ) + γD π (s ), s ∼ p π (.|s) (12)
Ce processus aléatoire peut se décomposer en deux parties, la fonction de valeur et un résiduel aléatoire centré :

D π (s) = V π (s) + ∆V π (s) (13) où par définition V π (s) = E[D π (s)] et ∆V π (s) = D π (s) -V π (s) est le résidu.
En injectant l'équation (13) dans l'équation (12), la récompense peut être exprimée comme une fonction de la valeur plus un bruit :

R π (s, s ) = V π (s) -γV π (s ) + N (s, s ) (14)
le bruit étant défini par :

N (s, s ) = ∆V π (s) -γ∆V π (s ) (15)
Comme [START_REF] Engel | Reinforcement Learning with Gaussian Processes[END_REF], nous supposons les résidus indépendants, ce qui mène à un modèle de bruit coloré.

Extension de KTD

Rappelons l'équation d'observation de la formulation espace-d'état (7) : r i = g ti (θ i ) + n i . Dans le cadre de travail de KTD, le bruit d'observation n i est supposé blanc, ce qui est nécessaire à l'obtention de l'algoritme final. Dans la version étendue de KTD (XKTD pour eXtended Kalman Temporal Differences), le modèle de bruit coloré (15) est utilisé à la place.

Les résidus étant centrés et supposés indépendants, ce bruit est en fait un bruit à moyenne mobile 2 (bruit MA pour Moving Average) qui est la somme de deux bruits blancs :

n i = -γu i + u i-1 , u i ∼ (0, σ 2 i ) (16)
Notons que le bruit blanc u i est centré de variance σ 2 i , cependant aucune supposition n'est faite à propose de sa distribution (et particulièrement pas d'hypothèse gaussienne). S'il est assez aisé d'utiliser un modèle de bruit d'observation auto-régressif 3 (AR pour auto-regressive) en étendant l'équation d'évolution (voir Simon (2006)

w i n i = 0 0 1 0 w i-1 n i-1 + 1 -γ u i (17)
Le bruit u i = u i -γu i T est également centré et sa matrice variance est donnée par :

P u i = σ 2 i 1 -γ -γ γ 2 (18)
Cette nouvelle formulation du bruit d'observation ayant été définie, il est maintenant possible d'étendre la formulation espace-d'état (7) :

x i = F x i-1 + v i r i = g ti (x i ) (19)
Le vecteur de paramètres est maintenant étendu avec le bruit AR vectoriel w i n i T :

x

T i = θ T i w i n i (20)
La matrice d'évolution F prend en compte la structure du bruit d'observation MA (sous sa forme AR). Soit p le nombre de paramètres et I p la matrice identité de taille p, la matrice d'évolution s'écrit par bloc (0 étant un vecteur colonne de taille p × 1) :

F =   I p 0 0 0 T 0 0 0 T 1 0   (21)
Le bruit d'évolution v i est également étendu pour prendre en compte le bruit d'observation coloré. Il est toujours centré, cependant la matrice de variance est maintenant définie par :

P v i =   P vi 0 0 0 T σ 2 i -γσ 2 i 0 T -γσ 2 i γ 2 σ 2 i   ( 22
)
2 De façon générale, un bruit à moyenne amovible y k est défini par y k = P q j=0 b j u k-j où (u k ) k est un bruit blanc et b 0 , . . . , bq est un ensemble de coefficients.

3 De façon générale, un bruit auto-régressif y k est défini par y k = P q j=1 a i y k-i + u k où (u k ) k est un bruit blanc et a 1 , . . . , aq sont des coefficients.

L'équation d'observation reste la même :

r i = g ti (x i ) = g ti (θ i ) + n i (23)
Cependant maintenant le bruit d'observation fait partie intégrante de l'équation d'évolution, au même titre que les paramètres. En utilisant cette nouvelle formulation espace-d'état, l'algorithme général XKTD peut être dérivé. Il est résumé dans l'algorithme 2, qui est très similaire à l'algorithme 1. La seule chose qui change (excepté le fait que le modèle espace d'état ne soit pas le même) est l'étape de prédiction : la prédiction de la moyenne et de la variance du vecteur aléatoire étendu x i est faite en utilisant la matrice d'évolution F (cette matrice étant l'identité pour KTD claissique). Notons que le coût computationnel est le même pour KTD (coût quadratique, voir Geist et al. (2009a)

xi|i-1 = F xi-1|i-1 ; P i|i-1 = F P i-1|i-1 F T + P v i ;
Calcul des statistiques d'intérêt (en utilisant l'UT et les statistiques θi|i-

1 et P i|i-1 ); ri|i-1 = E[g ti (θ i ) + n i |r 1:i-1 ] ; P xri = E (x i -xi|i-1 )(g ti (θ i ) + n i -ri|i-1 )|r 1:i-1 ; P ri = E (g ti (θ i ) + n i -ri|i-1 ) 2 |r 1:i-1 ; Phase de correction; K i = P xri P -1 ri ; xi|i = xi|i-1 + K i r i -ri|i-1 ; P i|i = P i|i-1 -K i P ri K T i ;

XKTD pondéré

Dans cette section, une version pondérée de XKTD est proposée. Elle a été pensée à l'origine pour traiter le problème causé par un apprentissage off-policy, et nous verrons en quoi elle ne peut prendre en compte que partiellement ce problème. Cependant, l'approche proposée est également valable pour des politiques stochastiques dans le cadre d'un apprentissage on-policy, ce qui est montré être particulièrement utile pour un apprentissage -glouton dans la section 4.

L'apprentissage off-policy est le problème d'apprendre une politique (la politique cible) tout en en suivant une autre (la politique comportementale). KTD-Q (et plus généralement les algorithmes qui s'inscrivent dans le cadre d'un schéma d'itération de la valeur, comme Q-learning) est un exemple d'apprentissage off-policy : la politique comportementale est n'importe quelle politique suffisamment explorative tandis que la politique cible est la politique optimale. Plus généralement, l'apprentissage off-policy est d'intérêt, par exemple pour réutiliser des trajectoires déjà observées ou encore si la politique comportementale ne peut pas être contrôlée.

L'utilisation d'un bruit d'observation coloré résulte en un effet mémoire, de façon similaire à ce qu'il se passe pour les traces d'éligibilité pour les algorithmes plus classiques de différences temporelles [START_REF] Sutton | Reinforcement Learning : An Introduction[END_REF]. Pour une paramétrisation linéaire et un bruit d'évolution nul (c'est-à-dire P vi = 0), l'algorithme XKTD-V est le même que la version paramétrique de l'algorithme MC-GPTD de Engel (2005, chapitre 4.4), qui est obtenu en utilisant le même bruit coloré, des processus gaussiens et des arguments bayésiens. Ce dernier algorithme est équivalent à estimer la fonction de valeur de façon supervisée, les cibles étant des échantillons obtenus par Monte-Carlo du cumul pondéré de récompenses. La cible de l'algorithme LSTD(1) est la même, comme noté par Engel (2005, chapitre 4.4).

Comme les algorithme plus classiques basés sur les traces d'éligibilité, XKTD appliqué à de l'apprentissage off-policy est susceptible d'échouer car il inclue des effets de toute la trajectoire, pas seulement de la transition courante, ces effets étant contaminés par la politique comportementale et n'étant compensés d'aucune façon. Cependant on peut envisager de les prendre en compte dans le modèle de bruit. Considérons le bruit (15) pour la fonction de qualité :

N (s i , a i , s i+1 , a i+1 ) = ∆Q(s i , a i ) -γ∆Q(s i+1 , a i+1 ) (24)
Soit (s i , a i , s i+1 , a i+1 , s i+2 , a i+2 ) une partie de la trajectoire générée en accord avec la politique comportementale b. Supposons que la politique cible est π, la mise à jour est donc faite selon (s i , a i , s i+1 , a π i+1 ) où l'action a π i+1 est choisie en accord avec la politique π. La variance du bruit est toujours la même, cependant la corrélation entre les bruits à deux instants consécutifs est maintenant :

E[N (s i , a i , s i+1 , a π i+1 )N (s i+1 , a i+1 , s i+2 , a π i+2 )] = -γπ(a i+1 |s i+1 )E[(∆Q(s i+1 , a i+1 )) 2 ] ( 25
)
La corrélation est donc pondérée par la probabilité de l'action a i+1 d'avoir été échantillonnée par la politique π. Cela mène à une légère modification de l'algorithme XKTD. Le changement se fait dans la variance ( 18) du bruit auto-régressif vectoriel :

P u i = σ 2 i 1 -γπ(a i+1 |s i+1 ) -γπ(a i+1 |s i+1 ) γ 2 (26)
Notons que pour l'apprentissage on-policy d'une politique déterministe nous retrouvons la mise à jour de XKTD. Nous appelons cette approche XKTD pondéré (ou wXKTD pour weighted XKTD).

Cet algorithme partage des similarités avec le Q(λ) de [START_REF] Watkins | Learning from Delayed Rewards[END_REF] qui coupe les traces d'éligibilité dès qu'une action explorative est prise, ainsi qu'avec l'algorithme tree backup de Precup et al. (2000) qui pondère la trace par la probabilité de l'action choisie par la politique comportementale d'avoir été choisie par la politique cible, de façon similaire à l'approche proposée. Si la trace d'éligibilité est coupée pour l'un de ces algorithmes, la mise à jour se fait selon Q(0) et SARSA(0) qui sont des estimateurs non biaisés de la fonction de qualité. Cependant, si le bruit est coupé pour wXKTD, la mise à jour correspondante sera celle de KTD, qui est un estimateur biaisé de la Q-fonction si les transitions ne sont pas déterministes. Ainsi, dans le cas off-policy, l'approche proposée pourra peut être réduire le biais, mais pas complètement le supprimer. En fait, elle réalise un compromis entre biais causé par la stochasticité des transitions et biais causé par l'aspect off-policy.

Cependant, dans le cas d'un apprentissage on-policy, si la politique suivie est stochastique (par exemple -gloutonne dans le cadre d'un schéma d'itération optimiste de la politique), l'approche pondérée proposée est toujours valable et peut apporter des améliorations par rapport à XKTD. Cela est expérimenté dans la section 4.

Résultats expérimentaux

Dans cette section, un certain nombre d'expérimentations est proposé. La première illustre la réduction de biais lors de l'évaluation de la fonction de valeur d'une simple (mais non-stationnaire) chaîne de Markov valuée. Ensuite, le problème de l'évaluation de la Q-fonction est testé sur une chaîne contrôlée, ainsi que des algorithmes de type -glouton (aspect on-policy et politique stochastique) et itération de la valeur (aspect off-policy). Enfin les différentes variantes de KTD (ainsi que TD et LSTD) sont comparées sur une version stochastique du problème bien connu du mountain-car.

Chaîne de Boyan

La chaîne de [START_REF] Boyan | Technical Update : Least-Squares Temporal Difference Learning[END_REF] est une chaîne de Markov à 13 états où l'état s 0 est absorbant de récompense nulle, s 1 transite vers s 0 avec une probabilité de 1 et une récompense de -2, et s i transite vers s i-1 ou s i-2 , 2 ≤ i ≤ 12, chaque transition ayant une probabilité de 0.5 et une récompense de -3. Pour cette expérimentation, (X)KTD-V est comparé à TD [START_REF] Sutton | Reinforcement Learning : An Introduction[END_REF] et LSTD [START_REF] Bradtke | Linear Least-Squares Algorithms for Temporal Difference Learning[END_REF]. La paramétrisation est linéaire, et les vecteurs de base φ(s) pour les états s 12 , s 8 , s 4 et s 0 sont respectivement [1, 0, 0, 0] T , [0, 1, 0, 0] T , [0, 0, 1, 0] T et [0, 0, 0, 1] T . Les vecteurs de base pour les autres états sont obtenus par interpolation linéaire. La fonction de valeur approchée est donc Vθ (s) = θ T φ(s). La fonction de valeur optimale est exactement linéaire en ces bases, et le vecteur optimal de paramètres correspondant est θ * (-) = [-24, -16, -8, 0] T . Pour mesurer la qualité de chaque algorithme la distance euclidienne entre le vecteur de paramètres courant est l'optimal θ -θ * est utilisée.

La facteur d'actualisation γ est fixé à 1 pour cette tâche épisodique. Pour TD, le taux d'apprentissage est fixé à α = 0.1. Pour LSTD l'a priori est fixé à P 0|0 = I où I est la matrice identité. Pour (X)KTD-V le même a priori est utilisé, la variance des résidus (resp. la variance du bruit d'observation) est fixée à σ 2 i = 10 -3 (resp. P ni = 10 -3 ) et le bruit d'évolution est adaptatif, la variance associée est de la forme P vi = ηP θ i-1|i-1 où P θ i-1|i-1 est égal à P i-1|i-1 pour KTD et au bloc haut gauche de taille p × p de cette matrice pour XKTD, et η 1 est une constante positive, choisie ici égale à 10 -2 . Ce type de bruit artificiel, assez classique dans la littérature du traitement de signal, met l'emphase sur les données les plus récentes. Choisir ces paramètres requiert un peu de pratique, mais pas plus que de choisir un taux d'apprentissage pour d'autres algorithmes. Pour tous les algorithmes le vecteur de paramètres initial est choisi égal à zéro.

KTD a été pensé pour pouvoir prendre en compte les environnements non-stationnaires, et XKTD devrait également présenter cette caractéristique. Pour simuler un changement dans le PDM, le signe de la récompense est inversé à partir du 100 ème épisode. La fonction de valeur optimale est toujours linéaire en les bases, et le vecteur optimal de paramètres correspondant est θ * (+) = -θ * (-) après le changement du PDM. L'apprentissage est fait sur 200 épisodes, et les résultats sont moyennées sur 100 essais (chaque essai correspond à 200 épisodes). Les résultats sont présentés sur la figure 1. Avant le changement de PDM, KTD converge plus rapidement que LSTD, qui converge plus rapidement que TD. Cependant, comme prévu, KTD est biaisé. L'algorithme XKTD converge aussi rapidement que KTD, cependant sans être biaisé. Après le changement dans le PDM, les résultats sont similaires à ceux présentés par Geist et al. (2009a). LSTD échoue à s'adapter au nouveau PDM, TD fonctionne mieux grâce à sont taux d'apprentissage constant (un taux d'apprentissage ne décroissant pas trop vite aurait suffit) et KTD s'adapte encore plus rapidement. XKTD fait la même chose, le biais en moins. Notons que le choix du bruit a son importance. S'il y a trop de bruit d'évolution, l'adaptation sera rapide mais l'apprentissage sera relativement instable, particulièrement avec des transitions stochastiques (l'aspect aléatoire des transitions peut être alors interprétée comme un changement immédiat dans le PDM), et si le bruit est trop faible, l'adaptation sera lente. C'est une forme de dilemme entre plasticité et stabilité, et le même type de problème se pose en choisissant un taux d'apprentissage. Choisir un bruit d'évolution artificiel comme celui proposé réduit en partie ce problème.

Chaîne contrôlée

Le domaine utilisé dans cette section est un PDM à six états et deux actions. Les actions sont aller à gauche et à droite. Avec une probabilité p = 0.9 l'action choisie est effectuée, sinon son contraire est fait. La récompense est -3 dans chaque état sauf le dernier qui a une récompense de -2. La politique optimale est de systématiquement aller à droite. Une représentation tabulaire de la Q-fonction est choisie (c'est une paramétrisation possible parmi d'autre, justifiée pour ce simple PDM). Le facteur d'actualisation est fixé à γ = 0.9. Dans toutes les expériences la mesure de performance est la distance euclidienne entre la paramétrisation courante et la paramétrisation optimale Q * -Qθ 2 .

Evaluation de la Q-fonction

Nous nous intéressons dans un premier temps au problème de l'évaluation de la fonction de qualité. L'a priori pour LSTD et (X)KTD est 5I. Pour TD, le taux d'apprentissage est fixé à α i = n0+1 n0+i avec n 0 = 500. Il n'y a pas de bruit d'évolution, et la variance du bruit d'observation (resp. la variance des résidus) est fixée à 5.10 -3 pour (X)KTD. L'apprentissage se fait sur 500 épisodes (chacun étant initialisé avec une paire état-action aléatoire et limité à 15 interactions), et les résultats présentés sur la figure 2.a sont moyennés sur 100 essais (notons l'échelle logarithmique). La politique suivie est la politique optimale. Il apparaît que KTD et XKTD convergent plus rapidement que TD et LSTD. KTD est biaisé, contrairement à XKTD. Cela confirme les résultats de la section 4.1.

Politique -gloutonne

Le problème d'intérêt suivant est l'apprentissage de la Q-function optimale dans un contexte d'itération optimiste de la politique. La politique apprise est -gloutonne, avec = 0.1. Le taux d'apprentissage est le même que précédemment, l'a priori est fixé à I et la variance du bruit d'observation (resp. des résidus) à 10 -3 . Le même bruit d'évolution que dans la section 4.1 est utilisé, avec η = 10 -3 . Comme la politique -gloutonne est aléatoire, nous testons également l'algorithme wXKTD, la différence étant représentée équation (26). Le facteur de corrélation -γσ 2 i est ainsi pondéré par 1ou , selon que l'action gloutonne est choisie ou non. L'apprentissage est fait sur 700 épisodes (chacun étant initialisé avec une paire état-action aléatoire et étant limité à 15 interactions), et les résultats présentés sur la figure 2.b sont moyennés sur 100 essais (notons à nouveau l'échelle logarithmique).

KTD et XKTD convergent tous deux plus rapidement dans un premier temps. Ensuite KTD est biaisé, et XKTD converge plus lentement. LSTD converge plus rapidement, mais il est moins stable. Après approximativement 150 épisodes, l'erreur associée augmente. Cela est probablement causé par la non-stationnarité de la politique apprise. Les meilleurs résultats sont obtenus avec l'algorithme wXKTD. Pondérer le facteur de corrélation a donc du sens. Notons qu'il y a toujours du biais, du fait que nous ne faisons pas tendre le facteur vers 0.

Optimisation directe de la Q-fonction.

Dans cette section, nous proposons d'illustrer le bais causé par l'aspect off-policy de l'optimisation directe de la Q-fonction, comme expliqué dans la section 3.3. Comparaison est faite avec le Qlearning. Les paramètres sont les mêmes que dans la section 4.2.2, sans bruit d'évolution. La politique comportementale est totalement aléatoire (tirage uniforme des actions). La mise à jour est faite en accord avec l'équation d'optimalité de Bellman (3). Les résultats sont présentés sur la figure 2.c, l'apprentissage étant fait sur 100 épisodes, et les résultats étant moyennés sur 100 essais.

Quatre algorithmes sont comparés, TD (Q-learning) et (w)(X)KTD. Pour wXKTD, le bruit est coupé chaque fois qu'une action comportementale n'est pas l'action gloutonne. LSTD n'est pas considéré, dans la mesure où ce n'est pas un algorithme du type itération de la valeur. Comme attendu, l'ensemble des algorithmes de la famille KTD converge plus vite, cependant ils sont tous biaisés. KTD est biaisé à cause des transitions stochastiques, XKTD est biaisé en raison de l'aspect off-policy du problème considéré, et comme prévu, wXKTD combine les deux sources de biais. Cela n'aide pas à améliorer les performances, contrairement à son application à l'apprentissage d'une politique -gloutonne de la section 4.2.2.

Mountain-car

La dernière expérience que nous proposons est la tâche du mountain-car qui consiste à conduire une voiture sous-puissante hors d'une cuvette. Elle est totalement décrite par Sutton & Barto (1998, chapitre 8.4). L'objectif est ici d'illustrer le comportement de (w)(X)KTD sur un problème de contrôle plus complexe. De façon à le rendre stochastique l'environnement est légèrement modifié : l'action choisie est appliquée avec une probabilité p = 0.8, et une des deux autres au hasard avec une probabilité 1-p 2 chacune. Le facteur d'actualisation est fixé à 0.95. L'état est normalisé, et la paramétrisation est composée d'un terme constant et d'un ensemble de 9 noyaux gaussiens équi-répartis d'écart type 0.5, cela pour chacune des trois actions. Il y a donc un ensemble de 30 fonctions de base.

Cette expérimentation compare TD (SARSA avec approximation de la fonction de valeur), LSTD et (w)(X)KTD dans le cadre d'un schéma d'itération optimiste de la politique. La politique suivie est -gloutonne, avec = 0.1. Pour TD, le taux d'apprentissage est fixé à α = 0.1. Pour les autres algorithmes, l'a priori est fixé à P 0|0 = 10I. Pour (w)(X)KTD la variance du bruit d'observation (resp. la variance des résidus) est choisie égale à 1. Chaque épisode commence dans un état initial uniformément échantillonné. Un maximum de 1500 interactions par épisode est autorisé. Pour chaque essai, l'apprentissage se fait sur 200 épisodes, et la figure 3 montre la longueur de chaque épisode moyennée sur 300 essais.

Toutes les variantes de KTD ont de meilleurs résultats que TD et LSTD sur ce problème stochastique. Comme auparavant, wXKTD se comporte mieux que XKTD. Cependant, de façon assez surprenante, les meilleurs résultats sont obtenus avec KTD, malgré le biais causé par les transitions stochastiques. On peut donc légitimement se demander dans quelle mesure le biais pose problème pour la convergence vers la politique optimale, d'un point de vue de contrôle. De façon générale en apprentissage par renforcement, un bon contrôle ne nécessite pas forcément une estimation précise de la fonction de valeur, et inversement une bonne estimation de la fonction de valeur ne garantie pas nécessairement un bon contrôle.

Conclusion

Une extension du cadre de travail des différences temporelles de Kalman, basée sur un modèle de bruit d'observation coloré, au cas des processus décisionnels de Markov stochastiques a été présentée, ainsi qu'une variante pondérée. Elles ont été expérimentées sur un ensemble de tests de référence. Nous avons montré empiriquement que dans le cas de l'évaluation pure, XKTD supprime le biais inhérent à KTD, causé par la stochasticité des transitions. D'un point de vue de contrôle (politique -gloutonne), wXKTD réduite plus le biais que XKTD. Si l'apprentissage est off-policy (et les transitions stochastiques), toutes les variantes de KTD échouent à supprimer le bais, pour les raisons énoncées auparavant (biais causé par les transitions stochastiques, par l'effet mémoriel du bruit coloré, et combinaison des deux). D'un point de vue performance du contrôle, l'avantage des différentes variantes de KTD est moins clair, même si elles se comportent toutes plutôt bien.

Ainsi le cadre de travail de KTD tient la comparaison face aux algorithmes de l'état de l'art et présente certains aspects intéressants, cependant il y a encore quelques points qui méritent d'être développés. Premièrement, l'utilisation du bruit coloré dans un contexte de contrôle, voir off-policy, nécessite plus de travail. Il existe une vaste littérature sur le filtrage adaptatif, et nous pensons que KTD peut en profiter. Il pourrait également être intéressant d'utiliser KTD comme critique dans une architecture acteur-critique. Par exemple, des algorithmes acteur-critique incrémentaux basés sur la notion de gradient naturel sont introduits par [START_REF] Bhatnagar | Incremental Natural Actor-Critic Algorithms[END_REF]. TD y est préféré comme critique à LSTD, principalement à cause de l'incapacité de ce dernier à prendre en compte la non-stationnarité. Dans ce cas, KTD pourrait être une alternative intéressante comme critique du second ordre. Nous avons également comme projet d'étendre KTD au cas de l'observabilité partielle, qui devrait pouvoir être assez naturellement implanté dans ce cadre de travail, étant donnée sa nature bayésienne.

Fig. 1 -

 1 Fig. 1 -Chaîne de Boyan.

  directe de la Q-fonction.

Fig. 2 -

 2 Fig. 2 -Chaîne contrôlée.

Fig. 3 -

 3 Fig. 3 -Mountain car.

  par exemple), le cas d'un bruit d'observation MA n'a jamais été traité dans la littérature, autant que nous le sachions. Redériver KTD dans le cas d'un bruit MA serait bien trop difficile. A la place, nous proposons d'exprimer le bruit MA scalaire n i comme un bruit AR vectoriel. Cela permet d'étendre le modèle espace-d'état (7) à un nouveau pour lequel l'algorithme 1 s'applique assez directement. Soit w i une variable aléatoire auxiliaire. Le bruit MA scalaire (16) est équivalent au bruit AR vectoriel suivant :

  pour les détails) et son extension XKTD, étant donné que le vecteur de paramètres est étendu avec seulement deux variables. Comme pour KTD, XKTD peut être spécialisé en XKTD-V (évaluation de la fonction de valeur) et XKTD-SARSA (évaluation de la fonction de qualité). Le raisonnement est exactement le même que celui développé parGeist et al. (2009b) et n'est pas répété ici. La spécialisation à XKTD-Q n'est pas évidente en raison de son aspect off-policy.

	Algorithme 2 : Algorithme XKTD général.

Initialisation : a priori x0|0 et P 0|0 ; pour i ← 1, 2, . . . faire Observer la transition t i et la récompense r i ; Phase de prédiction;

Remerciements

Olivier Pietquin souhaite remercier la région Lorraine ainsi que la communauté européenne (projet CLASSiC, FP7/2007-2013, subvention 216594) pour leur support financier.