Monsieur Faouzi

Je Suis Reconnaissante À Monsieur

Afif Masmoudi

Monsieur Elias Ould Saïd

Keywords: Stochastic algorithm, Edge effect, Nonparametric estimation, Bernstein polynomials, Cross validation

J'exprime ma reconnaissance à

parents. Puisse dieu vous accorder santé, longue vie et prospérité. Merci à mes tantes, oncles en particulier ma tante Najoua et mon oncle Hedi pour leur soutien, leur hospitalité et leur générosité. Enfin, une dédicace spéciale à mon fiancé Oussama LASSOUED, je n'oublierais pas les encouragements et la compréhension dont il a fait preuve dans les moments difficiles.

A tous ceux que je viens de citer, et à tous ceux que j'aurais oublié, Merci du fond du coeur.

Résumé

L'objectif de cette thèse est de construire des estimateurs non-paramétriques d'une fonction de distribution, d'une densité de probabilité et d'une fonction de régression en utilisant les méthodes d'approximations stochastiques afin de corriger l'effet du bord créé par les estimateurs à noyaux continus classiques. Dans le premier chapitre, on donne quelques propriétés asymptotiques des estimateurs continus à noyaux, puis, on présente l'algorithme stochastique de Robbins-Monro qui permet d'introduire les estimateurs récursifs. Enfin, on rappelle les méthodes utilisées par Vitale, Leblanc et Kakizawa pour définir des estimateurs d'une fonction de distribution et d'une densité de probabilité en se basant sur les polynômes de Bernstein. Dans le deuxième chapitre, on a introduit un estimateur récursif d'une fonction de distribution en se basant sur l'approche de Vitale. On a étudié les propriétés de cet estimateur : biais, variance, erreur quadratique intégrée (M ISE) et on a établi sa convergence ponctuelle faible. On a comparé la performance de notre estimateur avec celle de Vitale et on a montré qu'avec le bon choix du pas et de l'ordre qui lui correspond notre estimateur domine en terme de M ISE. On a confirmé ces résultats théoriques à l'aide des simulations. Pour la recherche pratique de l'ordre optimal, on a utilisé la méthode de validation croisée. Enfin, on a confirmé les meilleures qualités de notre estimateur à l'aide de données réelles. Dans le troisième chapitre, on a estimé une densité de probabilité d'une manière récursive en utilisant toujours les polynômes de Bernstein. On a donné les caractéristiques de cet estimateur et on les a comparées avec celles de l'estimateur de Vitale, de Leblanc et l'estimateur donné par Kakizawa en utilisant la méthode multiplicative de correction du biais. On a appliqué notre estimateur sur des données réelles. Dans le quatrième chapitre, on a introduit un estimateur récursif et non récursif d'une fonction de régression en utilisant les polynômes de Bernstein. On a donné les caractéristiques de ces estimateurs et on les a comparées avec celles des estimateurs à noyau classiques. Ensuite, on a utilisé nos estimateurs pour interpréter des données réelles.

Table des figures

Introduction Générale

En fait, les points près du bords et les points près du milieu du support de la densité à estimer reçoivent le même poids d'où la variabilité des interprétations statistiques que l'on peut faire d'un histogramme suivant l'origine choisie. D'où l'introduction de nouveaux estimateurs appelés estimateurs à noyau qui ont rectifié ce problème.

Ces estimateurs ont été depuis amélioré en utilisant les méthodes d'approximations stochastiques dans le but de faciliter la mise à jour de l'estimateur lorsque en passe d'un échantillon de taille n à un échantillon de taille n + 1.

Malgré leur intérêt apporté au domaine de la statistique, les estimateurs à noyaux connaissent quelques inconvénients parmi lesquels se situent les problèmes de support. Le plus connu est l'effet du bord dans l'estimation des fonctions à support borné au moins d'un côté. Plusieurs solutions à ce problème ont été proposées dans la littérature.

Dans ce cadre, l'objectif de notre travail est de construire des estimateurs nonparamétriques d'une distribution d'une densité et d'une fonction de régression en utilisant les méthodes d'approximations stochastiques afin de corriger l'effet du bord créé par les estimateurs à noyaux continus classiques.

Dans le premier chapitre, on donne quelques propriétés asymptotiques des estimateurs continus à noyaux. Rappelons que Rosenblatt [START_REF] Rosenblatt | Remarks on some nonparametric estimates of density functions[END_REF] a introduit un estimateur de la densité d'un échantillon de variables aléatoires réelles X 1 , X 2 , . . . , X n ∀x ∈ R, f n (x) = 1 2nh n n ∑ i=1 I {x-hn<X i ≤x+hn} , avec (h n ) est une suite dite fenêtre vérifiant lim n→∞ h n = 0.

Parzen [START_REF] Parzen | On estimation of probability density and mode[END_REF] a suggéré une généralisation de cet estimateur

∀x ∈ R, f n (x) = 1 nh n n ∑ i=1 K ( x -X i h n ) ,
où K : R → R est une fonction positive, intégrable, telle que

∫ R K(u)du = 1, appelée noyau.
Pour une fonction de régression, il existe plusieurs types d'estimateurs à noyau dont le plus célèbre est celui de Nadaraya [START_REF] Nadaraya | On estimating regression[END_REF] et [120]. Pour un échantillon de variables aléatoires réelles (X 1 , Y 1 ), (X 2 , Y 2 ), . . . , (X n , Y n ) vérifiant ∀i ∈ 1, ..., n, Y i = r(X i ) + ε i , avec ε 1 , . . . , ε n est une suite de variables aléatoires i.i.d jouant le rôle de bruit.

L'estimateur de la fonction de régression r, est donné par

∀x ∈ R, r N W n (x) =                      n ∑ i=1 Y i K ( x -X i h n ) n ∑ i=1 K ( x -X i h n ) si n ∑ i=1 K ( x -X i h n ) ̸ = 0 1 n n ∑ i=1 Y i sinon.
On présente en seconde partie l'algorithme stochastique de Robbins et Monro [START_REF] Robbins | A Stochastic Approximation Method[END_REF] qui permet d'introduire les estimateurs récursifs de la densité et la fonction de régression.

Pour la densité, on cherche le zéro de la fonction h : y → f (x)y avec f est la densité à estimer d'un échantillon X 1 , . . . , X n de variables aléatoires réelles. Cet algorithme est défini comme suit :

(i) Pour x ∈ R, on fixe f 0 (x) ∈ R, (ii) pour n ≥ 1, on a

f n (x) = (1 -γ n )f n-1 (x) + γ n h -1 n K ( x -X n h n ) ,
où (γ n ) est une suite positive qui tend vers zéro à l'infini dite pas de l'algorithme.

Pour la fonction de régression, on cherche le zéro de la fonction h : y → f (x)r(x)f (x)y avec f est la densité de X 1 , . . . , X n et r est la régression à estimer.

(i) Pour x ∈ R, on fixe r 0 (x) ∈ R, (ii) pour n ≥ 1, on obtient

r GR n (x) = (1 -γ n f (x))r n-1 (x) + γ n [ f (x) -h -1 n K ( x -X n h n )] r n-1 (x) +γ n h -1 n Y n K ( x -X n h n ) .
L'avantage de ces estimateurs par rapport aux estimateurs non récursifs est le gain de temps de calcul. Malheureusement, ils ne donnent pas une solution pour l'effet du bord. Pour résoudre ce problème il existe d'autres méthodes, parmi lesquelles on trouve les estimateurs de la distribution et de la densité introduits par Vitale [119] en se basant sur le théorème de Weistrass.

Il a estimé la distribution F par Pour la densité, il suffit de dériver F n,m pour obtenir

∀x ∈ [0, 1], F n,m (x) = m ∑ k=0 F n ( k m ) b k (m, x), où ∀t ∈ R, F n (t) = 1
∀x ∈ [0, 1], f m,n (x) = m m-1 ∑ k=0 [ F n ( k + 1 m ) -F n ( k m )] b k (m -1, x).
Pour utiliser les polynômes de Bernstein, nous devons considérer des fonctions à support dans [0, 1]. Cependant, à l'aide des transformations simples, on peut toujours se ramener à l'intervalle unité.

Dans le but de réduire le biais de l'estimateur de Vitale, Leblanc [START_REF] Leblanc | A bias-reduced approach to density estimation using Bernstein polynomials[END_REF] a introduit un nouvel estimateur pour la densité qui est donné par ∀x ∈ [0, 1], f m,m/2,n (x) = 2 f m,n (x)f m/2,n (x).

Kakizawa (2014) a généralisé cet estimateur pour devenir : Ces estimateurs ont un biais plus petit que celui de l'estimateur de Vitale, mais ils perdent la positivité. Pour rectifier ce problème, Terrell et Scott [116] ont développé une méthode multiplicative de correction du biais. Cette méthode a été adaptée par Hirukawa [START_REF] Hirukawa | Nonparametric multiplicative bias correction for kernel-type density estimation on the unit interval[END_REF] sur l'estimateur de noyau bêta introduit par Chen [START_REF] Chen | Beta kernel estimators for density functions[END_REF] et par Igarashi and Kakizawa [START_REF] Igarashi | On improving convergence rate of Bernstein polynomial density estimator[END_REF] dans l'estimation par les polynômes de Bernstein pour obtenir l'estimateur suivant :

∀x ∈ [0, 1], f n,m,m/b (x) = b b -1 f n,m (x) - 1 b -1 f n,m/b (x),
∀x ∈ [0, 1], f n,m,b,ε (x) = { f n,m (x) } b/(b-1) { f n,m/b (x) + ε } -1/b-1 , avec 0 < ε = ε(m) → 0.
Cet estimateur f n,m,b,ε conserve la positivité mais ne constitue pas une densité.

En fait, l'estimateur f n,m,b,ε ne s'intègre généralement pas à l'unité. Pour le rectifier, Igarashi and Kakizawa [START_REF] Igarashi | On improving convergence rate of Bernstein polynomial density estimator[END_REF] ont proposé l'estimateur normalisé suivant :

∀x ∈ [0, 1], f N n,m,b,ε (x) = f n,m,b,ε (x) ∫ 1 0 f n,m,b,ε (y)dy .
Dans le deuxième chapitre, on a introduit un estimateur récursif d'une distribtion en utilisant l'algorithme de Robbins-Monro et en se basant sur l'approche de Vitale.

Cet estimateur est défini par :

(i )∀x ∈ [0, 1], F 0 (x) ∈ R fixé, (ii) pour n ≥ 1, on a F n (x) = (1 -γ n )F n-1 (x) + γ n m ∑ k=0 I {Xn≤ k m } b k (m, x).
On a étudié les propriétés de cet estimateur : biais, variance, erreur quadratique intégrée (M ISE) et on a établi sa convergence ponctuel faible. On a déterminé l'ordre m optimal qui minimise la M ISE. On a comparé la performance de notre estimateur avec celui de Vitale et on a montré qu'avec le bon choix du pas (γ n ) et l'ordre (m n ) qui lui correspond, notre estimateur domine en terme de M ISE.

On a confirmé ces résultats théoriques à l'aide des simulations qui ont montré que la courbe de notre estimateur est plus proche de la vraie courbe que celle de l'estimateur de Vitale. Pour la recherche pratique de l'ordre optimal (m n ), on a utilisé la méthode de validation croisée. Enfin, on a confirmé les meilleures qualités de notre estimateur à l'aide des données réelles de suicide fournies par Silverman [101].

Ces données se composent de durées (en jours) de traitement psychiatrique pour 86 patients utilisés comme témoins dans une étude sur les risques de suicide.

Dans le troisième chapitre, on a approximé une densité f d'une manière récursive en posant :

(i) ∀x ∈ [0, 1], f 0 (x) ∈ R fixé (ii) pour n ≥ 1, on a f n (x) = (1 -γ n )f n-1 (x) + γ n { 2m m-1 ∑ k=0 [ I {Xn≤ k+1 m } -I {Xn≤ k m } ] b k (m -1, x) - m 2 m 2 -1 ∑ k=0 [ I {Xn≤ 2(k+1) m } -I {Xn≤ 2k m } ] b k ( m 2 -1, x
) } .

On a donné les caractéristiques de cet estimateur et on les a comparées avec ceux de l'estimateur de Vitale f m,n de l'estimateur de Leblanc f n,m,m/2 et l'estimateur donné par Kakizawa en utilisant la méthode multiplicative de correction du biais. On a montré que notre estimateur de densité constitue une bonne approximation près des bords. En plus, cet estimateur récursif f n a un taux réduit du biais (un taux de m -2 ) que celui de l'estimateur de Vitale (un taux de m -1 ) et il a une M ISE plus petite que celle de f m,n . Pour mettre en évidence notre estimateur proposé, on a examiné d'abord les données provenant d'une étude sur le cancer de prostate (Stamey et al.

[112]). Ces données ont été divisées en deux parties : un ensemble de formation avec 67 observations et un ensemble de tests avec 30 observations. On a appliqué notre estimateur f n sur les données de formation pour l'antigène spécifique de prostate.

Comme deuxième exemple, on a pris les données "Old Faithful" de Silverman [101].

En dernier, on a étudié les "tuna data" de Chen [START_REF] Chen | Empirical likelihood confidence intervals for nonparametric density estimation[END_REF].

Dans le quatrième chapitre, on a proposé deux estimateurs d'une fonction de régression. Le premier est l'estimateur non-récursif donné pour tout x ∈ [0, 1] tel que f (x) ̸ = 0 par

r n (x) = n ∑ i=1 Y i m-1 ∑ k=0 I { k m <X i ≤ k+1 m } b k (m -1, x) n ∑ i=1 m-1 ∑ k=0 I { k m <X i ≤ k+1 m } b k (m -1, x)
.

Le deuxième, on l'a construit d'une manière récursive en posant : Pour x ∈ [0, 1] tel que f (x) ̸ = 0, on fixe r 0 (x) ∈ R et pour n ≥ 1, on obtient

r n (x) = (1 -γ n f (x)) r n-1 (x) + γ n ( f (x) -m n m-1 ∑ k=0 I { k m <Xn≤ k+1 m } b k (m -1, x) ) r n-1 (x) +γ n m n Y n m-1 ∑ k=0 I { k m <Xn≤ k+1 m } b k (m -1, x).
On a donné les caractéristiques de cet estimateur et on les a comparées avec ceux de l'estimateur de Nadaraya-Watson r N W n et l'estimateur Révész généralisé r GR n . On a montré que notre estimateur non récursif r n a la plus petite M ISE dans la plupart des models. Enfin, on a considéré le jeu de données CO2 disponible dans le R package StatData2 qui contient 237 observations avec deux variables : Jour et CO2. Des Scientifiques à une station de recherche à Brotjacklriegel en Allemagne, ont enregistré les niveaux de CO2, en parties par million, dans l'atmosphère pour chaque jour du début d'avril jusqu'à novembre 2001. On a appliqué nos estimateurs pour interpréter ces données réelles et on a montré qu'ils peuvent mener à des estimations très satisfaisantes, particulièrement près du bord.

Les perspectives visées après la thèse sont : établir la convergence presque sûre et appliquer le principe de grandes déviations et de déviations modérées pour nos estimateurs et la généralisation de ces estimateurs dans le cas multidimensionnel.

Par ailleur, on va continuer la recherche dans le cadre d'estimation semi-récursive d'une fonction de régression. Dans ce cas, on construit les estimateurs en utilisant soit la méthode ou encore celle des moindres carrés. L'avantage de cette approche est qu'elle utilise des algorithmes simples. Par opposition, dans l'approche non-paramétrique, on ne fait aucune hypothèse sur la fonction à estimer. Dans cette approche la méthode la plus ancienne et la plus naturelle est celle de l'histogramme qui est une représentation graphique particulière de la répartition des observations. Cette approche convient bien pour des analyses relativement grossières. Néanmoins ses discontinuités n'apparaissent pas très naturelles. En fait, pour des densités raisonnablement régulières, par exemple, deux fois continûment différentiable, l'histogramme est sévèrement limité.

Pour remédier à ce problème, Rosenblatt [START_REF] Rosenblatt | Remarks on some nonparametric estimates of density functions[END_REF] a introduit la méthode d'estimation par les noyaux. Cette méthode a été améliorée après par Parzen [START_REF] Parzen | On estimation of probability density and mode[END_REF]. De même, en utilisant les noyaux, Nadaraya [START_REF] Nadaraya | On estimating regression[END_REF] et [120] ont introduit un estimateur pour une fonction de régression.

Dans ce chapitre on rappelle quelques résultats concernant les estimateurs à noyaux continus d'une densité et d'une fonction de régression. Dans un premier temps, on présente leurs propriétés de base puis les méthodes de choix des fenêtres.

Dans un second temps, on parle de l'effet du bord l'inconvénient majeur de cette méthode d'estimation lorsque le support de la fonction à estimer n'est plus R. On rappelle après les estimateurs utilisant les polynômes de Bernstein pour corriger cet effet.

Estimateurs à noyaux continus classiques

On présente, dans cette section, la méthode d'esimation par les noyaux continus pour une densité et une fonction de régression. On définit un noyau continu par :

Définition 1.1.1.
Une fonction K à support S est dite un noyau si elle est une fonction positive, intégrable, telle que

∫ S K(u)du = 1 ( on dit qu'elle est une densité de probabilité), sy- métrique (K(-u) = K(u)), de moyenne µ K nulle ( µ K = ∫ S uK(u)du = 0 ) , de va- riance σ 2 K finie ( σ 2 K = ∫ S u 2 K(u)du < +∞ ) et de carré intégrable (∫ S K 2 (u)du < +∞
) .

On donne quelques exemples de noyaux à support S = [-1, 1] ou bien S = R.

K(u) = 1 2 I {|u|≤1} : noyau rectangulaire, K(u) = (1 -|u|)I {|u|≤1} : noyau trinagulaire, K(u) = 3 4 (1 -|u| 2 )I {|u|≤1} : noyau parabolique ou d'Epanechnikov, K(u) = 15 16 (1 -|u| 2 ) 2 I {|u|≤1} : noyau "biweight", K(u) = 1 √ 2π exp ( u 2 2
) : noyau gaussien,

K(u) = 1 2 exp ( -|u| √ 2
) sin

( |u| √ 2 + π 4
)
: noyau de Silverman.

Le lecteur peut éventuellement se référer à Scott et al. [START_REF] Scott | Kernel density estimation revisited[END_REF], Epanechnikov [START_REF] Epanechnikov | Nonparametric estimates of a multivariate probability density[END_REF], Tsybakov [118] et Silverman [101] pour plus de détails. Ainsi, pour obtenir une estimation plus proche de la réalité on doit avoir un choix optimal de h n .

f n (x) = 1 nh n n ∑ i=1 K ( x -X i h n ) . ( 1
(A) Erreur Quadratique Moyenne.

Il y un certain nombre de critères qui permettent d'évaluer la qualité de l'estimateur f n . Parmi ces critères proposés dans la littérature, figure l'erreur quadratique moyenne ponctuelle ("Mean Squared Error", M SE).

Ainsi, pour l'estimateur f n défini en (1.1.1), on a :

M SE [ f n (x) ] = E [ { f n (x) -f (x) } 2 ] , x ∈ T.
En développant cette expression, on obtient

∀x ∈ T, M SE [ f n (x) ] = Biais 2 [ f n (x) ] + V ar [ f n (x) ] ,
avec Biais

[ f n (x) ] et V ar [ f n (x)
] sont respectivement le biais et la variance ponctuels de l'estimateur f n définis pour tout point x ∈ T par :

Biais [ f n (x) ] = f n (x) -E [ f n (x)
] ,

V ar

[ f n (x) ] = E [ { f n (x) -E [ f n (x) ]} 2 ] = E [ f 2 n (x) ] -E 2 [ f n (x)
] .

L'espérance et la variance de l'estimateur f n en un point x de T sont exprimées en fonction du noyau classique K et de la densité à estimer f comme suit :

Biais [ f n (x) ] = 1 h n E [ K ( x -X 1 h n )] = 1 h n ∫ T K ( x -t h n ) f (t)dt, (1.1.2) et V ar [ f n (x) ] = 1 nh 2 n { E [ K 2 ( x -X 1 h n )] -E 2 [ K ( x -X 1 h n )]} , = 1 nh 2 n ∫ T K 2 ( x -t h n ) f (t)dt - 1 nh 2 n (∫ T K ( x -t h n ) f (t)dt ) 2 . (1.1.3)
Une mesure, globale, de l'efficacité de l'estimateur f n est obtenue en intégrant la M SE sur tout le support T de f . Il s'agit de "l'Erreur Quadratique Moyenne

Intégrée" ("Means Integrated Squared Error", M ISE). Elle s'écrit :

M ISE( f n ) = ∫ T M SE(x)dx = ∫ T Biais 2 [ f n (x) ] dx + ∫ T V ar [ f n (x) ] dx.
En dépit des conditions vérifiées par le noyau classique dans la Définition 1. xh n u, on a :

E [ f n (x) ] = ∫ T K(u)f (x -h n u)du, (1.1.4) et V ar [ f n (x) ] = 1 nh n ∫ T K 2 (u)f (x -h n u)du - 1 nh 2 n E 2 [ K ( x -X 1 h n )] . (1.1.5)
Le développement en séries de Taylor de f (xh n u) au voisinage de x est

f (x -h n u) = f (x) -h n uf ′ (x) + 1 2 h 2 n u 2 f ′′ (x) + o x ( h 2 n u 2 ) .
Il convient de noter qu'ici, et tout au long de cette thèse, on utilise o lorsque l'erreur d'approximation est uniforme par rapport à x et on écrit o x pour souligner que l'erreur dépend de x.

En injectant le dernier développement dans (1.1.4) et (1.1.5), on obtient :

E [ f n (x) ] = f (x) + 1 2 h 2 n f ′′ (x)σ 2 K + o ( h 2 n ) , (1.1.6) et V ar [ f n (x) ] = 1 nh n f (x) ∫ S K 2 (u)du + o ( 1 nh n ) . ( 1
AM SE [ f n (x) ] = 1 nh n f (x) ∫ S K 2 (u)du + 1 4 h 4 n σ 4 K (f ′′ (x)) 2 , (1.1.8) et AM ISE ( f n ) = 1 nh n ∫ S K 2 (u)du + 1 4 h 4 n σ 4 K ∫ T (f ′′ (x)) 2 dx.
(1.1.9)

L'une des qualités recherchées pour un estimateur est l'étude des types de convergence.

Le paragraphe suivant nous donne quelques résultats de convergence des estimateurs à noyaux classiques.

(B) Convergence des estimateurs à noyaux classiques.

Rappelons d'abord les hypothèses par lesquelles ces résultats ont été établis. (ii) Consistances faible et forte.

     ∫ S K(u)du = 1, sup u∈S K(u) < +∞, ( 1
Les trois résultats donnés ici sont issus des travaux de Parzen [START_REF] Parzen | On estimation of probability density and mode[END_REF], Nadaraya [START_REF] Nadaraya | On nonparametric estimation of density function and regression[END_REF] et Silverman [101]. Les deux premiers montrent la consistance faible tandis que le dernier propose la consistance forte.

f n (x) -E [ f n (x) ] √ V ar [ f n (x) ] L -→ n→+∞ N (0, 1), ∀x ∈ R où L -→
n→+∞ désigne la convergence en loi et N (0, 1) désigne la loi normale centrée réduite.

h opt = { ∫ S K 2 (u)du σ 4 K ∫ T (f ′′ (x)) 2 dx } 1/5 n -1/5 . (1.1.15) où σ 4 K = (∫ S u 2 K(u)du ) 2
. On ne peut pas utiliser ce paramètre de lissage optimal h opt car il dépend encore de la quantité inconnue

∫ T (f ′′ (x)) 2 dx.
La deuxième catégorie est celle dite des méthodes pratiques. Elle utilise seulement les observations. Plusieurs auteurs ont travaillé sur ces méthodes parmi lesquels on peut citer Scott et al. [START_REF] Scott | Kernel density estimation revisited[END_REF], Rudemo [START_REF] Rudemo | Empirical choice of histograms and kernel density estimators[END_REF], Stone [113], Bowman [START_REF] Bowman | An alternative method of cross-validation for the smoothing of density estimate[END_REF], Marron [START_REF] Marron | A comparison of cross-validation techniques in density estimation[END_REF],

Berlinet et Devroye [START_REF] Berlinet | A comparison of kernel density estimates[END_REF], Park et Marron [START_REF] Park | On the use of pilot estimators in bandwidth selection[END_REF], Sarda et Vieu [START_REF] Sarda | Smoothing parameter selection in hazard estimation[END_REF], Cuevas et al. [START_REF] Cuevas | A comparative study of several smoothing methods in density estimation[END_REF] ainsi que Youndjé et al. [126,127].

On s'intéresse dans la suite à deux méthodes pratiques : la méthode de réinjection ("Plug-in") et la méthode de validation croisée par les moindres carrés ("Least Squares Cross Validation").

(A) Méthode de Plug-in.

Il s'agit ici de trouver un estimateur à noyau de la quantité inconnue ∫ T (f ′′ (x)) 2 dx dans l'expression de h opt donnée en (1.1.15

R an = ∫ T ( f ′′ n (x)) 2 dx = 1 n 2 a 5 n n ∑ i,j=1 L (4) ( X i -X j a n ) ,
où L (4) désigne la dérivée quatrième d'un noyau suffisamment lisse L et a n est un nouveau paramètre de lissage appelé paramètre pilote. Cet estimateur est obtenu en remarquant que sous des conditions de régularités suffisantes sur la

densité f , on a ∫ T (f ′′ (x)) 2 dx = ∫ T f (4) (x)f (x)dx.
Le nouveau paramètre de lissage a n minimisant la quantité

E [ { R an - ∫ T (f ′′ (x)) 2 dx } 2 ]
, s'écrit

a n = { 2L (4) (0) σ 2 L ∫ T (f (3) (x)) 2 dx } 1/7 n -1/7 .
On constate que, une autre fois, a n dépend de la quantité inconnue ∫ T (f (3) (x)) 2 dx qu'on estime de nouveau par

R bn = ∫ T ( f (3) n (x)) 2 dx = - 1 n 2 b 7 n n ∑ i,j=1
L (6) ( X i -X j a n

) , avec b n = 0.912 λ n n -1/9 , où λ n est l'écart inter-quartile de l'échantillon X 1 , . . . , X n .

(B) Méthode de la validation croisée par les moindres carrés.

L'idée principale de cette méthode de validation croisée est celle de la minimisation par rapport à h n d'un estimateur de la M ISE. Pour plus de détails, on peut se référer à de nombreux auteurs tels que Bowman [START_REF] Bowman | An alternative method of cross-validation for the smoothing of density estimate[END_REF], Marron [START_REF] Marron | A comparison of cross-validation techniques in density estimation[END_REF], Rudemo [START_REF] Rudemo | Empirical choice of histograms and kernel density estimators[END_REF] et Stone [113].

L'approche de validation croisée par les moindres carrés consiste à minimiser un estimateur convenable de la M ISE qui s'écrit

M ISE( f n ) = E [∫ T { f n (x) -f (x) } 2 dx ] , = E [∫ T f 2 n (x)dx -2 ∫ T f n (x)f (x)dx ] + ∫ T f 2 (x)dx.
Comme la dernière intégrale ∫ T f 2 (x)dx ne dépend pas de h n , la valeur h opt qui minimise la M ISE est aussi celle qui minimise la fonction

J(h n ) = E [∫ T f 2 n (x)dx -2 ∫ T f 2 n (x)f (x)dx ] .
Pour trouver h opt , il suffit d'estimer sans biais J(h n ) par :

CV (h n ) = ∫ T f 2 n (x)dx - 2 n n ∑ i=1 f n,-i (X i ), avec f n,-i (x) = 1 (n -1)h n ∑ j̸ =i K ( x -X j h n ) , (1.1.16)
est l'estimateur calculé à partir de l'échantillon privé de l'observation X i . La valeur optimale de h n est donnée par :

h opt = arg min hn>0 CV (h n ).

Estimation d'une fonction de régression

Le modèle de la régression est l'un des modèles les plus fréquemment rencontrés en statistique paramétrique et non paramétrique.

On considère (X 1 , Y 1 ), . . . , (X n , Y n ) des couples de variables aléatoires indépendantes réelles et de même loi que (X, Y ). Dans le modèle de régression non paramétrique on suppose l'existence d'une fonction r qui exprime la valeur moyenne de la variable à expliquer Y en fonction de la variable explicative X, c'est à dire :

Y = r(X) + ε, où ε est une variable centrée (E(ε) = 0) et indépendante de X.
On suppose que la loi du couple (X, Y ) admet une densité conjointe g(x, y), la variable aléatoire X admet une densité marginale f et la variable aléatoire Y est intégrable (E(|Y |) < +∞). Alors, la fonction de régression r, de support T, est définie par :

∀x ∈ T tel que f (x) ̸ = 0, r(x) = E(Y |X = x) = ∫ R yg(x, y)dy f (x) .
La fonction r réalise la meilleure approximation de Y sachant X = x au sens des moindres carrés.

On donne l'estimateur de r introduit par Nadaraya [START_REF] Nadaraya | On estimating regression[END_REF] L'estimateur à noyau de r est défini en un point x ∈ T par :

r N W n (x) =                      n ∑ i=1 Y i K ( x -X i h n ) n ∑ i=1 K ( x -X i h n ) si n ∑ i=1 K ( x -X i h n ) ̸ = 0 1 n n ∑ i=1 Y i sinon.
(1.1.17)

1.1.
r N W n (x) = φ n (x) f n (x) , où φ n (x) = 1 nh n n ∑ i=1 Y i K ( x -X i h n
) .

(A) Etude asymptotique de la variance.

On suppose que E(Y 2 ) < +∞, alors en chaque point de continuité des fonctions

r, f et σ 2 : x → V ar(Y |X = x), x ∈ T on a V ar [ r N W n (x) ] = 1 nh n σ 2 (x) f (x) ∫ T K 2 (u)du + o ( 1 nh n ) . (1.1.18) En effet en posant ψ(x) = ∫ R y 2 g(x, y)dy, on a V ar [φ n (x)] = 1 nh 2 n { E [ Y 2 K 2 ( x -X h n )] - ( E [ Y K ( x -X h n )]) 2 } , = 1 nh n ∫ T K 2 (u)ψ(x -h n u)du - 1 n (∫ T K(u)f (x -uh n )r(x -uh n )du ) 2 , = 1 nh n ψ(x) ∫ T K 2 (u)du + o ( 1 nh n ) . D'autre part, on a Cov ( f n (x), φ n (x) ) = E {( f n (x) -E [ f n (x) ]) (φ n (x) -E [φ n (x)]) } , = E [ f n (x)φ n (x) ] -E [ f n (x) ] E [φ n (x)] , = 1 nh 2 n E [ Y K 2 ( x -X h n )] - n(n -1) n 2 h 2 n E 2 [ Y K ( x -X h n )] -E [ f n (x) ] E [φ n (x)] , = 1 nh 2 n E [ Y K 2 ( x -X h n )] - 1 n E [ f n (x) ] E [φ n (x)] , = 1 nh n ∫ T K 2 (u)f (x -uh n )r(x -uh n )du - 1 n E [ f n (x) ] E [φ n (x)] , = 1 nh n r(x)f (x) ∫ T K 2 (u)du + o ( 1 nh n
) .

On rappelle que

V ar

[ f n (x) ] = 1 nh n f (x) ∫ T K 2 (u)du + o ( 1 nh n ) . Posons B n (x) = ( f n (x), φ n (x) ) , A(x) = ( -r(x) {f (x)} 2 , 1 f (x)
)

.

La matrice de covariance de B n (x) est alors donnée par l'expression suivante

Σ = 1 nh n   f (x) r(x) r(x) ψ(x)   ∫ T K 2 (u)du + o ( 1 nh n ) .
En remarquant, que

V ar [ r N W n (x) ] = AΣA t , = 1 nh n [ ψ(x) {f (x)} 2 - r 2 (x) {f (x)} 3 ] ∫ T K 2 (u)du + o ( 1 nh n ) ,
où A t désigne la transposé de A. On obtient alors la variance de r N W n donnée par l'equation (1.1.18). Pour plus détails, nous pouvons citer par exemple les articles de Collomb [START_REF] Collomb | Quelques propriétés de la méthode du noyau pour l'estimation non-paramétrique de la régression en un point fixé[END_REF][START_REF] Collomb | Estimation non-paramétrique de la régression : revue bibliographique[END_REF].

(B) Etude asymptotique du biais.

Le traitement du biais est purement analytique et repose essentiellement sur un développement de Taylor. Il nous faut supposer certaines conditions de régularité sur les fonctions r et f qui détermineront l'ordre du biais asymptotique en fonction du paramètre de lissage (h n ). L'estimateur de Nadaraya

Watson se présente sous la forme d'un quotient aléatoire, c'est pourquoi on utilise généralement comme terme de centrage l'approximation suivante

E [ r N W n (x) ] = E [φ n (x)] E [ f n (x)
] .

Cette formule est plus facile à manipuler et permet notamment la linéarisation de la déviation

d n (x) = r N W n (x) -E [ r N W n (x) ] .
Afin de justifier le choix du terme de centrage, Nadaraya [START_REF] Nadaraya | Nonparametric Estimation of Probability Densities and Regression Curves[END_REF] a montré :

(i) si la variable Y est bornée et nh n → +∞, alors E [ r N W n (x) ] = E [ r N W n (x) ] + O ( 1 nh n ) . (ii) si E(Y 2 ) < +∞ et nh 2 n → +∞, alors E [ r N W n (x) ] = E [ r N W n (x) ] + O ( 1 √ nh n ) .
D'autre part, en supposant que f et r sont bornées, deux fois différentiables,

et f ′′ et r ′′ sont bornées ; on a E [φ n (x)] = 1 h n ∫ R ∫ T yK ( x -z h n ) dydz, = ∫ T [∫ R yf (x -uh n )dy ] K(u)du, = ∫ T r(x -uh n )f (x -uh n )K(u)du.
Le développement en série de Taylor de r(xuh n )f (xuh n ) au voisinage de

x est r(x -uh n )f (x -uh n ) = [ r(x) -uh n r ′ (x) + (uh n ) 2 2 r ′′ (x) + o x ( (uh n ) 2 ) ] × [ f (x) -uh n f ′ (x) + (uh n ) 2 2 f ′′ (x) + o x ( (uh n ) 2 ) ] , = r(x)f (x) -h n u (r ′ (x)f (x) + r(x)f ′ (x)) + h 2 n 2 u 2 (r ′′ (x)f (x) + f ′′ (x)r(x) + 2r ′ (x)f ′ (x)) + o x ( u 2 h 2 n ) .
Ainsi, on a

E [φ n (x)] = r(x)f (x) + h 2 n 2 {r ′′ (x)f (x) + f ′′ (x)r(x) + 2r ′ (x)f ′ (x)} σ 2 K + o ( h 2 n ) . où σ 2 K = ∫ S u 2 K(u)du.
On rappelle de plus que l'espérance de

f n (x) est E [ f n (x) ] = f (x) + h 2 n 2 σ 2 K + o ( h 2 n ) .
Ainsi, en ajoutant aux conditions utilisées pour le calcul du biais de φ n le fait que la variable Y est bornée et que h n vérifie (1.1.11) et (1.1.12) le biais asymptotique de l'estimateur de Nadaraya-Watson est donné par :

E [ r N W n (x) ] -r(x) = h 2 n 2 { r ′′ (x) + 2 r ′ (x)f ′ (x) f (x) } σ 2 K + o ( h 2 n ) . (1.1.19)
Lorsque la fonction de régression admet des conditions de régularité supplémentaires, il est possible de réduire le biais asymptotique de l'estimateur Nadaraya-Watson en utilisant un noyau d'ordre supérieur.

En effet, pour q un entier naturel fixé et en supposant que r et f soient de

classe C q (T) et que le noyau K vérifiant ∫ T K(u)du = 1, ∫ T u j K(u)du = 0, j ∈ {1, . . . , q -1} et ∫ T u q K(u) < +∞, le biais asymptotique de l'estimateur r N W n , lorsque h n -→ n→+∞ 0 et nh n -→ n→+∞ +∞, est donné par : E [ r N W n (x) ] -r(x) = h q n q! { r (q) (x) + 2r (q-1) (x) f ′ (x) f (x) } ∫ T u q K(u)du + o (h q n ) .
Pour plus détails, on peut citer par exemple les articles de Müller [START_REF] Müller | Density adjusted kernel smoothers for random design nonparametric regression[END_REF], Choi et al. [START_REF] Choi | Data sharpening methods for bias reduction in nonparametric regression[END_REF] et Hall et Müller [START_REF] Hall | Order-preserving nonparametric regression with applications to conditional distribution and quantile function estimation[END_REF].

(C) Erreur Quadratique Moyenne ponctuelle et intégrée.

AM SE [ r N W n (x) ] = h 4 n 4 { r ′′ (x) + 2 r ′ (x)f ′ (x) f (x) } 2 σ 4 K + 1 nh n σ 2 (x) f (x) ∫ T K 2 (u)du, (1.1.20) et AM ISE( r N W n ) = h 4 n 4 σ 4 K ∫ T { r ′′ (x) + 2 r ′ (x)f ′ (x) f (x) } 2 dx + 1 nh n ∫ T σ 2 (x) f (x) dx ∫ T K 2 (u)du. ( 1
∀x ∈ T tel que f (x) ̸ = 0, r(x) = E(Y |X = x) = ∫ R yg(x, y)dy f (x) . Les fonctions r : x -→ E(Y |X = x) et f sont supposées deux fois continûment dérivables sur T. Pour tout point de continuité x ∈ T de σ 2 (x) = V ar(Y |X = x), tel que f (x) > 0, on a √ nh n [ r N W n (x) -r(x) ] L -→ n→+∞ N ( B(x), v 2 (x) ) , avec B(x) = { r ′′ (x) + 2 r ′ (x)f ′ (x) f (x) } ∫ S u 2 K(u)du et v 2 (x) = σ 2 (x) f (x) ∫ T K 2 (u)du.
h opt =    ∫ T σ 2 (x) f (x) dx ∫ S K 2 (u)du σ 4 K ∫ T [ r ′′ (x) + 2 r ′ (x)f ′ (x) f (x) ] dx    1/5 n -1/5 , o 'u σ 4 K = (∫ S u 2 K(u)du ) 2 .
De nouveau, la fenêtre optimale dépend de paramètres inconnus et n'est donc pas utilisable en pratique. On se propose de remédier à cet obstacle via la méthode de validation croisée (Härdle et Marron [START_REF] Härdle | Optimal bandwidth selection in nonparametric regression function estimation[END_REF] et Härdle [START_REF] Härdle | Applied Nonparametric Regression[END_REF]) qui consiste à minimiser par rapport à h n la fonction

CV (h n ) = 1 n n ∑ i=1 [ Y i -r N W n,-i (X i ) ] 2 w(X i ),
avec w est une fonction de poids (le plus naturel est de prendre w(x) = f (x) voir Härdle et Kelly [START_REF] Härdle | Nonparametric kernel regression estimatio optimal choice of bandwidth[END_REF]) et r N W n,-i est l'estimateur dénommé "leave-one-out", donné par

r N W n,-i = n ∑ j̸ =i Y j K ( x -X j h n ) n ∑ j̸ =i K ( x -X j h n ) .
Cet estimateur est simplement l'estimateur de Nadaraya-Watson construit avec les

(n -1) couples aléatoires (X 1 , Y 1 ), . . . , (X i-1 , Y i-1 ), (X i+1 , Y i+1 ), . . . , (X n , Y n ).
Les références principales à ce sujet sont Hall [START_REF] Hall | Asymptotic properties of integrated square error and cross validation for kernel estimation of a regression function[END_REF], Härdle et Marron [START_REF] Härdle | Optimal bandwidth selection in nonparametric regression function estimation[END_REF], Härdle et Kelly [START_REF] Härdle | Nonparametric kernel regression estimatio optimal choice of bandwidth[END_REF], concernant l'estimation non-paramétrique de la fonction de régression.

La procédure de validation croisée peut s'interpréter comme étant le meilleur choix de h n . Pour la méthode de plug-in, on cite les articles de Mack et Müller [START_REF] Mack | Adaptive nonparametric estimation of a multivariate regression function[END_REF] ainsi que Müller et Prewitt [START_REF] Müller | Multiparameter bandwidth processes and adaptive surface smoothing[END_REF], qui ont construits des estimateurs de type Nadaraya-Watson avec une fenêtre asymptotiquement optimale.

Dans le paragraphe suivant, on parlera des estimateurs récursifs contruits en utilisant l'algorithme stochastique de [START_REF] Robbins | A Stochastic Approximation Method[END_REF].

1.2 Algorithmes stochastiques et estimateurs récursifs L'utilisation la plus célèbre des algorithmes stochastique dans le cadre des statistiques non paramétriques est le travail de Kiefer et Wolfowitz [START_REF] Kiefer | Stochastic approximation of the maximum of a regression functions[END_REF].

Ces deux auteurs ont construit un algorithme qui permet l'approximation du mode d'une fonction de régression.

Cet algorithme à été beaucoup discuté et leur travail prolongé dans plusieurs directions (citons, parmi beaucoup d'autres, Blum [START_REF] Blum | Multidimensional stochastic approximation methods[END_REF], Fabian [START_REF] Fabian | Stochastic approximation of minima with improved asymptotic speed[END_REF], Kushner et Clark [START_REF] Kushner | Stochastic approximation methods for constrained an unconstrained systems[END_REF], Hall et Heyde [START_REF] Hall | Martingale limit theory and its application[END_REF], Ruppert [START_REF] Ruppert | Almost sure approximations to the Robbins-Monro and Kiefer-Wolfowitz processes with dependent noise[END_REF], Chen [START_REF] Chen | Lower rate of convergence for locating a maximum of a function[END_REF], Spall [110], Polyak et Tsybakov [START_REF] Polyak | Optimal orders of accuracy for search algorithms of stochastic optimization[END_REF], Dippon et Renz [START_REF] Dippon | Weighted means in stochastic approximation of minima[END_REF], Spall [111], Chen et al. [START_REF] Chen | A Kiefer-Wolfowitz algorithm with randomized differences[END_REF], Dippon [START_REF] Dippon | Accelerated randomized stochastic optimization[END_REF], et Mokkadem et Pelletier [START_REF] Mokkadem | A companion for the Kiefer-Wolfowitz-Blum stochastic approximation algorithm[END_REF]).

Des algorithmes stochastiques d'approximation ont été également présentés par

Révész [START_REF] Révész | Robbins-Monro procedure in a Hilbert space and its application in the theory of learning processes I[END_REF][START_REF] Révész | How to apply the method of stochastic approximation in the nonparametric estimation of a regression function[END_REF] pour estimer une fonction de régression en un point donné, et par Tsybakov [117] pour approximer le mode d'une densité de probabilité.

On introduit dans le paragraphe suivant, les estimateurs récursifs construit en utilisant l'algorithme de Robbins et Monro [START_REF] Robbins | A Stochastic Approximation Method[END_REF].

Estimateurs récursifs d'une densité

Les méthodes d'approximation stochastiques permettent la recherche du zéro θ * d'une fonction inconnue h : R → R qui peut être difficilement calculé directement.

L'algorithme le plus connu est celui de Robbins et Monro [START_REF] Robbins | A Stochastic Approximation Method[END_REF]. On procède de la façon suivante :

(i) On choisit θ 0 ∈ R ;

(ii) Pour n ≥ 1, on construit la suite (θ n ) par la relation récursive

θ n = θ n-1 + γ n W n ,
où W n est une observation de la fonction h au point θ n-1 et (γ n ) est une suite de réels positifs qui tend vers zéro appelée pas de l'algorithme.

Soit (X 1 , . . . , X n ) un échantillon de densité de probabilité f . Pour construire un estimateur récursif de f en un point x par la méthode des algorithmes stochastiques, Mokkadem et al. [START_REF] Mokkadem | The stochastic approximation method for the estimation of a multivariate probability density[END_REF] ont défini un algorithme de recherche du zéro de la fonction h : y → f (x)y. La procédure est la suivante :

(i) Soit f 0 (x) ∈ R fixé ;

(ii) pour n ≥ 1, on a

f n (x) = f n-1 (x) + γ n W n (x),
où W n (x) est une observation de la fonction h au point f n-1 (x). On peut estimer

f (x) par Z n (x) = h -1 n K ( x-Xn hn ) , ce qui permet de poser W n (x) = Z n (x) -f n-1 (x).
Ainsi, l'estimateur de la densité f en un point x s'écrit récursivement sous la forme :

f n (x) = (1 -γ n )f n-1 (x) + γ n h -1 n K ( x -X n h n ) . (1.2.1)
Notons que si on pose (γ n ) = (n -1 ), alors l'estimateur f n donné par l'algorithme (1.2.1) devient

f n (x) = 1 n n ∑ i=1 1 h i K ( x -X i h i ) ,
dans ce cas, f n est l'estimateur récursif introduit par Wolverton et Wagner [124].

D'autre part, dans le cas où

(γ n ) =   h n [ n ∑ i=1 h i ] -1 
 , l'estimateur f n donné par l'algorithme (1.2.1) s'écrit alors

f n (x) = 1 n ∑ i=1 h i n ∑ i=1 1 h i K ( x -X i h i
) .

C'est l'estimateur récursif introduit par Deheuvels [START_REF] Deheuvels | Sur l'estimation séquentielle de la densité[END_REF] et étudié par Duflo [START_REF] Duflo | Random iterative models[END_REF].

Pour donner les caractéristiques de l'estimateur f n , on introduit une classe de suites à variations régulières que nous utiliserons dans nos hypothèses tout au long des chapitres suivants.

Définition 1.2.1.

Soit γ ∈ R et (v n ) n≥1 une suite réelle positive. On dit que (v n ) ∈ GS(γ) si lim n→+∞ n [ 1 - v n-1 v n ] = γ. (1.2.2)
La condition (1.2.2) a été introduite par Galambos et Seneta [START_REF] Galambos | Regularly varying sequences[END_REF] pour définir les suites à variations régulières. Des exemples classiques de suites dans GS(γ) sont, 1. Si 0 < a ≤ α 5 , alors 1. Si 0 < a < α 5 , alors

pour c > 0 et b ∈ R, (v n ) = (cn γ ), (v n ) = (cn γ [ln(n)] b ), (v n ) = (cn γ [ln ln(n)] b ),
(H2) i) (γ n ) ∈ GS(-α) avec α ∈] 1 2 , 1]. ii) (h n ) ∈ GS(-a) avec a ∈]0, α 2 ]. iii) lim n→+∞ (nγ n ) ∈] min { 2a, 1 -a 2 } , +∞]. ( H3
E [f n (x)] -f (x) = 1 2(1 -2aξ) h 2 n σ 2 K f ′′ (x) + o ( h 2 n ) , si a > α 5 , alors E [f n (x)] -f (x) = o ( √ γ n h -1 n ) . 2. Si a ≥ α 5 , alors V ar [f n (x)] = 1 2 -(1 -a)ξ) γ n h n f (x) ∫ R K 2 (u)du + o ( γ n h n ) , si 0 < a ≤ α 5 , alors V ar [f n (x)] = o ( h 4
M ISE(f n ) = 1 2(1 -2aξ) h 4 n σ 4 K ∫ R f ′′ (x)dx + o ( h 4 n ) .
2. Si a = α 5 , alors

M ISE(f n ) = 1 2(1 -2aξ) h 4 n σ 4 K ∫ R f ′′ (x)dx + 1 2 -(1 -a)ξ) γ n h n ∫ R f (x)dx ∫ R K 2 (u)du + o ( h 4 n + γ n h n ) .
3. Si a > α 5 , alors

M ISE(f n ) = 1 2 -(1 -a)ξ) γ n h n ∫ R f (x)dx ∫ R K 2 (u)du + o ( γ n h n ) .
De cette proposition, on déduit le choix optimal du pas qui permet de minimiser la M ISE de f n .

Corollaire

( [ 3 10 ∫ R f (x)dx ∫ R K 2 (u)du σ 4 K ∫ R (f ′′ (x)) 2 dx ] 1/5 γ 1/5 n ) .
Dans ce cas, la M ISE de f n est égale à

M ISE(f n ) = 5 11/5 4 7/5 3 6/5 [ σ 2 K ∫ R (f ′′ (x)) 2 dx ] 2/5 [∫ R f (x)dx ∫ R K 2 (u)du ] 4/5 n -4/5 + o ( n -4/5
) .

Un exemple classique de pas (γ n ) appartenant à GS(-1) et vérifiant

lim n→+∞ nγ n = 1 est (γ n ) = (n -1
√ γ -1 n h n [f n (x) -f (x)] L -→ n→+∞ N ( c 1/2 2(1 -2aξ) σ 2 K f ′′ (x), 1 2 -(1 -a)ξ ∫ R K 2 (u)duf (x)
) .

Si γ

-1 n h 5 n -→ n→+∞ +∞, alors 1 h 2 n [f n (x) -f (x)] P -→ n→+∞ 1 2(1 -2aξ) σ 2 K f ′′ (x).
On donne maintenant la vitesse de convergence presque sûre ponctuelle de f n , ainsi qu'une majoration de sa vitesse de convergence presque sûre uniforme.

( √ γ -1 n h n 2 ln s n [f n (x) -f (x)]
) est relativement compacte et l'ensemble de ses valeurs d'adhérence est l'intervalle

[ √ c 1 2 1 2(1 -2aξ) σ 2 K f ′′ (x) - √ f (x) 2 -(1 -a)ξ ∫ R K 2 (u)du, √ c 1 2 1 2(1 -2aξ) σ 2 K f ′′ (x) + √ f (x) 2 -(1 -a)ξ ∫ R K 2 (u)du ] . 2. Si γ -1 n h 5 n /(ln s n ) -→ n→+∞ +∞, alors 1 h 2 n [f n (x) -f (x)] p.s -→ n→+∞ 0 1 2(1 -2aξ) σ 2 K f ′′ (x), avec σ 2 K = ∫ S u 2 K(u)du.
Pour établir une majoration de la vitesse de convergence uniforme, on rajoute l'hypothèse suivante.

(H4) K est une fonction lipschitzienne. Il a défini un algorithme de recherche du zéro de la fonction h : y → f (x)r(x)f (x)y de la façon suivante (i) Il a fixé r 0 (x) ∈ R ;

1. S'il existe c ≥ 0 tel que γ -1 n h 5 n /(ln n) 2 -→ n→+∞ c, alors sup x∈I |f n (x) -f (x)| = O ( √ γ n h -1 n ln n ) p.s. 2. Si γ -1 n h 5 n /(ln n) 2 -→ n→+∞ +∞, alors sup x∈I |f n (x) -f (x)| = O ( h 2 n ) p.s.
(ii) Pour tout n ≥ 1, il a posé

r n (x) = r n-1 (x) + 1 n W n (x),
où W n (x) est une observation de la fonction h au point r n-1 (x).

En posant h -1 n Y n K ( x-Xn hn ) un estimateur de f (x)r(x) et h -1 n K ( x-Xn hn
) un etimateur de f (x), il a obtenu

r n (x) = ( 1 - 1 nh n K ( x -X n h n )) r n-1 (x) + 1 nh n Y n K ( x -X n h n ) .
Révész [START_REF] Révész | How to apply the method of stochastic approximation in the nonparametric estimation of a regression function[END_REF] a étudié les propriétés asymptotiques de cet estimateur lorsque la

fenêtre (h n ) est choisie égale à (n -a ) avec a ∈] 1 2 , 1[. Sous la condition f (x) > 1-a 2 , il a montré que √ nh n [r n (x) -r(x)] L -→ n→+∞ N ( 0, f (x)V ar[Y |X = x] 2f (x) -(1 -a)
) .

De plus, pour I un intervalle borné de R. Révész [START_REF] Révész | How to apply the method of stochastic approximation in the nonparametric estimation of a regression function[END_REF] a établit que, sous la condition Ainsi, Mokkadem et al. [START_REF] Mokkadem | Revisiting Révész's stochastic approximation method for the estimation of a regression function[END_REF] ont construit un estimateur plus performant que celui de Révész.

inf x∈I f (x) > 1 -a 2 , lim n→+∞ √ nh n (ln n) 2 sup x∈I |r n (x) -r(x)| = 0 p.s.
Dans un premier temps, ils ont généralisé l'estimateur de Révész en autorisant d'autres pas que le pas (n -1 ). Cet estimateur est donné par

r GR n (x) = ( 1 - γ n h n K ( x -X n h n )) r GR n-1 (x) + γ n h n Y n K ( x -X n h n ) . ( 1
(H2) i) (γ n ) ∈ GS(-α) avec α ∈] 3 4 , 1] ; de plus lim n→+∞ (nγ n ) -1 existe. ii) (h n ) ∈ GS(-a) avec a ∈] 1-α 4 , α 3 ].
(H3) i) g(s, t) est deux fois continuement différentiable par rapport à la première variable.

ii

) ∀q ∈ {0, 1, 2}, s → ∫ R t q g(s, t)dt est une fonction bornée et continue au point s = x ∈ R. Pour q ∈ {2, 3}, s → ∫ R |t| q g(s, t)dt est une fonction bornée. iii) Pour q ∈ {0, 1}, ∫ R |t| q | ∂g ∂x g(x, t)|dt < +∞ et la fonction s → ∫ R t q ∂ 2 g ∂x 2 g(s, t)dt est bornée et continue au point s = x. Posons ξ = lim n→+∞ (nγ n ) -1 et pour f (x) > 0 m (2) (x) = 1 2f (x) [∫ R t ∂g ∂x g(x, t)dt -r(x) ∫ R t ∂ 2 g ∂x 2 g(x, t)dt ] σ 2 K .
On donne la vitesse ponctuelle de convergence en loi de l'estimateur de Révész généralisé r GR n donné par (1.2.3).

Théorème 1.2.4. (Mokkadem et al. [START_REF] Mokkadem | Revisiting Révész's stochastic approximation method for the estimation of a regression function[END_REF])

Supposons que les hypothèses (H1)-(H3) soient vérifiées pour x ∈ R tel que f (x) > 0.

1. S'il existe c ≥ 0 tel que γ -1 n h 5 n → c, et si lim n→+∞ (nγ n ) > 1 -a 2f (x) , alors √ γ -1 n h n [ r GR n (x) -r(x) ] L -→ n→+∞ N ( c 1/2 m (2) (x) f (x) -2aξ , V ar[Y |X = x]f (x) 2f (x) -(1 -a)ξ ∫ R K 2 (u)du ) . 2. Si γ -1 n h 5 n → +∞, et si lim n→+∞ (nγ n ) > 2a f (x) , alors 1 h 2 n [ r GR n (x) -r(x) ] P -→ n→+∞ f (x)m (2) (x) f (x) -2aξ .
Les conditions sur le pas lim n→+∞

(nγ n ) > 1 -a 2f (x) (première partie du théorème) et lim n→+∞ (nγ n ) > 2a f (x)
(deuxième partie du théorème) remplaçent les conditions sur la densité marginale f utilisées pour l'estimateur de Révész. On a également, pour un pas

(γ n ) = (n -1 ), les fenêtres ((h n ) ∈ GS(-a) avec a ∈]0, 1 3
[) conduisent à des vitesses meilleures que celles de Révész.

On donne maintenant deux résultats : la vitesse de convergence presque sûre ponctuelle de l'estimateur de Révész généralisé et une majoration de sa vitesse de convergence presque sûre uniforme.

f (x) > 0. On pose s n = n ∑ k=1 γ k . 1. S'il existe c 1 ≥ 0 tel que γ -1 n h 5 n /(ln s n ) -→ n→+∞ c 1 , et si lim n→+∞ (nγ n ) > 1 -a 2f (x) ,
alors, avec probabilité un, la suite

( √ γ -1 n h n 2 ln s n [ r GR n (x) -r(x) ] ) est relativement compacte et l'ensemble de ses valeurs d'adhérence est l'intervalle [ √ c 1 2 f (x)m (2) (x) f (x) -2aξ - √ V ar[Y |X = x]f (x) ∫ R K 2 (u)du 2f (x) -(1 -a)ξ , √ c 1 2 f (x)m (2) (x) f (x) -2aξ + √ V ar[Y |X = x]f (x) ∫ R K 2 (u)du 2f (x) -(1 -a)ξ ] . 2. Si γ -1 n h 5 n /(ln s n ) -→ n→+∞ +∞, et si lim n→+∞ (nγ n ) > 2a f (x) , alors 1 h 2 n [ r GR n (x) -r(x) ] p.s -→ n→+∞ f (x)m (2) (x) f (x) -2aξ .
Pour établir une majoration de la vitesse de convergence uniforme de r GR n , on ajoute l'hypothèse suivante.

(H4) i) K est une fonction lipschitzienne. ii) Il existe t * > 0 tel que E [exp(t * |Y |)] < +∞. iii) a ∈]1 -α, α -2 3 [. iv) Pour q ∈ {0, 1}, la fonction x → ∫ R |t| q | ∂g ∂x g(x, t)|dt est bornée sur l'ensemble {x, f (x) > 0}.
1. Si la suite γ -1 n h 5 n /(ln n) 2 est bornée et si lim n→+∞ (nγ n ) > 1 -a 2ϕ , alors sup x∈I r GR n (x) -r(x) = O ( √ γ n h -1 n ln n ) p.s. 2. Si γ -1 n h 5 n /(ln n) 2 → +∞ et si lim n→+∞ (nγ n ) > 2a ϕ , alors sup x∈I r GR n (x) -f (x) = O ( h 2 n ) p.s.
Slaoui [106, 107] a établit les principes de grandes déviations et de déviations modérées pour l'estimateur r GR n . Concernant le choix pratique de fenêtre, le lecteur peut voir le travail de Slaoui [108] qui a utlisé la méthode de Plug-in.

L'avantage des estimateurs récursifs par rapport aux estimateurs non récursifs est le gain en temps de calcul. En effet, la récursivité facilite la mise à jour de l'estimateur lorsque on passe d'un échantillon de taille n à un échantillon de taille n + 1.

Malgré leur intérêt apporté au domaine de la statistique, les estimateurs à noyau, à la fois récursifs et non récursifs, connaissent quelques inconvénients parmi lesquels se situent les problèmes du support de la fonction à estimer lorsque celui-ci n'est plus R. Ce phénomène, dont on parlera dans le paragraphe suivant, est appelé l'effet du bord.

Problèmes de support

E

[ f n (x) ] ≃ f (x) + 1 2 h 2 f ′′ (x) ∫ x 2 K(x)dx, et V ar [ f n (x) ] ≃ (nh) -1 f (x) ∫ K 2 (x)dx.
Maintenant, près de l'origine et en écrivant x = ph, on trouve Plusieurs solutions à ce problème ont été proposées dans la littérature. Schuster [START_REF] Schuster | Incorporating support constraints into nonparametric estimators of densities[END_REF], Silverman [101] et Cline et Hart [START_REF] Cline | Kernel estimation of densities with discontinuities or discontinuous derivatives[END_REF] ont utilisé la méthode dite des données reflétées ("reflection data method") pour une fonction de densité f définie sur un in-

E [ f n (x) ] ≃ f (x) ∫ p -∞ K(x)dx -f ′ (x) ∫ p -∞ xK(x)dx + 1 2 h 2 f ′′ (x) ∫ p -∞ x 2 K(x)dx, et V ar [ f n (x) ] ≃ (nh) -1 f (x) ∫ p -∞ K 2 (x)dx. En particulier, E [ f n (0) ] ≃ f (0)/2,
tervalle du type [0, b] avec f ′ (0) = f ′ (b) = 0. Ensuite,

Cette méthode a été largement discutée dans plusieurs travaux comme Tenbusch

[115], Ghosa [START_REF] Ghosal | Convergence rates for density estimation with Bernstein polynomials[END_REF], Kakizawa [START_REF] Kakizawa | Bernstein polynomial probability density estimation[END_REF][START_REF] Kakizawa | A note on generalized bernstein polynomial density estimators[END_REF], Igarashi and Kakizawa [START_REF] Igarashi | On improving convergence rate of Bernstein polynomial density estimator[END_REF], Rao [START_REF] Rao | Estimation of distribution and density functions by generalized Bernstein polynomials[END_REF], Leblanc [START_REF] Leblanc | A bias-reduced approach to density estimation using Bernstein polynomials[END_REF], Leblanc [START_REF] Leblanc | On estimating distribution function using Bernstein polynomials[END_REF][START_REF] Leblanc | On the boundary properties of bernstein polynomial estimators of density and distribution dunctions[END_REF], Babu et al. [START_REF] Babu | Application of Bernstein polynomials for smooth estimation of a distribution and density function[END_REF], Babu et Chaubey [START_REF] Babu | Smooth estimation of a distribution function and density function on a hypercube using Bernstein polynomials for dependent random vectors[END_REF] and Jmaei et al. [START_REF] Jmaei | Recursive distribution estimator defined by stochastic approximation method using Bernstein polynomials[END_REF]. On se réfère à cette méthode aussi dans les chapitres qui suivent pour construire nos estimateurs. Dans ce cadre, Bernstein [START_REF] Bernstein | Démonstration du théorème de Weierstrass fondée sur le calcul desprobabilités[END_REF] a introduit une famille de polynômes, qui portera son nom par la suite, dont la définition est la suivante.

Estimateurs fonctionnels utilisant les polynômes de Bernstein

Définition 1.3.1. (Polynômes de Bernstein) Pour m ∈ N et 0 ≤ k ≤ m, on appelle polynôme de Bernstein le polynôme b k (m, x) = ( m k ) x k (1 -x) m-k .
Ces polynômes possèdent plusieurs propriétés intéressantes dans le domaine de probabilités et statistiques. On en cite quelques-unes les plus connues.

Proposition 1.3.1.

Les polynômes de Bernstein possèdent les propriétés suivantes :

(i) Partition de l'unité :

m ∑ k=0 b k (m, x) = 1, ∀x ∈ [0, 1]. (ii) Positivité : ∀k ∈ {0, . . . , m} , b k (m, x) ≥ 0, et b k (m, x) ne s'annule qu'en 0 et en 1.
(iii) Symétrie :

∀k ∈ {0, . . . , m} , b k (m, x) = b m-k (m, 1 -x).
(iv) Formule de récurrence :

Pour m > 0, b k (m, x) =              (1 -x)b k (m -1, x) si k = 0 (1 -x)b k (m -1, x) + xb k-1 (m -1, x) ∀k ∈ {1, . . . , m -1} xb k-1 (m -1, x) si k = m.
∀x ∈ [0, 1], B m (f )(x) = m ∑ k=0 f ( k m ) b k (m, x), = m ∑ k=0 f ( k m ) ( m k ) x k (1 -x) m-k .
Alors, on a

lim m→+∞ ∥f -B m (f )∥ = lim m→+∞ sup x∈[0,1] |f (x) -B m (f )(x)| = 0.
En particulier, toute fonction continue sur [0, 1] est limite uniforme d'une suite de polynômes de Bernstein.

D'autres supports différents de l'intervalle [0, 1] sont possibles en faisant des transformations appropriées. Pour plus de détails sur les polynômes de Bernstein, le lecteur peut consulter le livre de Lorentz [START_REF] Lorentz | Bernstein polynomials[END_REF].

Vitale [119] a utilisé ce théorème pour construire un estimateur de la fonction de distribution dont on parlera dans le paragraphe suivant.

Estimateur d'une distribution

Soientt X 1 , . . . , X n des variables aléatoires i.i.d. ayant une fonction de distribution inconnue F et sa densité associée

f de support [0, 1]. Vitale [119] a défini l'estimateur de F comme suit F n,m (x) = m ∑ k=0 F n ( k m ) b k (m, x), (1.3.1)
où

F n (t) = 1 n n ∑ i=1
I {Xi≤t} est la fonction de distribution empirique. On remarque que

F n,m (0) = 0 = F (0) et Fn,m (1) = 1 = F (1).
Cet estimateur défini en (1.3.1) a été en outre étudié sous une différente forme par Babu et al. [START_REF] Babu | Application of Bernstein polynomials for smooth estimation of a distribution and density function[END_REF] et Leblanc [START_REF] Leblanc | A bias-reduced approach to density estimation using Bernstein polynomials[END_REF][START_REF] Leblanc | On estimating distribution function using Bernstein polynomials[END_REF]. En effet, Babu et al. [START_REF] Babu | Application of Bernstein polynomials for smooth estimation of a distribution and density function[END_REF] ont montré que F n,m vérifie les propriétés d'une fonction de distribution à savoir : On suppose que F soit une fonction continue et admette deux dérivées bornées sur

F n,m est continue sur [0, 1], 0 ≤ F n,m ≤ 1 pour x ∈ [0, 1] et pour la monotonie il suffit d'écrire cet estimateur comme F n,m (x) = m ∑ k=0 f n ( k m ) B k (m, x), avec f n (0) = 0, f n ( k m ) = F n ( k m ) , k = 1, . . . , m (1.3.2) et B k (m, x) = m ∑ j=k b k (m, x) = m ( m -1 k -1 ) ∫ x 0 t k-1 (1 -t) m-k dt. (1.3.3) Pour k ∈ {0, . . . ,
[0, 1]. Pour x ∈ [0, 1], on a E [ F n,m (x)
] = F (x) + m -1 b(x) + o ( m -1 ) , avec b(x) = x(1-x)f ′ (x)

2

. On a aussi

V ar

[ F n,m (x) ] = n -1 σ 2 (x) -m -1/2 n -1 V (x) + o x ( m -1/2 n -1 ) , avec σ 2 (x) = F (x)[1 -F (x)], et V (x) = f (x) [ 2x(1-x) π ] 1/2 .
Pour plus de détails, le lecteur peut voir le travail de Leblanc [START_REF] Leblanc | On estimating distribution function using Bernstein polynomials[END_REF]. Une autre conséquence du résultat précédent est que F n,m domine asymptotiquement la fonction de distribution empirique à chaque x ∈]0, 1[ en termes de l'erreur quadratique moyenne M SE. En effet, on a

M SE [ F n,m (x) ] = n -1 σ 2 (x) -m -1/2 n -1 V (x) + m -2 b 2 (x) +o x ( m -1/2 n -1 ) + o ( m -2 ) .
En revanche, il est bien connu que

M SE [F n (x)] = V ar [F n (x)] = n -1 σ 2 (x),
de sorte que F n,m et F n sont équivalents en terme de MSE jusqu'au premier ordre.

Cependant, en considérant aussi des termes d'ordre supérieur, il s'avère que F n,m admet une M SE plus petite que F n lorsque l'ordre m est bien choisi. Les deux estimateurs atteignent une M SE égale à zéro pour x = 0, 1.

On donne maintenant l'erreur quadratqiue intégrée (M ISE) de l'estimateur

F n,m M ISE ( Fn,m ) = n -1 C 1 -m -1/2 n -1 C 2 + m -2 C 3 + o ( m -1/2 n -1 ) + o (m -2 ) , avec C 1 = ∫ 1 0 σ 2 (x)dx, C 2 = ∫ 1 0 V (x)dx, et C 3 = ∫ 1 0 b 2 (x)dx.
m opt = [ 4C 3 C 2 ] 2/3 n 2/3 , et dans ce cas, on a M ISE ( Fn,mopt ) = n -1 C 1 -n -4/3 3 4 [ C 4/3 2 4 1/3 C 1/3 3 ] + o ( n -4/3
) .

Des résultats similaires à ceux-ci ont été obtenus pour les estimateurs classiques à noyau par Jones [START_REF] Jones | The performance of kernel density functions in kernel distribution function estimation[END_REF], entre autres.

Notez cependant que l'approche de plug-in suggérée par Altman et Léger [START_REF] Altman | Bandwidth selection for kernel distribution function estimation[END_REF] et la méthode de validation croisée de Bowman et al. [START_REF] Bowman | Bandwidth selection for the smoothing of distribution functions[END_REF] pourraient être certainement adapter dans le choix pratique de m.

L'estimateur F n,m est fortement consistent. En effet on a le résultat suivant :

Théorème 1.3.2. (Babu et al. [2]) Soit F une fonction de distribution continue sur l'intervalle [0, 1]. Si m, n → +∞, alors F n,m -F = sup x∈[0,1] F n,m (x) -F (x) -→ n→+∞ 0, p.s.
Le théorème suivant donne la distance entre l'estimateur F n,m et la fonction de distribution empirique F n .

Théorème 1.3.3. (Babu et al. [START_REF] Babu | Application of Bernstein polynomials for smooth estimation of a distribution and density function[END_REF])

Soit F une fonction de distribution continue, différentiable sur l'intervalle [0, 1] et de densité f . Si f est lipschitzienne d'ordre 1, alors pour n 2/3 ≤ m ≤ (n/ ln n) 2 on a F n,m -F n = O ( ( n -1 ln n ) 1/2 ( m -1 ln m ) 1/4
) .

Pour la démonstration de ces deux théorèmes, on se réfère au travail du Babu et al. [START_REF] Babu | Application of Bernstein polynomials for smooth estimation of a distribution and density function[END_REF].

Leblanc [START_REF] Leblanc | On estimating distribution function using Bernstein polynomials[END_REF] a établit la normalité asymptotique de l'estimateur Bernstein F n,m pour chaque x dans l'intervalle unité. Ce résultat est donné par le théorème suivant Théorème 1.3.4. (Leblanc [START_REF] Leblanc | On estimating distribution function using Bernstein polynomials[END_REF])

On suppose que F soit une fonction continue et admettant deux dérivées bornées sur

[0, 1]. Pour x ∈]0, 1[, tel que 0 < F (x) < 1, on a n 1/2 [ F n,m (x) -B m (x) ] L -→ n→+∞ N (0, σ 2 (x)), avec B m (x) = E [ F n,m (x) ] = m ∑ k=0 F ( k m ) b k (m, x).
Notez que, selon un choix approprié de fenêtre, un résultat similaire à ce théorème a été obtenu par Watson et Leadbetter [121] pour les estimateurs classiques à noyau de la fonction de distribution. Maintenant, comme l'intérêt est principalement dans la façon dont Fn,m se comporte par rapport à F , en remarquant que

n 1/2 [ Fn,m (x) -F (x) ] = n 1/2 [ Fn,m (x) -B m (x) ] + m -1 n 1/2 b(x) + o ( m -1 n 1/2 ) , on obtient le corollaire suivant Corollaire 1.3.1. (Leblanc [56])
On suppose que F soit une fonction continue et admettant deux dérivées bornées sur

[0, 1]. Pour x ∈]0, 1[, tel que 0 < F (x) < 1, on a 1. Si m -1 n 1/2 -→ n→+∞ c pour une constante c ≥ 0, n 1/2 [ F n,m (x) -F (x) ] L -→ n→+∞ N (cb(x), σ 2 (x)). 2. Si m -1 n 1/2 -→ n→+∞ +∞, m -1 [ F n,m (x) -F (x) ] P -→ n→+∞ b(x).
Ce résultat établit essentiellement, que lorsque l'ordre m de l'estimateur de

Vitale est choisi assez grand (de sorte que le biais devient négligeable) la distribution asymptotique de F n,m est la même que celle de la distribution empirique F n .

Partant de cet estimateur F n,m , Vitale a construit par une dérivation l'estimateur f n,m qui sera étudié dans le paragraphe suivant avec l'estimateur de Leblanc [START_REF] Leblanc | A bias-reduced approach to density estimation using Bernstein polynomials[END_REF] qui réduit le biais.

Estimateurs d'une densité

Pour obtenir l'estimateur de Bernstein de la densité à partir de l'estimateur de distribution, on utilise la formule de Babu et al. [START_REF] Babu | Application of Bernstein polynomials for smooth estimation of a distribution and density function[END_REF] F

n,m (x) = m ∑ k=0 f n ( k m ) B k (m, x), (1.3.4) avec f n ( k m ) et B k (m, x) sont donnés respectivement par (1.3.2) et (1.3.3).
En dérivant par rapport à x l'équation (1.3.4), on obtient

f n,m (x) = m ∑ k=1 f n ( k m ) d dx B k (m, x) = m m-1 ∑ k=1 f n ( k + 1 m ) b k (m -1, x) = m m-1 ∑ k=1 [ F n ( k + 1 m ) -F n ( k m )] b k (m -1, x). (1.3.5)
Cet estimateur f n,m donné par (1.3.5) a été introduit par Vitale [119] et étudié après par [START_REF] Babu | Application of Bernstein polynomials for smooth estimation of a distribution and density function[END_REF]. Par ailleur, Bouezmarni and Rolin [START_REF] Bouezmarni | Bernstein estimator for unbounded density function[END_REF] ont considéré le cas des densités non bornées et Tenbusch [115] et Babu et Chaubey [START_REF] Babu | Smooth estimation of a distribution function and density function on a hypercube using Bernstein polynomials for dependent random vectors[END_REF] ont fait la généralisation de cet estimateur dans le cas multidimensionnel.

Kakizawa [START_REF] Kakizawa | Bernstein polynomial probability density estimation[END_REF] et Rao [START_REF] Rao | Estimation of distribution and density functions by generalized Bernstein polynomials[END_REF] ont défini d'autres Bernstein-estimateurs basés sur les noyaux du bord et utilisant les polynômes de Bernstein généralisés.

Enfin, Petrone [START_REF] Petrone | Bayesian density estimation using Bernstein polynomials[END_REF] a introduit une approche entièrement Bayésienne de l'estimation non paramétrique pour une densité définie sur un intervalle compact grâce à l'utilisation de polynômes de Bernstein. L'estimateur obtenu est une moyenne pondérée de différents estimateurs f n,m pour des différentes valeurs de m et repose sur la famille de Bernstein-Dirichlet introduit par Petrone [START_REF] Petrone | Random Bernstein Polynomials[END_REF] et a été étudiée par Ghosa [START_REF] Ghosal | Convergence rates for density estimation with Bernstein polynomials[END_REF] et Petrone et Wasserman [START_REF] Petrone | Consistency of Bernstein polynomial posteriors[END_REF].

Kruijer et van der Vaart [START_REF] Kruijer | Posterior convergence rates for Dirichlet mixtures of beta densities[END_REF] ont considéré une version modifiée de l'estimateur de Petrone.

On donne par la suite les propriétés de l'estimateur f n,m défini par (1.3.5). Pour plus de détails, le lecteur peut voir les travaux de Leblanc [START_REF] Leblanc | On estimating distribution function using Bernstein polynomials[END_REF] et Babu et al. [START_REF] Babu | Application of Bernstein polynomials for smooth estimation of a distribution and density function[END_REF].

Les résultats concernants l'espérance et la variance de l'estimateur f n,m sont donnés dans la proposition suivante .

Proposition 1.3.3. (Leblanc [START_REF] Leblanc | On estimating distribution function using Bernstein polynomials[END_REF])

Soit f une densité de probabilté. On suppose que f soit une fonction continue et

admettant deux dérivées bornées sur [0, 1]. Pour x ∈ [0, 1], on a E[ f n,m (x)] = f (x) + m -1 ∆ 1 (x) + o ( m -1 ) , avec ∆ 1 (x) = 1 2 [(1 -2x)f ′ (x) + x(1 -x)f ′′ (x)] . D'autre part, on a V ar[ f n,m (x)] =      m 1/2 n f (x)ψ(x) + o x ( m 1/2 n ) for x ∈]0, 1[, m n f (x) + o x ( m n ) for x = 0, 1 avec ψ(x) = (4πx(1 -x)) -1/2 .
On note que le biais de l'estimateur f n,m est uniforme sur l'intervalle [0, 1] d'où l'absence du biais de bords. D'autre part, en posant h = m -1 la fenêtre de l'estimateur de Vitale pour la densité, on obtient un biais de l'ordre de O(h) pour l'estimateur f n,m qui est plus grand que le biais obtenu par l'estimateur à noyau classique f n .

Par ailleur, pour la variance de f n,m , elle est de l'ordre de

O ( h -1/2 /n) ) pour x ∈]0,
K 1 = ∫ 1 0 f (x)ψ(x)(x)dx, K 2 = ∫ 1 0 ∆ 2 1 (x)dx.
( f n,m ) = m 1/2 n K 1 + m -2 K 2 + o ( m 1/2 n ) + o ( m -2 ) .
Ainsi le choix optimal de m qui minimise la M ISE est

m opt = [ 4K 2 K 1 ] 2/5 n 2/5 , et dans ce cas, on a M ISE ( fn,mopt ) = 5 4 4 1/5 K 4/5 1 K 1/5 2 n -4/5 + o ( n -4/5
) .

On note que le résultat de la proposition précédante n'est pas obtenue directement à partir du biais et de la variance puisque l'erreur de cette dernière n'est par uniforme en x. Plutôt, l'expression de M ISE de l'estimateur f n,m est obtenue en utilisant le théorème de Fubini et en intégrant le biais et la variance dont l'expression est donnée par V ar

[ f n,m (x) ] = m 2 n [ A m (x) -f 2 m (x) ] , avec A m (x) = m ∑ k=0 [ F ( k + 1 m ) -F ( k m )] b 2 k (m, x), f m (x) = E [ f n,m (x) ] = m ∑ k=0 [ F ( k + 1 m ) -F ( k m )] b k (m, x).
De plus, l'estimateur f n,m atteint le taux optimal de convergence en M ISE pour les estimateurs de densité qui est de l'ordre de n -4/5 . Comparé avec les estimateurs à noyau classiques, f n,m atteint cet ordre avec un biais plus grand et une variance plus petite. Enfin, on note que la fenêtre optimale pour f n,m est h ≃ n -2/5 au lieu de h ≃ n -1/5 pour les estimateurs à noyau classiques.

On rappelle dans la suite, quelques résultats concernant la convergence de l'estimateur f n,m donnés par Babu et al. [START_REF] Babu | Application of Bernstein polynomials for smooth estimation of a distribution and density function[END_REF].

Théorème 1.3.5. (Babu et al. [2]) Pour 2 ≤ m ≤ (n/ ln n), on a f n,m -f = sup x∈[0,1] f n,m (x) -f (x) = O ( m 1/2 ( ln n n ) 1/2 ) + O (∥F ′ m -f ∥) , avec F ′ m est la dérivée de la fonction F m (x) = m ∑ k=0 F ( k m ) b k (m, x). Ainsi, si m = o (n/ ln n) on a f n,m -f -→ n→+∞ 0 p.s.
On donne, par la suite, deux théorèmes sur la normalité asymptotique de f n,m .

Théorème 1.3.6. (Babu et al. [START_REF] Babu | Application of Bernstein polynomials for smooth estimation of a distribution and density function[END_REF])

Pour x ∈ [0, 1] tel que f (x) > 0 et lorsque 2 ≤ m ≤ (n/ ln n) et n 2/3 m -→ n→+∞ 0, on a n 1/2 m -1/4 [ f n,m (x) -f (x) ] L -→ n→+∞ N (0, f (x)ψ(x)).
tel que f (x) > 0 et si n -1/5 m 1/2 -→ n→+∞ c avec c > 0, on a n 2/5 [ f n,m (x) -f (x) ] -c -2 ∆ 1 (x) L -→ n→+∞ N (0, cf (x)ψ(x)).
Comme on a mentionné, l'estimateur f n,m a un biais plus grand que les estimateurs classiques de la densité. En effet, en utilisant la méthode de réduction du biais, ce problème peut être corrigé sans augmenter la variance.

Cette méthode a été utilisée par [82] dans le cadre d'estimation de la densité spectrale qui fait le lien avec le travail de Schucany et al. [START_REF] Schucany | On bias reduction in estimation[END_REF] et Schucany et Sommers [START_REF] Schucany | Improvement of kernel type density estimators[END_REF] sur la réduction du biais des estimateurs.

Leblanc [START_REF] Leblanc | A bias-reduced approach to density estimation using Bernstein polynomials[END_REF] a utilisé cette même méthode pour introduire un nouveau estimateur qui a un biais plus petit. Cet estimateur est donné par

∀x ∈ [0, 1], f n,m,m/2 (x) = 2 f n,m (x) -f n,m/2 (x). ( 1
Pour x ∈ [0, 1], on a E [ f n,m,m/2 (x) ] = f (x) -2m -2 ∆ 2 (x) + o ( m -2 ) , avec ∆ 2 (x) = 1 6 (1 -6x(1 -x))f ′′ (x) + 5 12 x(1 -x)(1 -2x)f (3) (x) + 1 8 x 2 (1 -x) 2 f (4) (x).
Aussi,

V ar[ f n,m,m/2 (x)] =      ( 1 √ 2 + 4 ( 1 - √ 2 3
))

m 1/2 n f (x)ψ(x) + o x ( m 1/2 n ) si x ∈]0, 1[, 5 2 m n f (x) + o x ( m n ) si x = 0, 1.
On constate la réduction du biais de l'estimateur f n,m,m/2 pour devenir de l'ordre de O(m -2 ) au lieu de O(m -1 ) pour l'estimateur de

K 1 = ∫ 1 0 f (x)ψ(x)(x)dx, K 2 = ∫ 1 0 ∆ 2 1 (x)dx,
et on définit

K 3 = 1 √ 2 + 4 ( 1 - √ 2 3
)

, K 4 = ∫ 1 0 ∆ 2 2 (x)dx.
Proposition 1.3.6. (Leblanc [START_REF] Leblanc | A bias-reduced approach to density estimation using Bernstein polynomials[END_REF])

Supposons que la densité f soit quatre fois continument différentiable sur [0, 1], on a M ISE ( f n,m,m/2 ) = m 1/2 n K 1 K 3 + 4m -4 K 4 + o ( m -4
) .

Ainsi, l'ordre optimal qui minimise la M ISE de f n,m,m/2 est égale

m opt = [ 32K 4 K 1 K 3 ] 2/9 n 2/9 , pour lequel on a M ISE ( f n,mopt,mopt/2 ) = 9 (32K 8 1 K 4 ) 1/9 8n 8/9 + o ( n -8/9
) .

Ce résultat implique que l'estimateur f n,m,m/2 atteint un taux optimal de convergence en terme de M ISE pour les densités qui sont quatre fois continument différentiable. Ce taux de convergence est obtenu avec une fenêtre h ≃ n -2/9 au lieu de h ≃ n -1/9 qui est le choix optimal pour les estimateurs à noyau classiques.

Igarashi and Kakizawa [START_REF] Igarashi | On improving convergence rate of Bernstein polynomial density estimator[END_REF] ont généralisé l'estimateur de Leblanc

f n,m,m/2 (1.3.6) pour devenir ∀x ∈ [0, 1], f n,m,m/b (x) = b b -1 f n,m (x) - 1 b -1 f n,m/b (x), (1.3
E[ f n,m,m/b (x)] -f (x) = - b m 2 ∆ 2 (x) + o ( m -2 ) , ∀x ∈ [0, 1]. D'autre part, on a V ar[ f n,m,m/b (x)] =      λ 1 (b) m 1/2 n f (x)ψ(x) + o x ( m 1/2 n ) si x ∈]0, 1[, λ 2 (b) m n f (x) + o x ( m n ) si x = 0, 1, avec λ 1 (b) = 1 (1 -b) 2 { b 2 + b -1/2 -2b ( 2 b + 1 ) 1/2 } , λ 2 (b) = 1 (1 -b) 2 { b 2 + b -1 -2 } ,
Par ailleur, on a

M ISE( f n,m,m/b ) = λ 1 (b)K 1 m 1/2 n + b 2 K 2 m 4 + o ( m 1/2 n ) + o ( m -4
) .

Ainsi, l'ordre optimal qui minimise la MISE de

f n,m,m/b est égale à ( [ b 2 λ 1 (b) 8K 2 K 1 ] 2/9 n 2/9
) , pour lequel, on a

M ISE( f n,m,m/b ) = 9 8 ( bλ 4 1 (b) ) 2/9 ( 8K 8 1 K 2 ) 1/9 n -8/9 + o ( n -8/9
) .

Ce dernier résultat implique que b = 2 est le choix optimal en terme de M ISE de l'estimateur f n,m,m/b , puisque la fonction b → (bλ 4 1 (b)) Cette méthode a été adaptée par Hirukawa [START_REF] Hirukawa | Nonparametric multiplicative bias correction for kernel-type density estimation on the unit interval[END_REF] pour l'estimateur de noyau beta introduit par Chen [START_REF] Chen | Beta kernel estimators for density functions[END_REF] et par Igarashi and Kakizawa [START_REF] Igarashi | On improving convergence rate of Bernstein polynomial density estimator[END_REF] dans le cadre d'estimation par les polynômes de Bernstein pour obtenir l'estimateur suivant

∀x ∈ [0, 1], f n,m,b,ε (x) = { f n,m (x) } b/(b-1) { f n,m/b (x) + ε } -1/b-1 , (1.3.8)
pour ε = ε(m) > 0, qui tend vers zéro lorsque m tend vers l'infini .

La proposition suivante donne l'espérance, la variance et la M ISE de l'estimateur

f n,m,b,ε (1.3.8)
Proposition 1.3.8. (Igarashi and Kakizawa [START_REF] Igarashi | On improving convergence rate of Bernstein polynomial density estimator[END_REF])

Supposons que la densité f soit continue, bornée et admettant quatre dérivées

continues et bornées sur [0, 1]. Pour x ∈ [0, 1] tel que f (x) > 0 avec m = O (n η ) et ε ≈ m τ où η ∈]0, 1[ et τ > 2, on a E[ f n,m,b,ε (x)] -f (x) = - b m 2 { - ∆ 2 1 (x) 2f (x) + ∆ 2 (x) } +O ( V ar[ f n,m (x)] + V ar[ f n,m/b (x)] ) + o ( m -2 ) . D'autre part, on a V ar[ f n,m,b,ε (x)] = V ar[ f n,m,m/b (x)] + o ( V ar[ f n,m (x)] + V ar[ f n,m/b (x)] + m -4
) ,

Par ailleur, on a

M ISE( f n,m,b,ε ) = λ 1 (b)K 1 m 1/2 n + b 2 K 5 m 4 + o ( m 1/2 n ) + o ( m -4 ) , avec K 5 = ∫ 1 0 { - ∆ 2 1 (x) 2f (x) + ∆ 2 (x) } 2 dx.
Pour minimiser la M ISE de f n,m,b,ε , l'odre (m n ) doit être égale à

( [ b 2 λ 1 (b) 8K 5 K 1 ] 2/9 n 2/9
) , pour lequel, on a

M ISE( f n,m,b,ε ) = 9 8 ( bλ 4 1 (b) ) 2/9 ( 8K 8 1 K 5 ) 1/9 n -8/9 + o ( n -8/9
) .

On note que l'estimateur f n,m,b,ε conserve la positivité mais ne constitue pas une densité. En fait, l'estimateur f n,m,b,ε ne s'intègre généralement pas à l'unité. Pour résoudre ce problème, Igarashi and Kakizawa [START_REF] Igarashi | On improving convergence rate of Bernstein polynomial density estimator[END_REF] ont proposé l'estimateur normalisé

suivant ∀x ∈ [0, 1], f N n,m,b,ε (x) = f n,m,b,ε (x) ∫ 1 0 f n,m,b,ε (y)dy .
(1.3.9)

f N n,m,ε (1.3.9).

Proposition 1.3.9. (Igarashi and Kakizawa [START_REF] Igarashi | On improving convergence rate of Bernstein polynomial density estimator[END_REF])

Supposons que la densité f soit continue, bornée et admettant quatre dérivées

continues et bornées sur [0, 1]. Pour x ∈ [0, 1] tel que f (x) > 0, et avec m = O (n η ) et ε ≈ m τ où η ∈ (0, 1) et τ > 2, on a E[ f N n,m,b,ε (x)] -f (x) = - b m 2 { - ∆ 2 1 (x) 2f (x) + ∆ 2 (x) + f (x) ∫ 1 0 ∆ 2 1 (y) 2f (y) dy } +O ( V ar[ f n,m (x)] + V ar[ f n,m/b (x)] + n -1 m 1/2 ) +o ( m -2 ) . D'autre part, on a V ar[ f N n,m,b,ε (x)] = V ar[ fn,m,m/b (x)] +o ( V ar[ f n,m (x)] + V ar[ f n,m/b (x)] + n -1 m 1/2 + m -4
) ,

Par ailleur, on a

M ISE( f N n,m,b,ε ) = λ 1 (b)K 1 m 1/2 n + b 2 K 6 m 4 + o ( m 1/2 n ) + o ( m -4 ) , L'ordre optimal pour minimiser la M ISE de f N n,m,a,ε est égale à ( [ b 2 λ 1 (b) 8K 6 K 1 ] 2/9 n 2/9
) , pour lequel, on a

M ISE( f N n,m,b,ε ) = 9 8 ( bλ 4 1 (b) ) 2/9 ( 8K 8 1 K 6 ) 1/9 n -8/9 + o ( n -8/9
) .

Pour le choix pratique de l'ordre m le lecteur peut voir les travaux de Leblanc [START_REF] Leblanc | A bias-reduced approach to density estimation using Bernstein polynomials[END_REF], Kakizawa [START_REF] Kakizawa | Bernstein polynomial probability density estimation[END_REF][START_REF] Kakizawa | A note on generalized bernstein polynomial density estimators[END_REF] et Igarashi and Kakizawa [START_REF] Igarashi | On improving convergence rate of Bernstein polynomial density estimator[END_REF] qui ont utilisé la méthode de validation croisée.

Dans le troisième chapitre, on va comparer les estimateurs

f n,m,m/2 (1.3.6), f n,m,m/b (1.3.7), f n,m,b,ε (1.3.8) et f N n,m,b,ε (1.
3.9) avec notre estimateur récursif pour une densité.

Chapitre 2

Recursive distribution estimator using Bernstein polynomials

Introduction

There have been several methods for smooth estimation of density and distribution functions, from the introduction of kernel method of smoothing by Rosenblatt [START_REF] Rosenblatt | Remarks on some nonparametric estimates of density functions[END_REF] and the advances made by Parzen [START_REF] Parzen | On estimation of probability density and mode[END_REF]. For smoothing techniques for curve estimation, we refer the reader to Silverman [101] and Härdle [START_REF] Härdle | Smoothing Techniques with Implementation in S[END_REF]. However, these methods consider the support of the distribution as the whole real line. Using Robbins-Monro's (1951) recursive scheme, we set

(i) F 0 (x) ∈ R, (ii) for all n ≥ 1, F n (x) = F n-1 (x) + γ n W n ,
where (γ n ) is a nonrandom positive sequence tending to zero as n → ∞, called the stepsize of this algorithm. To define W n , we follow Vitale [119] (see also Babu et al. [START_REF] Babu | Application of Bernstein polynomials for smooth estimation of a distribution and density function[END_REF]) and introduce the Bernstein polynomial of order m > 0 (assuming that m = m n

depends on n), b k (m, x) = ( m k ) x k (1 -x) m-k
and set

W n = m ∑ k=0 I { X n ≤ k m } b k (m, x) -F n-1 (x) .
So the recursive estimator of the distribution F at the point x can be defined as

F n (x) = (1 -γ n )F n-1 (x) + γ n m ∑ k=0 I { X n ≤ k m } b k (m, x). (2.1.1)
Throughout this chapter, we suppose that F 0 (x) = 0 and we let

Π n = n ∏ j=1 (1 -γ j )
and

Z n (x) = m ∑ k=0 I { X n ≤ k m } b k (m, x).
Then, it follows from (2.1.1) that one can estimate F recursively at the point x by

F n (x) = Π n n ∑ k=1 Π -1 k γ k Z k (x). (2.1.2)
The aim of this chapter is to study the properties of the recursive distribution estimator (2.1.2), as a competitor for Vitale's (1975) distribution estimator

F n (x) = m ∑ k=0 F n ( k m ) b k (m, x), (2.1.3)
where F n is the empirical distribution.

The Bernstein polynomial density and distribution estimators have been widely discussed in several frameworks. See, for instance, the original work of Vitale [119] and extensions given by Tenbusch [115], Babu et al. [START_REF] Babu | Application of Bernstein polynomials for smooth estimation of a distribution and density function[END_REF], Kakizawa [START_REF] Kakizawa | Bernstein polynomial probability density estimation[END_REF], Rao [START_REF] Rao | Estimation of distribution and density functions by generalized Bernstein polynomials[END_REF] and Babu et Chaubey [START_REF] Babu | Smooth estimation of a distribution function and density function on a hypercube using Bernstein polynomials for dependent random vectors[END_REF].

For our recursive estimator F n defined by (2.1.2), we compute the bias and the variance. It turns out that they heavily depends on the choice of the stepsize (γ n ).

Moreover, we give the optimal order (m n ) which minimizes the mean integrated squared error (M ISE). Further, we show that using the stepsize

(γ n ) = ([2/3+ε]n -1 )
with ε > 0 (very close to zero) and the best implemented order (m n ), the proposed estimator F n can dominate Vitale's estimator F n in terms of the M ISE. Finally, we confirm our theoretical results by a simulation study.

The remainder of this chapter is organized as follows. In Section 2.2, we list our notations and assumptions. In Section 2.3, we state the main theoretical results regarding bias, variance, M ISE and pointwise convergence of our recursive estimator introduced in (2.1.2). Section 2.4 is devoted to some numerical studies : first, a simulation study is presented in Subsection 2.4.1 and, then, an application to a real dataset is described in Subsection 2.4.2. Finally, we discuss our conclusion in Section 2.5 and detail the proofs of our theoretical results in Section 2.6.

Assumptions and Notations

Definition 2.2.1. Let γ ∈ R and (v n ) n≥1 be a nonrandom positive sequence.

We say that

(v n ) ∈ GS(γ) if lim n→+∞ n [ 1 - v n-1 v n ] = γ.
This condition was introduced by Galambos et Seneta [START_REF] Galambos | Regularly varying sequences[END_REF] to define regularly varying sequences (see also Bojanic and Seneta [START_REF] Bojanic | A unified theory of regularly varying sequences[END_REF]). Typical sequences in GS(γ) are, for b ∈ R, n γ (log n) b , n γ (log log n) b , and so on.

To obtain the behavior of the estimator defined in (2.1.2), we make the following assumptions :

(A1) F admits a continuous second derivative on [0, 1].

(A2) (γ n ) ∈ GS (-α), α ∈ ( 1 2 , 1]. (A3) (m n ) ∈ GS(a), a ∈ (0, 1). (A4) lim n→∞ (nγ n ) ∈ (min (a, (2α + a)/4) , ∞).
Assumption (A1) was standard for the bias and variance of the Bernstein polynomial distribution estimator (see Babu et al. [START_REF] Babu | Application of Bernstein polynomials for smooth estimation of a distribution and density function[END_REF] and Leblanc [START_REF] Leblanc | On estimating distribution function using Bernstein polynomials[END_REF]).

Assumption (A2) on the stepsize was used in the recursive framework for density estimation (see Mokkadem et al. [START_REF] Mokkadem | The stochastic approximation method for the estimation of a multivariate probability density[END_REF] and Slaoui [103,104]).

Assumption (A3) on (m n ) is introduced similarly to the assumption on the bandwidth used for the recursive kernel distribution estimator (see Slaoui [105]).

Assumption (A4) on the limit of (nγ n ) as n goes to infinity is usual in the framework of stochastic approximation algorithms.

Throughout this chapter we will use the following notations :

Π n = n ∏ j=1 (1 -γ j ), Z n (x) = m ∑ k=0 I { X n ≤ k m } b k (m, x), ξ = lim n→∞ (nγ n ) -1 , b(x) = x(1 -x)f ′ (x) 2 , σ 2 (x) = F (x) [1 -F (x)] , V (x) = f (x)[ 2x(1 -x) π ] 1 2 , C 1 = ∫ 1 0 σ 2 (x)dx, C 2 = ∫ 1 0 V (x)dx, C 3 = ∫ 1 0 b 2 (x)dx.

Main Results

Our first result is the following proposition which gives the bias and the variance of F n .

Proposition 2.3.1 (Bias and variance of F n ).

Let Assumptions (A1) -(A4) hold. We denote by o x the pointwise bound in x (i.e., the error is not uniform in x ∈ [0, 1]).

1. If 0 < a ≤ 2 3 α, then E[F n (x)] -F (x) = m -1 n 1 1 -aξ b(x) + o ( m -1 n ) .
(2.3.1) The following proposition gives the M ISE of the estimator

If 2 3 α < a < 1, then E[F n (x)] -F (x) = o (√ γ n m -1/2 n ) . (2.3.2) 2. If 2 3 α ≤ a < 1, then V ar[F n (x)] = γ n 1 2 -αξ σ 2 (x) -γ n m -1/2 n 2 4 -(2α + a)ξ V (x) +o x ( γ n m -1/2 n ) . (2.3.3)
If 1 2 α ≤ a < 2 3 α, then V ar[F n (x)] = γ n 1 2 -αξ σ 2 (x) + o x (γ n ). If 0 < a < 1 2 α, then V ar[F n (x)] = o x ( m -2 n ) . ( 2
F n . Proposition 2.3.2 (MISE of F n ).
Let Assumptions (A1)-(A4) hold.

1. If 0 < a < 1 2 α, then M ISE(F n ) = m -2 n 1 (1 -aξ) 2 C 3 + o ( m -2 n ) . 2. If 1 2 α ≤ a < 2 3 α, then M ISE(F n ) = m -2 n 1 (1 -aξ) 2 C 3 + γ n 1 2 -αξ C 1 + o ( m -2 n + γ n ) . 3. If a = 2 3 α, then M ISE(F n ) = m -2 n 1 (1 -aξ) 2 C 3 + γ n 1 2 -αξ C 1 -γ n m -1/2 n 2 4 -(2α + a) ξ C 2 +o ( m -2 n + γ n m -1/2 n ) . 4. If 2 3 α < a < 1, then M ISE(F n ) = γ n 1 2 -αξ C 1 -γ n m -1/2 n 2 4 -(2α + a)ξ C 2 + o ( γ n m -1/2 n ) .
The following result (Corollary 2.3.1) is a consequence of the previous proposition which gives the optimal order (m n ) of the estimator F n defined in (2.1.2) and the corresponding M ISE in the case when (γ n ) is chosen in GS (-1), lim

n→∞ nγ n = γ 0 with γ 0 ∈ (2/3, ∞).
Corollary 2.3.1.

Let Assumptions (A1)-(A4) hold.To minimize the MISE of F n , the stepsize (γ n ) must be chosen in GS(-1), lim

n→∞ nγ n = γ 0 , (m n ) must be equal to (
2 2/3 (γ 0 -2/3) -2/3 { 4C 3 C 2 } 2/3 n 2/3 ) , (2.3.5)
and then

M ISE (F n ) = n -1 γ 2 0 2γ 0 -1 C 1 - 3 4 1 2 4/3 γ 2 0 (γ 0 -2/3) 2/3 C 4/3 2 4 1/3 C 1/3 3 n -4/3 +o ( n -4/3 ) . (2.3.6)
Now, from Theorems 1 and 3 in Leblanc [START_REF] Leblanc | On estimating distribution function using Bernstein polynomials[END_REF] we recall that under Assumption (A1), the bias, variance and M ISE of Vitale's distribution estimator (2.1.3) are

given by

E [ F n (x) ] -F (x) = m -1 n b(x) + o(m -1 n ), V ar [ F n (x) ] = n -1 σ 2 (x) -m -1/2 n n -1 V (x) + o(m -1/2 n n -1 ), M ISE ( F n ) = n -1 C 1 -m -1/2 n n -1 C 2 + m -2 n C 3 + o(m -1/2 n n -1 ) + o(m -2 n ).
Besides, to minimize the M ISE of F n , (m n ) must be equal to

( { 4C 3 C 2 } 2/3 n 2/3 ) , (2.3.7)
and then

M ISE( F n ) = n -1 C 1 - 3 4
C 4/3 2
4 1/3 C 1/3 3 n -4/3 + o(n -4/3 ). (2.3.8)
The following remark establishes that, for a special choice of the stepsize (γ n ),

the
M ISE (F n ) -M ISE ( F n ) ≤ 0, ensures that n ≤ 3 3 2 10 C 4 2 4C 3 C 3 1 (2γ 0 -1) 3 (γ 0 -1) 6 (γ 0 -2/3) -2 ( γ 0 -2 2/3 (γ 0 -2/3) 1/3 ) 3 ( γ 0 + 2 2/3 (γ 0 -2/3) 1/3 ) 3 ≃ 1 2 4 C 4 2 4C 3 C 3 1 (1 + 33ε)ε -2 .
Note that since the optimal M ISE formulas (2.3.6) and (2.3.8), ignoring the o ( n -3/4 ) terms, must be positive, the lower bound of n is given by

n ≥ ( 3
) 3 C 4 2 4C 3 C 3 1 max { (2γ 0 -1) 3 2 4 (γ 0 -2/3) 2 , 1 } ≃ ( 4
) 3 C 4 2 4C 3 C 3 1 max { 1 2 4 1 3 3 (1 + 18ε)ε -2 , 1 } . Then, n Lower ε = ⌊ ( 34
) 3 C 4 2 4C 3 C 3 1 max { 1 2 4 1 3 3 (1 + 18ε)ε -2 , 1 } ⌋ and n Upper ε = ⌊ 1 2 4 C 4 2 4C 3 C 3 1 (1 + 33ε)ε -2 ⌋. Remark 2. 3 4
( F n ) M ISE (F n ) = 2γ 0 -1 γ 2 0 ≤ 1 (the equality holds if γ 0 = 1).
Finally, we show in the following proposition the asymptotic normality of the recursive estimator (2.1.2).

Théorème 2.3.1 (Asymptotic normality).

Let Assumption (A1)-(A4) hold.

1. If γ -1/2 n m -1 n -→ n→+∞ c for some constant c ≥ 0, then γ -1/2 n (F n (x) -F (x)) D -→ n→+∞ N ( c 1 -aξ b(x), 1 2 -αξ σ 2 (x)
) . 2.4 Numerical studies

If γ

-1/2 n m -1 n -→ n→+∞ ∞, then m n (F n (x) -F (x)) P -→ n→+∞ b(x) 1 -aξ , (2.3

Simulations

The aim of this subsection is to compare Vitale's estimator (2.1.3) with the proposal (2.1.2), throught a simulation study.

When applying (2.1.2) one needs to choose two quantities : • The order (m n ) is chosen to be equal to (2.3.5).

• The stepsize (γ n ) = (γ 0 n -1
When applying (2.1.3) one needs to choose the order (m n ) to be equal to (2.3.7).

In our simulation study, we consider six sample sizes, n = 30, n = 50, n = 100 For each distribution function and sample size n, we approximate the average ISE of the estimator using N = 500 trials of sample size n ;

ISE = 1 N N ∑ k=1 ISE [ g [k]
] ,

where g [k] is the estimator computed from the kth sample, and

ISE [ g] = ∫ 1 0 { g (x) -F (x)} 2 dx.
From Tables 2.1 and 2.2, we conclude that :

-For the case c) of the beta mixture, the average ISE of Vitale's distribution estimator (2.1.3) is smaller than that of the proposed recursive distribution estimator (2.1.2). However, in all the other cases, using an appropriate choice of the stepsize (γ n ), the average ISE of the distribution estimator (2.1.2) is smaller than that of Vitale's estimator (2.1.3) even when the sample size is very large.

-The average ISE decreases as the sample size increases.

-For small sample sizes, we need to use the stepsize

(γ n ) = ([2/3 + 0.05] n -1 )
and for large sample sizes, we need to use the stepsize -When the sample size increases, we get closer estimation of the true distribution.

(γ n ) = ([2/3 + 0.02] n -1

Real dataset

The cross-validation procedure is a usual way of selecting the smoothing parameter. Sarda [START_REF] Sarda | Smoothing Parameter Selection for Smooth Distribution Functions[END_REF] proposed to use

CV (m) = n ∑ i=1 ( F n (x i ) -F -i (x i )) 2 .
In this case, the CV -function measures the difference between the empirical distribution function F n and the leave-one-out version of our recursive distribution estimator, F -i , that uses the sample except for x i .

We analyze the suicide data given in Table 2.1 of Silverman [101]. These data set consists of durations (in days) of psychiatric treatment for 86 patients used as controls in a study of suicide risks. It is clear in this setup that the distribution to be estimated is defined only for x > 0. For convenience, we also assume that the maximum treatment duration is 800 days (the data are such that min(x i ) = 1 and max(x i ) = 737) and analyse the original data rescaled to the unit interval.

We display the recursive estimator of the underlying distribution F of treatment durations along with the empirical distribution. We graph in the left panel of and m k = ⌊(16 k) 2/3 ⌋ (the data-driven optimal choice of m based on least-squares cross-validation for the distribution estimation problem).

Conclusion

In this chapter, we propose a recursive estimator of the cumulative distribution function based on a stochastic algorithm derived from the Robbins-Monro's scheme, using Bernstein polynomials. We first study its theoretical behavior. Then, we conduct a simulation study and analyse a real data application on suicide risks.

For all the cases except for the case (c), the ISE of the our proposed estimator (2.1.2)

with an appropriate choice of the stepsize (γ n ) and the order (m n ) is smaller than that of Vitale's estimator (2.1.3). In addition, a major advantage of our proposal is that its update, when new sample points are available, require less computational cost than Vitale's estimator.

In conclusion, using the proposed recursive estimator F n we can obtain better results than those given by Vitale's distribution estimator. Hence, we plan to work on the automatic choice of the order (m n ) through a plug-in method and compare it with the work given in Slaoui [105].

Proofs

Let us first state the following technical lemma.

Lemma 2.6.1. (Mokkadem et al. [START_REF] Mokkadem | The stochastic approximation method for the estimation of a multivariate probability density[END_REF]) Let (v n ) ∈ GS(v * ), (γ n ) ∈ GS(-α), and l > 0 such that lv * ξ > 0. We have

lim n→∞ v n Π l n n ∑ k=1 Π -l k γ k v k = 1 l -v * ξ .
Moreover, for all positive sequence (α n ) such that lim n→∞ α n = 0, and all δ ∈ R

lim n→∞ v n Π l n [ n ∑ k=1 Π -l k γ k v k α k + δ ] = 0.
We use this lemma repeatedly, throughout the proofs. Its application requires assumption (A4). Now, since lim n→∞

(nγ n ) < ∞ only if α = 1, the condition lim n→∞ (nγ n ) ∈ (

Proof of Proposition 2.3.1

In view of (2.1.2), we have

E [F n (x)] -F (x) = Π n n ∑ k=1 Π -1 k γ k (E [Z k (x)] -F (x)) . (2.6.1)
It is easy to see that

E [Z n (x)] -F (x) = b(x)m -1 n + o(m - 1
n ) (see, e.g., Theorem 1 in Leblanc [START_REF] Leblanc | On estimating distribution function using Bernstein polynomials[END_REF]).

Substituting this result into (2.6.1) leads to

E [F n (x)] -F (x) = b(x)Π n n ∑ k=1 Π -1 k γ k [ m -1 k (1 + o(1)) ] . 3 α, we have √ γ n m -1/2 n = o (m -1 n ), since a ≤ (2α + a) /4. Lemma 2.6.1 gives E[Z n (x)] -F (x) = 1 1 -aξ b(x)m -1 n + o(m -1 n ).
In the case 2 3 α < a < 1, we have

m -1 n = o ( √ γ n m -1/2 n ) , since a > (2α + a)/4.
Lemma 2.6.1 gives

E[F n (x)] -F (x) = Π n n ∑ k=1 Π -1 k γ k o ( √ γ k m -1/2 k ) = o (√ γ n m -1/2 n
) .

Next, we consider

V ar[F n (x)] = Π 2 n n ∑ k=1 Π -2 k γ 2 k Var[Z k (x)].
We know from Theorem 1 in Leblanc [START_REF] Leblanc | On estimating distribution function using Bernstein polynomials[END_REF] that

V ar[Z n (x)] = σ 2 (x) -V (x)m -1/2 k + o x ( m -1/2 n ) .
It follows that

V ar[F n (x)] = σ 2 (x)Π 2 n n ∑ k=1 Π -2 k γ 2 k -V (x)Π 2 n n ∑ k=1 Π -2 k γ 2 k m -1/2 k (1 + o x (1)).
In the case 2 3 α ≤ a < 1, we have lim n→∞ (nγ n ) > (2α + a) /4. Lemma 2.6.1 gives

V ar[F n (x)] = γ n 1 2 -αξ σ 2 (x) -γ n m -1/2 n 2 4 -(2α + a)ξ V (x) + o x ( γ n m -1/2 n ) .
In the case 1 2 α ≤ a ≤ 2 3 α, we have

γ n m -1/2 n = o(m -2 n ) and lim n→∞ (nγ n ) > 1 2 α. Lemma 2.6.1 gives V ar[F n (x)] = 1 2 -αξ σ 2 (x)γ n + Π 2 n n ∑ k=1 Π -2 k γ k o x ( m -2 k ) = 1 2 -αξ σ 2 (x)γ n + o x (γ n ) .
In the case 0 < a < α 1 2 , we have

γ n = o (m -2 n ), and lim n→∞ (nγ n ) > a. Lemma 2.6.1 gives V ar[F n (x)] = Π 2 n n ∑ k=1 Π -2 k γ k o x ( m -2 k ) = o x ( m -2 n ) .
2.6.2 Proof of Proposition 2.3.2

Using Proposition 2.3.1, we have

• In the case 0 < a ≤ 2 3 α, we have ∫ 1 0 { Π n n ∑ k=1 Π -1 k γ k [E (Z k (x)) -F (x)] } 2 dx = ∫ 1 0 [ m -1 n 1 1 -aξ b(x) + o ( m -1 n ) ] 2 dx = m -2 n 1 (1 -aξ) 2 ∫ 1 0 b 2 (x)dx + o ( m -2 n ) .
(2.6.2)

• In the case 2 3 α < a < 1, we have ∫ 1 0 { Π n n ∑ k=1 Π -1 k γ k [E (Z k (x)) -F (x)] } 2 dx = o ( γ n m -1/2 n ) .
(2.6.3)

On the other hand, we note that

∫ 1 0 V ar[F n (x)]dx = Π 2 n n ∑ k=1 Π -2 k γ 2 k ∫ 1 0 V ar[Z k (x)]dx.
We know (see the proof of Theorem 3 in Leblanc [START_REF] Leblanc | On estimating distribution function using Bernstein polynomials[END_REF]) that

∫ 1 0 V ar[Z n (x)]dx = ∫ 1 0 σ 2 (x)dx - ∫ 1 0 V (x)dxm -1/2 n (1 + o(1)).

It follows that

∫ 1 0 V ar[F n (x)]dx = ∫ 1 0 σ 2 (x)dxΠ 2 n n ∑ k=1 Π -2 k γ 2 k - ∫ 1 0 V (x)dxΠ 2 n n ∑ k=1 Π -2 k γ 2 k m -1/2 k (1 + o(1)).
The same arguments as in Subsection 2.6.1 for proving the convergence of the variance V ar [F n (x)], together with (2.6.2) and (2.6.3), yield Proposition 2.3.2

(the details are omitted).

Proof of Corollary 2.3.1

Set

K 1 (ξ) = C 1 2 -αξ , K 2 (ξ) = 2C 2 4 -(2α + a)ξ , K 3 (ξ) = C 3 (1 -aξ) 2 . It follows from Proposition 2.3.2 that M ISE (F n ) =                    K 3 (ξ)m -2 n [1 + o(1)] if 0 < a < 1 2 α, K 1 (ξ)γ n + K 3 (ξ)m -2 n [1 + o(1)] if 1 2 α ≤ a < 2 3 α, K 1 (ξ)γ n -m -2 n [ K 2 (ξ)γ n m 3/2 n -K 3 (ξ) + o(1) ] if a = 2 3 α, K 1 (ξ)γ n -γ n m -1/2 n [K 2 (ξ) + o(1)] if 2 3 α < a < 1.
(2.6.4)

By (A2) we have 1 2 < α ≤ 1. If 0 < a < 1 2 α, (K 3 (ξ)m -2 n ) ∈ GS(-2a
) with -2a > -α, and in the other cases (M ISE (F n )) ∈ GS(-α). Then the parameter a must be chosen as 1 2 α ≤ a < 1. Then we focus our comparison on

(M ISE (F n )) ∈ GS(-α) -K 1 (ξ)γ n with 1 2 α ≤ a < 1. We have M ISE (F n ) -K 1 (ξ)γ n =              K 3 (ξ)m -2 n + o (m -2 n ) if a ∈ [ 1 2 α, 2 3 α[, K 3 (ξ)m -2 n -K 2 (ξ)γ n m -1/2 n + o (m -2 n ) if a = 2 3 α, -K 2 (ξ)γ n m -1/2 n + o ( γ n m -1/2 n ) if a ∈] 2 3 α, 1[. If a = 2 3 α, ( K 3 (ξ)m -2 n -K 2 (ξ)γ n m -1/2 n ) ∈ GS ( -4 3 α ) with 4 3 α = 2a. If 1 2 α ≤ a < 2 3 α, (K 3 (ξ)m -2 n ) ∈ GS(-2a) with -2a > -4 3 α, and, if 2 3 α < a < 1, ( K 2 (ξ)γ n m -1/2 n )
∈ GS (-(2α + a)/2) with -(2α + a)/2 > -2a. It follows that, for a given α, to minimize the M ISE (F n ) -K 1 (ξ)γ n , the parameter a must be chosen equal to 2 3 α. Moreover, in view of (2.6.4) the parameter α must be equal to 1. We conclude that to minimize the M ISE (F n ), the stepsize (γ n ) must be chosen in GS(-1) and the order (m n ) in GS(2/3).

Since the function

x → K 3 (ξ)x -2 -γ n K 2 (ξ)x -1/2 attains its minimum at the point [ 4K 3 (ξ) γnK 2 (ξ) ] 2/3
, to minimize M ISE (F n ) -K 1 (ξ)γ n , the order (m n ) must be equal to (

4K 3 (ξ) K 2 (ξ) γ -1 n ) 2/3
. For such a choice, the M ISE of F n becomes

M ISE (F n ) = γ n K 1 (ξ) - 3 4 1 2 2/3 γ 4/3 n K 2 (ξ) 4/3 K 3 (ξ) -1/3 [1 + o(1)].
Now, we assume that (γ n ) = (γ 0 n -1 ) for some γ 0 ∈ (2/3, ∞). In this case, note that

ξ = lim n→∞ (nγ n ) -1 = γ -1 0
, where γ 0 > 2/3 ensures that K 2 (ξ) > 0. Then, (2.3.5) (hence (2.3.6)) is a consequence of the standard trade-off argument.

Proof of Theorem 2.3.1

To prove Theorem 2.3.1, we will use the fact that if 1 2 α ≤ a < 1, then

γ -1/2 n (F n (x) -E[F n (x)]) D -→ n→+∞ N ( 0, 1 2 -αξ σ 2 (x)
) , (2.6.5) which will be proved later. In the case 1 2 α ≤ a ≤ 2 3 α, we have

γ -1/2 n (F n (x) -F (x)) = γ -1 2 n (F n (x) -E[F n (x)]) + γ -1/2 n (E[F n (x)] -F (x)) = γ -1/2 n (F n (x) -E[F n (x)]) + γ -1/2 n m -1 n 1 1 -aξ [b(x) + o(1)], so if γ -1/2 n m -1 n -→ n→+∞ c
, for some c > 0, Part 1 of Theorem 2.3.1 follows from (2.6.5).

In the case 2 3 α < a < 1 (note that γ

-1/2 n m -1 n -→ n→+∞ 0), we have, using (2.3.2), γ -1/2 n (F n (x) -F (x)) = γ -1 2 n (F n (x) -E[F n (x)]) + o (√ m -1/2 n ) ,
where the first term is asymptotically normal (use (2.6.5)) and the second term is

o (1). In the case 0 < a < 1 2 α, (2.3.4) implies that m n (F n (x) -E [F n (x)]) P -→ n→+∞ 0,
and an application of (2.3.1) gives Part 2 of Theorem 2.3.1. On the other hand, (2.3.9) follows from (2.6.5) and

m n (F n (x) -F (x)) = m n (F n (x) -E[F n (x)]) + m n (E[F n (x)] -F (x)) = [ m n γ 1/2 n ] γ -1/2 n (F n (x) -E[F n (x)]) + b(x) 1 -aξ [1 + o(1)],
since, in this case, m n γ

1/2 n -→ n→+∞ 0.
We now prove (2.6.5 ). We have

F n (x) -E[F n (x)] = (1 -γ n )(F n-1 (x) -E[F n-1 (x)]) + γ n (Z n (x) -E[Z n (x)]) = Π n n ∑ k=1 Π -1 k γ k (Z k (x) -E[Z k (x)]).
We set

Y k (x) = Π -1 k γ k (Z k (x) -E[Z k (x)]).
The application of Lemma 2.6.1 gives

v 2 n = n ∑ k=1 V ar[Y k (x)] = n ∑ k=1 Π -2 k γ 2 k var[Z k (x)] = γ n Π 2 n [ 1 2 -αξ σ 2 (x) + o(1)
] .

On the other hand, for all p > 0, we have

E[|Z k (x)| 2+p ] = O(1)
∑ k=1 E[|Y k (x)| 2+p ] = O ( n ∑ k=1 Π -2-p k γ 2+p k E[|Z k (x)| 2+p ] ) = O ( γ 1+p n Π 2+p n ) hence 1 v 2+p n n ∑ k=1 E[|Y k (x)| 2+p ] = O ( γ p/2 n ) = o(1).
Then the convergence in (2.6.5) follows from the application of Lyapounov's theorem.

Recursive estimator

(γn) = ([2/3 + ε]n -1 )
(γ n ) = ([2/3 + ε]n -1
), with ε = 0.02, 0.05, 0.1, and Recursive density estimator using Bernstein polynomials

(γ n ) = (n -1

Introduction

There has been a considerable development of methods for smooth estimation of density and distribution functions, following the introduction of several kernel smoothing by Rosenblatt [START_REF] Rosenblatt | Remarks on some nonparametric estimates of density functions[END_REF] and the further advances made on kernel method by

Parzen [START_REF] Parzen | On estimation of probability density and mode[END_REF]. The reader is referred to an excellent text by Härdle [START_REF] Härdle | Smoothing Techniques with Implementation in S[END_REF] for several kernel smoothing techniques. However, these methods have difficulties at and near boundaries when curve estimation is attempted over a region with boundaries. Moreover, it is well known in nonparametric kernel density estimation that the bias of the standard kernel density estimator

f (x) = 1 nh n ∑ i=1 K ( x -X i h )
is of a larger order near the boundary than that in the interior. Suppose for simplicity that there is a single known boundary to the support of the density function f which we might as well take to be at the origin, so we are dealing with positive data.

For convenience, take K to be a symmetric probability density (for instance, normal kernels). Away from the boundary, which thus means at any x > h, the usual asymptotic mean and variance expressions apply. Suppose f has two continuous derivatives everywhere, and that as n → ∞, h = h n → 0 and nh → 0. Then,

E [ f (x) ] ≃ f (x) + 1 2 h 2 f ′′ (x) ∫ x 2 K(x)dx,

and

V ar

[ f (x) ] ≃ (nh) -1 f (x) ∫ K 2 (x)dx.
Near the boundary, things are different. Write x = ph, we have

E [ f (x) ] ≃ f (x) ∫ p -∞ K(x)dx -f ′ (x) ∫ p -∞ xK(x)dx + 1 2 h 2 f ′′ (x) ∫ p -∞ x 2 K(x)dx,

and

V ar

[ f (x) ] ≃ (nh) -1 f (x) ∫ p -∞ K 2 (x)dx.
This bias phenomena is called boundary bias.

Many authors have suggested methods for reducing this phenomena such as data reflection (Schuster [START_REF] Schuster | Incorporating support constraints into nonparametric estimators of densities[END_REF]), boundary kernels (Müller [START_REF] Müller | Smooth optimum kernel estimators near endpoints[END_REF], Müller et Prewitt [START_REF] Müller | Multiparameter bandwidth processes and adaptive surface smoothing[END_REF] and Müller et Wand [START_REF] Müller | Hazard rate estimation under random censoring with varying kernels and bandwidths[END_REF]), the local linear estimator ( [START_REF] Lejeune | Smooth estimators of distribution and density functions[END_REF] and [START_REF] Jones | Simple boundary correction for density estimation kernel[END_REF]), the use of beta and gamma kernels (Chen [START_REF] Chen | Beta kernel estimators for density functions[END_REF][START_REF] Chen | Probability Density Function Estimation Using Gamma Kernels[END_REF]).

For smooth estimate of a density function with finite known support, Vitale's method (Vitale [119]) based on the Bernstein polynomials, illustrated bellow, also has been investigated in the literature (Ghosa [START_REF] Ghosal | Convergence rates for density estimation with Bernstein polynomials[END_REF], Babu et al. [START_REF] Babu | Application of Bernstein polynomials for smooth estimation of a distribution and density function[END_REF], Kakizawa [START_REF] Kakizawa | Bernstein polynomial probability density estimation[END_REF],

Rao [START_REF] Rao | Estimation of distribution and density functions by generalized Bernstein polynomials[END_REF]) and more recently by Leblanc [START_REF] Leblanc | A bias-reduced approach to density estimation using Bernstein polynomials[END_REF] and Igarashi and Kakizawa [START_REF] Igarashi | On improving convergence rate of Bernstein polynomial density estimator[END_REF].

The idea comes from the Weierstrass's approximation theorem that for any continuous function u on the interval [0, 1], we have

m ∑ k=0 u ( k m ) b k (m, x) → u(x), uniformly in x ∈ [0, 1], where b k (m, x) = ( m k ) x k (1-x) m-k is the Bernstein polynomial of order m .
In the context of distribution function F with support [0, 1], Vitale [119] proposed an estimator

F n (x) = m ∑ k=0 F n ( k m ) b k (m, x),
where F n is the empirical distribution based on a random sample X 1 , X 2 , . . . , X n .

Hence, an estimator for the density f is given by

f n (x) = d dx F n (x) = m m-1 ∑ k=0 [ F n ( k + 1 m ) -F n ( k m )] b k (m -1, x). (3.1.1)
In this chapter, we propose a recursive method to estimate an unknown density function f . The advantage of recursive estimators is that their update from a sample of size n to one of size n+1, requires considerably less computations. This property is particularly important, since the number of points at which the function is estimated is usually very large.

Let X 1 , X 2 , . . . , X n be a sequence of i.i.d random variables having a common unknown distribution F with associated density f supported on [0, 1].

Using Robbins-Monro's scheme (Robbins et Monro [START_REF] Robbins | A Stochastic Approximation Method[END_REF]), we set

(i) f 0 (x) ∈ R, (ii) f n (x) = (1 -γ n )f n-1 (x) + γ n Z n for all n ∈ N * ,
where (γ n ) is a sequence of real numbers, called a stepsize. We follow Leblanc [START_REF] Leblanc | A bias-reduced approach to density estimation using Bernstein polynomials[END_REF] to define Z n (x) = 2T n,m (x) -T n,m/2 (x), where

T n,m (x) = m m-1 ∑ k=0 ( I {Xn≤ k+1 m } -I {Xn≤ k m } ) b k (m -1, x) = m m-1 ∑ k=0 I { k m < X n ≤ k + 1 m } b k (m -1, x) = mb kn (m -1, x).
Here, we write k n = [mX n ], where [x] denotes the largest integer smaller than x.

We suppose that f 0 (x) = 0 and we let

Π n = n ∏ j=1 (1 -γ j ).
Then, one can estimate f recursively at the point x by

f n (x) = Π n n ∑ k=1 Π -1 k γ k Z k (x). (3.1.2)
Our first aim in this chapter, is to compute the bias, the variance, the mean squared error (M SE) and the mean integrated squared error (M ISE) of our proposed recursive estimators. It turns out that they heavily depends on the choice of the stepsize (γ n ). Moreover, we give the optimal order (m n ) which minimizes the M SE and the M ISE of the proposed recursive estimators. Further, we show that using the stepsize (γ n ) = (n -1 ) and the optimal order (m n ), the proposed estimator f n can dominate Vitale's estimator f n in terms of M ISE. Finally, we confirm our theoretical results by a simulation study.

The remainder of this chapter is organized as follows. In Section 3.2, we list our notations and assumptions. In Section 3.3, we state the main theoretical results regarding bias, variance, M SE and M ISE. Section 3.4 is devoted to some numerical studies : first, a simulation study is presented in Subsection 3.4.1 and, then, an application to a real dataset is described in Subsection 3.4.2. Finally, we discuss our conclusion in Section 3.5. The proofs are given in the Section 3.6.

Assumptions and Notations

Definition 3.2.1. Let γ ∈ R and (v n ) n≥1 be a nonrandom positive sequence.

We say that

(v n ) ∈ GS(γ) if lim n→+∞ n [ 1 - v n-1 v n ] = γ.
This condition was introduced by Galambos et Seneta [START_REF] Galambos | Regularly varying sequences[END_REF] to define regularly varying sequences (see also Bojanic and Seneta [START_REF] Bojanic | A unified theory of regularly varying sequences[END_REF]). Typical sequences in GS(γ) are, for b ∈ R, n γ (log n) b , n γ (log log n) b , and so on.

To study the estimator (3.1.2), we make the following assumptions :

(A1) f admits a continuous fourth-order derivative f (4)

on [0, 1]. (A2) (γ n ) ∈ GS (-α), α ∈ ( 1 2 , 1]. (A3) (m n ) ∈ GS(a), a ∈ (0, 1). (A4) lim n→∞ (nγ n ) ∈ (min (2a, (2α -a)/4) , ∞).
Assumption (A1) is standard (see Leblanc [START_REF] Leblanc | A bias-reduced approach to density estimation using Bernstein polynomials[END_REF]). Assumption (A2) on the stepsize was used in the recursive framework for density estimation (see Mokkadem et al. [START_REF] Mokkadem | The stochastic approximation method for the estimation of a multivariate probability density[END_REF] and Slaoui [103,104]). Assumption (A3) on (m n ) was introduced similarly to the assumption on the bandwidth used for the recursive kernel distribution estimator (see Slaoui [105]). Assumption (A4) on the limit of (nγ n ) as n goes to infinity is usual in the framework of stochastic approximation algorithms.

Throughout this chapter we will use the following notations :

∆ 1 (x) = 1 2 [(1 -2x)f ′ (x) + x(1 -x)f ′′ (x)] , ψ(x) = (4πx(1 -x)) -1/2 , ξ = lim n→∞ (nγ n ) -1 , ∆ 2 (x) = 1 6 (1 -6x(1 -x))f ′′ (x) + 5 12 x(1 -x)(1 -2x)f (3) (x) + 1 8 x 2 (1 -x) 2 f (4) (x), C 1 = ∫ 1 0 f (x)ψ(x)(x)dx, C 2 = ∫ 1 0 ∆ 2 2 (x)dx, C 3 = 1 √ 2 + 4 ( 1 - √ 2 3
)

, C 4 = ∫ 1 0 ∆ 2 1 (x)dx, C 5 = ∫ 1 0 { - ∆ 2 1 (x) 2f (x) + ∆ 2 (x) } 2 dx, C 6 = ∫ 1 0 { - ∆ 2 1 (x) 2f (x) + ∆ 2 (x) + f (x) ∫ 1 0 ∆ 2 1 (y) 2f (y) dy } 2 dx.
Theorem 3.3.1 (Weak pointwise convergence rate).

Let Assumption (A1) -(A4) hold. For x ∈ (0, 1), we have

1. If γ -1/2 n m -9/4 n -→ n→+∞ c for some constant c ≥ 0, then γ -1/2 n m -1/4 n (f n (x) -f (x)) D -→ n→+∞ N ( - 2c 1 -2aξ ∆ 2 (x), C 3 2 4 -(2α -a)ξ f (x)ψ(x)
) .

If γ

-1/2 n m -9/4 n -→ n→+∞ ∞, then m -2 n (f n (x) -f (x)) P -→ n→+∞ - 2 1 -2aξ ∆ 2 (x),

The edges of the interval [0, 1]

For the cases x = 0, 1, we need an additional assumption :

(A ′ 4) lim n→∞ (nγ n ) ∈ (min (2a, (α -a)/2) , ∞).
The following proposition gives bias, variance and M SE of f n (x), for x = 0, 1.

Proposition 3.3.2.
Let Assumptions (A1) -(A3) and (A ′ 4) hold, for x = 0, 1, we have 4. If 0 < a < α 5 , then

1. If 0 < a ≤ α 5 , then E [f n (x)] -f (x) = -m -2 n 2 1 -2aξ ∆ 2 (x) + o ( m -2 n ) . (3.3.5) If α 5 < a < 1, then E [f n (x)] -f (x) = o ( √ γ n m n ) . (3.3.6) 2. If α 5 ≤ a < 1, then V ar[f n (x)] = 5 2 γ n m n 1 2 -(α -a)ξ f (x) + o (γ n m n ) . (3.3.7) If 0 < a < α 5 , then V ar[f n (x)] = o ( m -4 n ) . ( 3
M SE [f n (x)] = ∆ 2 2 (x)m -4 n 4 (1 -2aξ) 2 + o ( m -4 n )
.

If a = α 5 , then M SE [f n (x)] = ∆ 2 2 (x)m -4 n 4 (1 -2aξ) 2 + 5 2 f (x)γ n m n 1 2 -(α -a)ξ +o ( m -4 n + γ n m n ) . If α 5 < a < 1, then M SE [f n (x)] = 5 2 f (x)γ n m n 1 2 -(α -a)ξ + o (γ n m n ) .
To minimize the M SE of f n (x), for x = 0, 1, the stepsize (γ n ) must be chosen in GS(-1) and (m n ) must be in GS(1/5) such that (

2 1/5 ( 1 - 2 5 ξ ) -1/5 [ 32∆ 2 2 (x) 5f (x) ] 1/5 γ -1/5 n ) ,
and then

M SE [f n (x)] = 5 8/5 32 1/5 8 (∆ 2 (x)) 2/5 (f (x)) 4/5 2 4/5 ( 1 -2 5 ξ ) 6/5 γ 4/5 n + o ( γ 4/5 n ) .
Moreover, in the case when (γ n ) = (γ 0 n -1 ), we have ξ = γ -1 0 , and then (

2 1/5 (γ 0 -2/5) -1/5 [ 32∆ 2 2 (x) 5f (x) ] 1/5 n 1/5
) ,

and the corresponding M SE M SE [f n (x)] = 5 8/5 32 1/5 (∆ 2 (x)) 2/5 (f (x)) 4/5 8 γ 2 0 2 4/5 (γ 0 -2/5) 6/5 n -4/5 + o ( n -4/5
) .

Let us now state the following theorem, which gives the weak convergence rate of the estimator f n defined in (3.1.2), for x = 0, 1.

Theorem 3.3.2 (Weak pointwise convergence rate).

Let Assumption (A1) -(A3) and (A ′ 4) hold. For x = 0, 1, we have

1. If γ -1/2 n m -5/2 n -→ n→+∞ c, for some constant c ≥ 0, then γ -1/2 n m -1/2 n (f n (x) -f (x)) D -→ n→+∞ N ( - 2c 1 -2aξ ∆ 2 (x), 5 2
1 2 -(α -a)ξ f (x)
) .

If γ

-1/2 n m -9/4 n -→ n→+∞ ∞, then m -2 n (f n (x) -f (x)) P -→ n→+∞ - 2 1 -2aξ ∆ 2 (x).

M ISE of f n

The following proposition gives the M ISE of the proposed recursive estimator

f n . Proposition 3.3.3.
Let Assumptions (A1) -(A4) hold. We have

1. If 0 < a < 2 9 α, then M ISE (f n ) = C 2 m -4 n 4 (1 -2aξ) 2 + o ( m -4 n ) . 2. If a = 2 9 α, then M ISE (f n ) = C 2 m -4 n 4 (1 -2aξ) 2 + C 1 C 3 γ n m 1/2 n 2 4 -(2α -a)ξ +o ( m -4 n + γ n m 1/2 n ) . 3. If 2 9 α < a < 1, then M ISE (f n ) = C 1 C 3 γ n m 1/2 n 2 4 -(2α -a)ξ + o ( γ n m 1/2 n ) .
The following result is a consequence of the previous proposition which gives the optimal order (m n ) of the estimator (3.1.2) and the corresponding M ISE.

Corollary 3.3.1.

Let Assumptions (A1) -(A4) hold. To minimize the M ISE of f n , the stepsize (γ n ) must be chosen in GS(-1) and (m n ) must be in GS(2/9) such that (

2 2/9 ( 1 - 4 9 ξ ) -2/9 [ 32C 2 C 1 C 3 ] 2/9 γ -2/9 n ) ,
and then

M ISE (f n ) = 9(32C 8 1 C 8 3 C 2 ) 1/9 8 1 2 8/9
( 1 -4 9 ξ

) 10/9 γ 8 9 n + o ( γ 8 9 n ) .
Moreover, in the case when (γ n ) = (γ 0 n -1 ), we have ξ = γ -1 0 , and then

m n = 2 2/9 (γ 0 -4/9) -2/9 [ 32C 2 C 1 C 3 ] 2/9 n 2/9 , (3.3.9)
and the corresponding

M ISE M ISE (f n ) = 9(32C 8 1 C 8 3 C 2 ) 1/9 8 γ 2 0 2 8/9 (γ 0 -4/9) 10/9 n -8/9 + o ( n -8/9 ) . (3.3.10)
Note that the minimum of γ 2 0 (γ 0 -4/9) 10/9 is reached for γ 0 = 1. Furthermore, to minimize the variance of f n , we should choose γ 0 = 1 -a 2 , with a = 2/9 for x ∈ (0, 1) and γ 0 = 1a with a = 1/5 for x = 0, 1. Therefore, in Section 3.4, we will consider as a stepsize (γ n ) = (n -1 ), (γ n ) = ( 8 9 n -1 ) and

(γ n ) = ( 4
E [ f n (x) ] -f (x) = ∆ 1 (x) m + o ( m -1 ) , uniformly in x ∈ [0, 1]. V ar[ f n (x)] =      m 1/2 n f (x)ψ(x) + o x ( m 1/2 n ) for x ∈ (0, 1), m n f (x) + o x ( m n ) for x = 0, 1.
Also, we have

M ISE ( f n ) = m 1/2 C 1 n + C 4 m 2 + o ( m 1/2 n -1 ) + o ( m -2
) .

To minimize the M ISE of f n , the order (m n ) must equal to

( [ 4C 4 C 1 ] 2/5 n 2/5
) , (3.3.11) and the corresponding M ISE M ISE

( f n ) = 5 (C 4 1 C 4 ) 1/5 4 n -4/5 + o ( n -4/5
) .

If we let h = m -1 be the bandwidth of the Vitale's estimator f n , we notice that the bias of f n is O(h -1 ) which is more than the bias typically obtained with typical kernel density estimators which generally of O(h 2 ) except near the boundaries.

To reduce this bias, Leblanc [START_REF] Leblanc | A bias-reduced approach to density estimation using Bernstein polynomials[END_REF] sugested a new Bernstein estimator using the method of bias correction. This methodology was adopted by Politis et Romano [82] in the context of spectral density estimation and is linked with the work of Schucany et al. [START_REF] Schucany | On bias reduction in estimation[END_REF] and Schucany et Sommers [START_REF] Schucany | Improvement of kernel type density estimators[END_REF] on bias reduction in estimation.

The bias-corrected Bernstein density estimator is given by

f n,m,m/2 (x) = 2 f n,m (x) -f n,m/2 (x), x ∈ [0, 1] (3.3.12)
where f n,m and f n,m/2 are the Bernstein density estimators introduced by Vitale with order m and m/2 respectively which defined in (3.1.1). Let us now recall the characteristics of the estimator f n,m,m/2 . Under the Assymption (A1), we have

E [ f n,m,m/2 (x) ] -f (x) = -2 ∆ 2 (x) m 2 + o ( m -2 ) , uniformly in x ∈ [0, 1]. V ar[ f n,m,m/2 (x)] =      C 3 m 1/2 n f (x)ψ(x) + o x ( m 1/2 n ) for x ∈ (0, 1), 5 2 m n f (x) + o x ( m n ) for x = 0, 1.
and then 4 ) .

M ISE ( f n,m,m/2 ) = C 1 C 3 m 1/2 n + 4C 2 m 4 + o ( m 1/2 n -1 ) + o ( m -
To minimize the M ISE of f n,m,m/2 , the order (m n ) must equal to

( [ 32C 2 C 1 C 3 ] 2/9 n 2/9
) , (3.3.13) and then

M ISE ( f n,m,m/2 ) = 9 (32C 8 1 C 2 C 8 3 ) 1/9 8 n -8/9 + o ( n -8/9
) .

Igarashi and Kakizawa [START_REF] Igarashi | On improving convergence rate of Bernstein polynomial density estimator[END_REF] have generalized the estimator proposed by Leblanc f n,m,m/2 and defined in (3.3.12)

f n,m,m/b (x) = b b -1 f n,m (x) - 1 b -1 f n,m/b (x), x ∈ [0, 1] (3
E [ f n,m,m/b (x) ] -f (x) = - b m 2 ∆ 2 (x) + o ( m -2 ) , uniformly in x ∈ [0, 1]. V ar[ f n,m,m/b (x)] =      λ 1 (b) m 1/2 n f (x)ψ(x) + o x ( m 1/2 n ) for x ∈ (0, 1), λ 2 (b) m n f (x) + o x ( m n ) for x = 0, 1, λ 1 (b) = 1 (1 -b) 2 { b 2 + b -1/2 -2b ( 2 b + 1 ) 1/2 } , λ 2 (b) = 1 (1 -b) 2 { b 2 + b -1 -2 } .
Also, we have 4 ) .

M ISE ( f n,m,m/b ) = λ 1 (b)C 1 m 1/2 n + b 2 C 2 m 4 + o ( m 1/2 n -1 ) + o ( m -
To minimize the M ISE of f n,m,m/b , the order (m n ) must equal to

( [ b 2 λ 1 (b) 8C 2 C 1 ] 2/9 n 2/9
) , (3.3.15) and then

M ISE ( f n,m,m/b ) = 9 8 ( bλ 4 1 (b) ) 2/9 ( 8C 8 1 C 2 ) 1/9 n -8/9 + o ( n -8/9 ) . (3.3.16)
Note that the estimator f n,m,b,ε retains nonnegativity, but it is not a genuine density. In fact, f n,m,b,ε does not generally integrate to unity. To solve this problem, Igarashi and Kakizawa [START_REF] Igarashi | On improving convergence rate of Bernstein polynomial density estimator[END_REF] proposed the normalized bias corrected Bernstein estimator

f N n,m,b,ε (x) = f n,m,b,ε (x) ∫ 1 0 f n,m,b,ε (y)dy , x ∈ [0, 1]. (3.3.19)
Under the Assymption (A1), for x ∈ [0, 1] such as f (x) > 0, with m = O (n η ) and ε ≈ m τ where η ∈ (0, 1) and τ > 2 we have

E[ f N n,m,b,ε (x)] -f (x) = - b m 2 { - ∆ 2 1 (x) 2f (x) + ∆ 2 (x) + f (x) ∫ 1 0 ∆ 2 1 (y) 2f (y) dy } +O ( V ar[ f n,m (x)] + V ar[ f n,m/b (x)] + n -1 m 1/2 ) +o ( m -2 ) . V ar[ f N n,m,b,ε (x)] = V ar[ f n,m,m/b (x)] +o ( V ar[ f n,m (x)] + V ar[ f n,m/b (x)] + n -1 m 1/2 + m -4
) ,

and then, we have 4 ) .

M ISE ( f N n,m,b,ε ) = λ 1 (b)C 1 m 1/2 n + b 2 C 6 m 4 + o ( m 1/2 n -1 ) + o ( m -
To minimize the M ISE of f N n,m,b,ε , the order (m n ) must equal to

( [ b 2 λ 1 (b) 8C 6 C 1 ] 2/9 n 2/9
) , (3.3.20) and the corresponding M ISE M ISE

( f N n,m,b,ε ) = 9 8 ( bλ 4 1 (b) ) 2/9 ( 8C 8 1 C 6 ) 1/9 n -8/9 + o ( n -8/9
) .

Applications

In using the Bernstein polynomials, we must consider a density on [0, 1]. To do so, we need to make some suitable transformations in different cases (we list below) :

1. Suppose that X is concentrated on a finite support

f n of X f n (x) = 1 b -a g n ( x -a b -a
) .

2. For the densities functions concentrated on the interval (-∞, +∞), we can use the transformed sample Y i = 1 2 + 1 π arctan(X i ) which transforms the range to the interval (0, 1). Hence

f n (x) = 1 π(1 + x 2 ) g n ( 1 2 + 1 π arctan(x)
) .

3. For the support [0, ∞), we can use the transformed sample Y i = X i X i +1 which transforms the range to the interval (0, 1). Hence

f n (x) = 1 (1 + x) 2 g n ( x 1 + x ) .
The aim of this paragraph is to compare the performance of Vitale's estimator (1) When applying f n , one needs to choose two quantities :

• The stepsize (γ n ) = (n -1 ) or (γ n ) = ( 8 9 n -1 ) , or (γ n ) = ( 4 5 n -1
) .

• The order (m n ) is chosen to be equal to (3.3.9).

(2) When applying f n , one needs to choose the order (m n ) to be equal to (3.3.11).

(3) When applying f n,m,m/2 , one needs to choose the order (m n ) to be equal to (3.3.13).

(4) When applying f n,m,m/b , one needs to choose the order (m n ) to be equal to (3.3.15) and b = 3, 4.

(5) When applying f n,m,b,ε , one needs to choose the order (m n ) to be equal to (3.3.18), b = 2, 3, 4 and ε = 0.00001.

(6) When applying f N n,m,b,ε , one needs to choose the order (m n ) to be equal to (3.3.20), b = 2, 3, 4 and ε = 0.00001.

Simulations

We consider ten density functions, as follows :

∫ 1 0 exp(-t 2 /2)dt (j) the truncated normal mixture density 1/4N [0,1] (2, 1) + 3/4N [0,1] (-3, 1), f (x) = 0.25 exp(-(x-2) 2 /2) ∫ 1 0 exp(-(t -2) 2 /2)dt + 0.75 exp(-(x+3) 2 /2) ∫ 1 0 exp(-(t + 3) 2 /2)dt .
For each density function and sample of size n, we approximate the average integrated squared error (ISE) of the estimator using N = 500 trials of sample size n ;

ISE = 1 N N ∑ k=1 ISE [ f k ]
, where f k is the estimator computed from the kth sample, and,

ISE[ f ] = ∫ 1 0 { f (x) -f (x) } 2 dx.
From Tables 3.1 and 3.2 we conclude that :

-In all the cases, the average ISE of our density estimator (3. -In all the cases, the average ISE of our recursive density estimator (3.1.2) is slightly larger than that of Leblanc's estimator f n,m,m/2 given in (3.3.12).

-In all the cases, the average ISE of our density estimator (3.1.2) is smaller than that of the generalized estimator f n,m,m/b , with b = 4 (see (3.3.14)).

-In all the cases, the average ISE of our density estimator -The average ISE of the multiplicative bias corrected Bernstein estimator f n,m,b,ε (3.3.17) is larger than that of the normalized estimator f N n,m,b,ε given in (3.3.19) in the cases (a), (g), (h), (i) and (j) and is smaller in the other cases.

-The average ISE decreases as the sample size increases.

(γ n ) = (n -1
) is closer to the true density function than that of Leblanc's estimator f n,m,m/2 defined in (3.3.12).

-When the sample size increases, we get closer estimation of the true density function.

Real dataset

In any practical situation, to estimate an unknown density fucntion f , it is essential to specify the order m to be used for the estimator. One way to do this is by using least squares cross-validation (LSCV ) method to obtain a data-driven choice of m.

Let us recall that the LSCV method is based on minimizing the integrated square error between the estimated density function f and the true density function f

∫ 1 0 ( f (x) -f (x) ) 2 dx = ∫ 1 0 f 2 (x)dx -2 ∫ 1 0 f (x)f (x)dx + ∫ 1 0 f 2 (x)dx.
From this, Silverman [101, page [START_REF] Kakizawa | A note on generalized bernstein polynomial density estimators[END_REF][START_REF] Karunamuni | Ageneralized reflection method of boundary correction in kernel density estimation[END_REF] derived the score function

LSCV f (m) = ∫ 1 0 f 2 (x)dx - 2 n n ∑ i=1 f -i (X i ), (3.4.1)
where f -i is the density estimate without the data point X i .

The smoothing parameter is chosen by minimizing LSCV (m) (m = arg min m LSCV (m)).

For our recursive estimator (3.1.2), we set (γ n ) = (n -1 ), and the order m is chosen to minimize the following criterion :

LSCV fn (m) = ∫ 1 0 f 2 n (x)dx - 2 n n ∑ i=1 f n,-i (X i ).
We define integer sequences

p i = [m i X i ] and q i = [m i X i /2], so that X i ∈ ( p i m i , p i +1 m i ] and X i ∈ ( 2q i m i , 2(q i +1) m i ] .
Then we obtain

f n,-i (x) = 1 n -1 [ nf n (x) - n ∑ i=1 { 2m i b p i (m i -1, x) - m i 2 b q i ( m i 2 -1, x )} ]
, so we conclude

LSCV fn (m) = ∫ 1 0 f 2 n (x)dx - 2 n -1 [ n ∑ i=1 f n (X i ) - 1 n n ∑ i=1 { 2m i b p i (m i -1, X i ) - m i 2 b q i ( m i 2 -1, X i ) }]
.

Note that, the LSCV function for Vitale's estimator (3.1.1), is written as

LSCV fn (m) = ∫ 1 0 { f n (x) } 2 dx - 2 n n ∑ i=1 f n,-i (X i ).
We define integer sequences

k i = [mX i ], so that X i ∈ ( k i m , k i +1 m ]
, then we have

f n,-i (x) = 1 n -1 [ f n (x) -mb k i (m -1, x) ] ,
so we conclude

LSCV fn (m) = ∫ 1 0 { f n (x) } 2 dx - 2 n -1 [ n ∑ i=1 f n (X i ) - m n n ∑ i=1 b k i (m -1, X i ) ] .
The LSCV function for the estimator f n,m,m/b defined in (3.3.14) with b = 2, 3, 4, ..., is written as

LSCV f n,m,m/b (m) = ∫ 1 0 { f n,m,m/b (x) } 2 dx - 2 n n ∑ i=1 f n,m,m/b,-i (X i ).
We define integer sequences

k i = [mX i ] and r i = [mX i /b], so that X i ∈ ( k i m , k i +1 m ]
and X i ∈

( br i m , b(r i +1) m ]
. Then we obtain

LSCV f n,m,m/b (m) = ∫ 1 0 { f n,m,m/b (x) } 2 dx - 2 n -1 [ n ∑ i=1 f n,m,m/b (X i ) - 1 n n ∑ i=1 { b b -1 mb k i (m -1, X i ) - 1 b -1 m b b r i ( m b -1, X i ) } ] .
Using the Kakizawa's estimators f n,m,b,ε defined in (3.3.17) and f N n,m,b,ε defined in (3.3.19), the LSCV function is written as in (3.4.1).

To highlight our proposed estimator (3.1.2), we look, first, at the data comming from a study of prostate cancer (Stamey et al. [112]). The predictors are eight clinical measures : lcavol, which is the logarithm of the cancer volume, lweight, which is the logarithm of the prostate weight, age, lbph, which is the logarithm of the amount of benign prostatic hyperplasia, svi, which is the seminal vesicle invasion, lcp, which is the logarithm of the capsular penetration, gleason, which is the Gleason score and pgg45, which is the percentage Gleason score 4 or 5. The response lpsa, which is the logarithm of prostate-specific antigen. The prostate cancer data were divided into two parts : a training set with 67 observations and a test set with 30 observations. We apply our estimator f n on the training data for the variable prostate-specific antigen. It is clear in this setup that the density to be estimated is defined only for x > 0. For convenience, we also assume that the maximum prostate-specific antigen is 19 (the data are such that min i (x i ) = 0.65 and max i (x i ) = 18.55).

The LSCV procedure was performed and resulted in m = 9 for Vitale's estimator f n defined in (3.1.1), (m n ) = (n 0.687 ) for our proposed estimator f n defined in (3.1.2), m = 12 for Leblanc's estimator f n,m,m/2 defined in (3.3.12), m = 12 for the estimator f n,m,m/4 defined in (3.3.14), m = 9 for the multiplicative bias corrected Bernstein estimator f n,m,2,0.00001 (3.3.17 The last example is the tuna data given in Chen [START_REF] Chen | Empirical likelihood confidence intervals for nonparametric density estimation[END_REF]. The data come from an aerial line transect survey of Southern Bluefin Tuna in the Great Australian Bight.

An aircraft with two spotters on board flies randomly allocated line transects. The data are the perpendicular sighting distances (in miles) of 64 detected tuna schools to the transect lines. The survey was conducted in summer when tuna tend to stay on the surface. We analyzed the transformed data divided by w = 18 (the data are such that min i (x i ) = 0.19 and min i (x i ) = 16.26).

The LSCV procedure was performed and resulted in m = 14 for Vitale's estimator f n (3.1.1), (m n ) = (n 0.633 ) for our proposed estimator f n defined in (3.1.2), m = 4 for Leblanc's estimator f n,m,m/2 defined in (3.3.12), m = 4 for the estimator f n,m,m/4 defined in (3.3.14), m = 8 for the multiplicative bias corrected Bernstein estimator f n,m,2,0.00001 defined in (3.3.17) and m = 4 for the normalized estimator f N n,m,2,0.00001 defined in (3.3.19). These estimators are shown in Figure 3.4 along with an histogram of the data and a Gaussian kernel density estimate using the LSCV -based bandwidth h = 1.291.

From Figures 3.2, 3.3 and 3.4, we conclude that all these estimators are smooth and seem to capture the pattern highlighted by the histogram. Besides, we can observe that our recursive estimator is better near the boundaries.

Conclusion

In this chapter, we propose a recursive estimator of a density function based on a stochastic algorithm derived from Robbins-Monro's scheme, using Bernstein polynomials. We first study its asymptotic properties. We show that our estimator of density function have very good boundary properties, including the absence of boundary bias and a reduced rate of bias (a rate of m -2 ) than that of Vitale's estimator with a bias rate of m -1 . For almost all the cases, the avrege ISE of the proposed estimator (3.1.2) with a stepsize (γ n ) = (n -1 ) and the corresponding order (m n ) is smaller than that of Vitale's estimator and the multplicative bias-corrected estimator defined by Kakizawa. Also, our recusive density estimator has a slightly larger average ISE than that of Leblanc's estimator. In addition, a major advantage of our proposal is that its update, when new sample points are available, require less computational cost than the non recursive estimators. Our proposed estimator always integrates to unity, but is not necessarily non negative. However, we found that truncation and renormalisation may solve this issue.

Finally, through simple real-life examples (Prostate specific antigen data, Old Faithful data and tuna data) and a simulation study, we demonstrated how the Bernstein polynomial density estimators can lead to very satisfactory estimates of the underlying density. In conclusion, using the proposed recursive estimator f n , we can obtain better results than those given by Vitale's estimator, Leblanc's estimator and the multiplicative bias-corrected estimator defined by Kakizawa especially near the boundaries.

Proofs

In this section, we present proofs for the results presented in Section 3.3. To do so, we recall the technical lemma introduced in the previous chapter which will be used throughout the proofs.

Lemma 3.6.1. Let (v n ) ∈ GS(v * ), (γ n ) ∈ GS(-α), and l > 0 such that l -v * ξ > 0.
We have

lim n→∞ v n Π l n n ∑ k=1 Π -l k γ k v k = 1 l -v * ξ .
Moreover, for all positive sequence (α n ) such that lim n→∞ α n = 0, and all δ ∈ R, we have

lim n→∞ v n Π l n [ n ∑ k=1 Π -l k γ k v k α k + δ ] = 0.
For the same reasons mentioned in the previous chapter, we can consider α = 1 in all the results given in this chapter In view of (3.1.2), we have

E [f n (x)] -f (x) = Π n n ∑ k=1 Π -1 k γ k (E [Z k (x)] -f (x)) . (3.6.1)
E [Z n (x)] -f (x) = -2 ∆ 2 (x) m 2 n + o(m 2 n ).
Substituting this result into (3.6.1) leads to

E [f n (x)] -f (x) = Π n n ∑ k=1 Π -1 k γ k [ -2∆ 2 (x) m 2 k (1 + o(1) ] , x ∈ [0, 1].
For x ∈ (0, 1), we obtain -In the case 0 < a ≤ 2 9 α, we have lim n→∞ (nγ n ) > 2a. Lemma 3.6.1 gives (3.3.1).

-In the case 2 9 α < a < 1, we have

m -2 n = o ( √ γ n m 1/2 n ) , since 2a > (2α -a)/4.
Lemma 3.6.1 gives (3.3.2).

For x = 0, 1, we obtain -In the case 0 < a ≤ α 5 , we have lim n→∞ (nγ n ) > 2a. Lemma 3.6.1 gives (3.3.5).

-In the case α 5 < a < 1, we have

m -2 n = o ( √ γ n m n ) and 2a > (α -a)/2. Lemma 3.6.1 gives (3.3.6).
On the other hand, we have

V ar[f n (x)] = Π 2 n n ∑ k=1 Π -2 k γ 2 k V ar[Z k (x)],
Leblanc derived that (see Theoreme 6 in Leblanc [START_REF] Leblanc | A bias-reduced approach to density estimation using Bernstein polynomials[END_REF])

V ar [Z n (x)] =      ( 1 √ 2 + 4 ( 1 - √ 2 3
))

m 1/2 n f (x)ψ(x) + o x (m 1/2 n ), for x ∈ (0, 1), 5 2 m n f (x) + o(m n ), for x = 0, 1.
It follows that

V ar [f n (x)] =      C 3 f (x)ψ(x)Π 2 n ∑ n k=1 Π -2 k γ 2 k m 1/2 k (1 + o x (1)), for x ∈ (0, 1), 5 2 f (x)Π 2 n ∑ n k=1 Π -2 k γ 2 k m k (1 + +o(1)), for x = 0, 1.
Using this result, for x ∈ (0, 1), we obtain -In the case 2 9 α ≤ a < 1, we have lim n→∞ (nγ n ) > (2αa)/4, the application of lemma 3.6.1 then gives

V ar[f n (x)] = C 3 γ n m 1/2 n 2 4 -(2α -a)ξ f (x)ψ(x) + o ( γ n m 1/2 n ) ,
and (3.3.3) follows.

Now, we assume that (γ n ) = (γ 0 n -1 ) for some γ 0 ∈ (0, ∞). In this case, note

that ξ = lim n→∞ (nγ n ) -1 = γ -1 0 .
Then, (3.3.9) (hence (3.3.1)) is a consequence of the standard trade-off argument. To prove Theorem 3.3.1, we will use the fact that if x ∈ (0, 1) and 2 9 α ≤ a ≤ 1, then

γ -1/2 n m -1/4 n (f n (x) -E[f n (x)]) D -→ n→+∞ N ( 0, C 3 2 4 -(2α -a)ξ f (x)ψ(x) ) , (3.6.7)
which will be proved later. In the case 0 < a < 2 9 α, we have

γ -1/2 n m -1/4 n (f n (x) -f (x)) = γ -1 2 n m -1/4 n (f n (x) -E[f n (x)]) + γ -1/2 n m -1/4 n (E[f n (x)] -f (x)) = γ -1/2 n m -1/4 n (f n (x) -E[f n (x)]) -γ -1/2 n m -9/4 n 2 1 -2aξ [∆ 2 (x) + o(1)], so if γ -1/2 n m -9/4 n -→ n→+∞ c, for some c ≥ 0, Part 1 of Theorem 3.3.1 follows from (3.6.7).
In the case when a = 2 9 α, Parts 1 and 2 of Theorem 3.3.1 follow from the combination of (3.3.1) and (3.6.7). In the case 2 9 α < a ≤ 1, Part 1 of Theorem 3.3.1 follows from the combination of (3.3.2) and (3.6.7).

Now in the case

γ -1/2 n m -1/4 n -→ n→+∞ ∞ and 0 < a < 2
9 α, we have

m 2 n (f n (x) -f (x)) = m 2 n (f n (x) -E[f n (x)]) + m 2 n (E[f n (x)] -f (x)) = m 2 n (f n (x) -E[f n (x)]) - 2 1 -aξ ∆ 2 (x)[1 + o(1)].
Noting that the equation (3.3.4) implies

m 2 n (f n (x) -E [f n (x)]) P -→ n→+∞ 0,
then, we obtain Part 2 of Theorem 3.3.1. We now prove (3.6.7). We have

f n (x) -E[f n (x)] = (1 -γ n )(f n-1 (x) -E[f n-1 (x)]) + γ n (Z n (x) -E[Z n (x)]) = Π n n ∑ k=1 Π -1 k γ k (Z k (x) -E[Z k (x)]).
We set

Y k (x) = Π -1 k γ k (Z k (x) -E[Z k (x)]).
The application of Lemma 3.6.1 ensures that

v 2 n = n ∑ k=1 V ar[Y k (x)] = n ∑ k=1 Π -2 k γ 2 k V ar[Z k (x)] = n ∑ k=1 Π -2 k γ 2 k m 1/2 k [C 3 f (x)ψ(x) + o(1)] = γ n Π 2 n m 1/2 n [ 2 4 -(2α -a)ξ C 3 f (x)ψ(x) + o(1)
] .

On the other hand, for all p > 0, we have

E[|Z k (x)| 2+p ] = O ( m 3(2+p) 4 n ) ,
and, since lim

n→∞ (nγ n ) > (α - a 2 )/2 = (2α -a)/4, there existe p > 0 such that lim n→∞ (nγ n ) > 1 + p 2 + p (α - a 2 ) = (1 + p)α -1+p 2 a p + 2 > (1 + p)α -3(2+p) 4 a p + 2
, so Lemma 3.6.1 gives

n ∑ k=1 E[|Y k (x)| 2+p ] = O ( n ∑ k=1 Π -2-p k γ 2+p k E[|Z k (x)| 2+p ] ) = O ( n ∑ k=1 γ 2+p k Π 2+p k m 3(2+p) 4 k ) = O ( γ 1+p n Π 2+p n m 3(2+p) 4 n ) , (3.6.8)
hence

1 v 2+p n n ∑ k=1 E[|Y k (x)| 2+p ] = O ( m n (γ n m n ) p/2
) .

Then the convergence in (3.6.7) follows from the application of Lyapounov's Theorem.

To prove Theorem 3.3.2, we will use the fact that if x = 0, 1 and α 5 ≤ a ≤ 1, then

γ -1/2 n m -1/2 n (f n (x) -E[f n (x)]) D -→ n→+∞ N ( 0, 5 2(2 -(α -a)ξ) f (x) ) , (3.6.9)
which will be proved later. In the case 0 < a < α 5 , we have

γ -1/2 n m -1/2 n (f n (x) -f (x)) = γ -1 2 n m -1/2 n (f n (x) -E[f n (x)]) + γ -1/2 n m -1/2 n (E[f n (x)] -f (x)) = γ -1/2 n m -1/4 n (f n (x) -E[f n (x)]) -γ -1/2 n m -5/2 n 2 1 -2aξ [∆ 2 (x) + o(1)], so if γ -1/2 n m -5/2 n -→ n→+∞ c
, for some c ≥ 0, Part 1 of Theorem 3.3.2 follows from (3.6.9).

In the case when a = α 5 , Parts 1 and 2 of Theorem 3.3.2 follow from the combination of (3.3.5) and (3.6.9). In the case α 5 < a ≤ 1, Part 1 of Theorem 3.3.2 follows from the combination of (3.3.6) and (3.6.9).

Now in the case

γ -1/2 n m -5/2 n -→ n→+∞ ∞ and 0 < a < α 5 , we have m 2 n (f n (x) -f (x)) = m 2 n (f n (x) -E[f n (x)]) + m 2 n (E[f n (x)] -f (x)) = m 2 n (f n (x) -E[f n (x)]) - 2 1 -aξ ∆ 2 (x)[1 + o(1)].
Noting that the equation (3.3.8) implies

m 2 n (f n (x) -E [f n (x)]) P -→ n→+∞ 0,
then, we obtain Part 2 of Theorem 3.3.2. We now prove (3.6.9). The application of Lemma 3.6.1 ensures that

v 2 n = n ∑ k=1 V ar[Y k (x)] = n ∑ k=1 Π -2 k γ 2 k V ar[Z k (x)] = n ∑ k=1 Π -2 k γ 2 k m k [ 5 2 f (x) + o(1) ] = γ n Π 2 n m n [ 5 2(2 -(α -a)ξ) f (x) + o(1)
] .

On the other hand,for all p > 0, we have

E[|Z k (x)| 2+p ] = O ( m 3(2+p) 4 n ) ,
and, since lim

n→∞ (nγ n ) > (α -a)/2, there existe p > 0 such that lim n→∞ (nγ n ) > 1 + p 2 + p (α -a) > (1 + p)α -3(2+p) 4 a p + 2
, so Lemma 3.6.1 gives

n ∑ k=1 E[|Y k (x)| 2+p ] = O ( n ∑ k=1 Π -2-p k γ 2+p k E[|Z k (x)| 2+p ] ) = O ( n ∑ k=1 γ 2+p k Π 2+p k m 3(2+p) 4 k ) = O ( γ 1+p n Π 2+p n m 3(2+p) 4 n ) , (3.6.10)
hence

1 v 2+p n n ∑ k=1 E[|Y k (x)| 2+p ] = O ( m 1/2 n ( γ n m 1/2 n ) p/2 )
.

Then the convergence in (3.6.9) follows from the application of Lyapounov's Theorem.

Case

Introduction

The goal in any data analysis is to extract from raw information the accurate estimation. One of the most important and common questions concerning if there is a statistical relationship between a response variable (Y ) and explanatory variables (X i ). An option to answer this question is to employ regression analysis in order to model this relationship.

There were many ways to estimate the regression function

r : x → E(Y |X = x).
The most known are the kernel regression estimators. On the non-recursive approach, we refer, among many others, to the estimator proposed by Nadaraya [START_REF] Nadaraya | On estimating regression[END_REF] and Watson [120], the alternative kernel estimators given by Priestley et Chao [START_REF] Priestley | Non-parametric function fitting[END_REF] and Gasser et Müller [START_REF] Gasser | Kernel estimation of regression functions. Smoothing techniques for curve estimation[END_REF]. On the other hand, the recursive estimation were widly discassed, we refer to the approach of Révész [START_REF] Révész | Robbins-Monro procedure in a Hilbert space and its application in the theory of learning processes I[END_REF][START_REF] Révész | How to apply the method of stochastic approximation in the nonparametric estimation of a regression function[END_REF] and Tsybakov [117] which was studied by Mokkadem et al. [START_REF] Mokkadem | Revisiting Révész's stochastic approximation method for the estimation of a regression function[END_REF], Slaoui [106,107,108], also we find the semi-recursive approach introduced by Slaoui [109]. Each of these estimators has its own particular strengths and weaknesses.

lim n→+∞ n [ 1 - v n-1 v n ] = γ.
This condition was introduced by Galambos et Seneta [START_REF] Galambos | Regularly varying sequences[END_REF] to define regularly varying sequences (see also Bojanic and Seneta [START_REF] Bojanic | A unified theory of regularly varying sequences[END_REF]). Typical sequences in GS(γ) are, for b ∈ R, n γ (log n) b , n γ (log log n) b , and so on.

To obtain the behavior of our estimators, we make to the following assumptions :

(A1) The functions r and f are continuous and admit two continuous and bounded derivatives.

(A2) (γ n ) ∈ GS (-α), α ∈ ( 3 4 , 1 ] . (A3) (m n ) ∈ GS(a), a ∈ ( 1-α 4 , 2 3 α
) .

Assumptions (A1) and (A2) are standard on regression estimation. Assumption (A3) on (m n ) was introduced similarly to the assumption on the bandwidth used for the recursive kernel regression estimator (see Mokkadem et al. [START_REF] Mokkadem | The stochastic approximation method for the estimation of a multivariate probability density[END_REF][START_REF] Mokkadem | Revisiting Révész's stochastic approximation method for the estimation of a regression function[END_REF]).

Throughout this chapter we will use the following notations :

∆ 1 (x) = 1 2 [(1 -2x)f ′ (x) + x(1 -x)f ′′ (x)] , ψ(x) = (4πx(1 -x)) -1/2 , ξ = lim n→∞ (nγ n ) -1 , ∆ 2 (x) = 1 2 { (1 -2x) (r ′ (x)f (x) + r(x)f ′ (x)) + x(1 -x) ( r ′′ (x)f (x) + f ′′ (x)r(x) + 2r ′ (x)f ′ (x) )} , ∆(x) = 1 2 { x(1 -x)r ′′ (x) + [ (1 -2x) + 2x(1 -x) f ′ (x) f (x) ] r ′ (x) } , C 1 = ∫ 1 0 ∆ 2 (x)dx, C 2 = ∫ 1 0 V ar[Y |X = x] f (x) ψ(x)dx, K 1 = ∫ 1 0 { ∆(x)f (x) f (x) -aξ } 2 dx, K 2 = ∫ 1 0 2f (x) 4f (x) -(2α -a)ξ V ar(Y |X = x)ψ(x)dx.
To minimize the M SE of r n , for x ∈ [0, 1] such that f (x) > 0, the order m must equal to

m opt =      [ 4∆ 2 (x)f (x) V ar(Y |X=x)ψ(x) ] 2/5 n 2/5 if x ∈ (0, 1), [ 2∆ 2 (x)f (x) V ar(Y |X=x) ] 1/3 n 1/3 if x = 0, 1, then M SE [ r n,mopt (x) ] =      5(∆(x)) 2/5 (V ar(Y |X=x)ψ(x)) 4/5 (4f (x)) 4/5 n -4/5 + o ( n -4/5 ) if x ∈ (0, 1), 3(∆(x)V ar(Y |X=x)) 2/3 (2f (x)) 2/3 n -2/3 + o ( n -2/3 ) if x = 0, 1.
The following proposition gives the M ISE of r n Proposition 4.3.2.

Let Assumption (A1) hold, we have

M ISE( r n ) = C 2 m 1/2 n + C 1 m -2 + o ( m 1/2 n ) + o ( m -2 ) . (4.3.4)
Hence, the asymptotically optimal choice of m is ) .

m opt = [ 4C 1 C 2 ] 2/
Let us now state the following theorem, which gives the weak convergence rate of the estimator r n (x) defined in (4.3.1), for x ∈ [0, 1] such that f (x) > 0. Let Assumption (A1) hold.

For x ∈ (0, 1), we have 1. If nm -5/2 -→ n→+∞ c for some constant c ≥ 0, then

n 1/2 m -1/4 ( r n (x) -r (x)) D -→ n→+∞ N ( √ c∆(x), V ar(Y |X = x) f (x) ψ(x)
) . For x = 0, 1, we have

1. If nm -3 -→ n→+∞ c for some constant c ≥ 0, then √ n m ( r n (x) -r (x)) D -→ n→+∞ N ( √ c∆(x), V ar(Y |X = x) f (x)
) .

If nm

-3 -→ n→+∞ ∞, then m ( r n (x) -r (x)) P -→ n→+∞ ∆(x).

Recursive estimator

In order to construct a stochastic algorithm for the estimation of the regression function r :

x → E(Y |X = x) at a point x such as f (x) ̸ = 0, Révész [START_REF] Révész | Robbins-Monro procedure in a Hilbert space and its application in the theory of learning processes I[END_REF] defines an algorithm, which approximates the zero of the function h : y → f (x)r(x)f (x)y.

Using the procedure of Robbins et Monro [START_REF] Robbins | A Stochastic Approximation Method[END_REF], the proposed algorithm is defined by setting r 0 (x) ∈ R and for n ≥ 1

r n (x) = r n-1 (x) + γ n W n (x),
where γ n is the stepsize and W n is an observation of the function h at the point r n-1 (x). We define W n , using Bernstein polynomials

W n (x) = m n Y n m-1 ∑ k=0 I { k m <Xn≤ k+1 m } b k (m -1, x) -m n m-1 ∑ k=0 I { k m <Xn≤ k+1 m } b k (m -1, x)r n-1 (x),
then, the estimator r n can be rewritten as

r n (x) = ( 1 -γ n m n m-1 ∑ k=0 I { k m <Xn≤ k+1 m } b k (m -1, x) ) r n-1 (x) +γ n m n Y n m-1 ∑ k=0 I { k m <Xn≤ k+1 m } b k (m -1, x), = (1 -γ n f (x)) r n-1 (x) + γ n ( f (x) -m n m-1 ∑ k=0 I { k m <Xn≤ k+1 m } b k (m -1, x) ) r n-1 (x) + γ n m n Y n m-1 ∑ k=0 I { k m <Xn≤ k+1 m } b k (m -1, x).
We set

Z n (x) = m n m-1 ∑ k=0 I { k m <Xn≤ k+1 m } b k (m -1, x), W n (x) = m n Y n m-1 ∑ k=0 I { k m <Xn≤ k+1 m } b k (m -1, x).
Then, the proposed algorithm can be rewritten as follows :

r n (x) = (1 -γ n f (x)) r n-1 (x) + γ n (f (x) -Z n (x)) r n-1 (x) + γ n W n (x). (4.4.1)
In order, to establish the behaviour of r n , we introduce the auxiliary stochastic approximation algorithm defined by setting ρ n (x) = r(x) for all n ≤ n 0 -2, ρ n 0 -1 (x) = r n 0 -1 (x), and, for n ≥ n 0 ,

ρ n (x) = (1 -γ n f (x)) ρ n-1 (x) + γ n (f (x) -Z n (x)) r(x) + γ n W n (x). (4.4.2)
We first give the behaviour of ρ n . Then, we show how the behaviour of r n can be deduced from that of ρ n .

Within the interval [0, 1]

To obtain the bias, the variance and the M SE of r n (x), for x ∈ (0, 1) such that f (x) > 0, we set

(A4) lim n→∞ (nγ n ) ∈ ( min ( a f (x) , 2α -a 4f (x) ) , ∞ ] . then M SE [r n (x)] = 5(f (x)) 6/5 (∆(x)) 2/5 (V ar(Y |X = x)ψ(x)) 4/5 4 6/5 ( f (x) -2 5 ξ ) 6/5 γ 4/5 n + o ( γ 4/5 n ) .
Let us now state the following theorem, which gives the weak convergence rate of the estimator r n (x) defined in (4.4.1), for x ∈ (0, 1) such that f (x) > 0. Let Assumption (A1)-(A4) hold, we have

1. If γ -1 n m -5/2 n -→ n→+∞ c for some constant c ≥ 0, then γ -1/2 n m -1/4 n (r n (x) -r (x)) D -→ n→+∞ N ( √ c f (x)∆(x) f (x) -aξ , 2f (x)V ar(Y |X = x)ψ(x) 4f (x) -(2α -a)ξ
) .

If γ

-1 n m -5/2 n -→ n→+∞ ∞, then m n (r n (x) -r (x)) P -→ n→+∞ f (x)∆(x) f (x) -aξ ,

The edges of the interval [0, 1]

For the cases x = 0, 1, such that f (x) > 0, we need to consider the additional Assumption

(A ′ 4) lim n→∞ (nγ n ) ∈ ( min ( a f (x) , α -a 2f (x) ) , ∞
] .

The following proposition gives the bias, the variance and the M SE of r n (x), for

x = 0, 1. then M SE [r n (x)] = 3(f (x)) 4/3 (∆(x)V ar(Y |X = x)) 2/3 2 4/3 ( f (x) -1 3 ξ ) 4/3 γ 2/3 n + o ( γ 2/3 n ) .
Let us now state the following theorem, which gives the weak convergence rate of the estimator r n (x) defined in (4.4.1), for x = 0, 1 such that f (x) > 0.

Theorem 4.4.2. (Weak pointwise convergence rate).

Let Assumption (A1) -(A3) and (A ′ 4) hold, we have

1. If γ -1 n m -3 n -→ n→+∞ c for some constant c ≥ 0, then γ -1/2 n m -1/2 n (r n (x) -r (x)) D -→ n→+∞ N ( √ c f (x)∆(x) f (x) -aξ , f (x)V ar(Y |X = x)ψ(x) 2f (x) -(α -a)ξ ) , 2. If γ -1 n m -3 n -→ n→+∞ ∞, then m n (r n (x) -r (x)) P -→ n→+∞ f (x)∆(x) f (x) -aξ ,

The M ISE of r n

To obtain the M ISE of r n , we add the following assumption

(A ′′ 4) Set ϕ = inf x∈[0,1] f (x) > 0, we demand that lim n→∞ (nγ n ) ∈ ( min ( a ϕ , 2α -a 4ϕ ) , ∞
] .

Proposition 4.4.3.

Let Assumptions (A1) -(A3) and (A ′′ 4) hold, we have

1. If 1-α 4 < a < 2 5 α, then M ISE (r n ) = K 1 m -2 n + o ( m -2 n ) . 2. If a = 2 5 α, then M ISE (r n ) = K 1 m -2 n + K 2 γ n m 1/2 n + o ( m -2 n + γ n m 1/2 n ) . 3. If 2 5 α < a < 2 3 α, then M ISE (r n ) = K 2 γ n m 1/2 n + o ( γ n m 1/2 n ) .
The following result is a consequence of the previous proposition which gives the optimal order (m n ) of the estimator r n (4.4.1) and the corresponding M ISE. Let Assumptions (A1) -(A3) and (A ′′ 4) hold. To minimize the M ISE of r n , the stepsize (γ n ) must be chosen in GS(-1) and (m n ) must be in GS(2/5) such that

( 4K 1 K 2 ) 2/5 γ -2/5 n ,
and then

M ISE (r n ) = 5K 1/5 1 K 4/5 2 4 4/5 γ 4/5 n + o ( γ 4/5 n ) .

Applications

We recall the regression function's kernel estimator proposed by Nadaraya [START_REF] Nadaraya | On estimating regression[END_REF] and Watson [120], for x ∈ R such that f (x) ̸ = 0

r N W n (x) = n ∑ i=1 Y i K ( x -X i h ) n ∑ i=1 K ( x -X i h ) , (4.5.1)
where K : R → R is a nonnegative, continuous, bounded function satisfying

∫ R K(z)dz = 1, ∫ R zK(z)dz = 0 and ∫ R z 2 K(z)dz < ∞ known as kernel and h = (h n ) is a bandwidth (that
is, a sequence of positive real numbers that goes to zero).

We recall also the recursive estimator of a regression function which is a generalized version of Révész's estimator (see Révész [START_REF] Révész | Robbins-Monro procedure in a Hilbert space and its application in the theory of learning processes I[END_REF][START_REF] Révész | How to apply the method of stochastic approximation in the nonparametric estimation of a regression function[END_REF]) and was studied by Mokkadem et al. [START_REF] Mokkadem | Revisiting Révész's stochastic approximation method for the estimation of a regression function[END_REF]

r GR n (x) = ( 1 -γ n h -1 n K ( x -X n h n )) r GR n-1 (x) + γ n h -1 n Y n K ( x -X n h n ) . (4.5.2)
From figure 4.1, we conclude that :

-Both our estimators are close to the true regression function.

-Our recursive regression estimator r n defined in (4.4.1) using the stepsize

(γ n ) = (n -1
) is closer to the true regression function than that of the proposed non-recursive estimator r n given in (4.3.1) especially with the size n = 500.

-When the sample size increases, we get closer estimation of the true regression function.

Real dataset

In any practical situation, to estimate an unknown regression function, it is critical to have a reliable data-dependent rule for order selection. One popular and practical approach is cross-validation. First, we compute the leave-one-out residuals :

∀i ∈ {1, . . . , n} , e -i = Y i -r-i (X i ),
where r-i is the regression estimate without the data point (X i , Y i ). Then, the smoothing parameter is chosen by minimizing

CV (m) = 1 n n ∑ i=1 e 2 -i .
We consider the CO2 dataset which is available in the R package Stat2Data and contained 237 observations on two variables ; Day and CO2. Scientists at a research station in Brotjacklriegel, Germany recorded CO2 levels, in parts per million, in the atmosphere for each day from the start of April through November in 2001. We apply our proposed estimators r n defined in (4.3.1) and r n given in (4.4.1) on this model.

For convenience, we assume that the minimum of days is 90 and the maximum is 335 (the Day data are such that min i (x i ) = 91 and max i (x i ) = 334). Finally, we used the Cross-validation method to obtain m = 220 for our non-recursive estimator r n and m n = n for our recursive estimator. We observe that both our estimators are very close to Nadaraya-Watson's estimator (4.5.1) especially near the boundaries.

These results are given in the following lemma.

Lemma 4.7.1.

We have

(i) 0 ≤ S m (x) ≤ 1, ∀x ∈ [0, 1], (ii) S m (x) = m -1/2 [ψ(x) + o x (1)], ∀x ∈ (0, 1) (iii) S m (0) = S m (1) = 1.
Let g be any continuous function on

[0, 1]. Then (iv) m 1/2 ∫ 1 0 g(x)S m (x)dx = ∫ 1 0 g(x)ψ(x)dx + o(1),
We start by proving the characteristics of our non-recursive estimator r n defined by (4.3.1). To do so, we note

N n (x) = m n n ∑ i=1 Y i m-1 ∑ k=0 I { k m <X i ≤ k+1 m } b k (m -1, x).
Then, we may rewrite r n as

r n (x) = N n (x) f n (x) ,
where f n is the Vitale's estimator of the density f defined, for all x ∈ [0, 1], by

f n (x) = m n n ∑ i=1 m-1 ∑ k=0 I { k m <X i ≤ k+1 m } b k (m -1, x) = m m-1 ∑ k=0 { F n ( k + 1 m ) -F n ( k m )} b k (m -1, x),
with F n is the empirical distribution function of the variable X. We start by giving the bias and the variance of N n (x)

E [N n (x)] = mE [ Y m-1 ∑ k=0 I { k m <X≤ k+1 m } b k (m -1, x) ] , = m m-1 ∑ k=0 ∫ k+1 m k m (∫ R yg(z, y)dy ) dzb k (m -1, x), = m m-1 ∑ k=0 ( ∫ k+1 m k m r(z)f (z)dz ) b k (m -1, x).
Using Taylor expansion, we have

r(z)f (z) = [ r(x) + (z -x)r ′ (x) + (z -x) 2 2 r ′′ (x) + o ( (z -x) 2 ) ] × [ f (x) + (z -x)f ′ (x) + (z -x) 2 2 f ′′ (x) + o ( (z -x) 2 ) ] , = r(x)f (x) + (z -x) (r ′ (x)f (x) + r(x)f ′ (x)) + (z -x) 2 2 (r ′′ (x)f (x) + f ′′ (x)r(x) + 2r ′ (x)f ′ (x)) + o ( (z -x) 2
) .

Set N (x) = r(x)f (x), then we obtain

E [N n (x)] = r(x)f (x)m m-1 ∑ k=0 ( k + 1 m - k m ) b k (m -1, x) + (r ′ (x)f (x) + r(x)f ′ (x)) m 2 m-1 ∑ k=0 { ( k + 1 m -x ) 2 - ( k m -x ) 2 } ×b k (m -1, x) + (r ′′ (x)f (x) + f ′′ (x)r(x) + 2r ′ (x)f ′ (x)) m 6 m-1 ∑ k=0 { ( k + 1 m -x ) 3 - ( k m -x ) 3 } b k (m -1, x) +o ( m m-1 ∑ k=0 { ( k + 1 m -x ) 3 - ( k m -x ) 3 } b k (m -1, x) ) , = N (x) + (r ′ (x)f (x) + r(x)f ′ (x)) m 2 m-1 ∑ k=0 m -2 (2k + 1 -2mx)b k (m -1, x) + (r ′′ (x)f (x) + f ′′ (x)r(x) + 2r ′ (x)f ′ (x)) m 6 m-1 ∑ k=0 m -3 { (k + 1 -mx) 2 + (k -mx) 2 +(k + 1 -mx)(k -mx) } b k (m -1, x)[1 + o(1)] = N (x) + (r ′ (x)f (x) + r(x)f ′ (x)) m -1 2 {2T 1,m-1 (x) + (1 -2x)T 0,m-1 (x)} + (r ′′ (x)f (x) + f ′′ (x)r(x) + 2r ′ (x)f ′ (x)) m -2 6 m-1 ∑ k=0 { 3(k -mx) 2 +3(k -mx) + 1 } b k (m -1, x)[1 + o(1)] = N (x) + (r ′ (x)f (x) + r(x)f ′ (x)) m -1 2 {2T 1,m-1 (x) + (1 -2x)T 0,m-1 (x)} + (r ′′ (x)f (x) + f ′′ (x)r(x) + 2r ′ (x)f ′ (x)) m -2 6 { 3T 2,m-1 (x) +3(2x + 1)T 1,m-1 (x) + (x 2 + 3x + 1)T 0,m-1 (x) } [1 + o(1)],
where

T j,m (x) = m-1 ∑ k=0 (k -mx) j b k (m, x), ∀j ∈ N.
Note that it is easy to obtain

T 0,m (x) = 1, T 1,m (x) = 0 T 2,m (x) = mx(1 -x),
then, we have

E [N n (x)] = N (x) + ∆ 2 (x)m -1 + o ( m -1 ) (4.7.1)
Moreover, we have

V ar [N n (x)] = E [ N 2 n (x) ] -E 2 [N n (x)] ,
where

N 2 n (x) = m 2 n 2 n ∑ i=1 Y 2 i ( m-1 ∑ k=0 I { k m <X i ≤ k+1 m } b k (m -1, x) ) 2 + m 2 n 2 n ∑ i,j=1,i̸ =j Y i Y j ( m-1 ∑ k=0 I { k m <X i ≤ k+1 m } b k (m -1, x) ) ( m-1 ∑ k=0 I { k m <X j ≤ k+1 m } b k (m -1, x)
)

, so, we have

E [ N 2 n (x) ] = m 2 n E   Y 2 ( m-1 ∑ k=0 I { k m <X≤ k+1 m } b k (m -1, x) ) 2   + m 2 n(n -1) n 2 E 2 [ Y m-1 ∑ k=0 I { k m <X≤ k+1 m } b k (m -1, x) ] , = m 2 n E   Y 2 ( m-1 ∑ k=0 I { k m <X≤ k+1 m } b k (m -1, x) ) 2   + ( 1 - 1 n ) E 2 [N n (x)] ,
and

V ar [N n (x)] = m 2 n E   Y 2 ( m-1 ∑ k=0 I { k m <X≤ k+1 m } b k (m -1, x) ) 2   - 1 n E 2 [N n (x)] , = m 2 n E [ Y 2 m-1 ∑ k=0 I { k m <X≤ k+1 m } b 2 k (m -1, x) ] - 1 n E 2 [N n (x)] , = m 2 n m-1 ∑ k=0 ∫ k+1 m k m (∫ R y 2 g(z, y)dy ) dzb 2 k (m -1, x) - 1 n E 2 [N n (x)] , = m 2 n m-1 ∑ k=0 ( ∫ k+1 m k m E[Y 2 |X = z]f (z)dz ) b 2 k (m -1, x) - 1 n E 2 [N n (x)] , = m n E[Y 2 |X = x]f (x)S m (x) - 1 n E 2 [N n (x)] .
Using Lemma 4.7.1 (ii) and (iii), we obtain

V ar [N n (x)] =      m 1/2 n E[Y 2 |X = x]f (x)ψ(x) + o x ( m 1/2 n ) for x ∈ (0, 1), m n E[Y 2 |X = x]f (x) + o x ( m n ) for x = 0, 1. (4.7.2)
Furthermore, we have

Cov (f n (x), N n (x)) = E [f n (x)N n (x)] -E [f n (x)] E [N n (x)] , = m 2 n E   Y ( m-1 ∑ k=0 I { k m <X≤ k+1 m } b k (m -1, x) ) 2   + n(n -1)m 2 n 2 E 2 [ Y m-1 ∑ k=0 I { k m <X≤ k+1 m } b k (m -1, x) ] -E [f n (x)] E [N n (x)] , = m 2 n E   Y ( m-1 ∑ k=0 I { k m <X≤ k+1 m } b k (m -1, x) ) 2   - 1 n E [f n (x)] E [N n (x)] , = m 2 n m-1 ∑ k=0 ∫ k+1 m k m (∫ R yg(z, y)dy ) dzb 2 k (m -1, x) - 1 n E [f n (x)] E [N n (x)] , = m n r(x)f (x)S m (x) - 1 n E [f n (x)] E [N n (x)] .
Using lemma 4.7.1 (ii) and (iii), we obtain

Cov (f n (x), N n (x)) =      m 1/2 n r(x)f (x)ψ(x) + o x ( m 1/2 n ) for x ∈ (0, 1), m n r(x)f (x) + o x ( m n ) for x = 0, 1. (4.7.3)
To obtain the bias of r n (x), we let h(x, y) = y x . Using Taylor expansion, we have

h(x n , y n ) = h(x, y) + (x n -x, y n -y)∇h T (x, y) + 1 2 (x n -x, y n -y)H(x, y)(x n -x, y n -y) T + o ( ||(x n -x, y n -y)|| 2 ) ,
where ∇h is the gradient of h and H is its hessian matrix.

∇h(x, y) = ( - y x 2 , 1 x ) H =   2y x 3 -1 x 2 -1 x 2 0   Then, we have y n x n = y x - y x 2 (x n -x) + 1 x (y n -y) + y x 3 (x n -x) 2 - 1 x 2 (x n -x)(y n -y) + o ( (x n -x) 2 + (x n -x)(y n -y) ) .
We set (x n , y n ) = (f n (x), N n (x)) and (x, y) = (f (x), N (x)), so we obtain

r n (x) = r(x) - r(x) f (x) (f n (x) -f (x)) + 1 f (x) (N n (x) -N (x)) + r(x) {f (x)} 2 (f n (x) -f (x)) 2 - 1 {f (x)} 2 (f n (x) -f (x)) (N n (x) -N (x)) + o ( (f n (x) -f (x)) 2 + (f n (x) -f (x)) (N n (x) -N (x)) ) , then E [ r n (x)] = r(x) - r(x) f (x) (E [f n (x)] -f (x)) + 1 f (x) (E [N n (x)] -N (x)) + r(x) {f (x)} 2 (E [f n (x)] -f (x)) 2 - 1 {f (x)} 2 E [(f n (x) -f (x)) (N n (x) -N (x))] +o ( E [ (f n (x) -f (x)) 2 ] + E [(f n (x) -f (x)) (N n (x) -N (x))]
) .

Let us recall, that for the Vitale's estimator f n , we have

E [f n (x)] = f (x) + ∆ 1 (x) m + o ( m -1 ) , ∀x ∈ [0, 1], (4.7.4)
and

V ar [f n (x)] =      m 1/2 n f (x)ψ(x) + o x ( m 1/2 n ) for x ∈ (0, 1), m n f (x) + o x ( m n ) for x = 0, 1, (4.7.5)
Using (4.7.4) and (4.7.1), we have

E [ r n (x)] = r(x) + ( 1 f (x) ∆ 2 (x) - r(x) f (x) ∆ 1 (x) ) m -1 n + o ( m -1 ) , = r(x) + ∆(x)m -1 + o ( m -1 ) , ∀x ∈ [0, 1]
and we obtain (4.3.2) of Proposition 4.3.1.

Now for the variance of r n (x), we have

V ar [h(x n , y n )] = ∇h(x, y)V ar(x n , y n )∇h T (x, y)[1 + o(1)],
which gives

V ar [ r n (x)] = ∇h(x, y)Σ [f n (x), m n (x)] ∇h T (x, y)[1 + o(1)].
Moreover, we have

V ar [ r n (x)] = ( - N (x) {f (x)} 2 , 1 f (x) ) ×   V ar [f n (x)] Cov [f n (x), N n (x)] Cov [f n (x), N n (x)] V ar [N n (x)]   [1 + o(1)] × ( - N (x) {f (x)} 2 , 1 f (x) ) T , = r 2 (x) {f (x)} 2 V ar [f n (x)] -2 r(x) {f (x)} 2 Cov [f n (x), N n (x)] + 1 {f (x)} 2 V ar [N n (x)] [1 + o(1)], then ∫ 1 0 V ar [ r n (x)] dx = ∫ 1 0 r 2 (x) V ar [f n (x)] {f (x)} 2 dx -2 ∫ 1 0 r(x) Cov [f n (x), N n (x)] {f (x)} 2 dx + ∫ 1 0 V ar [N n (x)] dx {f (x)} 2 [1 + o(1)]. (4.7.6) First, we have V ar [f n (x)] = 1 n [ A m (x) -f 2 m (x) ] ,
where

f 2 m (x) = E 2 [f n (x)] = f 2 (x) + O (m -1 ), and
A m (x) = m 2 m-1 ∑ k=0 [ F ( k + 1 m ) -F ( k m )] b 2 k (m -1, x), = m [ f (x)S m-1 (x) + O (H m-1 (x)) + O ( m -1 )] ,
for x ∈ [0, 1], and with

H m (x) = m-1 ∑ k=0 k m -x b 2 k (m -1, x).
Using Cauchy-Schwarz inequality, we write

H m (x) ≤ [ m ∑ k=0 ( k m -x ) 2 b k (m, x) ] 1/2 [ m ∑ k=0 b 3 k (m, x) ] 1/2 ≤ [ S m (x) 4m ] 1/2 , for all m ≥ 1 and x ∈ [0, 1], since 0 ≤ b k (m, x) ≤ 1 and m ∑ k=0 ( k m -x ) 2 b k (m, x) = x(1 -x) m ≤ 1 4m .
Then, applaying Jensen's inequality and lemma 4.7.1 (iv), for any continuous function g, we have

∫ 1 0 g(x)H m (x)dx ≤ ∫ 1 0 g(x) [ S m (x) 4m ] 1/2 dx, ≤ [∫ 1 0 g(x)dx ] 1/2 [ 1 4m 3/2 ∫ 1 0 g(x)ψ(x)dx + o ( m -3/2 ) ] 1/2 = O ( m -3/4 ) , So, we obtain ∫ 1 0 r 2 (x) V ar [f n (x)] {f (x)} 2 dx = 1 n ∫ 1 0 r 2 (x) A m (x) -f 2 m (x) {f (x)} 2 dx, = 1 n [∫ 1 0 r 2 (x) A m (x) {f (x)} 2 dx - ∫ 1 0 r 2 (x) ] + O ( 1
mn ) , = m n [∫ 1 0 r 2 (x) {f (x)} 2 ( S m-1 (x) + O (H m-1 (x)) + O ( m -1 )) dx ] - 1 n ∫ 1 0 r 2 (x) + O ( 1 mn ) , = m n [∫ 1 0 r 2 (x) f (x) S m-1 (x)dx + O ( m -3/4 ) ] - 1 n ∫ 1 0 r 2 (x) + O ( 1 mn
) , and, using lemma 4.7.1 (iv), we have

∫ 1 0 r 2 (x) V ar [f n (x)] {f (x)} 2 dx = m 1/2 n ∫ 1 0 r 2 (x) f (x) ψ(x)dx - 1 n ∫ 1 0 r 2 (x) +o ( m 1/2 n ) + O ( 1 mn ) , (4.7.7)
Second, we have

Cov [f n (x), N n (x)] = 1 n { m 2 m-1 ∑ k=0 ( ∫ k+1 m k m r(z)f (x)dz ) b 2 k (m -1, x) -E [f n (x)] E [N n (x)] } , = m 2 n m-1 ∑ k=0 ( ∫ k+1 m k m [r(x)f (x) + O(z -x)]dz ) b 2 k (m -1, x) - 1 n f (x)N (x) + O ( 1 mn ) , = m n [ r(x)f (x)S m-1 (x) + O (H m-1 (x)) + O ( m -1 )] - 1 n f (x)N (x) +O ( 1 mn
) , then, using the same argument for H m-1 (x) as previously, we obtain

∫ 1 0 r(x) Cov [f n (x), N n (x)] {f (x)} 2 dx = m n [∫ 1 0 r 2 (x) f (x) S m-1 (x)dx + O ( m -3/4 ) ] - 1 n ∫ 1 0 r 2 (x) +O ( 1 mn ) , = m 1/2 n ∫ 1 0 r 2 (x) f (x) ψ(x)dx - 1 n ∫ 1 0 r 2 (x) +o ( m 1/2 n ) + O ( 1 mn
) . (4.7.8)

Third, we have

V ar [N n (x)] = m 2 n m-1 ∑ k=0 ( ∫ k+1 m k m E[Y 2 |X = z]f (z)dz ) b 2 k (m -1, x) - 1 n E 2 [N n (x)] , = m 2 n m-1 ∑ k=0 ( ∫ k+1 m k m [E[Y 2 |X = x]f (x) + O (z -x)]dz ) b 2 k (m -1, x) - 1 n N 2 (x) +O ( 1
mn ) , = m n [ E[Y 2 |X = x]f (x)S m-1 (x) + O (H m-1 (x)) + O ( m -1 )] - 1 n N 2 (x) +O ( 1
mn ) , then, ∫ 1 0 V ar [N n (x)] {f (x)} 2 dx = m n [∫ 1 0 E[Y 2 |X = x] f (x) S m-1 (x)dx + O ( m -3/4 ) ] - 1 n ∫ 1 0 r 2 (x) +O ( 1
mn ) , = m 1/2 n ∫ 1 0 E[Y 2 |X = x] f (x) ψ(x)dx - 1 n ∫ 1 0 r 2 (x) +o ( m 1/2 n ) + O ( 1 mn
) . (4.7.9)

Now let us prove (4.7.10). We have

r n (x) = n ∑ i=1 Y i m-1 ∑ k=0 I { k m <X i ≤ k+1 m } b k (m -1, x) n ∑ i=1 m-1 ∑ k=0 I { k m <Xn≤ k+1 m } b k (m -1, x) , = n ∑ i=1 w i Y i , with
w i = m-1 ∑ k=0 I { k m <X i ≤ k+1 m } b k (m -1, x) n ∑ i=1 m-1 ∑ k=0 I { k m <Xn≤ k+1 m } b k (m -1, x) then r n (x) -E [ r n (x)] = n ∑ i=1 (w i Y i -E [w i Y i ]) . Since 0 ≤ w i ≤ 1, for all p > 0, we obtain E [ |w i Y i | 2+p ] = O(1) and n ∑ i=1 E [ |w i Y i | 2+p ] = O(n).
On the other hand, for x ∈ (0, 1), we have

v 2 n = n ∑ i=1 V ar [w i Y i ] = V ar[Y |X = x] f (x) ψ(x)nm 1/2 + o ( nm 1/2 ) , hence 1 v 2+p n n ∑ i=1 E [ |w i Y i | 2+p ] = O ( n n 2+p 2 m 2+p 4 ) , = O ( n -p 2 m -2+p 4 ) = o(1).
Then the convergence in (4.7.10) follows from the application of Lyapounov's theorem.

Now to prove the convergence, for x = 0, 1, we wil use the fact that

√ n m ( r n (x) -E [ r n (x)]) D -→ n→+∞ N ( 0, V ar(Y |X = x) f (x) ) , (4.7.11)
which will be proved later. We have

√ n m ( r n (x) -r (x)) = √ n m ( r n (x) -E [ r n (x)] + √ n m (E [ r n (x))] -r(x) ) , = √ n m ( r n (x) -E [ r n (x)]) + n 1/2 m -3/2 ∆(x)[1 + o(1)], so if nm -3 -→ n→+∞ c for some constant c ≥ 0, then Part 3 of Theorem 4.3.1 follows. Now, if nm -3 -→ n→+∞ ∞, we have m ( r n (x) -r (x)) = m ( r n (x) -E [ r n (x)]) + m (E [ r n (x)] -r (x)) , = [ n 1/2 m 3/2 ] √ n m ( r n (x) -E [ r n (x)]) + ∆(x)[1 + o(1)],
and so we obtain Part 4 of Theorem 4.3.1 since in this case we have n 1/2 m 5/4 -→ n→+∞ 0 and (4.7.11).

To prove (4.7.11), for x = 0, 1, we have

v 2 n = n ∑ i=1 V ar [ |w i Y i -E [w i Y i ]| 2+p ] = V ar[Y |X = x] f (x) nm + o (nm) , hence 1 v 2+p n n ∑ i=1 E [ |w i Y i -E [w i Y i ]| 2+p ] = O ( n n 2+p 2 m 2+p 2 ) , = O ( n -p 2 m -2+p 2 ) = o(1).
Then the convergence in (4.7.11) follows from the application of Lyapounov's theorem.

To establish the characteristics of our recursive estimator r n defined by (4.4.1), we state the following technical lemma, which is proved in Mokkadem et al. [START_REF] Mokkadem | Revisiting Révész's stochastic approximation method for the estimation of a regression function[END_REF], and which will be used throughout the demonstrations.

Lemma 4.7.2.

Let (v n ) ∈ GS(v * ), (γ n ) ∈ GS(-α) with α > 0, and set l > 0. If lsv * ξ > 0 (where

ξ = lim n→∞ (nγ n ) -1 ), then lim n→∞ v n Π l n (s) n ∑ k=n 0 Π -l k (s) γ k v k = 1 ls -v * ξ .
Moreover, for all positive sequence (α n ) such that lim n→∞ α n = 0, and all C,

lim n→∞ v n Π l n (s) [ n ∑ k=n 0 Π -l k (s) γ k v k α k + C ] = 0.
We first give the asymptotic behaviour of (ρ n ) defined in (4.4.2). Then, we show how the asymptotic behaviour of (r n ) (4.4.1) can be deduced from that of (ρ n ).

Asymptotic behaviour of ρ n

The following Lemma gives the bias and the variance of the estimator ρ n defined in (4.4.2). This remark implies that Lemma 4.7.3 hold when ρ n (x) is replaced by T n (x).

Then, for x ∈ [0, 1] such that f (x) > 0, we have

E [T n (x)] = n ∑ k=n 0 U k,n (f (x))γ k (E [W k (x)] -r(x)E [Z k (x)]) ,
where

E [Z k (x)] = m m-1 ∑ k=0 [ F ( k + 1 m ) -F ( k m )] b k (m -1, x), = f (x) + ∆ 1 (x)m -1 k + o ( m -1 k ) ,
and

E [W k (x)] = mE [ Y m-1 ∑ k=0 I { k m <X≤ k+1 m } b k (m -1, x) ] , = r(x)f (x) + ∆ 2 (x)m -1 k + o ( m -1 k ) .
Then, we obtain

E [T n (x)] = f (x)∆(x) n ∑ k=n 0 U k,n (f (x))γ k [ m -1 k + o ( m -1 k )] ,
On the other hand, we have ) , and the convergence in (4.7.26) follows from the application of Lyapounov's Theorem.

The following lemma gives the strong pointwise convergence rate of ρ n , for

x ∈ [0, 1] such that f (x) > 0. For x ∈ [0, 1], we have

E [Z k (x)] = f (x) + ∆ 1 (x)m -1 k + o ( m -1 k ) ,
then, by application of Lemma 4.7.2, we have

δ (2) n (x) = O ( Π n (f (x)) n ∑ k=n 0 Π -1 k (f (x))γ k m -1 k w k ) a.s. = O ( Π n (f (x)) n ∑ k=n 0 Π -1 k (f (x))γ k O (λ k ) w k ) a.s.
= O (λ n w n ) a.s.

Let us now bound δ

n . To this end, we set

ε k (x) = E [Z k (x)] -Z k (x), G k (x) = r k (x) -r(x), Q n (x) = n ∑ k=n 0 Π -1 k (f (x))γ k ε k (x)G k-1 (x),
and F k = σ ((X 1 , Y 1 ) , . . . , (X k , Y k )). In view of

V ar [Z k (x)] = f (x)ψ(x)m 1/2 k + o ( m 1/2 k
) , ∀x ∈ (0, 1), and of Lemma 4.7.2, the increasing process of the martingale (Q n (x)) satisfies

< Q > n (x) = n ∑ k=n 0 E [ Π -2 k (f (x))γ 2 k ε 2 k (x)G 2 k-1 (x)|F k-1 ] = n ∑ k=n 0 Π -2 k (f (x))γ 2 k G 2 k-1 (x)V ar [Z k (x)] = O ( n ∑ k=n 0 Π -2 k (f (x))γ 2 k w 2 k m 1/2 k ) a.s. = O ( n ∑ k=n 0 Π -2 k (f (x))γ k λ 2 k w 2 k ) a.s. = O ( Π -2 n (f (x))λ 2 n w 2 n ) a.s.
-Let us first consider the case the sequence (nγ n ) is bounded. We then have (Π -1 n (f (x))) ∈ GS(ξ -1 f (x)), and thus ln (< Q > n (x)) = O (ln n) a.s. Theorem 1.3.15 in Duflo [START_REF] Duflo | Random iterative models[END_REF] then ensures that, for any δ > 0, . The sequence (λ n w n ) being in GS(-λ * +w * ), we deduce that, for all δ > 0, we have

|Q n (x)| = o ( < Q > 1 2 n (x) (ln < Q > n (x))
ln (< Q > n (x)) = O ( n 1+δ γ n ) a.s.
Theorem 1.3.15 in Duflo [START_REF] Duflo | Random iterative models[END_REF] then ensures that, for any δ > 0,

|Q n (x)| = o ( < Q > 1 2 n (x) (ln < Q > n (x)) 1+δ 2
) + O(1) a.s.

= o

( Π -1 n (f (x))λ n w n ( n 1+δ γ n ) 1+δ
2

)
+ O(1) a.s.

It follows from the apllication of Lemma 4.7.2 that, for any δ > 0,

δ (1) n (x) = o ( λ n w n ( n 1+δ γ n ) 1+δ
2

)
+ O (Π n (f (x))) a.s.

= o

( λ n w n ( n 1+δ γ n ) 1+δ
2 ) a.s.

which concludes the proof of Lemma 4.7.7 for x ∈ (0, 1).

For x = 0, 1, we use the same method with the sequence (β n ) defined in (4.7.12).

To use Lemma 4.7.7, we must establish an upper bound for r n (x) r (x). , r n,1 and r n,2 correspond to our recursive estimator with the choice (γn) = (n -1 ) and (γn) = (n -0.9 ) respectively, and r GR n,1 and r GR n,2 correspond to the generalized Révész's estimator with the choice (γn) = (n -1 ) and (γn) = (n -0.9 ) respectively. Cette contribution se résume en trois grandes parties :

1. Introduire les estimateurs basés sur les pôlynomes de Bernstein pour une fonction de distribution, une densité de probabilté et une fonction de régression.

2. Comparer leurs propriétés théoriques avec ceux des estimateurs á noyau et les estimateurs non récursifs utilisant les pôlynomes de Bernstein.

3. Utiliser la méthode de validation croisée pour la recherche pratique du paramètre de lissage et appliquer nos estimateurs sur des données réelles.

Nous avons montré que nos estimateurs possèdent de bonnes qualités en particulier près du bord. L'avantage de nos estimateurs est qu'ils utilisent un algorithme simple qui facilite la mise à jours de l'estimateur lorsque on passe d'un échantillon de taille n à un échantillon de taille n + 1.

Au cours de ce travail de recherhche nous avons vu que de nombreux problèmes restent encore à étudier. Parmi les points que nous pouvons ajouter à l'étude des estimateurs basés sur les polynômes de Bernstein, les plus intéressants semblent être les suivants 1. Établir la convergence presque sûre et appliquer le principe de grandes déviations et de déviations modérées pour nos estimateurs.

2. La généralisation de nos estimateurs au cas multidimensionnel.

  Mots clés : Algorithme stochastique, Effet du bord, Estimation non-paramétrique, Polynômes de Bernstein, Validation croisée.

4. 5 . 2

 52 Real dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.7 Outlines of the proofs . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.7.1 Proof of Proposition 4.3.1 . . . . . . . . . . . . . . . . . . . . 4.7.2 Proof of Proposition 4.3.2 . . . . . . . . . . . . . . . . . . . . 4.7.3 Proof of Theorem 4.3.1 . . . . . . . . . . . . . . . . . . . . . . 4.7.4 Proof of the results obtained for r n . . . . . . . . . . . . . . . Conclusion et perspectives Bibliographie Liste des tableaux 2.1 Average ISE of Bernstein distribution estimators small sizes . . . . . 2.2 Average ISE of Bernstein distribution estimators big sizes . . . . . . 3.1 Average ISE of Vitale's estimator and our density estimator . . . 3.2 Average ISE of Bernstein density estimators . . . . . . . . . . . . . . 4.1 Average ISE of Bernstein and Kernel regression estimators . . . . . .

2. 1

 1 Bernstein estimators for a beta distribution . . . . . . . . . . . . . . . 2.2 Bernstein estimators for a beta mixture distribution . . . . . . . . . . 2.3 Bernstein estimators for a truncated normal distribution . . . . . . . 2.4 Bernstein estimators for a truncated normal mixture distribution . . . 2.5 Distribution estimates for the suicide data . . . . . . . . . . . . . . . 3.1 Bernstein estimators of a beta density . . . . . . . . . . . . . . . . . . 3.2 Density estimates for the prostate-specific antigen data . . . . . . . . 3.3 Density estimates for the Old Faithful data . . . . . . . . . . . . . . . 3.4 Density estimates for the tuna data . . . . . . . . . . . . . . . . . . . 4.1 Bernstein regression estimators for cos model . . . . . . . . . . . . . . 4.2 Regression estimates for daily carbon dioxide measurements data . .

I

  {X i ≤t} est la distribution empirique et ∀k ∈ {0, . . . , m} , b k (m, x) = ( m k ) x k (1x) m-x ,sont les polynômes de Bernstein d'ordre m dans N * .

avec b = 2 , 3

 23 . . ., f n,m et f n,m/b sont les estimateurs de Vitale d'ordre m and m/b respectivement.

Chapitre 1 Concepts

 1 de Base : Estimateurs et Algorithme On s'intéresse aux problèmes d'estimation d'une distribution, d'une densité et d'une fonction de régression. C'est à dire trouver une approximation de ces fonctions à partir des données observées. La première approche est celle de l'estimation paramétrique lorsque la loi inconnue est décrite par un paramètre de dimension finie.

Théorème 1 . 1 . 3 .Théorème 1 . 1 . 4 ..

 113114 (Parzen [76]) Soit f la densité à estimer et f n son estimateur à noyau K vérifiant(1.1.10). Si le paramètre h n satisfait (1.1.13) et si, de plus, la transformé de Fourier du noyau T F(z) = ∫ exp(-izu)K(u)du est absolument intégrable, alorssup x∈R f n (x)f (x) (Nadaraya [73]) Soit f une densité uniformément continue et f n son estimateur à noyau K à variations bornées. Pour tout h n vérifiant (1.1.11) tel que ∑ k≥1 exp(-εnh 2 n ) < +∞, alors sup x∈R f n (x)f (x) Théorème 1.1.5. (Silverman [101]) Soit f une densité uniformément continue et f n son estimateur à noyau K à variations bornées. Pour tout h n vérifiant (1.1.11) et (1.1.14), alors sup x∈R f n (x)f (x) presque-sûre. (iii) Normalité asymptotique. Ce dernier résultat est tiré des travaux de Parzen (1962). Il montre que l'estimateur à noyau est asymptotiquement normal. Théorème 1.1.6. (Parzen [1962]) Soit f une densité continue sur T = R et f n son estimateur à noyau K vérifiant (1.1.10). Si h n vérifie (1.1.11) et (1.1.12), alors

Définition 1 . 1 . 3 .

 113 et [120]. Soit la fenêtre de lissage (h n ) et K la fonction noyau vérifiant la Définition 1.1.1.

2 . 1

 21 Caractéristiques D'une manière analogue à l'estimateur de Rosenblatt f n , nous étudions dans cette partie les propriétés de r N W n . Pour étudier le biais et la variance de l'estimateur r N W n , on utilise l'expression

Théorème 1 . 2 . 3 .

 123 (Mokkadem et al. [66]) Soit I un intervalle borné de R. Supposons que les hypothèses (H1)-(H4) soient vérifiées, et que f ′′ soit uniformément continue sur I.

L

  'estimateur proposé par Révész a deux gros inconvénients. Le premier est que la vitesse de convergence de r n est plus petite que n 1/4 , alors que la vitesse optimale de l'estimateur de Nadaraya-Watson vaut n 2/5 . Le deuxième est que les hypothèses sont f (x) > 1-a 2 pour la convergence ponctuelle et inf x∈I f (x) > 1a 2 pour la convergence uniforme alors que les hypothèses usuelles pour l'estimation d'une fonction de régression sont f (x) > 0 et inf x∈I f (x) > 0.

  .2.3) L'étude du comportement asymptotique de l'estimateur r GR n défini par l'équation (1.2.3) est faite sous les hypothèses suivantes : (H1) K : R → R est la fonction noyau, continue, bornée et vérifiant les propriétés de la Définition 1.1.1.

Théorème 1 . 2 . 5 .

 125 (Mokkadem et al. [67]) Supposons que les hypothèses (H1)-(H3) soient vérifiées au point x ∈ R tel que

Théorème 1 .

 1 2.6. (Mokkadem et al. [67]) Soit I un intervalle borné de R sur lequel ϕ = inf x∈I f (x) > 0. Supposons que les hypothèses (H1)-(H4) soient vérifiées pour tout x ∈ I.

  Malgrè leur importance, les estimateurs à noyau ont quelques inconvénients le plus connu est le problème de support. Dans le cas où la fonction à estimer aurait un support borné au moins d'un côté, l'utilisation d'un noyau symétrique est inconvenable puisque cela cause du biais au bord. Lorsque le lissage se fait aux points du bord, ce type de noyau, conçu pour l'estimation des fonctions régulières, introduit des poids à l'extérieur du support de la fonction à estimer qui devient discontinue près de ces points. Cela rend l'estimateur non consistant. Pour expliquer ce phénomène, prenant le cas d'estimation d'une densité de probabilité f de support [0, +∞[. Ici le problème se pose près de l'origine. Loin du bord, qui signifie donc pour tout x > h = h n , on rappelle l' expression de l'espérance (respectivement de la variance) donnée par (1.1.6) (respectivement (1.1.7)) de l'estimateur f n introduit par (1.1.1).

[ 20 ]

 20 ont proposé la méthode des pseudo-données ("pseudo-data method"). Ils ont généré des observations supplémentaires par la méthode dite les "trois points pour mieux régner" et ils les ont combinées avec les observations d'origine pour former un nouveau estimateur à noyau. Dans le même contexte, Marron et Ruppert[START_REF] Marron | Transformations to reduce boundary bias in kernel density estimation[END_REF] ont proposé la méthode de transformation ("transformation method"). L'idée de cette méthode est constituée de trois étapes. Tout d'abord, trouver une transformation T de telle sorte que la première dérivée de la densité des variables Y i = T (X i ) soit approximativement nulle aux bords. Puis, construire un estimateur à noyau de la réflexion pour les Y i . Enfin, par la formule de changement des variables, obtenir une estimation de f . Dans le même sujet, d'autres auteurs ont proposé l'utilisation de noyaux dont le support coïncide avec celui de la fonction à estimer. Ces noyaux utilisés sont généralement asymétriques et peuvent changer de forme selon la position du point d'estimation ce qui permet de résoudre l'effet du bord.Dans ce cadre, on cite le travail de Chen[START_REF] Chen | Beta kernel estimators for density functions[END_REF][START_REF] Chen | Probability Density Function Estimation Using Gamma Kernels[END_REF] avec les noyaux beta et gamma pour estimer les densités à support respectivement [0, 1] et [0, +∞[ et Scaillet [94] avec les noyaux inverses gaussien et sa réciproque pour les densités à support ]0, +∞[. Dans le paragraphe suivant, on présente la méthode introduite par Vitale [119] qui a construit des estimateurs basé sur les polynômes de Bernstein et le théorème de Weierstrass pour approximer une fonction continue à support dans [0, 1].

  Les premiers pas des méthodes d'estimation non paramétrique basés sur les polynômes de Bernstein ont été fait en 1912 quand Bernstein a cherché une démonstration constructive et probabiliste du théorème classique de Weierstrass pour l'approximation des fonctions continues sur des intervalles de type [a, b].

D

  'un point de vue probabiliste, on peut voir le polynôme b k (m, p) comme la probabilité P(X = k), où X est une variable aléatoire suivant une loi binomiale de paramètre (m, p). C'est l'approche que Bernstein a fait dans sa démonstration du théorème de Weierstrass qui s'annonce autrement comme suit. Théorème 1.3.1. (Bernstein [5]) Soit f : [0, 1] → R une fonction continue. On définit le polynôme de Bernstein associé à f d'ordre m ∈ N :

  Notez que le résultat précédent implique que F n,m a un biais uniforme dans l'intervalle unité d'où l'absence du biais de bords. D'autre part, de sa définition donnée en (1.3.1), il semble naturel de poser h = m -1 comme fenêtre de l'estimateur de Bernstein F n,m . Alors, le biais de Fn,m devient O(m -1 ) = O(h) qui est plus grand que le biais obtenu avec les estimateurs à noyaux ayant généralement un biais de l'ordre de O(h 2 ).

Notez que les constantes C 1 ,

 1 C 2 et C 3 sont toutes strictement positives, sauf dans le cas trivial où f est la densité uniforme, auquel cas C 3 = 0. Le choix optimale de l'ordre m qui minimise la M ISE est donné par

Proposition 1 . 3 . 4 .

 134 (Leblanc [56]) Si f est une fonction continue et admettant deux dérivées bornées sur [0, 1], alors M ISE

Théorème 1 . 3 . 7 .

 137 (Babu et al. [2]) Supposons que la densité f admette deux dérivées continues sur [0, 1]. Pour x ∈ [0, 1]

. 7 )

 7 avec b = 2, 3, . . ., f n,m et f n,m/b sont les estimateurs de Vitale (1.3.5) avec l'ordre m and m/b respectivement. La proposition suivante donne l'espérance, la variance et la M ISE de l'estimateur f n,m,m/b (1.3.7) Proposition 1.3.7. (Igarashi and Kakizawa [42]) Supposons que la densité f soit continue, bornée et admettant quatre dérivées continues et bornées sur [0, 1], on a

  When we have a random variable X with distribution F supported on a compact interval [a, b] ; a < b, it is simple to transform X into Y , a random variable with support [0, 1] through the transformation Y = (Xa)/(ba). Transformations such as Y = X/(1 + X) and Y = 1/2 + π -1 arctan(X) can be used also to cover the cases of random variables X with support R + and R, respectively. Once the random variable X has been transformed into Y ; we can apply Bernstein polynomials to approximate the distribution function of Y on the unit interval.Let us now consider X 1 , X 2 , . . . , X n a sequence of i.i.d random variables having a common unknown distribution F with associated density f supported on [0, 1].

.3. 4 ) 3 .

 43 If lim n→∞ (nγ n ) > max (a, (2α + a)/4), then (2.3.1) and (2.3.3) hold simultaneously.

Remark 2 . 3 . 1 .

 231 proposed distribution estimator F n can dominate Vitale's estimator F n in terms of the M ISE performance. Under the assumptions (A1)-(A4), we consider the estimator F n defined by (2.1.2) with (m n ) equal to (2.3.5) and the stepsize (γ n ) = (γ 0 n -1 ) such that γ 0 = 2 3 + ε with ε > 0 (very close to zero) and the estimator F n defined by (2.1.3) with (m n ) equal to (2.3.7). Then, ignoring the o ( n -3/4 ) terms in (2.3.6) and (2.3.8), the condition for

(

  small) and n = 200, n = 500, 950 (large), and the following five distributions functions : a) the beta distribution B (2, 1) b) the beta distribution B (10, 10) c) the beta mixture distribution 0.5B (2.5, 6) + 0.5B (9, 1) d) the truncated normal distribution N [0,1] (0.5, 0.25) e) the truncated normal mixture 0.25N [0,1] (5, 1) + 0.75N [0,1] (-5, 1).

Figure 2 . 5 ,

 25 Vitale's distribution estimator (2.1.3) with the choice of m = 77 obtained using the least-squares cross-validation method, and in the right panel, the proposed estimator F n introduced in (2.1.2) using (γ n ) equal to ([2/3 + 0.05]n -1 )

  min (a, (2α + a)/4) , ∞] in (A4), which appears throughout our proofs, is equivalent to the condition lim n→∞ (nγ n ) ∈ (min (a, (2 + a)/4) , ∞]. Similarly, since ξ ̸ = 0 only if α = 1, we can consider α = 1 in all the results given in this chapter.

Figure 2 . 3 -Figure 2 . 4 -Figure 2 . 5 -

 232425 Figure 2.3 -Qualitative comparison between the estimator F n defined in (2.1.3) (dashed blue line) and the proposed distribution estimator (2.1.2) with stepsize (γ n ) = ([2/3 + 0.05]n -1 ) (solid red line), for 500 samples respectively of size 50 (left panel) and of size 100 (right panel) for the truncated normal distribution N [0,1] (0.5, 0.25).

  in distribution, N the Gaussian-distribution and P -→ n→+∞ the convergence in probability.

.3. 8 ) 3 .

 83 If lim n→∞ (nγ n ) > max (2a, (αa)/2), that implies lim n→∞ (nγ n ) > 2a and lim n→∞ (nγ n ) > (αa)/2 so 1 -2aξ > 0 and 2 -(αa)ξ > 0, then, (3.3.5) and (3.3.7) hold simultaneously.

  in distribution, N the Gaussian-distribution and P -→ n→+∞ the convergence in probability.

5 n

 5 -1 ) . Now, let us recall the bias, variance and M ISE of Vitale's Bernstein density estimator (3.1.1). Under the classical assumption on the density, that f is continuous and admits two continuous and bounded derivatives, for x ∈ [0, 1], we have

  .3.14) where b = 2, 3, . . . and f n,m and f n,m/b are the Vitale's density estimators defined in (3.1.1) with order m and m/b respectively. Under the Assymption (A1), we have

  [a, b]. Then we work with the sample values Y 1 , . . . , Y n where Y i = X i -a b-a . Denoting g n (x) the estimated density funtion of Y 1 , . . . , Y n , we compute the estimated density

f n defined in ( 3 . 1 . 1 )

 311 , Leblanc's estimator f n,m,m/2 given in (3.3.12), the generalized estimator f n,m,m/b , defined in (3.3.14), the multiplicative bias corrected Bernstein estimator f n,m,b,ε given in (3.3.17) and the normalized estimator f N n,m,b,ε given in (3.3.19) with that of the proposed estimator (3.1.2).

2 B( 3 , 1 )

 231 (a) the beta density B(3, 5), f (x) = x 2 (1-x)4 B[START_REF] Babu | Smooth estimation of a distribution function and density function on a hypercube using Bernstein polynomials for dependent random vectors[END_REF][START_REF] Bernstein | Démonstration du théorème de Weierstrass fondée sur le calcul desprobabilités[END_REF] ,(b) the beta density B(1, 6), f (x) = (1-x) 5 B(1,6) (c) the beta density B(3, 1), f (x) = x (d) the beta mixture density 1/2B(3, 9)+1/2B(9, 3), f (x) = 0.5 x 2 (1-x) 8 B(3,9) +0.5 x 8 (1-x) 2 B(9,3) ,(e)the beta mixture density 1/2B(3, 1)+1/2B(10, 10), f (x) = 0.5 x 2 B(3,1) +0.5 x 9 (1-x) 9 B(10,10) , (f) the beta mixture density 1/2B(1, 6) + 1/2B(3, 5), f (x) = 0.5 (1-x) 5 B(1,6) + 0.5 x 2 (1-x) 4 B(3,5) , (g) the beta mixture density 1/2B(2, 1) + 1/2B(1, 4), f (x) = 0.5 x B(2,1) + 0.5 (1-x) 3 B(1,4) , (h) the truncated exponential density E [0,1] (1/0.8), f (x) = exp(-x/0.8) 0.8{1-exp(-1/0.8)} , (i) the truncated normal density N [0,1] (0, 1), f (x) = exp(-x 2 /2)

  1.2) is smaller than that of Vitale's estimator (3.1.1), except the cases (e) and (f ) of the Beta mixture and the cases (a), (d), (g) and (h) for the small size n = 50 and in the case (i) for the size n = 50 and n = 200.

  (3.1.2) is smaller than that of the multiplicative bias corrected Bernstein estimator f n,m,b,ε given in (3.3.17) and the normalized estimator f N n,m,b,ε given in (3.3.19), except the cases (g) and (h). -The average ISE of the generalized estimator f n,m,m/b , (3.3.14) increase when b increase so the optimal choice is b = 2 which corresponds to Leblanc's estimator f n,m,m/2 given in (3.3.12). -The average ISE of the multiplicative bias corrected Bernstein estimator f n,m,b,ε given in (3.3.17) and the normalized estimator f N n,m,b,ε defined in (3.3.19) increase when b increase -The average ISE of the multiplicative bias corrected Bernstein estimator f n,m,b,ε given in (3.3.17) and the normalized estimator f N n,m,b,ε given in (3.3.19) are smaller than that of the estimator f n,m,m/b defined in (3.3.14), in the cases (g) and (h) and are larger in the other cases.

For

  qualitative comparison between the Vitale's estimator f n given in (3.1.1), Leblanc's estimator f n,m,m/2 given in (3.3.12), the generalized estimator f n,m,m/b given in ((3.3.14)) with b = 2, 3, the multiplicative bias corrected Bernstein estimator f n,m,b,ε defined in (3.3.17), the normalized estimator f N n,m,b,ε defined in (3.3.19) and the proposed estimator (3.1.2). Figure 3.1, shows density estimates plotted for 500 simulated samples from B(3, 5) density of sizes n = 50 (left panel) and n = 250 (right panel). From figure 3.1, we conclude that : -Our density estimator (3.1.2) using the stepsize (γ n ) = (n -1 ) is closer to the true density function than that of Vitale's estimator f n given in (3.1.1), the generalized estimator f n,m,m/4 given in (3.3.14), Kakizwa's estimator f n,m,b,ε defined in (3.3.17) and the normalized estimator f N n,m,b,ε defined in (3.3.19) with b = 2 and ε = 0.00001 -Within the interval [0, 1], our density estimator (3.1.2) using the stepsize

  ) and m = 9 for the normalized estimator f N n,m,2,0.00001(3.3.19). These estimators are shown in Figure3.2 along with an histogram of the data and a Gaussian kernel density estimate using the LSCVbased bandwidth h = 0.1111. Second, we consider the Old Faithful data given in Tab.2.2 of Silverman [101]. These data consist of the eruption lengths (in minutes) of 107 eruptions of the Old Faithful geyser in Yellowstone National Park, U.S.A. The data are such that min i (x i ) = 1.67 and max i (x i ) = 4.93, so it is convenient to assume that the density of eruption times is defined on the interval [1.5, 5] and transform the data into the unit interval. The LSCV procedure was performed and resulted in m = 104 for Vitale's estimator f n defined in (3.1.1), (m n ) = (n 0.987 ) for our proposed estimator f n defined in (3.1.2), m = 66 for Leblanc's estimator f n,m,m/2 defined in (3.3.12), m = 52 for the estimator f n,m,m/4 defined in (3.3.14), m = 66 for the multiplicative bias corrected Bernstein estimator f n,m,2,0.00001 defined in (3.3.17) and m = 66 for the normalized estimator f N n,m,2,0.00001 defined in (3.3.19). These estimators are shown in Figure 3.3 along with an histogram of the data and a Gaussian kernel density estimate using the LSCV -based bandwidth h = 0.3677.

3. 6 . 1

 61 Proof of Proposition 3.3.1 and Proposition 3.3.2

3. 6 . 4

 64 Proof Theorem 3.3.1 and Theorem 3.3.2

estimators ; recursive 1 1 -a 2 ] n - 1 )

 1121 correspond to the estimator fn with the choice (γn) = (n -1 ), recursive 2 correspond to the estimator fn with the choice (γn) = ([ (a = 2/9) and recursive 3 correspond to the estimator fn with the choice (γn) = ( [1 -a] n -1 ) (a = 1/5).

f

  n,m,b f n,m,b,ε , ε = 0.00001 f N n,m,b,ε , ε = 0

2 -

 2 The average integrated squared error (ISE) of Leblanc estimator's f n,m,m/2 and the three estimators introduced by Kakizawa : f n,m,m/b with b = 3, 4, f n,m,b,ε and f N n,m,b,ε with b = 2, 3, 4 and ε = 0.00001.

Figure 3 . 1 -

 31 Figure 3.1 -Qualitative comparison between the proposed density estimator f n given in (3.1.2) with stepsize (γ n ) = (n -1 ) (solid red line), the Vitale's estimator f n defined in (3.1.1) (dashed magenta line), Leblanc's estimator f n,m,m/2 defined in (3.3.12) (dotted blue line), the generalized estimator f n,m,m/4 defined in (3.3.14) (dotdashed cyan line), Kakizwa's estimator f n,m,b,ε defined in (3.3.17) (longdashed green line) and the normalized estimator f N n,m,b,ε defined in (3.3.19) (twodashed yellow line) with b = 2 and ε = 0.00001 for 500 samples respectively of size 50 (left panel) and of size 250 (right panel) of the beta density B (3, 5).

Figure 3 . 2 -Figure 3 . 3 -Figure 3 . 4 -

 323334 Figure 3.2 -Density estimates for the prostate-specific antigen data : recursive estimator f n defined in (3.1.2) (solid red line), Vitale's estimator f n defined in (3.1.1) (dashed magenta line), Leblanc's estimator f n,m,m/2 defined in (3.3.12) (dotted blue line), the generalized estimator f n,m,m/4 defined in (3.3.14) (dotdashed cyan line), Kakizwa's estimator f n,m,b,ε defined in (3.3.17) (longdashed green line) and the normalized estimator f N n,m,b,ε defined in (3.3.19) (twodashed yellow line) with b = 2 and ε = 0.00001 (left panel) and Gaussian kernel density estimate using the LSCV -based bandwidth h = 0.1111 (right panel).

5 n 2

 2

Theorem 4 . 3 . 1 .

 431 (Weak pointwise convergence rate).

2 .

 2 If nm -5/2 -→ n→+∞ ∞, then m ( r n (x)r (x))

Theorem 4 . 4 . 1 .

 441 (Weak pointwise convergence rate).

4. 7 . 1

 71 Proof of Proposition 4.3.1

Lemma 4 . 7 . 3 . 1 n 16 ) 1 nE 20 )

 473116120 (Bias and Variance of ρ n ) Let Assumptions (A1) -(A4) hold. For x ∈ (0, 1), such that f (x) > 0, we have1. If 1-α 4 < a ≤ 2 5 α, then E [ρ n (x)]r(x) = m -then V ar [ρ n (x)] = 2f (x) 4f (x) -(2αa) V ar(Y |X = x)ψ(x)γ n m 1Let Assumptions (A1) -(A ′ 4) hold. For x = 0, 1, such that f (x) > 0, we have1. If 1-α 4 < a ≤ α 3 , then E [ρ n (x)]r(x) = m -[ρ n (x)]r(x) = o ( √ γ n m n ) . (4.7.18) 2. If α 3 < a < 2 3 α, then V ar [ρ n (x)] = f (x) 2f (x) -(αa) V ar(Y |X = x)ψ(x)γ n m n +o (γ n m n ) . (4.7.19) If 1-α 4 < a ≤ α 3 , then V ar [ρ n (x)] = o ( We have, for n ≥ n 0 , ρ n (x)r(x) = (1γ n f (x)) (ρ n-1 (x)r(x)) + γ n (W n (x)r(x)Z n (x)) , = Π n (f (x)) x))γ k (W k (x)r(x)Z k (x)) +Π n (f (x))(ρ n 0 -1 (x)r(x)), = T n (x) + R n (x),where, sinceρ n 0 -1 (x) = r n 0 -1 (x), T n (x) = n ∑ k=n 0 U k,n (f (x))γ k (W k (x)r(x)Z k (x)) , R n (x) = Π n (f (x))(r n 0 -1 (x)r(x)).Noting that |r n 0 -1 (x)r(x)| = O(1) a.s. and applying Lemma 4.7.2, we get R n (x) = O (Π n (f (x))) a.s. n ) for x ∈ (0, 1), o (β n ) for x = 0, 1. a.s.

))

  [W k (x)] + r 2 (x)V ar [Z k (x)] -2r(x)Cov (W k (x), Z k (x)) 2 |X = x]f (x)ψ(x)m for x ∈ (0, 1), E[Y 2 |X = x]f (x)m + k o x (m k ) for x = 0, 1. V ar [Z k (x)] = for x ∈ (0, 1), f (x)m k + o (m k ) for x = 0, 1. Cov (W k (x), Z k (x)) = f (x)m k + o x (m k ) for x = 0, 1. m n (ρ n (x)r (x)) P -→ n→+∞ f (x)∆(x) f (x)aξ , Let Assumption (A1) -(A3) and (A ′ 4) hold. For x = 0, 1, )∆(x) f (x)aξ , f (x)V ar(Y |X = x)ψ(x) 2f (x) -(αa)ξ m n (ρ n (x)r (x)) P -→ n→+∞ f (x)∆(x) f (x)aξ ,To prove Lemma 4.7.4, for x ∈ (0, 1), we wil use the fact that if2 5 α ≤ a < 2 (x) -E [ρ n (x)]) x)V ar(Y |X = x)ψ(x) 4f (x) -(2αa)ξ ) ,(4.7.22)which will be proved later. In the case 2 5 α < a < 2 3 α, Part 1 of Lemma 4.7.4 follows from the combination (4.7.22) and (4.7.14). In the case a = 2 5 α, Part 1 and 2 of Lemma 4.7.4 follows from the combination of (4.7.13) and (4.7.22). In the case 1-α 4 < a < 2 5 α, (4.7.18) implies that m n (ρ n (x) -E [ρ n (x)]) of (4.7.13) gives Part 2 of Lemma 4.7.2.In view of (4.7.22), the result in (4.7.22) hold if we replace ρ n (x) by T n (x). Setη k (x) = Π -1 k (f (x))γ k (W k (x)r(x)Z k (x)) , (4.7.23) so that T n (x) -E [T n (x)] = Π n (f (x)) n ∑ k=n 0 (η k (x) -E [η k (x)]) .

For x ∈ (0, 1 )k m 1 / 2 k 2 kR

 1122 , We have V ar [η k (x)] = Π -2 k (f (x))γ 2 [f (x)ψ(x)V ar(Y |X = x) + o(1)] ,and, since limn→∞ (nγ n ) > (2αa)/(4f (x)), Lemma 4.7.[f (x)ψ(x)V ar(Y |X = x) + o(1)] = 2Π -2 n (f (x))γ n m 1/2 n 4f (x) -(2αa)ξ [f (x)ψ(x)V ar(Y |X = x) + o(1)] . (4.7.24)On the other hand, for all p > 0 and x ∈ [0, 1], using Lemma 4.7.1 (ii) we haveE   |Y kr(x)| 2+p { m-1 ∑ i=0 I { i m <Xn≤ i+1 m } b k (m -1, x) |y| 2+p g(z, y)dy + |r(x)| 2+p lim n→∞ (nγ n ) > (αa/2) /(2f (x)), there exists a p > 0 such that lim n→∞(nγ n ) > (1 + p) (αa/2) /(2 + p)(f (x)) > (1 + p)α -(3(2 + p)/4|Y kr(x)| 2+p { m-1 ∑ i=0 I { i m <Xn≤ i+1 m } b k (m -1, x) k (x)| 2+p ] = O ( m n (γ n m n ) p/2

Lemma 4 . 7 . 5 .- 5 / 2 nc 2 f 2 f/√ γ -1 n m - 1 n 2 c 2 f 2 f. 2 .( γ n 0 -1 m 1 /2 n 0 - 1 )V)UU

 47552221222211 (Strong pointwise convergence rate of ρ n ) Let Assumption (A1) -(A4) hold. For x ∈ (0, 1), we have1. If γ -1 n m / ln(s n ) -→ n→+∞ cfor some constant c ≥ 0, then, with probabilityones n ) (ρ n (x)r(x))  is relatively compact and its limit set is the interval[ √ (x)∆(x) f (x)aξ -√ 2f (x)V ar(Y |X = x)ψ(x) 4f (x) -(2αa)ξ , √ c (x)∆(x) f (x)aξ + √ 2f (x)V ar(Y |X = x)ψ(x) 4f (x) -(2αa)ξ ln(s n ) → ∞, then with probability one lim n→∞ m n (ρ n (x)r (x)) = f (x)∆(x) f (x)aξ .Let Assumption (A1) -(A3) and (A ′ 4) hold. For x = 0, 1, we have1. If γ -1 n m -3 n / ln(s n ) → c for some constant c ≥ 0, then, with probability one, the sequence (ln(s n ) (ρ n (x)r (x))) is relatively compact and its limit set is the interval[ √ (x)∆(x) f (x)aξ -√ f (x)V ar(Y |X = x)ψ(x) 2f (x) -(αa)ξ , √ c (x)∆(x) f (x)aξ + √ f (x)V ar(Y |X = x)ψ(x) 2f (x) -(αa)ξ ] If γ -1 n m -3 n / ln(s n ) → ∞, then, with probability one lim n→∞ m n (ρ n (x)r (x)) = f (x)∆(x) f (x)aξ ,In view of (4.7.22), Lemma 4.7.5 hold when ρ n (x)r (x) is replaced by T n (x).Set B n (x) = n ∑ k=n 0 (η k (x) -E [η k (x)]) ,where η k is defined in (4.7.23). For x ∈ (0, 1)-In the case a ≥ 2 5 α (in which case lim n→∞ (nγ n ) > (αa/2)/(2f (x))).We setH 2 n (f (x)) = Π 2 n (f (x))γ x)γ k + o (g k )) -a/2)ξγ k + o (γ k )) + ln = (2f (x) -(αa/2)ξ) s n + o (s n ) . (4.7.27) Since 2f (x) -(αa/2)ξ > 0, it follows in particular that lim n→∞ H -2 n (f (x)) = ∞. Moreover, we have lim n→∞ H 2 n (f (x))/H 2 n-1 (f (x)) = 1, and applying Lemma 4.7.2 and (4.7.24), we getlim n→∞ ar [η k (x)] = [2f (x) -(αa/2)ξ] -1 f (x)ψ(x)V ar(Y |X = x)and, in view of (4.7.25) ∈ GS(αa/2), applying Lemma 4.7.2 and (4.7.27), we To prove this Lemma, we use (4.7.34) to write δ n (x) = δ(1) n (x) + δ(2) k,n (f (x))γ k (E [Z k (x)] -Z k (x)) (r k-1 (x)r(x)k,n (f (x))γ k (f (x) -E [Z k (x)]) (r k-1 (x)r(x)) .

2 ) 2 )( λ n w n (ln n) 1+δ 2 )ln ( 1 -( g n n δ ) n ∑ k=1 g k k δ = 1 -

 22211 x))λ n w n (ln n) 1+δ + O(1) a.s.It follows that, for any δ > 0,δ (1) n (x) = o ( λ n w n (ln n) 1+δ + O (Π n (f (x))) a.s. = o + o (λ n ) a.s.which concludes the proof of Lemma 4.7.7 in this case.-Let us now consider the case lim n→∞(nγ n ) = ∞. In this case, for all δ > 0, γ k f (x)) δ ) ∈ GS(-(αδ)) with (αδ) < 1, we have lim n→∞ n (αδ).It follows that ln (Π -2 n (f (x))) = O ( n 1+δ γ n )

> n 2 )

 2 Then, we successively prove Proposition 4.4.1, Theorem 4.4.1 and Proposition 4.4.3 in the case (nγ n ) is bounded and in the case lim n→∞ (ng n ) = ∞. We use the same idea to prove Proposition 4.4.2 and Theorem 4.4.2 which correspond to the case x = 0, 1.Upper bound of r n (x)r(x).Since 0 ≤ 1γ n Z n (x) ≤ 1 for all n ≥ n 0 , it follows from (4.4.1) that, for n ≥ n 0 ,|r n (x)| ≤ |r n-1 (x)| + γ n m n |Y n |, ≤ |r n 0 -1 (x)| + ≤ n -3 E (|Y |) , then, we have sup k≤n |Y k | ≤ n 2 a.s. Moreover, since (γ n m n ) ∈ GS(-α + a) with 1α + a > 0, we note that n ∑ k=1 γ k m k = O (nγ n m n ).We thus deduce that |r n (x)r(x)| = O ( n 3 γ n m n ) a.s. (4.7.35)

Figure 4 . 2 -

 42 Figure 4.2 -Qualitative comparison between the two proposed regression estimators r n given in (4.4.1) with stepsize (γ n ) = (n -1 ) (solid red line) and r n given in (4.3.1) (dashed blue line) for 500 samples respectively of size 100 (left panel) and of size 500 (right panel) of the model r(x) = cos(x) with X ∼ N [0,1] (0, 1).

3 .

 3 La construction d'un nouvel estimateur basé sur les polynômes de Bernstein d'une fonction de régression en utilisant la méthode d'estimation semirécursive.

Table des matières

 des

  Comme nous l'avons précédemment signalé, pour avoir une bonne estimation par la méthode des noyaux, il faut bien choisir le paramètre de lissage h n puisque celui-ci joue un rôle essentiel dans le processus. Les méthodes existantes pour le choix de h n peuvent être classées en deux catégories.La première catégorie est purement théorique. Elle consiste à minimiser l'erreur quadratique moyenne intégrée (M ISE). En effet, la valeur optimale théorique de h n notée h opt s'obtient en minimisant la M ISE asymptotique donnée en (1.1.9). Ainsi, pour un échantillon de taille n donné et pour un noyau K fixé, cette valeur optimale de h n est donnée par

1.1.1.1 Choix de fenêtre

  ). Cette approche est celle de Sheather et al. [100] appelée communement plug-in à trois étapes.

	Elle consiste à remplacer	∫

T (f ′′ (x)) 2 dx dans (1.1.15) par son estimateur

  Comme on a fait pour l'estimateur de Rosenblatt de la densité f n , le choix théorique du paramètre de lissage h n consiste à minimiser l'erreur quadratique moyenne intǵrée (M ISE). En effet, la valeur optimale théorique de h n notée h opt

	1.1.2.2 Choix de fenêtre
	s'obtient en minimisant la M ISE asymptotique donnée en (1.1.21). Ainsi, pour un
	échantillon de taille n donné et pour un noyau K fixé, cette valeur optimale de h n
	est égale à

  etc.

	1.2.1.1 Biais et variance de l'estimateur f n
	On se plaçe sous les hypothèses suivantes :
	(H1) K : R → R est la fonction noyau continue, bornée et vérifiant les propriétés
	de la définition 1.1.1.
	On donne d'abord le biais et la variance de l'estimateur f n , puis l'erreur
	quadratique intégrée (M ISE) et le choix théorique du pas et fenêtre qui la minimise.
	Enfin, on rappelle la vitesse de convergence ponctuelle et uniforme de l'estimateur
	f n .

  ) f est bornée, deux fois différentiables et f ′′ est bornée.

	L'hypothèse (H2) iii) implique que la limite de (nγ n ) -1 est finie. On note alors
	ξ = lim n→+∞	(nγ n ) -1 .
	Proposition 1.2.1. (Mokkadem et al. [66])
	Supposons que les hypothèses (H1)-(H3) soient vérifiées et que f ′′ soit continue au
	point x.

  ). Pour ce choix de pas, l'estimateur f n est égal

	à l'estimateur récursif introduit par Wolverton et Wagner [124], puis étudié entre
	autres par Yamato [125], Davies [22], Devroye [24], Wegman et Davies [122], Menon
	et al. [63], Wertz [123], Roussas [89] et Duflo [27].
	La M ISE des estimateurs à noyau récursif est plus grande que celle de
	l'estimateur à noyau non-récursif de Rosenblatt alors il vaut mieux utiliser l'estima-
	teur non récursif.
	Comme dans le cas non récursif, on doit utiliser des méthodes pratiques pour
	choisir la fenêtre h n . Dans ce cadre, le lecteur peut voir le travail de Slaoui [104] qui
	a utilisé la méthode de plug-in pour l'estimation du paramètre de lissage (h n ).
	1.2.1.3 Vitesse de Convergence de f n
	On donne dans le Théorème suivant la vitesse de convergence faible de
	l'estimateur f n défini par l'algorithme (1.2.1).
	Théorème 1.2.1. (Mokkadem et al. [66])
	Supposons que les hypothèses (H1)-(H3) soient vérifiées. Pour x ∈ R tel que f (x) > 0 et f ′′ soit continue au point x, on a
	1. S'il existe c ≥ 0 tel que γ -1 n h 5 n -→

n→+∞ c, alors

  Soient (X, Y ), (X 1 , Y 1 ), . . . , (X n , Y n ) des variables aléatoires i.i.d à valeurs dans R 2 . On note g(x, y) la densité du couple (X, Y ), f (x) la densité marginale de X etr(x) = E[Y |X = x]la régression de Y sur X. Révész[START_REF] Révész | Robbins-Monro procedure in a Hilbert space and its application in the theory of learning processes I[END_REF] a utilisé les méthodes d'approximation stochastiques pour construire un estimateur à noyau récursif de r.

	1.2.2 Estimateurs récusifs d'une fonction de régression

  Gasser et Müller [31], Gasser et al.[START_REF] Gasser | Kernels for nonparametric curve estimation[END_REF], Jones[START_REF] Jones | Simple boundary correction for density estimation kernel[END_REF], Zhang et Karunamuni [128] Karunamuni et Alberts[START_REF] Karunamuni | Ageneralized reflection method of boundary correction in kernel density estimation[END_REF] et Karunamuni et Sriram[START_REF] Karunamuni | Asymptotic normality of an adaptiv kernel density estimator for finite mixture models[END_REF] ont suggéré l'utilisation de la méthode des noyaux du bord qui consiste à modifier le noyau près du bord. Le problème de ces nouveaux

noyaux est qu'ils prennent des valeurs négatives. Pour corriger cette déficience, certaines solutions ont été proposés. Pour plus de détailles, on se réfère aux travaux de Jones

[START_REF] Jones | Simple boundary correction for density estimation kernel[END_REF]

, Jones et Foster

[START_REF] Jones | Asimple nonnegative boundary correction method for kernel density estimation[END_REF]

, Gasser et Müller

[START_REF] Gasser | Kernel estimation of regression functions. Smoothing techniques for curve estimation[END_REF]

, Karunamuni et Sriram

[START_REF] Karunamuni | Asymptotic normality of an adaptiv kernel density estimator for finite mixture models[END_REF]

ainsi que Karunamuni et Zhang

[START_REF] Karunamuni | Some improvements on a boundary corrected kernel density estimator[END_REF]

.

Toujours dans le cadre de résolution du problème d'effet du bord, Cowling et Hall

  m}, f n ( k

m ) est positive d'après (1.3.2) et B k (m, x) est une fonction croissante par rapport à x d'après (1.3.3). Ainsi, la fonction F n,m est croissante sur [0, 1] et elle se qualifie comme un estimateur de la distribution F . On donne dans la proposition suivante l'espérance et la variance de l'estimateur F n,m . Proposition 1.3.2. (Leblanc [56])

  La proposition suivante donne l'espérance et la variance de l'estimateur f n,m,m/2 .

	Proposition 1.3.5. (Leblanc [55])

.3.6) L'étude des caractéristiques de f n,m,m/2 se fait sous l'hypothèse suivante : (H) La densité f est continue et bornée admettant quatre dérivées continues et bornées sur [0, 1].

  3.2.Under the assumptions (A1)-(A4), it follows from (2.3.6) and(2.3.8), that for n large enough, the M ISE of Vitale's estimator F n is smaller than the M ISE of our recursive estimator F n . On the other hand, we can easily see from (2.3.6) and(2.3.8)

	M ISE
	that lim n→∞

  ), where γ 0 = 2/3+c, with c ∈ (0, 1/3]. The extreme case (γ n ) = (n -1 ), represents the case which ensures that asymptotically the recursive estimator (2.1.2) is equivalent to Vitale's estimator (2.1.3) in terms of the M ISE (see Remark 2.3.2).

  For qualitative comparison between the Vitale's distribution estimator F n given in (2.1.3) and our proposed distribution estimator F n (2.1.2). Figures 2.1, 2.2, 2.3 and 2.4 show, respectively, distribution estimates plotted for 500 simulated samples from

). B (2, 1), 0.5B (2.5, 6)+0.5B (9, 1), N [0,1] (0.5, 0.25) and 0.25N [0,1] (5, 1)+0.75N [0,1] (-5, 1) distribution of sizes n = 50 (left panel) and n = 100 (right panel). From Figures 2.1

, 2.2, 2.3 and 2.4, we conclude that : -Our proposal (2.1.2) is closer to the true distribution function than Vitale's estimator (2.1.3).

Table 2 .

 2

	Case	[	n Lower 0.05 , n Upper 0.05	]	n	Vitale's estimator	ε = 0.05	ε = 0.1	ε = 0.2	(γn) = (n -1 )
	a)		[68, 2020]		30	0.001092	0.000234	0.001269	0.001630	0.001677
					50	0.000978	0.000613	0.001102	0.001253	0.001266
					100	0.000660	0.000569	0.000740	0.000779	0.000777
	b)		[41, 1197]		30	0.000750	0.000474	0.000853	0.000969	0.000980
					50	0.000573	0.000469	0.000645	0.000689	0.000689
					100	0.000355	0.000337	0.000396	0.000404	0.000401
	c)		[4, 92]		30	0.004486	0.004794	0.004976	0.004847	0.004775
					50	0.002847	0.003109	0.003154	0.003044	0.002993
					100	0.001509	0.001684	0.001670	0.001597	0.001567
	d)		[59, 1744]		30	0.001190	0.000447	0.001361	0.001671	0.001707
					50	0.000992	0.000693	0.001123	0.001249	0.001258
					100	0.000653	0.000582	0.000731	0.000761	0.000758
	e)		[29, 861]		30	0.001489	0.001146	0.001680	0.001824	0.001831
					50	0.001079	0.000964	0.001206	0.001254	0.001250
					100	0.000641	0.000635	0.000714	0.000716	0.000709

1 -Average ISE (over N = 500 trials) of Vitale's estimator F n and the proposal F n for the case (γ n ) = ([2/3 + ε]n -1 ), with ε = 0.05, 0.1, 0.2, and (γ n ) = (n -1 ).

Table 2 .

 2

2 -Average ISE (over N = 500 trials) of Vitale's estimator F n and the proposal F n for the case

  Figure 2.1 -Qualitative comparison between the estimator F n defined in (2.1.3) (dashed blue line) and the proposed distribution estimator (2.1.2) with stepsize (γ n ) = ([2/3 + 0.05]n -1 ) (solid red line), for 500 samples respectively of size 50 (left panel) and of size 100 (right panel) for the beta distribution B (2, 1).

		Figure 2.2 -Qualitative comparison between the estimator F n defined in (2.1.3)
		(dashed blue line) and the proposed distribution estimator (2.1.2) with stepsize
		(γ n ) = ([2/3 + 0.02]n -1 ) (solid red line), for 500 samples respectively of size 50 (left
		panel) and of size 100 (right panel) for the beta mixture distribution 0.5B (2.5, 6) +
		0.5B (9, 1).
		1.0							1.0
		1.0							1.0
		0.8							0.8
		0.8							0.8
	Beta(2,1) 0.5*Beta(2.5,6)+0.5*Beta(9,1)	0.2 0.4 0.6 0.4 0.6						Beta(2,1) 0.5*Beta(2.5,6)+0.5*Beta(9,1)	0.2 0.4 0.6 0.4 0.6
		0.2							0.2
		0.0	0.2	0.4	0.6	0.8	1.0	0.0	0.2	0.4	0.6	0.8	1.0
			0.2	0.4	X	0.6	0.8	1.0		0.2	0.4	X	0.6	0.8	1.0
					X							X

).

Table 3 . 1 -

 31 The average integrated squared error (ISE) of Vitale's estimator fn and the three recursive

Table 3 .

 3

			.08504	0.08687	0.08874	0.10597	0.10824	0.11057	0.09852	0.10064	0.10280
			0.02480	0.02533	0.02587	0.03090	0.03156	0.03224	0.02873	0.02935	0.02998
			0.01098	0.01122	0.01146	0.01368	0.01398	0.01428	0.01272	0.01299	0.01327
	(b)	50	0.12469	0.12736	0.13010	0.13284	0.13569	0.13861	0.14319	0.14626	0.14940
			0.03636	0.03714	0.03794	0.03874	0.03957	0.04042	0.04176	0.04265	0.04357
			0.01610	0.01644	0.01680	0.01715	0.01752	0.01790	0.01849	0.01889	0.01929
	(c)	50	0.05894	0.06020	0.06150	0.08278	0.08455	0.08637	0.08721	0.08908	0.09100
			0.01719	0.01755	0.01793	0.02414	0.02465	0.02518	0.02543	0.02598	0.02653
			0.00761	0.00777	0.00794	0.01069	0.01092	0.01115	0.01126	0.01150	0.01175
	(d)	50	0.11515	0.11762	0.12015	0.14391	0.14699	0.15015	0.14656	0.14971	0.15292
			0.03358	0.03430	0.03504	0.04196	0.04286	0.04379	0.04274	0.04366	0.04459
			0.01487	0.01519	0.01551	0.01858	0.01898	0.01939	0.01892	0.01933	0.01975
	(e)	50	0.15172	0.15498	0.15830	0.15311	0.15640	0.15976	0.15463	0.15795	0.16134
			0.04424	0.04519	0.04616	0.04465	0.04561	0.04659	0.04509	0.04606	0.04705
			0.01959	0.02001	0.02044	0.01977	0.02020	0.02063	0.01997	0.02040	0.02083
	(f )	50	0.10527	0.10753	0.10984	0.10527	0.11383	0.11627	0.11420	0.11665	0.11916
			0.03070	0.03135	0.03203	0.03250	0.03319	0.03391	0.03330	0.03402	0.03475
			0.01359	0.01388	0.01418	0.01439	0.01470	0.01501	0.01475	0.01506	0.01539
	(g)	50	0.06323	0.06458	0.06597	0.06298	0.06433	0.06571	0.06252	0.06386	0.06524
			0.01844	0.01883	0.01924	0.01836	0.01876	0.01916	0.01823	0.01862	0.01902
			0.00816	0.00834	0.00852	0.00813	0.00830	0.00848	0.00807	0.00824	0.00842
	(h)	50	0.04133	0.04222	0.04312	0.03872	0.03955	0.04040	0.03566	0.03643	0.03721
			0.01205	0.01231	0.01257	0.01129	0.01153	0.01178	0.01040	0.01062	0.01085
			0.00533	0.00545	0.00557	0.00500	0.00510	0.00521	0.00460	0.00470	0.00480
	(i)	50	0.03528	0.03603	0.03681	0.03594	0.03671	0.03750	0.03589	0.03666	0.03745
			0.01028	0.01051	0.01073	0.01048	0.01070	0.01093	0.01046	0.01069	0.01092
			0.00455	0.00465	0.00475	0.00464	0.00474	0.00484	0.00463	0.00473	0.00483
	(j)	50	0.06328	0.06464	0.06603	0.06439	0.06577	0.06718	0.06236	0.06370	0.06507
			0.01845	0.01885	0.01925	0.01877	0.01918	0.01959	0.01818	0.01857	0.01897
			0.00817	0.00817	0.00852	0.00831	0.00849	0.00867	0.00805	0.00822	0.00840

Table 4 .

 4

	Case	Density of X	n	rn	r N W n	r n,1	r n,2	r GR n,1	r GR n,2
	(a)	B(3, 5)	50	0.055546	0.055112	0.104385	0.115865	0.038028	0.047105
			200	0.032658	0.034140	0.079668	0.081905	0.022588	0.028159
			500	0.026863	0.028092	0.066130	0.069522	0.016560	0.019712
		0.5B(2, 1) + 0.5B(1, 4)	50	0.068932	0.067473	0.125988	0.134351	0.108101	0.106430
			200	0.038980	0.042949	0.106689	0.104661	0.090068	0.085189
			500	0.030297	0.033478	0.099312	0.101245	0.084980	0.075519
		N [0,1] (0, 1)	50	0.064737	0.063374	0.064036	0.081830	0.041471	0.0486673
			200	0.038685	0.041353	0.025061	0.033815	0.017258	0.024455
			500	0.029203	0.031523	0.012420	0.018851	0.009583	0.014499
	(b)	B(3, 5)	50	0.036493	0.036286	0.092803	0.0956917	0.050927	0.0526410
			200	0.014553	0.016068	0.064965	0.063641	0.032833	0.032282
			500	0.009843	0.011627	0.057761	0.057449	0.027077	0.028032
		0.5B(2, 1) + 0.5B(1, 4)	50	0.030405	0.030367	0.085902	0.092896	0.042517	0.048069
			200	0.012761	0.013743	0.061782	0.063798	0.029937	0.029840
			500	0.007265	0.008007	0.057099	0.057393	0.024920	0.024856
		N [0,1] (0, 1)	50	0.051507	0.050845	0.060607	0.078881	0.038801	0.048378
			200	0.020906	0.023600	0.023876	0.033470	0.017115	0.023916
			500	0.013738	0.015828	0.012567	0.018276	0.010042	0.014245
	(c)	B(3, 5)	50	0.067239	0.067031	0.11308	0.107216	0.120559	0.105257
			200	0.041546	0.043186	0.078042	0.079022	0.086307	0.076342
			500	0.036315	0.037728	0.074358	0.070136	0.079413	0.064560
		0.5B(2, 1) + 0.5B(1, 4)	50	0.055296	0.054980	0.098793	0.105148	0.094618	0.086450
			200	0.039160	0.039796	0.079007	0.072025	0.068825	0.070474
			500	0.033791	0.034482	0.066915	0.063910	0.065890	0.052299
		N [0,1] (0, 1)	50	0.082809	0.082397	0.065922	0.085857	0.055670	0.059021
			200	0.051326	0.053833	0.024884	0.034103	0.021069	0.025526
			500	0.039724	0.042222	0.012545	0.017652	0.010811	0.014033

1 -The average integrated squared error (ISE) of our non-recursive estimator rn, Nadaraya-Watson's estimator r N W n

La théorie de l'estimation est une des préoccupations majeures des statisticiens.L'estimation de la densité, par exemple est un sujet qui a donné lieu à un grand nombre de travaux à cause de son application dans des divers domaines, comme l'analyse de la régression des séries chronologiques et la théorie de fiabilité.En effet, Singh [102] s'est basé sur l'estimation de la densité pour approcher l'information de Fisher. Aussi, dans des nombreux domaines (médecine, économie, sociologie, environnement, finances, marketing) surviennent des phénomènes complexes à modéliser. Ces derniers sont souvent décrits par une variable aléatoire réelle (v.a.r.) inconnue, d'où la nécessité d'estimer sa loi de probabilité.On trouve deux approches d'estimation dans la littérature, la première est l'approche paramétrique qui se résume en l'estimation d'un nombre fini de paramètres réels associés à la loi de l'échantillon. Dans ce cas, on construit les estimateurs en utilisant soit la méthode des moments soit celle du maximum de vraisemblance ou encore celle des moindres carrés. Cependant, l'approche non-paramétrique consiste, généralement à estimer à partir des observations une fonction inconnue élément d'une certaine classe fonctionnelle. Cette branche de la statistique a subit un intérêt croissant autant sur le plan théorique que pratique. La méthode la plus ancienne dans cette approche est l'histogramme qui présente graphiquement la répartition des données. Cette représentation fournit des informations sur les observations étudiées mais elle reste insuffisante et limitée pour estimer une densité raisonnablement lisse.

Remerciements

Main Results

We begin by studing the bias, the variance and the M SE of the proposed recursive estimators using Bernstein estimator first in the boundary region and then at the edges.

Within the interval [0, 1]

The following proposition gives the bias, variance, and M SE of the proposed recursive estimator f n (x) for x ∈ (0, 1). Proposition 3.3.1.

Let Assumptions (A1) -(A4) hold. For x ∈ (0, 1), we have 4. If 0 < a < 2 9 α, then

.

If a = 2 9 α, then

To minimize the M SE of f n (x), for x ∈ (0, 1), the stepsize (γ n ) must be chosen in GS(-1) and (m n ) must be in GS(2/9) such that (

and then

3 ) 1/9 8 (∆ 2 (x)) 2/9 (f (x)ψ(x)) 8/9 ) .

In the case when (γ n ) = (γ 0 n -1 ), we have ξ = γ -1 0 , then, we obtain

n 2/9 , and

3 ) 1/9 (∆ 2 (x)) 2/9 (f (x)ψ(x)) 8/9 8 γ 2 0 2 8/9 (γ 0 -4/9) 10/9 n -8/9 + o ( n -8 /9 ) .

Let us now state the following theorem, which gives the weak convergence rate of the estimator f n defined in (3.1.2), for x ∈ (0, 1).

The equation (3.3.16) indicates that b = 2 is the best choice in terms of the M ISE for the estimator f n,m,m/b , since the factor (bλ 4 1 (b)) 2/9 is increasing in b = 2, 3, . . ..

This method of bias correction reduces the bias of Bernstein estimator from

O(m -1 ) to O(m -2 ), but it loses nonnegativity. As an additive bias correction to the logarithm of estimator, Terrell et Scott [116] originally developed a multplicative bias correction that enables keeping the nonnegativity. This method was adopted by Hirukawa [START_REF] Hirukawa | Nonparametric multiplicative bias correction for kernel-type density estimation on the unit interval[END_REF] for the beta kernel estimator introduced by Chen [START_REF] Chen | Beta kernel estimators for density functions[END_REF]. Igarashi

and Kakizawa [START_REF] Igarashi | On improving convergence rate of Bernstein polynomial density estimator[END_REF] also applied this method for the Bernstein estimator to obtain

for some ε = ε(m) > 0, converting to zero at a suitable rate. Under the Assymption

and τ > 2 we have

) .

Also, we have

and the corresponding

) .

-In the case 0 < a < 2 9 α, we have 2a < (2αa)/4 and γ n m

which gives (3.3.4).

Similarly, for x = 0, 1, we have -In the case α 5 ≤ a < 1, we have lim

-In the case 0 < a < α 5 , we have 2a < (αa)/2 and γ n m n = o (m -4 n ). Lemma 3.6.1 gives (3.3.8).

Proof of Proposition 3.3.3

Using Proposition 3.3.1, we have

(3.6.2)

On the other hand, we note that

We know (see the proof of Theorem 7 in [START_REF] Leblanc | A bias-reduced approach to density estimation using Bernstein polynomials[END_REF]) that

and this gives

• In the case 2 9 α ≤ a < 1, we have lim n→+∞ (nγ n ) > (2αa)/4. Lemma 3.6.1 gives

Proof Corollary 3.3.1

Set

)

. It follows that, for a given α, to minimize the M ISE (f n ), the parameter a must be chosen equal to 2 9 α. Moreover, in view of (3.6.6) the parameter α must be equal to 1. We conclude that to minimize the M ISE (f n ), the stepsize (γ n ) must be chosen in GS(-1) and the order (m n ) in GS(2/9).

Since the function x → K 2 (ξ)x -4 + K 1 (ξ)γ n x 1/2 attains its minimum at the point

, to minimize M ISE (f n ), the order (m n ) must be equal to

For such a choice, the M ISE of f n becomes

However, the common problem is the edge effect. In fact, when the regression function has bounded support, kernel estimates often overspill the boundaries and are consequently biased at and near these edges. To overcome this problem, we propose a non-recursive and recursive approach of regression estimation using Bernstein polynomials.

The estimation using Bernstein polynomial for density and distribution functions have been widely discussed in several frameworks. See, for instance, the original work of Vitale [119] and extensions given by Tenbusch [115], Ghosa [START_REF] Ghosal | Convergence rates for density estimation with Bernstein polynomials[END_REF], Kakizawa [START_REF] Kakizawa | Bernstein polynomial probability density estimation[END_REF][START_REF] Kakizawa | A note on generalized bernstein polynomial density estimators[END_REF], Igarashi and Kakizawa [START_REF] Igarashi | On improving convergence rate of Bernstein polynomial density estimator[END_REF], Rao [START_REF] Rao | Estimation of distribution and density functions by generalized Bernstein polynomials[END_REF], Leblanc [START_REF] Leblanc | A bias-reduced approach to density estimation using Bernstein polynomials[END_REF], Leblanc [START_REF] Leblanc | On estimating distribution function using Bernstein polynomials[END_REF][START_REF] Leblanc | On the boundary properties of bernstein polynomial estimators of density and distribution dunctions[END_REF], Babu et al. [START_REF] Babu | Application of Bernstein polynomials for smooth estimation of a distribution and density function[END_REF], Babu et Chaubey [START_REF] Babu | Smooth estimation of a distribution function and density function on a hypercube using Bernstein polynomials for dependent random vectors[END_REF] and Jmaei et al. [START_REF] Jmaei | Recursive distribution estimator defined by stochastic approximation method using Bernstein polynomials[END_REF].

The remainder of the chapter is organized as follows. In Section 4.2, we list our assumptions and notations. In Section 4.3, we introduce our non-recursive estimator and we compute its bias, variance, mean squared error (M SE), the mean integrated squared error (M ISE) and we establish a weak convergence rate. In Section 4.4

we introduce our non-recursive estimator and we state the main theoretical results.

Section 4.5 is devoted to some numerical studies : first, a simulation study is presented in Subsection 4.5.1 and, then, an application to a real dataset is described in Subsection 4.5.2. Finally, we discuss our conclusion in Section 4.6. The proofs are given in 4.7.

Assumptions and Notations

Let us first define the class of positive sequences that will be used in the statement of our assumptions. Let γ ∈ R and (v n ) n≥1 be a nonrandom positive sequence. We say that (v n ) ∈ GS(γ) if

Non-Recursive estimator

Let (X, Y ), (X 1 , Y 1 ), . . . , (X n , Y n ) be independent, identically distributed pairs of random variables with joint density function g(x, y), and let f denote the probability density of X which is supported on [0, 1]. We follow the approach of Vitale [119] and Leblanc [START_REF] Leblanc | A bias-reduced approach to density estimation using Bernstein polynomials[END_REF][START_REF] Leblanc | On estimating distribution function using Bernstein polynomials[END_REF], used for distribution and density estimation, to define a Bernstein estimator of the regression r :

The following proposition gives the bias, the variance and the M SE of r n (x), for

Let Assumption (A1) hold. For x ∈ [0, 1], such that f (x) > 0, we have

Let Assumptions (A1) -(A4) hold. For x ∈ (0, 1), such that f (x) > 0, we have

)

, then (4.4.3) and (4.4.4) hold simultaneously.

.

To minimize the M SE of r n (x), for x ∈ (0, 1) such that f (x) > 0, the stepsize (γ n ) must be chosen in GS(-1) and (m n ) must must be in GS (2/5) such that (

Let Assumptions (A1) -(A3) and (A ′ 4) hold. For x = 0, 1, such that f (x) > 0, we have

)

, then (4.4.5) and (4.4.6) hold simultaneously.

)

.

To minimize the M SE of r n , for x = 0, 1 such that f (x) > 0, the stepsize (γ n ) must be chosen in GS(-1) and (m n ) must be in GS (1/3) such that (

The major limitation of these two estimators occurs at the edges of the support. In fact, these estimators are inconsistent at the boundary. This effectively restricts their application to values of x in the interior of the support of the estimated regression function.

The object of this section is to provide a study comparing between Nadaraya-Watson's estimator r N W n defined in (4.5.1), the generalized Révész's estimator r GR n defined in (4.5.2), our non-recursive estimator r n defined in (4.3.1) and our recursive estimator r n introduced in (4.4.1).

Simulations

We consider the regression model

where ε ∼ N (0, 1).

When using the estimators r N W n and r GR n , we choose the kernel K(x) = (2π) -1/2 exp (-x 2 /2) and the bandwidth equal to (h n ) = n -1/5 (ln(n + 1)) -1 . When using our Bernstein estimators r n and r n , we choose the order equal to m n = ⌊n 2/5 (ln(n + 1))⌋ and we choose two stepsize (γ n ) = (n -0.9 ) and (γ n ) = (n -1 ).

We consider three sample sizes n = 50, n = 100 and n = 500, three regression functions

and three densities of X, the beta density B(3, 5), the beta mixture density 0.5B(2, 1) + 0.5B [START_REF] Altman | Bandwidth selection for kernel distribution function estimation[END_REF][START_REF] Berlinet | A comparison of kernel density estimates[END_REF] and the truncated standard normal density N [0,1] (0, 1).

We consider six estimators : our non-recursive Bernstein estimator r n (4.3.1), Nadaraya-Watson's estimator r N W n (4.5.1), two proposed recursive Bernstein estimators r n,1 and r n,2 (4.4.1) with stepsize (γ n ) = (n -1 ) and (γ n ) = (n -0.9 ) respectively and finally two Generized Révész's estimators r GR n,1 and r GR n,2 (4.5.2) using the same stepsizes as in r n . For each model and sample of size n, we approximate the average integrated squared error (ISE) of the estimator using N = 500 trials of sample size

where rk is the estimator computed from the k th sample, and

From Table 4.1 we conclude that :

-In all the considered models, the average ISE of our non-recursive regression estimator r n defined in (4. -In all the models with X ∼ N [0,1] (0, 1), the average ISE of our recursive regression estimator r n defined in (4.4.1) with the choice (γ n ) = (n -1 ) is smaller than that of our non-recursive regression estimator r n introduced in (4.3.1).

-In all the models, the average ISE of our recursive regression estimator r n,1

with the choice (γ n ) = (n -1 ) is smaller than that of our recursive regression estimator r n,2 with the choice (γ n ) = (n -0.9 ).

-The average ISE decreases as the sample size increases.

For qualitative comparison between our non-recursive estimator r n defined in (4.

Conclusion

In this chapter, we propose a non-recursive and recursive estimator of regression function based on Bernstein polynomials and stochastic algorithm derived from the Robbins-Monro's scheme. We first study their theoretical behavior. Then, we conduct a simulation study and analyse a real data application on CO2 data.

For all the models, the average ISE of our non-recursive regression estimator r n defined in (4. In conclusion, the estimation using Bernstein polynomials allowed us to overcome the edge problem and obtain quite similar results as Nadaraya-Watson's estimator. Moreover, we plan to make extensions of our method in the future and follow Slaoui [109] to create a semi-recursive Bernstein estimator for regression function.

Outlines of the proofs

In this section, we present proofs for the results given in the chapter. First, we recall a series of results, which are proven in Leblanc [START_REF] Leblanc | A bias-reduced approach to density estimation using Bernstein polynomials[END_REF], linked to different sums of Bernstein polynomial, defined by

Using (4.7.3), (4.7.2) and (4.7.5)

So, for x ∈ (0, 1), we have

and, for x = 0, 1, we have

which gives (4.3.3) of Proposition 4.3.1.

Proof of Proposition 4.3.2

We have

Finally, substituting (4.7.7), (4.7.8) and (4.7.9) into (4.7.6), we obtain

Then, we obtain the result in (4.3.4) of Proposition 4.3.2.

Proof of Theorem 4.3.1

To prove the convergence, for x ∈ (0, 1), we will use the fact that

which will be proved later. We have

and so we obtain Part 2 of Theorem 4.3.1 since in this case we have n 1/2 m 5/4 -→ n→+∞ 0 and (4.7.10).

Proof of the results obtained for r n

From now on, we set

Moreover, we introduce the following notations :

Finally, we define the sequences (λ n ), ( λn ), (β n ) and ( βn ) by setting

(4.7.12)

Note that (λ n ) and ( λn ) belong to GS(-λ * ) with

and (β n ) and ( βn ) belong to GS(-β * ) with

Then, for x ∈ (0, 1), we obtain -In the case The following lemma gives the weak convergence rate of the estimator ρ n defined in (4.4.3), for x ∈ [0, 1] such that f (x) > 0. Let Assumption (A1) -(A4) hold. For x ∈ (0, 1), we have

and the convergence in (4.7.22) follows from the application of Lyapounov's Theorem.

To prove Lemma 4.7.4, for x = 0, 1, we wil use the fact that if α 3 ≤ a < 2 3 α, then In view of (4.7.22), the result in (4.7.26) hold if we replace ρ n (x) by T n (x).

For x = 0, 1, We have

and, since lim n→∞ (nγ n ) > (αa)/(2f (x)), Lemma 4.7.2 ensures that

On the other hand, there exists a p > 0 such that

The application of Theorem 1 in Mokkadem and Pelletier [START_REF] Mokkadem | Compact law of the iterated logarithm for matrixnormalized sums of random vectors[END_REF] then ensures that, with probability one, the sequence

  is relatively compact and its limit set is the interval

In view (4.7.27), we have lim

with probability one, the sequence

) is relatively compact and its limit set is the interval given in (4.7.28).

The application of (4.7.14) (respectively (4.7.13)) concludes the proof of Lemma 4.7.5 in the cases a > 2α/5 (respectively a = 2α/5) -In the case a > 2 5 α (in which case lim n→∞

, and note that, since (4.7.24), and applying Lemma 4.7.2, we get

Moreover, in view of (4.7.25)

and thus in view of (4.7.29), we get

The application of Theorem 1 in Mokkadem and Pelletier [START_REF] Mokkadem | Compact law of the iterated logarithm for matrixnormalized sums of random vectors[END_REF] then encures that, with probability one

Noting that (4.7.29) ensures that

we get

and Lemma 4.7.5 in the case a < 2α/5 follows from (4.7.13). We use the same method to prove Lemma 4.7.5 in the cases x = 0, 1. Now, we give the M ISE of ρ n .

Lemma 4.7.6. (M ISE of ρ n )

Let Assumptions (A1) -(A3) and (A ′ 4) hold, we have

We have

-In the case 1-α 4 < a ≤ 2 5 α, since, for all x ∈ (0, 1), lim n→∞ (nγ n ) > a/ϕ > a/f (x), we have ) , then Lemma 4.7.2 gives

On the other hand, we note that

Using the same argument as in the proof of Proposition 4.3.2, we obtain -In the case 2 5 α < a < 2 3 α, since, for all x ∈ (0, 1), lim n→∞ (nγ n ) > (2αa)/(4ϕ) > (2αa)/(4f (x)), Lemma 4.7.2 gives We show in this section how to deduce the asymptotic behaviour of r n from that of ρ n . To do so, we set

and we prove that δ n is negligible in front of ρ n . Note that, in view of (4.4.1) and (4.4.2), and since ρ n 0 -1 = r n 0 -1 , we have, for n ≥ n 0

To obtain an upper bound of δ n , we must have an upper bound of r nr. To do so, we use the following property given by Mokkadem et al. [START_REF] Mokkadem | Revisiting Révész's stochastic approximation method for the estimation of a regression function[END_REF] (P) : if (r nr) is known to be bounded almost surely by a sequence (w n ), then it can be shown that (δ n ) is bounded almost surely by a sequence (w ′ n ) such that lim n→∞ w ′ n w n = 0, which may allow to upper bound r nr by a sequence smaller than (w n ).

We thus proceed as follows. We first establish an upper bound of (r nr). Then, we apply the Property (P) several times until we obtain an upper bound which allows to prove that δ n is negligible in front of ρ n .

The proof of the results given in Section 4.4 relies on the repeted application of the following lemma Lemma 4.7.7.

Let Assumptions (A1) -(A3) hold, and assume that there exists

and if w * > 0, then, for all δ > 0,

2 ) a.s.

For x = 0, 1, we have

and if w * > 0, then, for all δ > 0, -Lemma 4.7.5 implies that :

) belongs to GS(-λ * j + 2 + a) with -λ * j + 2 + a > 0, the application of (4.7.37) implies that

Since (λ j+1 n w n (ln n) j+1 ) ∈ GS(-λ * (j + 1) + 2 + a) with -λ * (j + 1) + 2 + a ≥ 0, whereas (λ n ) ∈ GS(-λ * ) with -λ * < 0, it follows that

and the apllication of (4.7.36) leads to

Since (4.7.35) ensures that (4.7.38) is satisfied for j = 0, we have proved by induction that

Applying (4.7.37) with (w n ) = O (λ p 0 n (n 3 γ n m n ) (ln n) p 0 ) and then (4.7.36), we obtain