Alessandro Alexandre

Claire Fabien

Vivien Et Warith

Cécile, Diala, Herb, Keanu, Laurent, Loïc, Marie Ariane Carlos

Mariem Pierre-Louis Mehdi

Zoé ; Merci

Keywords: nonparametric estimation, model selection, Laguerre basis, Hermite basis, deconvolution, regression, ruin theory

Chapter 4 We study the nonparametric regression estimation problem with a random design in R p with p ≥ 2. We do so by using a projection estimator obtained by least squares minimization. Our contribution is to consider estimation domains in R p that are non-compact, and to provide a theoretical study of the risk of the estimator relative to a norm weighted by the distribution of the design. We propose a model selection procedure in which the model collection is random and takes into account the discrepancy between the empirical norm and the norm associated with the distribution of design. We prove that the resulting estimator automatically optimizes the bias-variance trade-off in both norms.

Résumé

Dans cette thèse, on s'intéresse à plusieurs problèmes inverses de statistique non paramétrique. Nous étudions l'estimation de fonctions à plusieurs variables sur des domaines non compacts : R d et R d + . Nous utilisons pour cela des estimateurs par projection sur des bases orthonormées obtenues en tensorisant la base d'Hermite (cas de R d ) et la base de Laguerre (cas de R d + ). Ces bases sont construites à partir de polynômes orthogonaux et ont la particularité d'être à support non compact. Cela évite la question du choix du support qui se pose avec les bases dont le support est un intervalle [a, b] par exemple. Pour garantir que nos estimateurs aient de bonnes performances, la dimension de l'espace de projection nécessite d'être choisie. Nous utilisons deux procédures : la sélection de modèle par pénalisation et la méthode de Goldenshluger et Lepski. Ces procédures nous permettent de construire des estimateurs adaptatifs relativement aux espaces de régularité associés aux bases utilisées : les espaces de Sobolev-Laguerre et les espaces de Sobolev-Hermite.

Chapitre 2 On étudie le problème de l'estimation d'une densité dans le modèle additif Z = X + Y , où X et Y sont des vecteurs aléatoires d -dimensionnels à coordonnées positives. Notre but est de retrouver la densité de X à partir d'observations indépendantes de Z , en supposant que la loi de Y est connue. La densité de Z s'exprime alors comme le produit de convolution des densités de X et de Y , et il faut résoudre un problème de déconvolution. Dans le cas d = 1, un estimateur par projection sur la base de Laguerre a déjà été étudié par [START_REF] Mabon | Adaptive Deconvolution on the Non-negative Real Line : Adaptive deconvolution on R +[END_REF]. On généralise cette méthode au cas multivarié : on détermine des majorations non asymptotiques sur le MISE de l'estimateur et on en déduit des vitesses de convergence sur des espaces fonctionnels anisotropes. Pour finir, on propose une procédure de sélection de modèles, inspirée des travaux de Goldenshluger & [START_REF] Goldenshluger | Bandwidth selection in kernel density estimation : Oracle inequalities and adaptive minimax optimality[END_REF] et Chagny (2013c), pour le choix du modèle qui réalise le compromis biais-variance.

Chapitre 3 On considère le modèle de Cramér-Lundbgerg, dans lequel le processus de réserve d'une compagnie d'assurance est donné par :

U t = u + c t - N t i =1
X i , i où u ≥ 0 est la réserve initiale, c > 0 est le taux de cotisation, (N t ) t ≥0 est un processus de Poisson homogène qui compte le nombre de sinistres et (X i ) i ≥1 sont des variables i.i.d. qui représentent les montants des sinistres. On s'intéresse au problème d'estimation de la fonction de Gerber-Shiu à partir de l'observation d'une trajectoire du processus (U t ) t ∈[0,T ] . Cette fonction a été introduite par Gerber & Shiu (1998) pour étudier simultanément l'instant de ruine, le montant de la réserve avant la ruine et le déficit au moment de la ruine. Le résultat principal de Gerber & Shiu (1998) sur cette fonction est qu'elle vérifie une équation de la forme :

φ = φ * g + h,
avec g et h des fonctions liées à la loi du processus de Poisson composé

N t
i =1 X i . Du fait de l'équation de convolution satisfaite par φ, [START_REF] Zhang | A new efficient method for estimating the Gerber-Shiu function in the classical risk model[END_REF] propose un estimateur par projection sur la base de Laguerre. Cependant, ils ne donnent pas de résultat sur le MISE, mais seulement sur le comportement en O P de l'erreur quadratique intégrée lorsque T → ∞. Nous nous plaçons dans la continuité de leur travail en étudiant le MISE de l'estimateur par projection sur la base de Laguerre. On obtient ainsi des vitesses de convergence sur des boules de Sobolev-Laguerre qui dépendent de la régularité de la fonction estimé, comme c'est typiquement le cas en statistique non paramétrique. De plus, on propose une nouvelle méthode d'estimation de la fonction de Gerber-Shiu par une approche hybride Laguerre-Fourier : on utilise un estimateur par projection sur la base de Laguerre où les coefficients sont calculés grâce au théorème de Plancherel. On montre que le terme de variance de cet estimateur est majoré indépendamment de la dimension de l'espace de projection. La vitesse de convergence du MISE est alors 1/T (vitesse paramétrique) et ne nécessite pas de compromis biais-variance.

Chapitre 4 On étudie le problème d'estimation non paramétrique d'une fonction de régression avec un design aléatoire sur R p pour p ≥ 2. On utilise pour cela un estimateur par projection calculé avec un critère de moindres carrés. Notre contribution est de considérer des domaines d'estimation non compacts et d'étudier théoriquement le risque de l'estimateur pondéré par la loi du design. On propose une procédure de sélection de modèle dans laquelle la collection de modèles est aléatoire et prend en compte l'écart entre la norme empirique et la norme associée à la loi du design. On démontre que l'estimateur résultant optimise automatiquement le compromis biais-variance pour les deux normes.

Mots clés estimation non paramétrique, sélection de modèle, base de Laguerre, base d'Hermite, déconvolution, régression, théorie de la ruine.

Abstract

In this thesis, we are interested in several inverse problems in nonparametric statistics. We study the estimation of functions of several variables on non compact domains: R d and R d + . We use projection estimators on orthonormal bases constructed by tensorization of the Hermite basis (in the case of R d ) and the Laguerre basis (in the case of R d + ). These two bases are formed from orthogonal polynomials and they have the property of being non-compactly supported. This avoids issues regarding the choice of the support, that one encounters with bases supported on an interval [a, b] for example. In order to ensure that our estimators perform well, the dimension of the projection space must be carefully chosen. We use two procedures: the penalized model selection procedure and the Goldenshluger and Lepski's procedure. These procedures allow us to construct adaptive estimators on regularity spaces associated to the used bases: the Sobolev-Laguerre spaces and the Sobolev-Hermite spaces.

Chapitre 2 We study the density estimation problem in the additive model Z = X + Y , where X and Y are d -dimensional random vectors with non-negative coordinate. Our goal is to recover the density of X from i.i.d. observations of Z , under the assumption that the distribution of Y is known. The density of Z is given by the convolution product of the densities of X and Y , so we have to solve a deconvolution problem. In the d = 1 case, a projection estimator on the Laguerre basis has already been studied by [START_REF] Mabon | Adaptive Deconvolution on the Non-negative Real Line : Adaptive deconvolution on R +[END_REF]. We extend this method to the multivariate case: we establish non-asymptotic bounds on the MISE of the estimator, and we provide convergence rates on anisotropic functional spaces. Finally, we propose selection model procedure inspired by the work of Goldenshluger & [START_REF] Goldenshluger | Bandwidth selection in kernel density estimation : Oracle inequalities and adaptive minimax optimality[END_REF] and Chagny (2013c) to choose the model that optimizes the bias-variance trade-off.

Chapitre 3 We consider the Cramér-Lundberg model, in which the reserve process of an insurance company is given by:

U t = u + c t - N t i =1 X i ,
where u ≥ 0 is the initial reserve, c > 0 is the premium rate, (N t ) t ≥0 is an homogeneous Poisson process that counts the claims number, and (X i ) i ≥1 are i.i.d.

iii random variables that represents the claims sizes. We are interested in the problem of estimating the Gerber-Shiu function from the observation of a trajectory of the process (U t ) t ∈[0,T ] . This function has been introduced by [START_REF] Gerber | On the Time Value of Ruin[END_REF] to study simultaneously the ruin time, the reserve before the ruin, and the ruin deficit. The main result of [START_REF] Gerber | On the Time Value of Ruin[END_REF] is that this function satisfies an equation of the form:

φ = φ * g + h,
where g and h are functions that depend on the distribution of the compound Poisson process

N t i =1 X i .
Using this equation on φ, [START_REF] Zhang | A new efficient method for estimating the Gerber-Shiu function in the classical risk model[END_REF] propose a projection estimator on the Laguerre basis. However, their results only concerns the asymptotic behavior of the estimator ISE, as T → ∞. We carry on their work with a non-asymptotic study of the MISE of the projection estimator. We obtain convergence rates on Sobolev-Laguerre balls that depend on the regularity of φ, as it is typically the case in nonparametric statistics. Moreover, we propose a new estimation method using a hybrid approach Laguerre-Fourier: we use a projection estimator on the Laguerre basis where the coefficients are computed using Plancherel isometry. We show that the variance term of this estimator is bounded independently of the dimension of the projection space, so that the convergence rate is 1/T (parametric rate) without the need of optimizing the bias-variance trade-off.

Sommaire

Liste des symboles xi Introduction

L'objectif de cette thèse est d'étudier quelques problèmes d'estimation fonctionnelle. Dans tous ces problèmes, on cherche à reconstruire une fonction à partir d'un nombre fini de réalisations de variables aléatoires dont la loi dépend de la fonction à estimer. Une particularité de ce travail est de considérer des fonctions définies sur des domaines non compact de mesure infinie, à savoir R d ou R d + . Du plus, à l'exception du chapitre 3, nous nous intéressons à des fonctions de plusieurs variables (i.e. d ≥ 2).

Ce chapitre a pour but d'introduire le cadre statistique et les concepts utilisés tout au long de la thèse. Nous présentons la méthode d'estimation par projection ainsi que le problème de construction d'estimateurs adaptatifs au sens de l'oracle. Ces différentes notions sont illustrées sur l'exemple de l'estimation d'une densité à partir d'observations directes. Nous introduisons également les deux principaux outils techniques qui seront utilisés au cours de la thèse : les hypermatrices et les inégalités de concentration. Enfin, on conclut ce chapitre par une présentation des problèmes étudiés et des résultats obtenus.

Cette introduction s'appuie sur les livres de [START_REF] Comte | Estimation non-paramétrique. Spartacus supérieur. Spartacus IDH[END_REF], [START_REF] Tsybakov | Introduction to nonparametric estimation[END_REF], et [START_REF] Massart | Concentration Inequalities and Model Selection : École d'Été de Pro[END_REF].

Généralités sur l'estimation non paramétrique 1.Cadre statistique

Ce travail se place dans le cadre de l'estimation non paramétrique ou estimation fonctionnelle. Au contraire de l'approche paramétrique, qui suppose que la loi des données peut être décrite par un vecteur fini-dimensionnel θ ∈ R p sur lequel porte l'inférence, cette approche ne fait pas (ou peu) d'hypothèses sur la loi des observations. Les quantités d'intérêt sont typiquement des fonctions (de densité, de répartition, de régression, etc) qui sont supposées appartenir à des espaces fonctionnels de dimension infinie. Ceux-ci sont en général des espaces de fonctions avec une certaine régularité, par exemple l'espace des fonctions lipschitziennes, des espaces de Sobolev, ou des espaces de Besov pour en citer 1 quelques-uns. L'intérêt de l'approche non paramétrique est d'avoir une grande flexibilité dans la modélisation des données : on ne fait pas d'hypothèse à priori sur la forme de leur loi.

Nous adoptons également une approche non asymptotique : on construira et on étudiera des procédures d'estimation avec un nombre d'observations n fixé, qui ne tend pas vers l'infini. Cela n'empêche pas de se poser la question de la vitesse de convergence des estimateurs lorsque n augmente, mais cette étude passera par l'utilisation d'inégalités de concentration plutôt que par l'utilisation de théorèmes limites (théorème central limite, grandes déviations, etc) donnant une approximation du comportement des estimateurs lorsque n → ∞.

Concrètement, on observe des variables aléatoires ξ 1 , . . . , ξ n i.i.d. et on souhaite estimer une fonction f qui dépend de leur loi. La fonction f est supposée à valeurs réelles et définie sur un domaine A de R d . Une spécificité de cette thèse est de considérer des fonctions de plusieurs variables, sur des domaines qui ne sont pas nécessairement compacts. Un estimateur f n de f est défini comme une fonction mesurable des données :

x ∈ A -→ f n (x) = f n (x; ξ 1 , . . . , ξ n ) ∈ R.
La dépendance en les données, ou la taille de l'échantillon, ne sera en général pas notée explicitement dans la suite.

Exemple 1.1 (Estimation d'une densité). On observe des variables i.i.d. X 1 , . . . , X n dans A, de densité commune f inconnue. On supposera dans la suite que f appartient à L 2 (A). Cette hypothèse n'est pas nécessaire pour l'estimation d'une densité en général, mais elle l'est dans notre cas du fait de la méthode d'estimation utilisée.

Risque d'un estimateur

Pour comparer différents estimateurs et évaluer leur performance, on introduit une quantité appelée risque de l'estimateur. Pour ℓ une fonctionnelle positive, appelée perte ou coût, qui mesure « l'écart » entre deux fonctions, le risque d'un estimateur f n est défini par :

R( f , f n ) := E ℓ( f , f n ) .
Les exemples classiques incluent bien sûr le cas où ℓ est une distance, ou une fonction croissante d'une distance, comme par exemple la perte L p :

ℓ( f , g ) = ∥ f -g ∥ p L p := A f (x) -g (x)
p dx, mais des pertes qui ne sont pas des distances sont aussi utilisées. En toute généralité, il n'y a pas vraiment de contraintes sur les propriétés que doit vérifier 1.1. GÉNÉRALITÉS SUR L'ESTIMATION NON PARAMÉTRIQUE une perte. Par exemple, elle n'a pas besoin d'être symétrique : en estimation de densité, la divergence de Kullback-Leibler est une perte parfois considérée :

ℓ( f , g ) =      A g (x) log g (x) f (x) dx si g dx ≪ f dx, +∞ sinon,
qui n'est pas symétrique et peut même être infinie. Pour d'autres exemples de pertes considérées en estimation de densité, on pourra se référer au chapitre 2 de [START_REF] Tsybakov | Introduction to nonparametric estimation[END_REF]. Dans cette thèse, on se restreindra à la perte L 2 (chapitres 2 et 3) et à la perte L 2 pondérée par une mesure µ (chapitre 4) :

ℓ( f , g ) = ∥ f -g ∥ 2 µ := A f (x) -g (x)
2 dµ(x).

Ce choix est motivé par la méthode d'estimation utilisée : l'estimation par projection.

Vitesse de convergence

Le risque représente l'erreur moyenne de l'estimateur vis-à-vis de la fonction d'intérêt f . Si l'estimateur est bien construit, on s'attend à ce que le risque diminue et tende vers 0 lorsque la taille de l'échantillon croît vers l'infini. La question qui se pose alors est de déterminer la vitesse de convergence du risque vers 0.

Définition 1.1.1. Étant donnés un ensemble F de fonctions et (ψ n ) n≥1 une suite qui décroit vers 0, on dit que f n converge à vitesse ψ n sur F si :

sup f ∈F R( f , f n ) ≤ C (F ) × ψ n ,
où C (F ) est une constante positive. De plus, on dit que la vitesse (ψ n ) ≥1 est minimax sur la collection F s'il existe c(F ) > 0 telle que :

lim inf n→+∞ inf T n sup f ∈F ψ -1 n R( f , T n ) ≥ c(F ),
où l'infimum porte sur tous les estimateurs.

Autrement dit, la vitesse (ψ n ) n≥1 est minimax s'il n'existe pas d'estimateurs ayant une meilleure vitesse de convergence sur F . Typiquement, les collections de fonctions F considérées sont des boules dans des espaces fonctionnels. On verra qu'un estimateur f n atteint des vitesses de convergence différentes sur des collections F différentes, et que cette vitesse est liée la régularité des fonctions de F : plus les fonctions sont régulières, meilleure est la vitesse de convergence.

Estimation par projection

On suppose que f appartient à L 2 (A, ν) avec A ⊆ R d et ν une mesure sur A. On note 〈•, •〉 et ∥•∥ le produit scalaire et la norme associés à cet espace :

〈 f , g 〉 := A f (x)g (x) dν(x), ∥ f ∥ 2 = A f (x) 2 dν(x).
L'idée de l'estimation par projection est de décomposer la fonction d'intérêt dans une base orthonormée et d'estimer ses coefficients.

Fonctions d'une variable

Supposons dans un premier temps que f est une fonction d'une seule variable, c'est-à-dire d = 1. On considère (ϕ k ) k∈N une base orthonormée de L 2 (A, ν) et on décompose f dans cette base :

f = k∈N a k ϕ k , a k = 〈 f , ϕ k 〉,
avec convergence de la série au sens de la norme ∥•∥. Un estimateur par projection de f est alors de la forme :

f m = m-1 k=0 a k ϕ k ,
où a k est un estimateur de a k et m est le nombre de coefficients que l'on choisit d'estimer. Notons S m l'espace vectoriel engendré par les m premières fonctions de la base, et notons f m la projection de f sur S m :

f m = m-1 k=0 a k ϕ k ,
alors f m peut être vu comme un estimateur de la projection f m , d'où le terme « estimation par projection ».

Une première façon d'estimer les coefficients est par méthode des moments : si a k peut s'écrire comme l'espérance d'une fonction d'une observation, on l'estime en remplaçant l'espérance par une moyenne empirique sur les observations. Une autre façon est de procéder par minimisation de contraste [START_REF] Birgé | Rates of convergence for minimum contrast estimators[END_REF] : en remarquant que la projection f m est solution du problème de minimisation :

f m = arg min t ∈S m ∥ f -t ∥ 2 ,
(1.1) on l'estime en minimisant un équivalent empirique de t → ∥ ft ∥ 2 . Cet équivalent empirique, noté γ n (t ), est appelé contraste. L'estimateur par projection est alors défini comme la solution de :

f m := arg min t ∈S m γ n (t ).

ESTIMATION PAR PROJECTION

Fonctions de plusieurs variables

Supposons à présent que f est une fonction de d ≥ 2 variables. On suppose que le domaine A s'écrit comme un produit cartésien et que la mesure ν se décompose comme un produit de mesures :

A = A 1 × • • • × A d , ν = ν 1 ⊗ • • • ⊗ ν d ,
où ν i est une mesure sur A i . On peut alors construire une base orthonormée de L 2 (A, ν) en tensorisant des bases orthonormées de L 2 (A i , ν i ). Soit (ϕ i k ) k∈N une base orthonormée de L 2 (A i , ν i ), on définit pour tout multi-indice k = (k 1 , . . . , k d ) la fonction :

∀x ∈ A, ϕ k (x) := ϕ 1 k 1 ⊗ • • • ⊗ ϕ d k d (x) := ϕ 1 k 1 (x 1 ) × • • • × ϕ d k d (x d ).
Les fonctions (ϕ k ) k∈N d forment une base orthonormée de L 2 (A, ν). L'estimation par projection de f est définie comme dans le cas d = 1, à ceci près que les coefficients de f sont maintenant multi-indicés :

f = k∈N d a k ϕ k , a k = 〈 f , ϕ k 〉.
Pour m = (m 1 , . . . , m d ) ∈ N d + , on définit les espaces de projection :

S m := Vect ϕ k : ∀i , 0 ≤ k i ≤ m i -1 . (1.2)
Ceux-ci sont de dimension D m := m 1 × • • • × m d . Un estimateur par projection de f est alors de la forme :

f m = k∈N d + ∀i , k i <m i a k ϕ k ,
où les estimateurs a k sont obtenus par méthode des moments ou par minimisation de contraste, comme dans le cas d = 1.

Exemple 1.2 (Estimation d'une densité). On reprend l'exemple 1.1. Les coefficients de f sont donnés par :

a k = 〈 f , ϕ k 〉 L 2 = A f (x) ϕ k (x) dx = E ϕ k (X 1 ) .
La méthode des moments fournit l'estimateur :

a k := 1 n n i =1
ϕ k (X i ).

(1.3)

On peut aussi procéder par minimisation de contraste ; on développe le carré de la norme dans l'équation (1.1) :

arg min t ∈S m ∥ f -t ∥ 2 L 2 = arg min t ∈S m ∥ f ∥ L 2 -2〈 f , t 〉 2 L 2 + ∥t ∥ 2 L 2 .
La quantité ∥ f ∥ 2 L 2 est inconnue mais ne dépend pas de t , donc elle n'intervient pas dans la minimisation du critère et peut être omise. On estime alors le produit scalaire 〈 f , t 〉 L 2 = E[t (X 1 )] par la moyenne empirique des t (X i ). Le contraste qui en résulte est :

γ n (t ) := ∥t ∥ 2 L 2 - 2 n n i =1 t (X i ).
Il est facile de vérifier que les estimateurs obtenus par méthode des moments et par minimisation de contraste coïncident dans ce cas.

Exemples de bases orthonormées

Citons quelques bases orthonormées classiquement utilisées en estimation fonctionnelle.

Base trigonométrique On définit sur [0, 1] les fonctions : ϕ 0 (x) := 1, ϕ 2k (x) := 2 cos(2πkx), ϕ 2k+1 (x) := 2 sin(2πkx).

Ces fonctions forment une base orthonormée de L 2 ([0, 1]) et les coefficients de f dans cette base sont ses coefficients de Fourier. Base d'ondelettes Sur R, on définit pour tous j , k ∈ Z : ϕ j ,k (x) := 2 j /2 ϕ 2 j xk , où ϕ est une fonction régulière sur R. Sous certaines hypothèses sur ϕ, ces fonctions forment une base orthonormée de L 2 (R) (cf. [START_REF] Meyer | Ondelettes et opérateurs[END_REF]). Pour une utilisation de ces bases en statistique non paramétrique, on pourra se référer aux travaux de Donoho & Johnstone (1994[START_REF] Donoho | Adapting to Unknown Smoothness via Wavelet Shrinkage[END_REF], 1998) et [START_REF] Donoho | Density estimation by wavelet thresholding[END_REF].

Base d'histogrammes réguliers

Base de splines Des bases souvent utilisées pour l'approximation de fonctions sont les bases de splines [START_REF] Devore | Constructive approximation[END_REF]. Un estimateur par projection dans ces bases est une fonction polynomiale par morceaux avec des recollements réguliers (de classe C k selon le degré des polynômes). Cependant, ces bases ne sont pas orthonormées. Toutefois, il est possible de les utiliser pour faire de l'estimation par projection, modulo quelques précautions techniques.

Remarque 1.2.1. À partir d'une base orthonormée de L 2 ([0, 1]), on construit une base orthonormée de L 2 ([a, b]) via le changement de variable x → (ba)x + a.

Les deux bases que nous utiliserons dans cette thèse sont construites à partir de familles de polynômes orthogonaux : les polynômes de Laguerre et les polynômes d'Hermite. Elles ont la particularité d'être à support sur R (Hermite) et R + (Laguerre), c'est-à-dire des domaines non compacts. L'avantage d'utiliser des bases à support non compact est d'éviter le problème du choix du support. En effet, quand ce dernier est un compact, il est supposé fixé à priori dans l'analyse théorique alors qu'en pratique, il est déterminé grâce aux données.

Ces dernières années, ces bases ont été utilisées pour résoudre de nombreux problèmes statistiques en raison de leurs bonnes propriétés mathématiques, voir le chapitre 22 de [START_REF] Bibliographie | Handbook of Mathematical Functions : with Formulas, Graphs, and Mathematical Tables[END_REF] et l'annexe A pour ce qui concerne les fonctions de Laguerre. La base de Laguerre est utilisée par Comte et al. (2017), [START_REF] Vareschi | Noisy Laplace deconvolution with error in the operator[END_REF] et [START_REF] Mabon | Adaptive Deconvolution on the Non-negative Real Line : Adaptive deconvolution on R +[END_REF] pour résoudre des problèmes de déconvolution sur R + , ainsi que par [START_REF] Belomestny | Nonparametric Laguerre estimation in the multiplicative censoring model[END_REF] pour l'estimation d'une densité dans le modèle de censure multiplicative. La base d'Hermite est utilisée par [START_REF] Belomestny | CATALOT : Sobolev-Hermite versus Sobolev nonparametric density estimation on R[END_REF] pour l'estimation de densité et par [START_REF] Sacko | Hermite density deconvolution[END_REF] pour la déconvolution d'une densité sur R. Citons également les travaux de Comte et al. (2020) concernant l'estimation des dérivées d'une densité à l'aide de ces deux bases et ceux de Comte & Genon-Catalot (2020a) en régression non paramétrique.

Base de Laguerre On définit les fonctions de Laguerre sur R + par :

ϕ k (x) := 2 L k (2x) e -x , L k (x) := k j =0 k j (-x) j j ! .
(1.4)

Ces fonctions forment une base orthonormée de L 2 (R + ). Les polynômes (L k ) k≥0 sont appelés les polynômes de Laguerre. Cette base sera utilisée aux chapitres 2 et 3. Pour une présentation détaillée de ces fonctions et de leurs propriétés, on pourra consulter l'annexe A.

Base d'Hermite

On définit les fonctions d'Hermite sur R par :

ϕ k (x) := c k H k (x) e -x 2 2 , H k (x) := (-1) k e x 2 d k dx k e -x 2 , c k := 2 k k! π -1/2 .
Les fonctions (ϕ k ) k∈N forment une base orthonormée de L 2 (R). Les polynômes (H k ) k≥0 sont appelés les polynômes d'Hermite. Nous utiliserons cette base au chapitre 4.

Calcul hypermatriciel

Pour des fonctions d'une seule variable, le choix d'une base orthonormée fournit une isométrie entre les fonctions f ∈ L 2 (A, ν) et leurs coefficients (a k ) k∈N ∈ ℓ 2 (N).

Le sous-espace S m est alors lui-même isométrique à l'espace des vecteurs de longueur m. L'intérêt de cette isométrie est qu'elle permet de remplacer certaines opérations sur les fonctions de S m par du calcul matriciel sur des vecteurs de R m . Dans le cas des fonctions de d variables, leurs coefficients dépendent de d indices et sont donc des éléments de ℓ 2 (N d ). Une fonction de S m est alors représentée par un tableau à d dimensions contenant ses coefficients. Nous aurons donc besoin d'un analogue du calcul matriciel pour ces tableaux de dimension supérieure.

Les notions concernant les hypermatrices définies dans cette section sont inspirées du chapitre 15 de Hogben (2013).

Multi-indices

On appelle multi-indice un élément de N d ou N d + . On note 0 le multi-indice (0, . . . , 0) et 1 le multi-indice (1, . . . , 1), leur longueur dépendant du contexte. On définit un ordre partiel sur les multi-indices en les comparant coordonnée par coordonnée :

∀k, ℓ ∈ N d , k ≤ ℓ ⇐⇒ ∀i ∈ {1, . . . , d }, k i ≤ ℓ i .
Avec ces notations, l'équation (1.2) peut se réécrire : Enfin, on note |k|

S m := Vect ϕ k : 0 ≤ k ≤ m -
:= k 1 + • • • + k d la longueur d'un multi-indice.
Concernant les vecteurs de R d ou C d , l'addition et la multiplication par un scalaire sont définies terme à terme comme il est usuel. Nous définissons également la multiplication et la division terme à terme :

x × y := (x 1 × y 1 , . . . , x d × y d ), x y := x 1 y 1 , . . . , x d y d ,
la division par y n'étant bien définie que si toutes les coordonnées de y sont non nulles. Le produit scalaire sera généralement noté par un crochet 〈

•, •〉 R d (respec- tivement 〈•, •〉 C d )
, ou par un point médian dans certains calculs :

x • y := d i =1 x i y i dans le cas de R d , d i =1 x i y i cans le cas de C d .
Enfin, si k ∈ N d est un multi-indice et x ∈ C d est un vecteur, x k désigne le multinôme :

x k := x k 1 1 • • • x k d d .
Ces notations permettent d'écrire de façon compacte les calculs en dimension supérieure et seront très utilisées dans le chapitre 2. Par exemple, la formule du binôme de Newton s'étend aux vecteurs et s'écrit comme en dimension 1.

Proposition 1.3.1 (Formule multi-binomiale). Pour tout k ∈ N d et tous x, y ∈ C d , on a la formule :

(x + y) k = 0≤ j ≤k k j x j y k-j , où k j := k 1 j 1 × • • • × k d j d .

Hypermatrices

On appelle hypermatrice un tableau de nombres multidimensionnel.

Soit m = (m 1 , . . . , m d ) ∈ N d + un multi-indice, on note R m := R m 1 ו••×m d l'ensemble des hy- permatrices ayant m i composantes suivant la i -ème dimension. Un élément a de R m s'écrit donc : a = a k 1 ,...,k d ∀i , 0≤k i ≤m i -1 = a k 0≤k≤m-1 ,
et on dit que a est une hypermatrice de forme m. Un vecteur colonne et une matrice peuvent être vus comme des hypermatrices à respectivement 1 et 2 dimensions.

Remarque 1.3.2. On choisit d'indicer les vecteurs, matrices et hypermatrices en partant de 0. En effet, comme on utilise des bases construites à partir de polynômes orthogonaux, celles-ci sont naturellement ordonnées suivant le degré des polynômes, en commençant par un polynôme constant. Il est donc plus simple que les coefficients d'une fonction dans ces bases soient indicés à partir de 0.

Parfois, le multi-indice d'une hypermatrice peut se scinder en deux multiindices qui jouent des rôles différents. On introduit pour cela une nouvelle notation : si m

∈ N d + et m ′ ∈ N d ′ + sont deux multi-indices, on note R m ′ ×m l'espace des hypermatrices de forme (m ′ 1 × • • • × m ′ d ′ ) × (m 1 × • • • × m d ). Une hypermatrice T ∈ R m ′ ×m s'écrit : T = T j ,k 0≤ j ≤m ′ -1 0≤k≤m-1
.

Opérations sur les hypermatrices

L'espace R m est muni d'une structure d'espace vectoriel euclidien en définissant la multiplication par un scalaire et l'addition composante par composante :

a + b k := a k + b k , λa k := λa k , et le produit scalaire et la norme par : 〈a, b〉 R m := k≤m-1 a k b k , ∥a∥ 2 R m := k≤m-1 a 2 k .
Le produit matriciel est généralisé par la notion de produit contracté.

Definition 1.3.3 (Produit contracté). Soit p ∈ N + , soient m, m ′ , m ′′ des multi- indices avec m ′ ∈ N p + et soient T ∈ R m×m ′ et S ∈ R m ′ ×m ′′ deux hypermatrices. On définit leur p-produit contracté comme l'hypermatrice T × p S ∈ R m×m ′′ suivante : ∀ j , ∀ℓ, T × p S j ,ℓ := k=(k 1 ,...,k p ) T j ,k S k,ℓ .
(1.5)

Le produit matriciel correspond au cas p = 1. Comme pour ce dernier, il est facile de voir que le produit contracté par une hypermatrice donnée est une application linéaire. Si

T ∈ R m ′ ×m avec m ∈ N d + et m ′ ∈ N d ′ +
, alors T induit une application linéaire de R m dans R m ′ , que l'on note encore T :

T : a ∈ R m -→ T × d a ∈ R m ′ .
En particulier, R m×m s'identifie avec les endomorphismes de R m . Ainsi, si T est une hypermatrice m × m, on parlera de sa trace, de ses valeurs propres, de son inverse (si elle est inversible), etc, comme on le ferait pour n'importe quel endomorphisme d'un espace vectoriel. En particulier, si on définit la norme d'opérateur et la norme de Frobenius de T comme :

∥T∥ 2 F := j ,k T 2 j ,k , ∥T∥ op := sup a∈R m \{0} ∥T × d a∥ R m ∥a∥ R m ,
alors on a :

∥T∥ 2 F = Tr T * × d T , ∥T∥ 2 op = λ max T * × d T ,
où T * est l'adjoint de T pour le produit scalaire 〈•, •〉 R m . Il n'est pas compliqué de voir que T * est l'hypermatrice définie par :

T * j ,k := T k, j .
On rappelle les inégalités suivantes concernant les normes d'opérateur et de Frobenius d'un endomorphisme :

1 dim(R m ) ∥T∥ 2 F ≤ ∥T∥ 2 op ≤ ∥T∥ 2 F .
(1.6)

Estimation adaptative

Comme on l'a vu dans en section 1.2, les estimateurs par projection dépendent d'un hyperparamètre m qui détermine le nombre de coefficients que l'on choisit d'estimer. Le choix de m est crucial pour obtenir un estimateur performant de f et nécessite une procédure spécifique.

Décomposition biais-variance et oracle

Pour chaque m, on commence par étudier le risque de l'estimateur f m . Pour cela, on applique le théorème de Pythagore en utilisant le fait que ff m est orthogonal à f mf m et on obtient la décomposition :

E∥ f -f m ∥ 2 = ∥ f -f m ∥ 2 + E∥ f m -f m ∥ 2 , (1.7) = inf t ∈S m ∥ f -t ∥ 2 + k≤m-1 E ( a k -a k ) 2 .
(1.8)

m o := arg min m ∥ f -f m ∥ 2 + E∥ f m -f m ∥ 2 , R o = inf m R( f , f m ).
En pratique, l'oracle n'est pas accessible car sa valeur dépend de la fonction inconnue f . La quantité f m o est qualifiée de pseudo-estimateur ou estimateur oracle. Son risque représente le meilleur risque qu'on puisse espérer obtenir avec un estimateur par projection f m , si un « oracle » connaissant f nous donnait le m optimal.

Exemple 1.3 (Estimation de densité). On poursuit l'exemple 1.2. Analysons le terme de variance dans la décomposition (1.8). Les coefficients sont estimés par (1.3) donc on a E[ a k ] = a k . Le terme de variance s'écrit donc :

k≤m-1 E ( a k -a k ) 2 = k≤m-1 Var( a k ) = 1 n k≤m-1 Var ϕ k (X 1 ) ≤ 1 n k≤m-1 E ϕ k (X 1 ) 2 .
(1.9)

Si on introduit la quantité1 :

L(m) := sup x∈A k≤m-1 ϕ k (x) 2 = d i =1 sup x i ∈A i m i -1 k i =0 ϕ i k i (x i ) 2 ,
(1.10) alors le terme de variance est majoré par L(m) n et le risque est majoré par :

E∥ f -f m ∥ 2 L 2 ≤ ∥ f -f m ∥ 2 L 2 + L(m) n .
Dans la suite de cet exemple, on se place en dimension d = 1. Supposons que A = [0, 1] et que l'on utilise la base trigonométrique, alors on a :

L(2p) ≤ L(2p + 1) = 1 + 2 sup x∈[0,1] p k=1 cos 2 (2πkx) + sin 2 (2πkx) = 2p + 1,
donc on a la majoration L(m) ≤ m. Ainsi, le terme de variance est majoré par m n . Concernant le terme de biais, sa décroissance est liée la régularité de f . En effet, le biais est donné par le reste de la série des coefficients de f :

∥ f -f m ∥ 2 L 2 = +∞ k=m a 2 k ,
or on sait que la vitesse de décroissance des coefficients de Fourier d'une fonction traduit sa régularité. Plus précisément, en supposant que f appartienne à une boule de Sobolev :

H β [0, 1], R := f ∈ L 2 [0, 1] +∞ j =2 a 2 2 j + a 2 2 j +1 × (2 j ) 2β ≤ R 2 π 2β ,
alors le terme de biais décroit à vitesse m -2β . Lorsque β est un entier strictement positif, ces espaces peuvent être caractérisés en termes de la régularité de f :

∀β ∈ N + , f ∈ H β [0, 1], R ⇐⇒          f (0) = f (1), f est β -1 fois dérivable, f (β-1) est absolument continue, ∥ f (β) ∥ L 2 ≤ R,
voir la proposition 1.14 de Tsybakov (2009). Ainsi, si f ∈ H β [0, 1], R , la décomposition biais-variance devient : .11) En minimisant le membre de droite, on déduit le modèle oracle et une borne sur le risque oracle :

E∥ f -f m ∥ 2 L 2 ≤ C (β, R) m -2β + m n . ( 1
m o = 2βC (β, R) 1 2β+1 n 1 2β+1 , R o ≤ C ′ (β, R) n - 2β 2β+1 .
La vitesse n -2β 2β+1 est donc la vitesse d'estimation de f m o sur les boules de Sobolev de régularité β (cf. définition 1.1.1) et est connue pour être optimale au sens minimax, voir [START_REF] Efromovich | Nonparametric Estimation of a Density of Unknown Smoothness[END_REF]. Cette vitesse est d'autant meilleure que β est grand et s'approche de la vitesse n -1 lorsque β → ∞, sans jamais l'atteindre. La vitesse n -1 est la vitesse que l'on trouve classiquement dans de nombreux problèmes d'estimation paramétrique. Ainsi, pour une même valeur fixée de risque, l'estimation non paramétrique requiert un nombre plus grand d'observations que l'estimation paramétrique.

De façon générale, la décroissance du terme de biais est d'autant plus rapide que f est une fonction « régulière », en un sens qui dépend de la base utilisée : à chaque base correspond un espace de régularité. Pour la base trigonométrique, ce sont les espace de Sobolev comme on l'a vu dans l'exemple précédent. Pour les bases de Laguerre et d'Hermite, ce sont les espaces de Sobolev-Laguerre et de Sobolev-Hermite, voir [START_REF] Bongioanni | Sobolev spaces associated to the harmonic oscillator[END_REF], 2009). Concernant les espaces de Sobolev-Laguerre, leur définition à partir des coefficients de Laguerre des fonctions est due à Comte & Genon-Catalot (2015).

Definition 1.4.1. Soient s > 0 et L > 0, les boules de Sobolev-Laguerre et de Sobolev-Hermite de régularité s et de rayon L sont définies par :

W s (A, L) := f ∈ L 2 (A) +∞ k=0 〈 f , ϕ k 〉 2 k s ≤ L , où (ϕ k ) k∈N est la base de Laguerre si A = R + et la base d'Hermite si A = R. Les es- paces de Sobolev-Laguerre et de Sobolev-Hermite sont définis comme W s (A) := L>0 W s (A, L). L'indice s est lié à la dérivabilité des fonctions de W s (A). En effet lorsque s ∈ N + , Comte & Genon-Catalot (2015) montrent que f appartient à W s (R + ) si et seule- ment si : 1. f est s -1 fois dérivable et f (s-1) est absolument continue ; 2. pour tout k ∈ {0, . . . , s -1}, x k+1 2 k+1 j =0 k+1 j f ( j ) ∈ L 2 (R + ).
Pour les espaces de Sobolev-Hermite, il découle des travaux de [START_REF] Bongioanni | Sobolev spaces associated to the harmonic oscillator[END_REF] (cf. la proposition 4 de [START_REF] Belomestny | CATALOT : Sobolev-Hermite versus Sobolev nonparametric density estimation on R[END_REF]) que f appartient à W s (R) si et seulement si :

1. f est s fois dérivable, 2. f , f ′ , . . . , f (s) ∈ L 2 (R) et pour tout j ∈ {0, . . . , s -1} x s-j f ( j ) ∈ L 2 (R).
Lorsque f ∈ W s (A, L), son biais en base de Laguerre ou en base d'Hermite est majoré par L × m -s . À noter la différence avec les espaces de Sobolev sur [0, 1] et la base trigonométrique, où la vitesse de décroissance du biais est m -2β avec β la régularité de la fonction.

Remarque 1.4.2. Quand on utilise la base de Laguerre ou la base d'Hermite, la quantité L(m) définie par (1.10) est majorée par Φ×m où Φ est une constante qui dépend de la base2 (pour la base de Laguerre, la constante optimale est Φ = 2), ce qui donne un terme de variance d'ordre m/n comme pour la base trigonométrique. En réalité, on peut obtenir une meilleure borne si on évite la majoration uniforme de m-1 k=0 ϕ k (X 1 ) 2 dans (1.9). En effet, Comte & Genon-Catalot (2018) montrent que si les X i admettent un moment d'ordre -1/2 (cas Laguerre) ou d'ordre 2/3 (cas Hermite), alors :

E∥ f m -f m ∥ 2 L 2 ≤ 1 n m-1 k=0 E ϕ k (X 1 ) 2 ≤ C m n , où C > 0 est une constante qui dépend de E[X -1/2 1 ] (cas Laguerre) ou de E[|X 1 | 2/3
] (cas Hermite). La majoration du risque sur les espaces de Sobolev-Laguerre ou Sobolev-Hermite est alors donnée par :

sup f ∈W s (A,L) E∥ f -f m ∥ 2 L 2 ≤ C (s, L)m -s +C ′ m n .
Cette majoration ressemble à celle obtenue avec la base trigonométrique (1.11), en remplaçant « m » par « m ». Ainsi, la vitesse d'estimation sur les boules de Sobolev-Laguerre ou Sobolev-Hermite est n -2s/(2s+1) avec s est la régularité de f , c'est-à-dire la même que vitesse que celle obtenue sur les boules de Sobolev lorsque A = [0, 1].

Comme vu dans l'exemple précédent, le modèle oracle dépend de la régularité de la fonction inconnue f et n'est donc pas accessible en pratique. Notre objectif dans la suite est de choisir m dans une collection M n uniquement à partir des observations tel que le risque de f m soit (presque) aussi bon que le risque oracle pour une large classe de fonctions.

Definition 1.4.3 (Inégalité oracle). Soit F une collection de fonctions et soit M n une collection de modèles. On dit que f m est adaptatif sur F relativement à l'oracle sur M n s'il satisfait une inégalité de la forme suivante :

∀ f ∈ F , R( f , f m ) ≤ C inf m∈M n R( f , f m ) + R n ,
où C est une constante absolue et R n est un terme de reste négligeable.

En général, le terme de reste est d'ordre 1 n ou (log n) δ n avec δ > 0, là où le terme principal est d'ordre n -α avec α ∈ ]0, 1[ qui dépend de la régularité de f . Autrement dit, le risque de l'estimateur f m est le même que le risque oracle (à une constante multiplicative et un reste négligeable près) : l'estimateur adapte automatiquement son nombre de coefficients à la régularité de f .

Sélection de modèle par pénalisation

Puisque le modèle oracle minimise le risque parmi les modèles de M n , une approche naïve serait de choisir le modèle m ∈ M n qui minimise le risque empirique

γ n ( f m ). Cependant, on peut remarquer que si m ≤ m ′ (c'est-à-dire si S m ⊆ S m ′ ) alors f m est un élément de S m ′ , donc γ n ( f m ′ ) ≤ γ n ( f m )
par définition de l'estimateur. Cette approche naïve va donc systématiquement sélectionner un modèle de grande dimension. En faisant l'hypothèse que les modèles sont emboités ou qu'il existe un modèle englobant, on se retrouve à choisir le modèle de dimension maximale. D'où l'idée de pénaliser les modèles en fonction de leur dimension.

La sélection de modèle par pénalisation consiste à choisir le modèle de M n qui minimise le critère :

m := arg min m∈M n γ n ( f m ) + pen(m) ,
(1.12) où pen : M n → R + est un terme de pénalité. Pour les estimateurs par projection, cette pénalité est typiquement choisie de l'ordre du terme de variance, mais peut être plus lourde si M n compte de nombreux modèles de même dimension (cf. le théorème 1 de [START_REF] Barron | Risk bounds for model selection via penalization[END_REF] et l'exemple qui suit). L'idée de sélectionner un modèle via l'optimisation d'un critère pénalisé par la complexité du modèle remonte aux travaux de [START_REF] Akaike | Information Theory and an Extension of the Maximum Likelihood Principle[END_REF] (critère AIC) et de [START_REF] Mallows | Some Comments on C p[END_REF] (C p de Mallows). Citons également le critère BIC de Schwarz (1978).

• En estimation de densité, le critère AIC (Akaike Information Criterion) sélectionne le modèle qui maximise la log-vraisemblance pénalisée par la dimension du modèle, ce qui revient à (1.12) avec :

γ n (t ) = - 1 n n i =1 log t (X i ), pen(m) = D m n .
• Le critère BIC (Bayesian Information Criterion) est similaire au critère AIC mais avec une pénalité plus lourde faisant intervenir le log du nombre d'observations :

γ n (t ) = - 1 n n i =1 log t (X i ), pen(m) = D m log n 2n .
• En régression (linéaire), le C p de Mallows est un critère des moindres carrés pénalisé par 2σ 2 D m n , c'est-à-dire (1.12) avec :

γ n (t ) = 1 n n i =1 Y i -t (X i ) 2 , pen(m) = 2σ 2 D m n .
Ces trois critère reposent sur des justifications asymptotiques (théorème de Wilks pour AIC, approximation de Laplace pour BIC) et supposent donc une collection de modèles fixée qui ne dépend pas de n. L'étude non asymptotique de la sélection de modèle par pénalisation a été développée par [START_REF] Birgé | Rates of convergence for minimum contrast estimators[END_REF][START_REF] Ledoux | On Talagrand's deviation inequalities for product measures[END_REF] et [START_REF] Barron | Risk bounds for model selection via penalization[END_REF], et s'appuie sur l'utilisation d'inégalités de concentration. On pourra se référer au cours de [START_REF] Massart | Concentration Inequalities and Model Selection : École d'Été de Pro[END_REF] à l'école d'été de Saint-Flour pour une présentation approfondie de la question.

Exemple 1.4 (Estimation d'une densité). On poursuit l'exemple 1.3. On considère la collection de modèles

M n := {m ∈ N d + | D m ≤ n}.
Dans le cas de l'estimation de densité, le risque empirique s'écrit :

γ n ( f m ) = ∥ f m ∥ 2 L 2 - 2 n n i =1 f m (X i ) = ∥ f m ∥ 2 L 2 - 2 n n i =1 k≤m-1 a k ϕ k (X i ) = ∥ f m ∥ 2 L 2 -2 k≤m-1 a 2 k = ∥ f m ∥ 2 L 2 -2∥ f m ∥ 2 L 2 = -∥ f m ∥ 2 L 2 .
Cette écriture offre une autre interprétation du critère (1.12). En remarquant que le terme de biais s'écrit

∥ f -f m ∥ 2 L 2 = ∥ f ∥ 2 L 2 -∥ f m ∥ 2
L 2 par le théorème de Pythagore, le modèle oracle vérifie :

m o = arg min m∈M n ∥ f -f m ∥ 2 L 2 + E∥ f m -f m ∥ 2 L 2 = arg min m∈M n -∥ f m ∥ 2 L 2 + E∥ f m -f m ∥ 2 L 2 ,
puisque le terme ∥ f ∥ 2 L 2 ne dépend pas de m. Le critère (1.12) s'écrit quant à lui :

m := arg min m∈M n -∥ f m ∥ 2 L 2 + pen(m) . Autrement dit, on a estimé ∥ f m ∥ 2 L 2 par ∥ f m ∥ 2 L 2 et
γ n ( f m ) + pen( m) ≤ γ n ( f m ) + pen(m) (par définition de m) ≤ γ n ( f m ) + pen(m). (par définition de f m ) (1.13)
Pour tout t ∈ L 2 (A), on écrit le contraste en faisant apparaître la perte L 2 :

γ n (t ) = ∥t -f ∥ 2 L 2 - 2 n n i =1 t (X i ) -〈t , f 〉 L 2 -∥ f ∥ 2 L 2 .
Introduisons ν n le processus empirique défini pour tout t ∈ L 2 (A) par :

ν n (t ) = 1 n n i =1 t (X i ) -〈t , f 〉 L 2 , (1.14)
alors (1.13) se réécrit :

∥ f -f m ∥ 2 L 2 ≤ ∥ f -f m ∥ 2 L 2 + pen(m) + 2ν n f m -f m -pen( m).
(1.15)

En utilisant la linéarité de t → ν n (t ) et l'inégalité 2ab ≤ 1 2 a 2 + 2b 2 valable pour tous a, b positifs, on a :

2ν n f m -f m = 2∥ f m -f m ∥ L 2 ν n f m -f m ∥ f m -f m ∥ L 2 = 2∥ f m -f ∥ L 2 ν n f m -f m ∥ f m -f m ∥ L 2 + 2∥ f -f m ∥ L 2 ν n f m -f m ∥ f m -f m ∥ L 2 ≤ 1 2 ∥ f m -f m ∥ 2 L 2 + 1 2 ∥ f -f m ∥ 2 L 2 + 4ν 2 n f m -f m ∥ f m -f m ∥ L 2 ≤ 1 2 ∥ f m -f m ∥ 2 L 2 + 1 2 ∥ f -f m ∥ 2 L 2 + 4 sup t ∈B(m, m) ν 2 n (t ) , où B(m, m ′ ) est défini comme : B(m, m ′ ) := t ∈ S m + S m ′ ∥t ∥ L 2 = 1 .
En injectant l'inégalité précédente dans (1.15), on obtient :

1 2 ∥ f -f m ∥ 2 L 2 ≤ 3 2 ∥ f -f m ∥ 2 L 2 + pen(m) + 4 sup t ∈B(m, m) ν 2 n (t ) -pen( m). Posons p(m, m ′ ) := κ 4 Φ D m +D m ′ n = pen(m)+pen(m ′ ) 4
, alors :

1 2 ∥ f -f m ∥ 2 L 2 ≤ 3 2 ∥ f -f m ∥ 2 L 2 + 2 pen(m) + 4 sup t ∈B(m, m) ν 2 n (t ) -p(m, m) ≤ 3 2 ∥ f -f m ∥ 2 L 2 + 2 pen(m) + 4 m ′ ∈M n sup t ∈B(m,m ′ ) ν 2 n (t ) -p(m, m ′ ) + .
En prenant l'espérance, on obtient :

E∥ f -f m ∥ 2 L 2 ≤ 4 ∥ f -f m ∥ 2 L 2 + pen(m) + 8 R n ,
où le terme de reste R n est donné par :

R n := m ′ ∈M n E sup t ∈B(m,m ′ ) ν 2 n (t ) -p(m, m ′ ) + .
(1.16)

En utilisant des inégalités de concentration sur les suprema de processus empiriques comme l'inégalité de Talagrand (théorème 1.4.8), on montre qu'il existe une constante κ 0 > 0 (κ 0 = 16 convient dans ce cas) telle que si κ > κ 0 alors R n ≤ C n -1 , ce qui montre que f m vérifie une inégalité oracle (voir l'exemple 1.6).

pen(m) := κ V n (m) n , V n (m) := 1 n n i =1 k≤m-1 ϕ k (X i ) 2 .
C'est ce qui est fait par [START_REF] Belomestny | CATALOT : Sobolev-Hermite versus Sobolev nonparametric density estimation on R[END_REF]) et Comte & Genon-Catalot (2018) en dimension 1. Ces articles établissent une inégalité oracle sur la collection de modèles

M n := m ∈ N + m ≤ (n/ log n) α avec α = 1 dans le cas Laguerre et α = 6 5
dans le cas Hermite.

Dans le cas de l'estimation d'une densité, la pénalité est choisie de la forme pen(m) = κ E∥ f mf m ∥ 2 et l'inégalité oracle est valable si κ > κ 0 pour κ 0 une constante absolue. La valeur de κ 0 trouvée par la théorie est trop grande en pratique, il faut donc avoir recours à d'autres méthodes pour calibrer la pénalité.

Pour résoudre la question de la calibration de la pénalité à partir des données, [START_REF] Birgé | Minimal Penalties for Gaussian Model Selection[END_REF] ont introduit les notions de pénalités minimales et pénalités optimales. Les auteurs démontrent dans le cadre du modèle de bruit blanc gaussien que pour une pénalité connue à une constante multiplicative près, il existe un phénomène de pénalité minimale : si pen(m) = κ pen min (m) avec κ < 1, la dimension du modèle sélectionné est proche de celle des modèle de plus grande dimension tandis que si κ > 1, l'estimateur vérifie une inégalité oracle. Ils démontrent également que le choix κ = 2 donne lieu à une pénalité optimale en un certain sens. Ils proposent alors une méthode heuristique, appelée heuristique de pente, pour déterminer la forme de pénalité minimale à partir des données, puis en déduire la pénalité optimale. Ces résultats ont ensuite été étendus par Arlot & Massart (2009) dans un modèle de régression hétéroscédastique random design non gaussien.

Une autre heuristique basée sur ce phénomène d'explosion de la dimension sélectionnée est l'heuristique des sauts de dimension. L'idée est de calculer la dimension sélectionnée en fonction de κ. La fonction obtenue est décroissante et constante par morceaux. On choisit alors κ min comme la valeur de κ correspondant au plus grand saut de dimension ou au premier saut de taille supérieure à un seuil. La valeur de κ finalement retenue est 2 × κ min . C'est cette heuristique que nous utiliserons.

L'heuristique de pente et l'heuristique des sauts de dimension ont été implémentées dans le package CAPUSHE développé par [START_REF] Baudry | Slope heuristics : overview and implementation[END_REF].

Méthode de Goldenshluger et Lepski

Une deuxième façon de sélectionner m est la méthode dite « de Goldenshluger et Lepski ». Cette méthode est issue des travaux de Goldenshluger & Lepski (2008, 2009[START_REF] Shimizu | Estimation of the expected discounted penalty function for Lévy insurance risks[END_REF] et a été développée pour faire de la sélection de fenêtre pour les estimateurs à noyau. Elle a ensuite été adaptée pour faire de la sélection de modèle par Chagny (2013b,c) dans des contextes d'estimation d'une fonction de régression et d'une densité conditionnelle. Dans ces deux articles, la fonction estimée ne dépend que d'une ou deux variables. Dans cette section, nous expliquons le principe général de cette méthode pour l'estimation par projection d'une fonction de d variables.

Les avantages de cette méthode sont ses bonnes propriétés théoriques et sa généralité. En effet, la seule hypothèse de la méthode concerne la collection de modèles : il faut que celle-ci soit stable par minimum.

Hypothèse 1.1 (min-stabilité). Pour tous m, m

′ ∈ M n , on a m ∧ m ′ ∈ M n . Remarque 1.4.5. Cette hypothèse revient à dire que {S m : m ∈ M n } est stable par intersection. Soit V (m) une fonction croissante 3 sur N d + telle que E∥ f m -f m ∥ 2 ≤ V (m)
. La décomposition biais-variance (1.7) prend donc la forme :

E∥ f -f m ∥ 2 ≤ ∥ f -f m ∥ 2 + V (m).
3 croissante pour l'ordre partiel sur N d + , c'est-à-dire coordonnée par coordonnée.

La méthode de Goldenshluger et Lepski diffère de la sélection de modèle dans la façon d'estimer le biais : avec cette méthode, le biais est estimé en comparant les estimateurs deux à deux. Une heuristique qui guide la construction de l'estimateur est la suivante. Le terme de biais s'écrit :

∥ f -f m ∥ 2 = ∥ f -Π m ( f )∥ 2 ,
où Π m désigne le projecteur orthogonal sur S m . On approche f par sa projection sur S m ′ pour m ′ un modèle de M n :

∥ f -Π m ( f )∥ 2 ≈ ∥ f m ′ -Π m ( f m ′ )∥ 2 = ∥ f m ′ -f m∧m ′ ∥ 2 , puisque Π m • Π m ′ est le projecteur sur S m ∩ S m ′ = S m∧m ′ .
Cette dernière quantité est estimée en remplaçant les projections par leurs estimateurs. Cependant, on introduit ainsi de l'aléatoire qui nécessite une correction. Cette correction s'effectue en retranchant le terme de variance de f m ′ (le terme de variance de f m∧m ′ étant majoré par celui de f m ′ ) :

∥ f m ′ -f m∧m ′ ∥ 2 -κ 1 V (m ′ ) + , (1.17)
la partie positive nous assurant que le résultat reste positif (le biais est positif) et où κ 1 est une constante positive à ajuster. Finalement, le choix de m ′ est arbitraire, donc on calcule (1.17) pour tout m ′ ∈ M n et on prend le maximum :

A(m) := max m ′ ∈M n ∥ f m ′ -f m∧m ′ ∥ 2 -κ 1 V (m ′ ) + .
(1.18)

Cette heuristique est justifié par le lemme 1.4.6 ci-dessous dans lequel on montre que :

A(m) ≤ C ∥ f -f m ∥ 2 + R n , avec C = 3 et
∥ f -f m ∥ 2 ≤ C ∥ f -f m ∥ 2 +C ′ ∥ f m -f m ∥ 2 + (κ 1 + κ 2 )V (m) +C ′′ R n , avec : R n := max m ′ ∈M n ∥ f m ′ -f m ′ ∥ 2 - κ 1 6 V (m ′ ) + .
(1.20)

Si on prend l'espérance dans l'inégalité du lemme précédent, on obtient une inégalité de forme :

E∥ f -f m ∥ 2 ≤ C (κ 1 , κ 2 ) inf m∈M n ∥ f -f m ∥ 2 + V (m) +C ′ E[R n ].
Pour obtenir une inégalité oracle pour f m , il faut majorer l'espérance du terme de reste (1.20). En majorant le maximum par la somme sur tous les termes, on obtient :

E[R n ] ≤ m∈M n E ∥ f m -f m ∥ 2 - κ 1 6 V (m) + .
Puisque V (m) est un majorant du terme de variance, on voit que le problème revient à étudier les déviations de ∥ f mf m ∥ 2 à droite de son espérance, pour tous les modèle de M n . En utilisant des résultats de concentration de la mesure dépendant du problème (estimation d'une densité, d'une régression, etc), on démontre qu'il existe une constant absolue κ 0 > 0 telle que pour tous

κ 2 ≥ κ 1 > κ 0 , E[R n ] soit majoré par un terme d'ordre n -1 ou n -1 (log n) δ .
Exemple 1.5 (Estimation d'une densité). Le terme de variance est majoré par V (m) := Φ D m n . Pour étudier le terme de reste (1.20), on écrit :

∥ f m -f m ∥ 2 L 2 = k≤m-1 a k -a k 2 = k≤m-1 ν 2 n (ϕ k ),
où ν n est le processus empirique défini par (1.14). Soit t = k≤m-1 a k ϕ k un élément de S m . Par l'inégalité de Cauchy-Schwarz, on a :

ν n (t ) 2 = k≤m-1 a k ν n (ϕ k ) 2 ≤ k≤m-1 a 2 k k≤m-1 ν n (ϕ k ) 2 = ∥t ∥ 2 L 2 k≤m-1 ν n (ϕ k ) 2 ,
avec égalité si les a k sont proportionnels aux ν n (ϕ k ). Ainsi, on a :

∥ f m -f m ∥ 2 L 2 = k≤m-1 ν 2 n (ϕ k ) = sup t ∈S m ∥t ∥ L 2 =1 ν 2 n (t ).
Comme pour la sélection de modèle par pénalisation, la majoration du reste passe par l'étude des déviations du supremum du processus empirique ν n .

En pratique, comme pour la sélection de modèle par pénalisation, la valeur de κ 0 obtenue par la théorie est trop grande et les constantes κ 1 et κ 2 doivent être calibrée numériquement. Le fait que deux constantes ayant des rôles différents doivent être calibrées simultanément rend cette tâche compliquée en pratique. Dans le cas de la méthode de Goldenshluger & Lepski (2011) pour la sélection de fenêtre d'un estimateur à noyau d'une densité, [START_REF] Lacour | Minimal penalty for Goldenshluger-Lepski method[END_REF] montre que si on prend κ 1 = κ 2 =: a et V la variance intégrée de l'estimateur à noyau, alors il existe une valeur critique a 0 (qui vaut 1 dans leur cas) telle que pour a > a 0 , l'estimateur est adaptatif et pour a < a 0 , le risque ne converge pas vers 0. Ils proposent donc d'utiliser un analogue de la méthode des sauts de dimension pour déterminer la valeur de a. Finalement, ils choisissent κ 1 = a et κ 2 = 2a, l'utilisation de constantes différentes semblant donner de meilleurs résultats.

La méthode de Goldenshluger et Lepski sera utilisée dans le chapitre 2. Le reste de cette section est consacré à la démonstration du lemme 1.4.6.

Démonstration du lemme 1.4.6. Soit m ∈ M n , on a par inégalité triangulaire :

∥ f m -f ∥ 2 ≤ 3∥ f m -f m∧ m ∥ 2 + 3∥ f m∧ m -f m ∥ 2 + 3∥ f m -f ∥ 2 .
Par définition de A(m) et m, et puisque l'on a κ 1 ≤ κ 2 , les deux premiers termes sont majorés par :

∥ f m -f m∧ m ∥ 2 + ∥ f m∧ m -f m ∥ 2 ≤ A(m) + κ 1 V ( m) + A( m) + κ 1 V (m) ≤ 2A(m) + (κ 1 + κ 2 )V (m).
Ainsi, on obtient :

∥ f -f m ∥ 2 ≤ 6 A(m) + 3(κ 1 + κ 2 )V (m) + 3 ∥ f -f m ∥ 2 .
(1.21)

Il reste à montrer que A(m) est majoré par le terme de biais, plus un reste. Soit m ′ ∈ M n , on a :

∥ f m ′ -f m∧m ′ ∥ 2 ≤ 3∥ f m ′ -f m ′ ∥ 2 + 3∥ f m ′ -f m∧m ′ ∥ 2 + 3∥ f m∧m ′ -f m∧m ′ ∥ 2 .
Ainsi, on obtient la majoration :

A(m) ≤ 3 R n + R ′ n (m) + B n (m) , (1.22) où R n , R ′ n (m) et B n (m) sont donnés par : R n := max m ′ ∈M n ∥ f m ′ -f m ′ ∥ 2 - κ 1 6 V (m ′ ) + , R ′ n (m) := max m ′ ∈M n ∥ f m∧m ′ -f m∧m ′ ∥ 2 - κ 1 6 V (m ′ ) + , B n (m) := max m ′ ∈M n ∥ f m ′ -f m∧m ′ ∥ 2 . • Montrons que R ′ n (m) est borné par R n : R ′ n (m) ≤ max m ′ ∈M n ∥ f m∧m ′ -f m∧m ′ ∥ 2 - κ 1 6 V (m ∧ m ′ ) + (V croissante) ≤ max m ′′ ∈M n ∥ f m ′′ -f m ′′ ∥ 2 - κ 1 6 V (m ′′ ) + (hypothèse 1.1) = R n .
(1.23)

:= i | m i ≤ m ′ i qui sélectionne les coordonnées i pour lesquelles [m ∧ m ′ ] i = m i . Soit S m,m ′ le sous-espace fermé de L 2 (A, µ) : S m,m ′ := Vect ϕ j : j ∈ N p et ∀i ∈ I m,m ′ , j i ≤ m i -1 . Remarquons les relations S m ′ ∩S m,m ′ = S m∧m ′ et S m ⊆ S m,m ′ . On note Π m ′ le pro- jecteur sur S m ′ et Π m,m ′ celui sur S m,m ′ . On a : ∥ f m ′ -f m∧m ′ ∥ 2 = ∥Π m ′ ( f -Π m,m ′ f )∥ 2 (Π m ′ • Π m,m ′ = Π m∧m ′ ) ≤ ∥ f -Π m,m ′ f ∥ 2 (Π m ′ 1-Lipschitzienne) ≤ ∥ f -f m ∥ 2 . (S m ⊆ S m,m ′ ) (1.24) Cette majoration est valable pour tout m ′ , donc B n (m) ≤ ∥ f -f m ∥ 2 .
En utilisant les majorations (1.22), (1.23) et (1.24) dans l'inégalité (1.21), on obtient :

∥ f -f m ∥ 2 ≤ 18 ∥ f -f m ∥ 2 + 36 R n + 3(κ 1 + κ 2 )V (m) + 3 ∥ f -f m ∥ 2 .
On conclut en appliquant le théorème de Pythagore

à ∥ f -f m ∥ 2 : ∥ f -f m ∥ 2 ≤ 21 ∥ f -f m ∥ 2 + 3 ∥ f m -f m ∥ 2 + (κ 1 + κ 2 )V (m) + 36 R n .

Inégalités de concentration

Nous présentons ici quelques résultats techniques de concentration de la mesure que nous utiliserons au cours de la thèse.

Suprema de processus empiriques

Comme on l'a vu avec l'exemple de l'estimation d'une densité, que ce soit avec la méthode de contraste pénalisé ou celle de Goldenshluger et Lepski, établir une inégalité oracle nécessite de contrôler les déviations du supremum d'un processus empirique par rapport à sa moyenne. Nous utiliserons pour ce faire une inégalité de concentration de [START_REF] Klein | Concentration around the mean for maxima of empirical processes[END_REF] basée sur les résultats de Talagrand (1996) et [START_REF] Ledoux | On Talagrand's deviation inequalities for product measures[END_REF].

f i (ξ i )] = 0 pour toute f = ( f 1 , . . . , f n ) de F . On considère : Z := sup f ∈F n i =1 f i (ξ i ), V := sup f ∈F Var n i =n f i (ξ i ) .
Posons v := 2E[Z ] + V , alors on a pour tout x > 0 :

P Z ≥ E[Z ] + x ≤ exp - x 2 2v + x .
En intégrant l'inégalité du théorème précédent, il est possible d'obtenir une borne sur l'espérance des déviations de Z à droite de son espérance. C'est cette version que nous utiliserons dans les chapitres suivants. La démonstration du résultat qui suit est assez technique et pourra être consultée dans le chapitre 2 de la thèse de Chagny (2013a).

Théorème 1.4.8 (Inégalité de Talagrand, borne en espérance). Soit n ∈ N + et soit F une collection au plus dénombrable de fonctions mesurables sur un espace polonais E . Soient ξ 1 , . . . , ξ n des variables aléatoires indépendantes à valeurs dans E . On considère ν n , le processus empirique centré suivant :

ν n ( f ) := 1 n n i =1 f (ξ i ) -E f (ξ i ) , f ∈ F .
On suppose qu'il existe trois constantes positives M , H et v telles que :

sup f ∈F ∥ f ∥ ∞ ≤ M , E sup f ∈F |ν n ( f )| ≤ H , sup f ∈F 1 n n i =1 Var f (ξ i ) ≤ v.
Alors pour tout δ > 0, on a l'inégalité suivante :

E sup f ∈F ν 2 n ( f ) -2(1 + 2δ)H 2 + ≤ 4 K v n e -K δ nH 2 v + 49 M 2 K C (δ) 2 n 2 e -K C (δ) 2δ 7 nH M , avec C (δ) := 1 + δ -1 ∧ 1 et K = 1/6.
R n := m ′ ∈M n E sup t ∈B(m,m ′ ) ν 2 n (t ) -p(m, m ′ ) + , où B(m, m ′ ) et p(m, m ′ ) sont définis par : B(m, m ′ ) := t ∈ S m + S m ′ ∥t ∥ L 2 = 1 , p(m, m ′ ) := κ 4 Φ D m + D m ′ n ,
et où M n est la collection de modèles définie par :

M n := m ∈ N d + D m ≤ n . Une base orthonormée de S m + S m ′ est (ϕ k ) k∈K (m,m ′ ) où K (m, m ′ ) est défini comme : K (m, m ′ ) := k ∈ N d + k ≤ m -1 ou k ≤ m ′ -1 .
Dans la suite, on note f m,m ′ la projection de f sur S m + S m ′ , et f m,m ′ l'estimateur par projection sur ce même espace. Déterminons les paramètres H , v et M du théorème 1.4.8 :

• Valeur de H .

E sup t ∈B(m,m ′ ) ν n (t ) 2 ≤ E sup t ∈B(m,m ′ ) ν 2 n (t ) (Jensen) = E f m,m ′ -f m,m ′ 2 L 2 = k∈K (m,m ′ ) Var ( a k ) = 1 n k∈K (m,m ′ ) Var ϕ k (X 1 ) ≤ 1 n k∈K (m,m ′ ) E ϕ k (X 1 ) 2 ≤ 1 n k≤m-1 E ϕ k (X 1 ) 2 + 1 n k≤m ′ -1 E ϕ k (X 1 ) 2 ≤ Φ D m + D m ′ n =: H 2 .
• Valeur de M . Soit t ∈ B(m, m ′ ), on note a k ses coefficients. Alors par l'inégalité de Cauchy-Schwarz, on a pour tout x ∈ A :

t (x) 2 ≤ k∈K (m,m ′ ) a 2 k k∈K (m,m ′ ) ϕ k (x) 2 ≤ k≤m-1 ϕ k (x) 2 + k≤m ′ -1 ϕ k (x) 2 ≤ Φ (D m + D m ′ ). Donc pour tout t ∈ B(m, m ′ ), ∥t ∥ 2 ∞ ≤ Φ (D m + D m ′ ) =: M 2 .
• Valeur de v. On suppose que f est bornée sur A.

sup t ∈B(m,m ′ ) Var t (X 1 ) ≤ sup t ∈B(m,m ′ ) E t (X 1 ) 2 = sup t ∈B(m,m ′ ) A t 2 (x) f (x) dx ≤ ∥ f ∥ ∞ =: v.
Les quantités clés qui interviennent dans l'inégalité de Talagrand sont les suivantes :

nH 2 v = Φ(D m + D m ′ ) ∥ f ∥ ∞ ≥ ΦD m ′ ∥ f ∥ L 2 , nH M = n, M 2 n 2 ≤ 2Φ n .
On applique l'inégalité de Talagrand avec δ = 1/2 et on obtient :

E sup f ∈B(m,m ′ ) ν 2 n (t ) -4H 2 + ≤ C ( f ) n exp -C ′ ( f , Φ)D m ′ + C ′′ (Φ) n exp -C ′′′ n .
En sommant sur m ′ , on obtient la majoration :

m ′ ∈M n E sup f ∈B(m,m ′ ) ν 2 n (t ) -4H 2 + ≤ 1 n Σ n ( f , Φ), avec : Σ n ( f , Φ) := C ( f ) m ′ ∈M n e -C ′ ( f ,Φ)D m ′ +C (Φ) Card(M n ) e
Σ n ( f , Φ) = C ( f ) n D=1 Card m ′ ∈ N d + D m ′ = D e -C ( f ,Φ)D +C (Φ) Card(M n ) e -C ′′′ n ≤ C ( f ) n D=1 o(D) e -C ( f ,Φ)D +C (Φ) n(log n) d -1 e -C ′′′ n ≤ Σ ∞ ( f , Φ, d ), avec Σ ∞ ( f , Φ, d ) une constante qui dépend de f , Φ et d . Ainsi, on a montré que si κ ≥ 16, alors R n ≤ Σ ∞ ( f ,Φ,d ) n
.

Valeurs propres de matrices aléatoires

Au cours de cette thèse, nous serons amenés à étudier des matrices aléatoires symétriques définies positives. Plus précisément, nous aurons besoin de contrôler la norme d'opérateur de ces matrices et de leur inverse, avec grande probabilité. Or, si G est une matrice symétrique définie positive, sa norme d'opérateur n'est rien d'autre que sa plus grande valeur propre. Ainsi, on a :

∥G∥ op = λ max (G), ∥G -1 ∥ op = λ max (G -1 ) = 1 λ min (G)
.

Nous aurons donc besoin d'inégalités de concentration sur les valeurs propres de matrices aléatoires symétriques. On trouvera des démonstrations des inégalités suivantes dans les articles de Tropp (2012) et de Gittens & Tropp (2011).

µ min := λ min n k=1 E[Z k ] , µ max := λ max n k=1 E[Z k ]
alors on a les inégalités :

∀δ ∈ ]0, 1[, P λ min n k=1 Z k ≤ (1 -δ)µ min ≤ d × e -δ (1 -δ) (1-δ) µ min /R (1.25) ∀δ > 0, P λ min n k=1 Z k ≥ (1 + δ)µ min ≤ e δ (1 + δ) (1+δ) µ min /R (1.26) ∀δ > 0, P λ max n k=1 Z k ≥ (1 + δ)µ max ≤ d × e δ (1 + δ) (1+δ) µ max /R ∀δ ∈ ]0, 1[, P λ max n k=1 Z k ≤ (1 -δ)µ max ≤ e -δ (1 -δ) (1-δ) µ max /R
.

n k=1 E Z 2 k op ≤ v,
alors pour tout x > 0, on a :

P λ max n k=1 Z i ≥ x ≤ d × exp -x 2 /2 v + R 3 x .
Nous utiliserons également l'inégalité suivante tirée de l'annexe A de [START_REF] Chen | The masked sample covariance estimator : an analysis using matrix concentration inequalities[END_REF]. Cette inégalité peut être vue comme une version matricielle de l'inégalité de Rosenthal.

Théorème 1.4.12 (Matrix moment inequality). Soient p ≥ 1 et q ≥ 2 ; on fixe r ≥ max(q, 2 log p). On considère une suite finie (Z i ) de matrices symétriques aléatoires indépendantes de taille p × p. Alors on a l'inégalité :

Eλ max i Z i q 1/q ≤ er λ max i E Z 2 i + 2er E max i λ q max (Z i ) 1/q .
1.5 Problèmes étudiés, résultats obtenus et perspectives

Introduction à la déconvolution

Dans de nombreux problèmes de statistique non paramétrique, les observations ne portent pas directement sur la fonction d'intérêt f mais sur une version bruitée de celle-ci par la convolution avec une fonction g . Ce genre de problèmes se pose par exemple en estimation de densité avec erreurs de mesure additives, en régression non paramétrique avec erreur sur les variables, mais aussi en traitement du signal ou en traitement de l'image. Pour plus de détails sur les modèles de déconvolution étudiés en statistique non paramétrique, on pourra se référer au livre de Meister (2009).

Le problème de déconvolution consiste en la résolution de l'équation fonctionnelle :

h = f * g , (1.27)
où f est la fonction inconnue du problème, g est une fonction représentant le bruit qui peut être supposée connue ou non, et h est la fonction sur laquelle portent les observations. La stratégie la plus commune pour résoudre ce problème est de passer dans le domaine fréquentiel en prenant la transformée de Fourier de (1.27). On obtient alors :

F [h] = F [ f ] × F [g ] ⇐⇒ f = F -1 F [h] F [g ] ,
où F désigne la transformation de Fourier et F -1 son inverse. Il n'y a plus qu'à estimer h (et g quand elle est inconnue) pour obtenir un estimateur de f . Cependant, l'inversion de la transformation de Fourier peut poser problème car le quotient des transformées de Fourier n'est pas forcément intégrable une fois qu'on a estimé h (et g ). Il est alors nécessaire d'avoir recours à une étape de régularisation pour pouvoir inverser la transformée de Fourier.

Récemment, [START_REF] Mabon | Adaptive Deconvolution on the Non-negative Real Line : Adaptive deconvolution on R +[END_REF] et Comte et al. (2017) ont proposé d'utiliser la base de Laguerre, définie par (1.4), pour résoudre le problème de déconvolution (1.27) lorsque les fonctions sont à support sur R + . Cette méthode repose sur la relation suivante que satisfont les fonctions de Laguerre : (1.28) voir la formule 22.13.14 de [START_REF] Bibliographie | Handbook of Mathematical Functions : with Formulas, Graphs, and Mathematical Tables[END_REF]. En utilisant cette relation remarquable, on peut calculer les coefficients de Laguerre d'un produit de convolution de deux fonctions à partir de leurs coefficients respectifs.

∀k, j ∈ N, ϕ k * ϕ j = 2 -1 2 ϕ k+ j -ϕ k+ j +1 ,
Proposition 1.5.1. Soient f et g dans L 2 (R + ) tels que f * g ∈ L 2 (R + ). Alors les coefficients de Laguerre (c ℓ ) ℓ∈N de f * g sont donnés par :

c ℓ = 2 -1 2 (a * b) 0 si ℓ = 0, 2 -1 2 (a * b) ℓ -(a * b) ℓ-1 si ℓ ≥ 1, ( 1
f * g = k∈N j ∈N a k b j (ϕ k * ϕ j ) = 2 -1 2 k∈N j ∈N a k b j (ϕ k+ j -ϕ k+ j +1 ) (d'après (1.28)) = 2 -1 2 ℓ∈N ℓ k=0 a k b ℓ-k (ϕ ℓ -ϕ ℓ+1 ) (ℓ := k + j ) = 2 -1 2 ℓ∈N (a * b) ℓ (ϕ ℓ -ϕ ℓ+1 ) = 2 -1 2 (a * b) 0 ϕ 0 + 2 -1 2 ℓ∈N + (a * b) ℓ -(a * b) ℓ-1 ϕ ℓ .
On identifie ainsi les coefficients de f * g par unicité de la décomposition.

Si on introduit la suite (β k ) k∈N formée à partir des accroissement des coefficients (b k ) k∈N :

β k := 2 -1 2 b 0 si k = 0, 2 -1 2 (b k -b k-1 ) si k ≥ 1,
alors les coefficients (1.29) s'expriment comme le produit de convolution β * a. Autrement dit, les coefficients du produit de convolution f * g sont donnés par le produit de convolution (discret) des coefficients de f et des accroissements des coefficients de g . Résoudre le problème de déconvolution (1.27) est donc équivalent à inverser un produit de convolution sur N.

Le produit de convolution par une suite donnée étant linéaire, ce problème peut-être résolu matriciellement. Soit G la matrice infinie triangulaire inférieure : .30) et soit G m la sous-matrice de G constituée de ses m premières lignes et de ses m premières colonnes. Ces matrices ont la particularité d'avoir des diagonales constantes et sont appelées matrices Toeplitz. Ce type de matrices a été bien étudié dans la littérature, on pourra se référer aux livres de Böttcher & Grudsky (2000, 2005) sur la question. Les éléments de la théorie des opérateurs Toeplitz que nous utiliserons sont rappelés à la section 3.7. Si on note a m et c m les vecteurs des m premiers coefficients de respectivement f et h, alors on a la relation :

G :=        β 0 0 • • • • • • • • • β 1 β 0 0 • • • • • • β 2 β 1 β 0 0 • • • β 3 β 2 β 1 β 0 • • • • • • • • • • • • • • • • • •        , ( 1
c = β * a ⇐⇒ ∀m ∈ N + , c m = G m a m . CHAPITRE 1. INTRODUCTION
Si β 0 est non nul, alors G m est inversible et les coefficients de f s'expriment à partir de ceux de g et h suivant la relation :

a m = G -1 m c m .
Une fois estimé h et connaissant g (ou l'ayant estimée), le problème de déconvolution sur R + revient alors à inverser une matrice triangulaire.

Déconvolution d'une densité

Un exemple classique de problème de déconvolution est celui de l'estimation d'une densité à partir d'observations indirectes. Dans ce modèle, on suppose qu'on observe des variables aléatoires i.i.d. Z 1 , . . . , Z n dans R qui sont données par : Un estimateur très populaire pour résoudre ce problème est un estimateur à noyau proposé par [START_REF] Stefanski | Deconvolving kernel density estimators[END_REF]. Soit K ∈ L 1 (R) ∩ L 2 (R) une fonction positive, paire et d'intégrale 1, on estime h par :

Z i = X i + Y i ,
h δ (x) := 1 n n i =1 K δ (x -Z i ), K δ (u) := 1 δ K u δ ,
où δ > 0 est la fenêtre (bandwidth) du noyau. Sous l'hypothèse que la transformée de Fourier de g ne s'annule pas, on estime f par :

f δ (x) := 1 2π R e -iωx F h δ (ω) F [g ](ω) dω.
Cet estimateur peut encore s'écrire sous la forme d'un estimateur à noyau. En effet, en utilisant les propriétés de la transformation de Fourier vis à vis des translations et des dilatations, on a :

F h δ (ω) = 1 n n i =1 F K δ (• -Z i ) (ω) = 1 n n i =1 e iωZ i F [K ](δω).
On réécrit alors f δ comme :

f δ (x) := 1 2π R e -iωx F h δ (ω) F [g ](ω) dω = 1 n n i =1 1 2π R e -iω(x-Z i ) F [K ](δω) F [g ](ω) dω = 1 n n i =1 K g δ (x -Z i ),
où K g δ est le noyau défini par :

K g δ (u) := 1 2π R e -iωu F [K ](δω) F [g ](ω) dω.
Avec des hypothèses de régularité sur le noyau K et un choix judicieux de fenêtre, des résultats sur la vitesse d'estimation minimax ont été établis par plusieurs auteurs. Ces résultats sont synthétisés dans la table 1.1. [START_REF] Carroll | Optimal Rates of Convergence for Deconvolving a Density[END_REF] montrent que dans le cas où f est k fois dérivable et les erreurs sont gaussiennes, alors la vitesse de convergence de cet estimateur est logarithmique et cette vitesse est minimax. [START_REF] Fan | On the Optimal Rates of Convergence for Nonparametric Deconvolution Problems[END_REF] généralise ces travaux en introduisant la notion de distributions ordinary smooth et supersmooth pour le bruit. Il suppose toujours que la transformée de Fourier de g ne s'annule pas, et fait l'hypothèse suivante sur sa décroissance lorsque |ω| → +∞ :

C 1 + ω 2 -β exp -2α|ω| ρ ≤ F [g ](ω) 2 ≤ C ′ 1 + ω 2 -β exp -2α|ω| ρ .
On dit que g est ordinary smooth si α = 0 ou ρ = 0, et supersmooth sinon. L'auteur montre que dans le cas d'un bruit supersmooth (par exemple, un bruit gaussien), la vitesse minimax sur l'espace de Hölder est logarithmique, mais que dans le cas où le bruit est ordinary smooth (par exemple, une loi de Laplace), cette vitesse devient polynomiale. Plus généralement, [START_REF] Pensky | Adaptive wavelet estimator for nonparametric density deconvolution[END_REF] proposent de considérer des densités appartenant à la classe suivante :

A a,b,r (L) := f ∈ L 2 (R) R F [ f ](ω) 2 1 + ω 2 b exp 2a|ω| r dω ≤ 2πL .
Si α = 0 ou r = 0, on reconnait une boule dans un espace de Sobolev. Les espaces de Hölder étant inclus dans les espaces de Sobolev, les vitesses minimax sur ces premiers se généralisent à ces seconds. Si α > 0 et r > 0, cette classe contient des fonctions bien plus régulières (pour r = 1, ces fonctions admettent un prolongement analytique sur une bandes autour de l'axe des réels). Si f ∈ A a,b,r (L) avec a > 0 et r > 0, on dira que f est supersmooth. [START_REF] Butucea | Deconvolution of supersmooth densities with smooth noise[END_REF]

α = 0 ou ρ = 0 α > 0 et ρ > 0 a = 0 ou r = 0 n -2b 2b+2β+1 (log n) 2b β a > 0 et r > 0 1 n (log n) 2β+1 r
cf. Butucea & Tsybakov (2008a,b) En revanche, lorsque f et g sont supersmooth, leur estimateur est sous optimal comme l'ont montré Butucea & Tsybakov (2008a,b). [START_REF] Comte | Penalized contrast estimator for adaptive density deconvolution[END_REF] utilisent une base d'ondelette construite à partir de la fonction mère sinc et construisent un estimateur adaptatif en utilisant une procédure de sélection de modèles. Cet estimateur atteint la vitesse minimax dans les mêmes cas que celui de [START_REF] Pensky | Adaptive wavelet estimator for nonparametric density deconvolution[END_REF] et est meilleur dans le cas où f et g sont supersmooth.

Plus récemment, des estimateurs par projection sur les bases de Laguerre et d'Hermite ont été proposés. [START_REF] Mabon | Adaptive Deconvolution on the Non-negative Real Line : Adaptive deconvolution on R +[END_REF] considère le problème de déconvolution d'une densité sur R + lorsque le bruit est également à support sur R + . Elle propose d'utiliser un estimateur par projection sur la base de Laguerre et d'utiliser les propriétés de déconvolution des fonctions de Laguerre décrites en soussection 1.5.1. Elle fait les hypothèses suivantes sur la densité g : 1. g est r ≥ 1 fois dérivable et :

g ( j ) (0) = 0 j ∈ {0, . . . , r -2}, B r ̸ = 0 j = r -1. 2. g (r ) ∈ L 1 (R + ).
3. La transformée de Laplace de g ne s'annule pas sur le demi-plan des complexes de partie réelle positive.

Ces hypothèses de régularité sur g peuvent être vues comme un analogue de la régularité ordinary smooth en déconvolution sur R. Elle montre que la vitesse de convergence de l'estimateur oracle sur W s (R + , L) est n -s s+r et construit un estimateur adaptatif avec la méthode de sélection de modèle par pénalisation. Ces travaux sont généralisés au modèle avec bruit inconnu par [START_REF] Comte | Laguerre deconvolution with unknown matrix operator[END_REF]. [START_REF] Sacko | Hermite density deconvolution[END_REF] utilise un estimateur par projection sur la base d'Hermite pour résoudre le problème de déconvolution d'une densité sur R en utilisant le fait que les fonctions d'Hermite sont des vecteurs propres de la transformation de Fourier. Les vitesses de convergence obtenue sur les boules de Sobolev-Hermite sont les mêmes à celles sur les espaces de Hölder et les espaces de Sobolev.

Contribution

Au chapitre 2, nous étendons les travaux de Mabon (2017) à la déconvolution de densités sur R d + . Pour cela, on généralise la proposition 1.5.1 avec des coefficients dans la base de Laguerre tensorisée : on montre que les coefficients de h s'expriment linéairement en fonction des coefficients de f . Cette relation linéaire s'écrit à l'aide d'hypermatrices. Notons a k (resp. c k ) le k-ème coefficient de Laguerre de f (resp. de h). Pour m ∈ N d + , on note a m l'hypermatrice des a k pour k ≤ m -1 (de même pour c m ). On a les relations :

c m = G m × d a m et a m = G -1 m × d c m (1.31) où "× d " désigne le d -produit contracté d'hypermatrices et où G m est l'hyperma- trice m × m suivante : G m ℓ,k := 2 -d /2 ε∈{0,1} d (-1) |ε| b ℓ-k-ε ,
avec la convention b j := 0 si j ∉ N d . Notons que dans la cas d = 1, on retrouve la matrice G m définie par (1.30). Puis, on estime la densité h par projection sur la base de Laguerre tensorisée :

h m := k≤m-1 c k ϕ k , c k := 1 n n i =1 ϕ k (Z i ).
et on estime f en utilisant la relation (1.31) :

f m := k≤m-1 a k ϕ k , a m := G -1 m × d c m .
Pour étudier le biais, on introduit les espaces de Sobolev-Laguerre multivariés. Pour s ∈ ]0, +∞[ d et L > 0, on définit :

W s R d + , L := f ∈ L 2 R d + k∈N d 〈 f , ϕ k 〉 2 k s ≤ L .
Lorsque f appartient à cet espace, le biais est majoré par L × (m

-s 1 1 + • • • + m -s d d )
. Sous certaines hypothèses techniques de régularité sur la transformée de Laplace de g , on montre que le terme de variance est majoré par m 2α où α ∈ N d + est lié à la vitesse de décroissance de la transformée de Laplace de g à l'infini. C'est une généralisation des hypothèses sur g faites par [START_REF] Mabon | Adaptive Deconvolution on the Non-negative Real Line : Adaptive deconvolution on R +[END_REF]. On peut aussi voir ça comme un analogue de la notion de distribution ordinary smooth. On montre alors que la vitesse d'estimation de l'estimateur oracle sur W s R d + , L est donnée par :

n -1/ 1+ d i =1 2α i s i .
Cette vitesse d'estimation sur les boules de Sobolev-Laguerre est similaire à celle trouvée par [START_REF] Comte | Anisotropic adaptive kernel deconvolution[END_REF] sur les boules Sobolev anisotropes, pour le problème de déconvolution sur R d avec un estimateur à noyau, et pour un bruit ordinary smooth. Enfin on construit un estimateur adaptatif sur les boules de Sobolev-Laguerre en utilisant la méthode de Goldenshluger et Lepski.

Perspectives

Une extension possible de ce travail serait de considérer le problème où la densité du bruit est inconnue et doit être estimée à partir d'un échantillon indépendant de variables Y ′ 1 , . . . , Y ′ N . L'hypermatrice de déconvolution G m serait alors remplacée par un estimateur. Dans le cas de la dimension 1, cette question a déjà été traitée par [START_REF] Comte | Laguerre deconvolution with unknown matrix operator[END_REF]. On peut penser que leurs résultats devraient se généraliser à la dimension supérieure.

Une autre question que soulève le chapitre 2 est celle de la description des espaces de Sobolev-Laguerre multidimensionnels W s (R d + ). Dans le cas de la dimension 1 et pour s entier, Comte & Genon-Catalot (2015) montrent qu'une fonction f appartient à cet espace si et seulement elles s -1 dérivable, f (s-1) est absolument continue et les dérivées de f satisfont certaines conditions d'intégrabilité sur R + . Dans le cas d ≥ 2, on ne sait pour l'instant rien de ces espaces. Il serait certainement utile de savoir s'il existe une caractérisation similaire, portant sur la différentiabilité des fonctions par exemple.

Estimation de la fonction de Gerber-Shiu

Notre deuxième exemple de problème de déconvolution se trouve en théorie de la ruine. Cette théorie vise à modéliser l'évolution des réserves financières d'une compagnie d'assurance au cours du temps et à étudier diverses quantités liées à la ruine de la compagnie, afin de permettre une meilleure gestion des risques. Le modèle le plus simple est le modèle de Cramér-Lundberg. Dans ce modèle, le processus (U t ) t ≥0 des réserves de la compagnie est donné par :

U t = u + c t - N t i =1 X i , (1.32)
où u ≥ 0 est la réserve initiale, c > 0 est le taux de cotisation (premium rate), (N t ) t ≥0 est un processus de Poisson d'intensité λ > 0 et où les montants des sinistres (X i ) i ≥1 sont positifs i.i.d. de moyenne µ et de densité f , et indépendants de (N t ) t ≥0 . Dans la suite, on note τ l'instant de ruine, c'est-à-dire le premier instant où le processus prend des valeurs négatives :

τ := inf t ≥ 0 |U t < 0 .
Pour une présentation générale de ce modèle, et plus généralement de la théorie de la ruine, on pourra se référer au livre de Asmussen & Albrecher (2010).

Probabilité de ruine

La première quantité étudiée en théorie de la ruine est la probabilité ultime de ruine 4 :

φ(u) := P τ < +∞ |U 0 = u .
Dans le modèle (1.32), le processus des pertes agrégées vérifie :

1 t N t i =1 X i p.s. ----→ t →+∞ λµ,
la quantité λµ représente donc les pertes moyennes par unités de temps. On définit alors η := c-λµ λµ de sorte que c = (1 + η)λµ. Cette quantité est appelé safety loading et représente avec quelle proportion les primes excèdent les pertes moyennes par unité de temps. Comme on s'en doute, il est préférable pour la compagnie que le safety loading soit positif. En effet, on peut montrer que si η ≤ 0, alors φ(u) = 1 pour tout u ≥ 0 et si η > 0, alors φ(u) < 1 pour tout u ≥ 0. On supposera dans la suite que η > 0 afin que la probabilité de ruine ne soit pas triviale. Cette hypothèse est appelée safety loading condition dans la littérature. Pour notre part, nous utiliserons plutôt la quantité θ := λµ c , la safety loading condition exprimant alors que θ ∈ [0, 1[. Un résultat fondamental pour étudier la probabilité de ruine est la formule de Pollaczeck-Khinchine. Si on note S(x) := P[X 1 > x] la fonction de survie des X i , alors φ vérifie la formule :

φ(u) = (1 -θ) +∞ k=1 θ k F k (u), F k (u) = 1 µ k +∞ u S * k (x) dx, (1.33)
où S * k désigne la convolution de S avec elle-même k fois. Une façon équivalente d'énoncer ce résultat est le fait que φ vérifie une équation de renouvellement :

φ = φ * g + h, g (x) := λ c S(x), h(u) := λ c +∞ u S(x) dx. (1.34)
Ces formules permettent de calculer explicitement la fonction φ pour certaines distributions des X i . C'est le cas des distributions phase-type, une classe de distributions qui contient par exemple les lois exponentielles, les mélanges de lois exponentielles et les lois d'Erlang.

Dans la suite, on s'intéresse au problème de l'estimation de la probabilité de ruine dans le modèle (1.32). Les observations à partir desquels on estime φ varient dans la littérature : dans certains articles, on observe un n-échantillon X 1 , . . . , X n de densité f (et on suppose λ connu), dans d'autres on suppose qu'on observe la trajectoire de (U t ) pour t ∈ [0, T ], enfin d'autres n'observent le processus (U t ) que sur un intervalle [0, T ] discrétisé à pas ∆.

La grande majorité des méthodes d'estimation de la probabilité de ruine se fondent sur la formule de Pollaczeck-Khinchine (1.33) ou l'équation de renouvellement (1.34). Les premiers travaux visant à construire un estimateur non paramétrique de la probabilité de ruine sont ceux de Frees (1986). L'auteur propose un estimateur de type Monte Carlo pour estimer ponctuellement φ(u) et démontre sa consistance. [START_REF] Hipp | Estimators and bootstrap confidence intervals for ruin probabilities[END_REF] considère plusieurs scénarios selon quels paramètres parmi λ, µ et f sont connus, et propose d'estimer φ par plug-in à l'aide de la formule (1.33), en remplaçant les quantités inconnues par des versions empiriques. Il démontre que son estimateur est consistant et asymptotiquement gaussien pour l'estimation ponctuelle de φ(u), et construit un intervalle de confiance par bootstrap. Cependant la question du calcul de la série dans formule (1.33), ou de sa troncature, n'est pas abordée. Dans le cas où λ et µ sont connus, [START_REF] Croux | Nonparametric estimators for the probability of ruin[END_REF] proposent aussi d'utiliser (1.33) en estimant la fonction de répartition des X i par la répartition empirique (ils proposent également d'utiliser un estimateur à noyau). Ils estiment alors les quantités F k (u) par des U-statistiques et construisent un estimateur ponctuel de la probabilité de ruine en tronquant la série dans la formule de Pollaczeck-Khinchine. Ils démontrent la normalité asymptotique de leur estimateur.

Les travaux précédents traitaient de l'estimation ponctuelle de φ(u). Les premiers travaux qui traitent le problème sous l'angle de l'estimation fonctionnelle sont ceux de Pitts (1994). Dans le cas où λ et µ sont connus, l'auteur utilise un estimateur similaire à ceux décrits plus haut et établit sa consistance pour la norme sup pondérée par (1 + |x|) β avec β ≥ 0 :

∥F ∥ β := sup x 1 + |x| β F (x) , sous la condition que X 1 admette un moment fini d'ordre 1+β ′ avec β ′ > β.
Il démontre également un TCL fonctionnel pour l'estimateur. Ces résultats sont améliorés par [START_REF] Politis | Semiparametric Estimation for Non-Ruin Probabilities[END_REF] qui ne suppose plus λ et µ connus. Toutefois, ces deux derniers travaux considèrent un estimateur par plug-in dans la formule (1.33) sans discuter le calcul ou la troncature de la série.

Enfin, citons les travaux de Mnatsakanov et al. (2008). Ceux-ci se démarquent des travaux précédents en construisant leur estimateur à partir de l'équation de renouvellement et en étudiant les performances de l'estimateur pour la norme L 2 . Plus précisément, les auteurs estiment la fonction ψ(u) := 1 -φ(u), c'est-àdire la probabilité de survie. Celle-ci vérifie également une équation similaire à (1.34) qui, en prenant la transformée de Laplace, devient :

L ψ(s) = c -λµ c s -λ 1 -L f (s) .
Ils estiment alors L ψ par plug-in en estimant L f par la transformée de Laplace empirique et µ par la moyenne empirique (et en supposant λ connu). L'estimateur final est obtenu à l'aide une inversion régularisée de la transformation de Laplace. Malheureusement, la vitesse de convergence pour la norme L 2 sur les intervalles de forme [0, B ] est très lente :

ψ -ψ 2 L 2 ([0,B ]) = O P 1 log n .
L'utilisation de l'inversion régularisée de la transformation de Laplace, outre les difficultés numériques, semble dégrader fortement la vitesse de convergence de l'estimateur. À titre de comparaison, les travaux de [START_REF] Pitts | Nonparametric estimation of compound distributions with applications in insurance[END_REF] et [START_REF] Politis | Semiparametric Estimation for Non-Ruin Probabilities[END_REF] cités plus haut établissent un TCL fonctionnel pour leur estimateur, ce qui suggère que la vitesse de convergence minimax devrait être O P (n -1 ).

Fonction de Gerber-Shiu

Pour étudier simultanément l'instant de ruine τ, le montant de la réserve juste avant la ruine U τ-et le déficit au moment de la ruine |U τ |, Gerber & Shiu (1998) introduisent la fonction suivante :

φ(u) := E e -δτ w U τ-, |U τ | 1 τ<∞ U 0 = u ,
où δ ≥ 0 peut être vu comme un taux d'actualisation, et où w est une fonction positive qui représente la pénalité en cas de ruine. Cette fonction φ est appelée fonction de Gerber-Shiu ou expected discounted penalty function (EDPF). Notons que la probabilité de ruine est de cette forme avec δ = 0 et w(x, y) = 1. Comme la probabilité de ruine, la fonction de Gerber-Shiu vérifie une équation de renouvellement (cf. [START_REF] Gerber | On the Time Value of Ruin[END_REF]) :

φ = φ * g + h,
(1.35) où g et h sont maintenant données par :

g (x) := λ c +∞ x e -ρ δ (y-x) f (y) dy, h(u) := λ c +∞ u e -ρ δ (x-u) +∞ x w(x, y -x) f (y) dy dx,
et où ρ δ est l'unique solution positive de l'équation de Lundberg :

cs -λ 1 -L f (s) = δ.
Ce type de résultat est en fait valable dans des modèles de risque plus généraux (seules les fonctions g et h changent), comme le modèle avec bruit brownien :

U t = u + c t - N t i =1 X i + σB t ,
ou les modèles avec processus de Lévy :

U t = u + L t ,
où (L t ) t ≥0 est un processus de Lévy vérifiant différentes hypothèses selon les modèles. Les résultats sur l'estimation de la fonction Gerber-Shiu se placent souvent dans ces modèles plus généraux, c'est pourquoi on les mentionne, mais nos résultats resteront dans le cadre du modèle (1.32). L'étude de la question de l'estimation de la fonction de Gerber-Shiu est plus récente. [START_REF] Shimizu | Estimation of the expected discounted penalty function for Lévy insurance risks[END_REF][START_REF] Shimizu | Non-parametric estimation of the Gerber-Shiu function for the Wiener-Poisson risk model[END_REF] applique la même technique d'inversion de Laplace régularisé que [START_REF] Mnatsakanov | Nonparametric estimation of ruin probabilities given a random sample of claims[END_REF] pour construire un estimateur de la fonction de Gerber-Shiu dans le modèle avec mouvement Brownien et le modèle avec processus de Lévy, à partir de l'observation d'une trajectoire du processus de réserve sur un intervalle de temps [0, T ] discrétisé. Comme Mnatsakanov et al. (2008), l'erreur L 2 de cet estimateur sur les intervalles de forme [0, B ] est un O P (1/ log T ), ce qui n'est pas la vitesse optimale pour ce problème comme le montrent les travaux qui suivent.

Dans le cas du modèle avec mouvement Brownien, [START_REF] Zhang | Estimating the Gerber-Shiu function by Fourier-Sinc series expansion[END_REF] propose un estimateur similaire à celui de [START_REF] Shimizu | Non-parametric estimation of the Gerber-Shiu function for the Wiener-Poisson risk model[END_REF], mais en utilisant la transformation de Fourier à la place de la transformation de Laplace. Il construit par plug-in un estimateur de F φ et estime φ par une inversion de Fourier tronquée et à l'aide d'un développement en base sinc :

φ(u) ≈ φ m (u) := 1 2π mπ -mπ e -iωu F φ(ω) dω ≈ K k=-K A m,k ψ m,k (u), A m,k = 〈φ m , ψ m,k 〉, où ψ m,k (u) := m sinc(mx -k) et sinc(x) := sin(πx)/(πx)
. L'estimateur obtenu est un estimateur par projection :

φ m,k := K k=-k A m,k ψ m,k , A m,k := 1 2π m πm -πm F φ(ω)e -iω k m dω.
L'auteur montre que l'erreur L 2 de l'estimateur vérifie5

φ -φ m,K 2 L 2 = O 1 m + O m K + O P m log m T . En choisissant m T = O(T 1/2 ) et K T = O(T ), la vitesse de convergence est finale- ment : φ -φ m T ,K T 2 L 2 = O P log T T ,
ce qui constitue une nette amélioration de la vitesse obtenue par [START_REF] Shimizu | Non-parametric estimation of the Gerber-Shiu function for the Wiener-Poisson risk model[END_REF]. Récemment, [START_REF] Zhang | A new efficient method for estimating the Gerber-Shiu function in the classical risk model[END_REF] proposent un estimateur par projection sur la base de Laguerre en s'inspirant des travaux de [START_REF] Mabon | Adaptive Deconvolution on the Non-negative Real Line : Adaptive deconvolution on R +[END_REF] et Comte et al. (2017). L'idée est d'estimer les fonctions g et h par projection sur la base de Laguerre puis de résoudre le problème de déconvolution (1.35) en utilisant les propriétés de cette base vues à la sous-section 1.5.1. Les coefficients des fonctions g et h sont estimés par méthode des moments et les auteurs montrent que :

∥g -g m ∥ 2 L 2 = ∥g -g m ∥ 2 L 2 + O P T -1 , ∥h -h m ∥ 2 L 2 = ∥h -h m ∥ 2 L 2 + O P T -1 ,
avec les O P T -1 qui ne dépendent pas de m (pas de compromis biais-variance).

Pour estimer φ, les auteurs s'appuient sur l'équation de renouvellement (1.35).

En notant (a k ) k≥0 et (c k ) k≥0 les coefficients de Laguerre de φ et h, ils montrent comme dans la sous-section (1.5.1) que :

a m = A -1 m c m , A m := I m -G m ,
où G m est la matrice de déconvolution défini par (1.30). Ils estiment alors les coefficients de φ par plug-in :

a m := A -1 m c m ,
avec A m obtenue à partir de A m en remplaçant les coefficients de g par leurs estimateurs empiriques. Le fait de devoir estimer la matrice de déconvolution a d'importantes conséquences par rapport à ce qu'on a vu avec la déconvolution d'une densité sur R + , où la loi du bruit était supposée connue. En effet, les auteurs établissent que :

∥ A -1 m -A -1 m ∥ 2 op = O P mT -1 .
Ainsi, là où l'estimation des coefficients de g donne lieu à un terme de variance qui ne dépend pas de m, ce n'est plus le cas pour la matrice de deconvolution. Ce résultat conduit au résultat suivant sur le risque L 2 de l'estimateur :

∥φ -φ m ∥ 2 L 2 = ∥φ -φ m ∥ 2 L 2 + O P mT -1 ,
avec un terme de variance qui dépend de m. Le compromis biais-variance donne alors la vitesse O P T -s s+1 sur les espaces W s (R + , L). Cette approche a ensuite été étendue à des modèles plus généraux par Zhang & Su (2019), [START_REF] Su | Estimating the Gerber-Shiu function in the perturbed compound Poisson model by Laguerre series expansion[END_REF] et Su et al. (2020).

Contribution

Au chapitre 3, nous améliorons le travail de Zhang & Su (2018) en étudiant le risque L 2 de l'estimateur par projection sur la base de Laguerre. On suppose connu c et inconnus (λ, f , µ), et on veut estimer la fonction de Gerber-Shiu à partir des observations {N T ; X 1 , . . . , X N T }, pour T > 0. On montre que les résultats asymptotiques en O P restent vrais en espérance pour T fini. Concernant les estimateur par projection de g et h, on montre que si δ = 0 alors on a :

E∥g -g m ∥ 2 L 2 ≤ ∥g -g m ∥ 2 L 2 + λ c 2 T E[X ], E∥h -h m ∥ 2 L 2 ≤ ∥h -h m ∥ 2 L 2 + λ c 2 T E[W (X )],
et si δ > 0 alors on a :

E∥g -g m ∥ 2 L 2 ≤ ∥g -g m ∥ 2 L 2 + C (λ) c 2 T   E[X ] + E X 2 1 2 (1 -θ) 2 δ 2   , E∥h -h m ∥ 2 L 2 ≤ ∥h -h m ∥ 2 L 2 + C (λ) c 2 T   E[W (X )] + E W (X ) 2 1 2 (1 -θ) 2 δ 2   , où W (X ) := X 0 X u w(x, X -x) dx 2 du.
Pour obtenir un résultat sur le risque de φ m , l'inversion de A m pose problème. Pour contourner ce problème, on introduit une troncature. Pour θ 0 < 1 fixé, on pose :

a Lag 1 m := A -1 m,1 × c m , A -1 m,1 := A -1 m 1 ∆ m,1 , ∆ m,1 := ∥ A -1 m ∥ op < 2 1 -θ 0 .
On montre que si θ < θ 0 alors on a :

∀m ∈ N * , E∥φ -φ Lag 1 m ∥ 2 L 2 ≤ ∥φ -φ m ∥ 2 L 2 +C m T ,
où C est une constante qui dépend des paramètres du modèle. Dans le cas δ = 0, il est possible d'éviter la troncature avec un paramètre θ 0 arbitraire, mais au prix d'un facteur log m supplémentaire dans le terme de variance. Pour cela, on tronque la matrice A -1 m différemment :

a Lag 2 m := A -1 m,2 × c m , A -1 m,2 := A -1 m 1 ∆ m,2 , ∆ m,2 := ∥ A -1 m ∥ 2 op < cT m log m .
Si m log m ≤ cT alors on montre que :

E∥φ -φ Lag 2 m ∥ 2 L 2 ≤ ∥φ -φ m ∥ 2 L 2 + C (λ) cT (1 -θ) 2 E[W (X )] c + ∥φ∥ 2 L 2 (µ + µ 2 )m log m + O 1 T 2 .
On propose également un nouvel estimateur de φ par une méthode hybride Laguerre-Fourier. L'idée est de calculer les coefficients de φ à l'aide de l'isométrie de Plancherel :

a k = 〈φ, ψ k 〉 = 1 2π 〈F φ, F ψ k 〉 = 1 2π F h 1 -F g , F ψ k ,
où la dernière égalité découle de (1.35). On estime alors a k en substituant à g et h les estimateurs g m 2 et h m 3 dans l'égalité ci-dessus. Cependant, la division par 1 -F g risque de poser un problème, c'est pourquoi on a recourt à une troncature. Pour θ 0 < 1 fixé, on estime a k par :

a k,m 2 ,m 3 := 1 2π F h m 3 1 -F g m 2 , F ψ k , F g m 2 := (F g m 2 ) 1 |F g m 2 |<θ 0 .
La fonction φ est estimée par φ m 1 ,m 2 ,m 3 := m 1 -1 k=0 a k,m 2 ,m 3 ψ k . On montre que si θ < θ 0 alors on a :

E∥φ -φ m 1 ,m 2 ,m 3 ∥ 2 L 2 ≤ ∥φ -φ m 1 ∥ 2 L 2 + C (1 -θ 0 ) 2 ∥g -g m 2 ∥ 2 L 2 + ∥h -h m 3 ∥ 2 L 2 + 1 cT , où C est

Régression non paramétrique

Le problème de la régression non paramétrique consiste à estimer une fonction b : A → R à partir de l'observation bruitée de cette dernière en des points X 1 , . . . , X n de A. Ces points sont appelés design et peuvent être déterministes (design fixe) ou aléatoires (design aléatoire). Plus précisément, on suppose que l'on observe des paires (X 1 , Y 1 ), . . . , (X n , Y n ) vérifiant :

Y i = b(X i ) + ε i ,
où les ε i sont des variables de bruit. On fait l'hypothèse que les variables ε i sont i.i.d. centrées, de variance σ 2 et indépendantes des X i dans le cas du design aléatoire. De plus, dans le cas du design aléatoire, on suppose les variables X i indépendantes.

Ce problème a été beaucoup étudié dans la littérature et de nombreuses approches ont été proposées (estimateurs à noyau, k plus proches voisins, etc) ; on pourra se référer aux livres de Györfi et al. (2002[START_REF] Tsybakov | Introduction to nonparametric estimation[END_REF] pour une présentation détaillée du sujet. Nous présentons ici l'approche par critère des moindres carrés pénalisé. Étant donnée une collection d'espaces vectoriels de dimension finie (S m ) m∈M n , on estime b par le minimisateur du contraste des moindres carrés sur S m :

b m := arg min t ∈S m γ n (t ), γ n (t ) := 1 n n i =1 Y i -t (X i ) 2 .
Dans le cas d'un design fixe, si on note ∥•∥ n la norme empirique associée au design, définie par :

∥t ∥ 2 n := 1 n n i =1 t (X i ) 2 ,
alors le risque empirique de l'estimateur admet la décomposition biais-variance suivante :

E∥b -b m ∥ 2 n = inf t ∈S m ∥b -t ∥ 2 n + σ 2 D m n ,
où D m est la dimension de S m . On choisit m avec une procédure de sélection de modèles par pénalisation :

m := arg min m∈M n γ n (t ) + pen(m) = arg min m∈M n -∥ b m ∥ 2 n + pen(m) ,
où pen : M n → R + est la pénalité. Suivant les travaux de Birgé & Massart (1998), la pénalité est choisie de la forme pen(m) := C m σ 2 D m n , où C m est un terme lié à la « complexité » de la collection M n et qui doit être calibré. Typiquement, les résultats qui sont obtenus disent que sous certaines hypothèses et pour un bon choix de C m , alors : Le cas d'un design aléatoire est analogue, à ceci près qu'on ne veut pas un résultat pour la norme empirique mais pour la norme pondérée par la loi du design. Notons µ i la loi de X i et notons µ := 1 n n i =1 µ i la moyenne des lois des X i . L'objectif est d'étudier le risque et de construire un estimateur adaptatif pour le risque associé à la norme de L 2 (A, µ). L'erreur pour cette norme peut s'interpréter comme une erreur de prédiction :

E∥b -b m ∥ 2 n ≤ C inf m∈M n inf t ∈S m ∥b -t ∥ 2 n + pen(m) + R n , ( 1
∀ b estimateur, ∥b -b∥ 2 µ = 1 n n i =1 E X ′ i ∼µ i b(X ′ i ) -b(X ′ i ) 2 X 1 , . . . , X n ,
à savoir l'erreur quadratique pour une nouvelle observation tirée uniformément suivant les lois µ i .

Dans leur article, [START_REF] Barron | Risk bounds for model selection via penalization[END_REF] étudient de nombreux problèmes de sélection de modèle par pénalisation. Ils étudient notamment le problème de régression non paramétrique avec un design aléatoire et établissent une inégalité de type (1.36) pour la norme associée au design. Cependant, leur résultat nécessite que les variables ε i admettent un moment exponentiel et suppose que la fonction b est bornée par une constante connue et qui est utilisée dans la pénalité.

Leur résultat est amélioré par les travaux de [START_REF] Baraud | Model selection for regression on a fixed design[END_REF][START_REF] Baraud | Model selection for regression on a random design[END_REF]. Dans le cas d'un design fixe, [START_REF] Baraud | Model selection for regression on a fixed design[END_REF] considère une pénalité de forme :

pen(m) := (1 + θ) σ 2 D m n ,
et montre que si les ε i admettent un moment d'ordre q > 4, alors :

E∥b -b m ∥ 2 n ≤ C (θ) inf m∈M n inf t ∈S m ∥b -t ∥ 2 n + σ 2 D m n + σ 2 Σ n (θ, q) n ,
où le terme de Σ n (θ, q) est donné par :

Σ n (θ, q) := C ′ (θ, q) E|ε| q σ q 1 + m∈M n D - q 2 +2 m .
Le terme Σ n (θ, q) mesure la complexité de la collection M n , au sens où si M n est une sous-collection de M ′ n alors Σ n (θ, q) ≤ Σ ′ n (θ, q), tout en tenant compte de l'intégrabilité des ε i . Remarquons que :

m∈M n D - q 2 +2 m = +∞ D=1 Card m ∈ M n | D m = D × D -q 2 +2
, donc si q > 6 et si le nombre de modèles de même dimension D est suffisamment petit (par exemple logarithmique en D), alors Σ n (θ, q) est borné indépendamment de n. [START_REF] Baraud | Model selection for regression on a random design[END_REF] étend ce résultat au cas d'un design aléatoire. Il fait pour cela deux hypothèses importantes. Comme la mesure µ est inconnue, il fixe une mesure de référence ν (par exemple la mesure de Lebesgue) et suppose que µ est absolument continue par rapport à ν, de densité qu'on note f . De plus, il suppose que cette densité est minorée par une constante f 0 > 0 et majorée par f 1 < +∞. De cette façon, les espaces L 2 (A, µ) et L 2 (A, ν) sont les mêmes et les normes ∥•∥ µ et ∥•∥ ν sont équivalentes. Ainsi, il étudiera le risque de l'estimateur en norme ∥•∥ ν et ses hypothèses concerneront la mesure ν. Notons que l'hypothèse que la densité est minorée par une constante nécessite que ν(A) soit finie, ce qui exclut le cas où A = R d et ν est la mesure de Lebesgue. La deuxième hypothèse importante concerne la collection de modèle M n . Il suppose que celle-ci est constituée de sous-espaces d'un même espace vectoriel de dimension finie

S n ⊆ L 2 (A, ν) ∩ L ∞ (A, ν). En notant N n la dimension de S n , il suppose que N n < n et que 6 : sup t ∈S n \{0} ∥t ∥ 2 ∞ ∥t ∥ 2 ν ≤ ΦN n ,
(1.37) pour une certaine constante Φ ≥ 1. Cette hypothèse se trouve déjà dans [START_REF] Birgé | Minimum Contrast Estimators on Sieves : Exponential Bounds and Rates of Convergence[END_REF] et est liée à la structure métrique de S n en tant que sous-espace de L 2 (A, ν) ∩ L ∞ (A, ν). De plus, si on note (ϕ λ ) λ∈Λ n une base orthonormée de S n pour le produit scalaire de L 2 (A, ν), alors on a :

sup t ∈S n \{0} ∥t ∥ 2 ∞ ∥t ∥ 2 ν = λ∈Λ n ϕ 2 λ ∞ , voir
K ν n (S n ) := sup t ∈S n \{0} ∥t ∥ 2 ν ∥t ∥ 2 n .
En s'appuyant sur l'inégalité de Bernstein, [START_REF] Baraud | Model selection for regression on a random design[END_REF] montre que pour tout δ > f -1 0 , on a :

P K ν n (S n ) > δ ≤ N 2 n exp - f 0 -δ -1 2 4 f 1 × n ΦN 2 n .
(1.38)

Cette inégalité combinée au résultat de [START_REF] Baraud | Model selection for regression on a fixed design[END_REF] permet d'établir une inégalité de type (1.36) pour la norme ∥•∥ ν . En considérant toujours une pénalité de la forme pen(m) := (1 + θ)σ 2 D m n et en tronquant la norme de l'estimateur b m :

b n := b m 1 ∥ b m ∥ ν ≤2 exp(log 2 (n)) ,
l'auteur montre que si les ε i admettent un moment d'ordre q > 4 et si

N 2 n ≤ Φ -1 n/ log 3 (n), alors : E∥b -b n ∥ 2 ν ≤ C inf m∈M n inf t ∈S m ∥b -t ∥ 2 ν + pen(m) + R n , R n := Σ n (q) n + 1 + ∥b∥ 2 ν exp -2 log 2 (n) ,
où C est une constante qui dépend de θ, Φ, f 0 , f 1 , q et E|ε| q , et où Σ n (q) est défini par : [START_REF] Cohen | On the Stability and Accuracy of Least Squares Approximations[END_REF] étudient le problème dans le cas univarié p = 1. Ils supposent que X 1 , . . . , X n sont i.i.d. de loi µ connue. La motivation des auteurs n'est pas vraiment statistique, leur objectif est d'étudier l'approximation d'une fonction sur des sous-espaces S m et de dégager un critère sur la dimension de S m afin de connaître le niveau de régularisation requis pour assurer la stabilité de la projection des moindres carrées. D'ailleurs, ils commencent par étudier le problème sans les variables de bruit. Ils introduisent (ϕ k ) 1≤k≤m une base orthonormée de S m pour le produit scalaire de L 2 (A, µ), ainsi que G m ∈ R m×m la matrice de Gram empirique des ϕ k :

Σ n (q) := m∈M n D - q 2 +2 m .
G m := 〈ϕ j , ϕ k 〉 n j ,k .
Si cette matrice est inversible, alors la solution du problème des moindres carrés est unique et peut être calculée comme :

b m = m k=1 a k ϕ k , a m := 1 n G -1 m Φ * m Y, où Φ m := ϕ k (X i ) i ,k ∈ R n×m et Y est le vecteur des Y i . Ils étudient ensuite com- ment les normes ∥•∥ n et ∥•∥ µ divergent sur S m , ce qui revient à étudier la dévia- tion de G m par rapport à son espérance I m : ∥ G m -I m ∥ op = sup t ∈S m \{0} ∥t ∥ 2 n -∥t ∥ 2 µ ∥t ∥ 2 µ .
En utilisant les inégalités de Chernov matricielles (théorème 1.4.10), ils montrent que pour tout δ ∈ ]0, 1[ :

P ∥ G m -I m ∥ op > δ ≤ 2m exp -c δ n L(m) , (1.39) où c δ := (1+δ) log(1+δ)-δ et L(m) = m k=1 ϕ 2 k ∞ .
Cette inégalité est une amélioration de l'inégalité (1.38) de [START_REF] Baraud | Model selection for regression on a random design[END_REF]. Pour δ = 1 2 , si m vérifie la condition :

L(m) ≤ c 1/2 α + 1 × n log n , (1.40) avec α > 0, alors P ∥ G m -I m ∥ op > 1 2 ≤ 2n -α . La
∥•∥ n et ∥•∥ µ : ∥ b m ∥ µ = ∥Π (n) m (Y)∥ 2 µ ≤ C 1 n n i =1 Y 2 i , C = 6, où Π (n)
m désigne le projecteur orthogonal sur S m pour le produit scalaire empirique. Concernant la partie plus statistique de leur article, ils supposent que b est bornée par une constante L connue et définissent un estimateur tronqué par cette constante :

b m,L := T L b m , T L (t ) := sign(t ) × min L, |t | .
Si m vérifie la condition de stabilité (1.40), ils établissent la majoration suivante sur le risque de leur estimateur :

E∥b -b m,L ∥ 2 µ ≤ 1 + 8c 1/2 (α + 1) log n inf t ∈S m ∥b -t ∥ 2 µ + 8σ 2 m n + 8L 2 n -α .
En revanche, la question de l'adaptation n'est pas abordée dans leur article. Remarquons que si L(m) ≤ Φm pour une constante Φ, la condition de stabilité peut se réécrire comme m ≤ Φ -1 (α + 1) -1 c 1/2 n/ log n. En comparaison, la condition de [START_REF] Baraud | Model selection for regression on a random design[END_REF] sur la dimension des sous-espaces est d'être inférieure à

Φ -1 n/ log 3 (n) 1/2 .
Comte & Genon-Catalot (2020b) étudient également le problème dans le cas univarié et supposent que X 1 , . . . , X n sont i.i.d. de loi µ inconnue mais admettant une densité f par rapport à la mesure de Lebesgue. Leur but est de construire un estimateur par projection sur une base orthonormée (ϕ k ) k∈N de L 2 (A) et d'étudier le risque pour la norme pondérée par la loi du design. La particularité de leur travail est de considérer des domaines A non compacts, une attention particulière étant portée aux cas A = R (base d'Hermite) et A = R + (base de Laguerre). Dans ce cas, l'hypothèse d'une minoration de la densité f par une constante ne tient plus et les normes ∥•∥ µ et ∥•∥ L 2 ne sont pas équivalentes, comme c'était le cas dans l'article de [START_REF] Baraud | Model selection for regression on a random design[END_REF].

Contrairement à l'article de Cohen et al. (2013), la base (ϕ k ) k∈N n'est pas orthonormée pour le produit scalaire de L 2 (A, µ), donc l'espérance de G m n'est pas l'identité mais la matrice :

G m := E G m = 〈ϕ j , ϕ k 〉 µ j ,k ∈ R m×m , où 〈•, •〉 µ est le produit scalaire de L 2 (A, µ). Les autrices définissent l'évènement Ω m (δ) sur lequel les normes ∥•∥ n et ∥•∥ µ sont uniformément proches sur S m : Ω m (δ) :=    sup t ∈S m \{0} ∥t ∥ 2 n -∥t ∥ 2 µ ∥t ∥ 2 µ ≤ δ    ,
et montrent à l'aide de l'inégalité de Chernov matricielle une inégalité similaire à (1.39) :

P Ω m (δ) c = P G -1 2 m G m G -1 2 m -I m op > δ ≤ 2m exp -c δ n L(m) ∥G -1 m ∥ op ∨ 1 .
En prenant δ = 1 2 et en supposant que m vérifie la condition :

L(m) ∥G -1 m ∥ op ∨ 1 ≤ c 2 × n log n , c := 2 × c 1/2 5 , (1.41) alors P Ω m (1/2) c ≤ 2n -4 , c'est-à-dire les normes ∥•∥ n et ∥•∥ µ sont
E∥b -b m ∥ 2 µ ≤ 1 + 8c log n inf t ∈S m ∥b -t ∥ 2 µ + 8σ 2 m n + C n , où C > 0 dépend de E[ε 4 ] et E[b(X ) 4 ].
Concernant l'adaptation, elles supposent que L(m) ≤ Φm pour une certaine constante Φ > 0 et que la densité f est bornée. Idéalement, on voudrait sélectionner parmi les modèles vérifiant la condition L(m)(∥ G -1 m ∥ op ∨ 1) ≤ cn/logn, qui intervient dans la définition de l'estimateur b m . Cependant, la preuve de leur inégalité oracle, qui utilise l'inégalité de Bernstein matricielle (théorème 1.4.11), requiert une condition plus forte. Elles considèrent donc la collection de modèle aléatoire suivante :

M n := m ∈ N m ∥ G -1 m ∥ 2 op ∨ 1 ≤ d n log n , d := 192 Φ × ∥ f ∥ ∞ ∨ 1 + 1 3 -1
, (1.42) ainsi que sa version théorique :

M n := m ∈ N m ∥G -1 m ∥ 2 op ∨ 1 ≤ d 4 × n log n ,
et sélectionnent m ∈ M n par critère des moindres carrés pénalisé avec une pénalité de la forme pen(m) := κσ 2 m n . Notons que c'est bien le carré de la norme d'opérateur qui est utilisé dans la définition de 4 ] sont finis, elles établissent une inégalité de type (1.36) sur la collection M n pour la norme empirique et la norme ∥•∥ µ , en utilisant l'inégalité de Talagrand (théorème 1.4.8) et l'inégalité de Bernstein matricielle.

M n et M n . Sous l'hypothèse que E[ε 6 ] et E[b(X )

Contribution

Dans le chapitre 4, on étend les résultats de Comte & Genon-Catalot (2020b) au cas multivarié. On considère un design aléatoire X 1 , . . . , X n dans lequel les variables sont indépendantes mais pas identiquement distribuées. On note µ i la loi de X i et on note µ la moyenne des µ i . Comme [START_REF] Baraud | Model selection for regression on a random design[END_REF], on fixe une mesure de référence ν et on suppose que µ admet une densité bornée par rapport à ν. On suppose que le domaine A s'écrit comme un produit cartésien et que ν est une mesure produit :

A = A 1 × • • • × A p , ν = ν 1 ⊗ • • • ⊗ ν p , où ν i est une mesure sur A i . On se donne (ϕ i k ) k∈N une base orthonormée de L 2 (A i , ν i ) et
b m = k≤m-1 a (m) k ϕ k , a (m) k = 1 n G -1 m × d Φ * m × 1 Y, où Φ * m := ϕ k (X i ) k,i ∈ R m×n , Y est le vecteur des Y i et G m l'hypermatrice de Gram empirique : G m := 〈ϕ j , ϕ k 〉 n j ,k ∈ R m×m , 〈t , s〉 n := 1 n n i =1 t (X i )s(X i ).
On notera G m l'espérance de G m . Nous avons également besoin de contrôler la probabilité que les normes ∥•∥ µ et ∥•∥ n diffèrent l'une de l'autre sur S m . On introduit pour cela l'évènement :

∀δ ∈ ]0, 1[, Ω m (δ) := ∀t ∈ S m , ∥t ∥ 2 µ ≤ 1 1 -δ ∥t ∥ 2 n .
À la différence des travaux de

P Ω m (δ) c ≤ D m exp -h(δ) n L(m)∥G -1 m ∥ op , où h(δ) := δ + (1 -δ) log(1 -δ) et où L(m) := ∥ ∀i ,k i <m i ϕ 2 k ∥ ∞ .
Ainsi, si on se restreint à la collection de modèles de la forme :

M (1) n,α := m ∈ N p + L(m) ∥G -1 m ∥ op ∨ 1 ≤ α n log n , alors on a : ∀m ∈ M n,α , P Ω m (δ) c ≤ D m n -h(δ) α ≤ n -h(δ) α +1 .
Ce résultat permet d'établir une majoration du risque de b m lorsque m appartient à la collection M (1) n,α . Dans toute la suite, on suppose que b ∈ L 2r (µ) avec

r ∈ ]1, +∞] et on note r ′ ∈ [1, +∞[ son exposant conjugué 7 . On montre que pour tous α ∈ ]0, 1 2r ′ +1 [ et m ∈ M (1) n,α , on a : E∥b -b m ∥ 2 µ ≤ C n (α, r ′ ) inf t ∈S m ∥b -t ∥ 2 µ +C ′ (α, r ′ ) σ 2 D m n + C ′′ ∥b∥ L 2r (µ) , σ 2 , α n log n .
Pour construire un estimateur adaptatif, on considère la version empirique de la collection de modèles M (1) n,α :

M (1) n,β := m ∈ N p + L(m) ∥ G -1 m ∥ op ∨ 1 ≤ β n log n ,
avec β un paramètre positif. On sélectionne m1 dans cette collection par critère pénalisé avec une pénalité de la forme pen(m) := (1 + θ)σ 2 D m n . En s'appuyant sur le résultat de [START_REF] Baraud | Model selection for regression on a fixed design[END_REF] pour le cas d'un design fixe et supposant que les ε i admettent un moment d'ordre q > 6, on montre que l'estimateur b m 1 satisfait une inégalité oracle pour la norme empirique sur les collections M n,α , pour α inférieur à une quantité qui dépend de β et r . Dans le cas où A est compact, on fait l'hypothèse que la densité de µ est minorée par une constante f 0 > 0 ; la norme d'opérateur de G -1 m est alors majorée par f -1 0 . En tirant à nouveau profit des inégalités de Chernov matricielles et en utilisant cette majoration, on montre que qu'il existe une constante β f 0 ,r telle que si β < β f 0 ,r , alors l'estimateur b m1 vérifie une inégalité oracle en norme ∥•∥ µ sur les collections M (1) n,α , pour α inférieur à une quantité qui dépend de β et r .

Ce résultat dans le cas compact améliore les résultats de [START_REF] Baraud | Model selection for regression on a random design[END_REF] et Comte & Genon-Catalot (2020b). En effet, si on suppose que

L(m) ≤ ΦD m pour constante Φ > 0, et puisque ∥G -1 m ∥ op est majoré uniformément en m, la collection M (1)
n,α est en fait équivalente à la collection :

M ′ n,α := m ∈ N p + D m ≤ α f 0 Φ × n log n .
L'estimateur de [START_REF] Baraud | Model selection for regression on a random design[END_REF] En revanche dans le cas non compact, on fait face aux mêmes difficultés que Comte & Genon-Catalot (2020b). On suit alors une stratégie similaire à la leur, en considérant des collections plus petites :

M (2) n,α := m ∈ N p + L(m) ∥G -1 m ∥ 2 op ∨ 1 ≤ α n log n , M (2) n,β := m ∈ N p + L(m) ∥ G -1 m ∥ 2 op ∨ 1 ≤ β n log n ,
et en sélectionnant m 2 parmi les modèles de M (2) n,β . En partant de l'inégalité oracle pour la norme empirique et en utilisant l'inégalité de Bernstein matricielle, on montre qu'il existe une constante β f 1 ,r qui dépend du majorant de la densité de µ et de r , telle que si β < β f 1 ,r , alors b m 2 vérifie une inégalité oracle pour la norme ∥•∥ µ sur les collections M (2) n,α , pour α inférieur à une quantité qui dépend de β et r .

Perspectives

Une première suite de ce travail serait d'étendre nos résultats à la régression non paramétrique dans un modèle hétéroscédastique. Dans ce modèle, la variance du bruit n'est plus constante et devient une fonction qui dépend du design :

Y i = b(X i ) + σ(X i )ε i ,
où les ε i sont i.i.d. de variance 1. En dimension 1, le problème a été étudié par Comte & Genon-Catalot (2020a) qui étendent les résultats de Comte & Genon-Catalot (2020b) avec succès . Pour le moment, nos résultats dans le modèle homoscédastique s'appuient sur le travail de [START_REF] Baraud | Model selection for regression on a fixed design[END_REF]. Pour passer au modèle hétéroscédastique, une première possibilité serait de généraliser le résultat en design fixe de [START_REF] Baraud | Model selection for regression on a fixed design[END_REF] au cas de variables de bruit ayant des variances différentes. On l'étendrait ensuite en design aléatoire avec la même méthode que celle utilisée au chapitre 4 pour le modèle homoscédastique. Une autre possibilité serait de suivre l'approche de Comte & Genon-Catalot (2020a), basée sur l'inégalité de Talagrand, et de voir si elle se généralise à la dimension supérieure.

Une deuxième suite serait de considérer, comme le fait [START_REF] Baraud | Model selection for regression on a random design[END_REF], des sous-espaces d'approximation S m plus généraux, qui ne sont pas associés au choix d'une base orthonormée de L 2 (A, ν). Cela permettrait d'envisager des estimateurs construits à partir de bases localisées, comme des fonctions polynomiales par morceaux ou des ondelettes. Nous pensons que l'étude des déviations de la norme empirique par rapport à la norme ∥•∥ µ que nous avons menée est encore valable dans ce cadre plus général. Ainsi, nous pensons qu'il est possible d'étendre nos résultats d'adaptation au cas d'un domaine A non-compact et de sous-espaces S m plus généraux, sans l'hypothèse de minoration sur la densité du design.

Chapter 2

Anisotropic Multivariate Deconvolution Using Projection on the Laguerre Basis

This chapter is a modified version of my article F. DUSSAP : Anisotropic multivariate deconvolution using projection on the Laguerre basis.

Statistical model and motivations

In this chapter, we study the problem of recovering the distribution of a random vector X when we only observe its sum with a noise vector Y with known distribution. This is a classical problem in nonparametric statistics (see references below), but we focus on the particular case where both X and Y have non-negative coordinates.

53

This assumption is quite unusual in deconvolution problems but is relevant for instance in reliability fields: we observe the failure times of several components in a system, each failure time being the sum of the lifetimes of two subcomponents. In survival analysis, for d = 1, X would be the time of infection of a disease and Y the incubation time. The multivariate case can then be used to study the time of infection for multiple diseases.

More precisely, we consider the following statistical model:

Z i = X i + Y i , i = 1, . . . , n, (2.1)
where the X i s, the Y i s and Z i s are random vectors in R d with non-negative coordinates. We assume that the X i s are i.i.d. with unknown density f on R d + , and that the Y i s are i.i.d. with known density g on R d

+ . Moreover, we assume that the X i s and the Y i s are independent. Our goal is to provide an adaptive procedure to estimate the density f from the observations Z 1 , . . . , Z n .

In the univariate case, there are a lot of papers about recovering the density of a random variable when it is observed with an additive known noise. Many authors use a kernel estimator introduced by [START_REF] Stefanski | Deconvolving kernel density estimators[END_REF]. [START_REF] Fan | On the Optimal Rates of Convergence for Nonparametric Deconvolution Problems[END_REF] first introduced the notion of ordinary smooth and supersmooth noise (rate of decay of the characteristic function) to study optimal rates of convergence on Hölder spaces. When f is supersmooth and the noise is ordinary smooth, [START_REF] Butucea | Deconvolution of supersmooth densities with smooth noise[END_REF] showed that the kernel estimator achieves a good rate of convergence and that this rate is optimal. When both f and the noise are supersmooth, the problem is more complicated and have been studied by Butucea & Tsybakov (2008a,b) from lower bound point of view.

To provide an adaptive estimator, different procedures were proposed. When f belongs to a Sobolev space, [START_REF] Pensky | Adaptive wavelet estimator for nonparametric density deconvolution[END_REF] proposed a wavelet strategy that is adaptive and achieves optimal rates of convergence. For kernel estimators, [START_REF] Delaigle | Bootstrap bandwidth selection in kernel density estimation from a contaminated sample[END_REF] estimated the optimal bandwidth with a bootstrap procedure and showed its consistency. [START_REF] Hazelton | Nonparametric density deconvolution by weighted kernel estimators[END_REF], 2010) proposed a weighted kernel estimator with a data-driven way to choose the weights. Moreover, their weighted kernel estimator can be used in a multivariate setting. For projection with penalization strategies, [START_REF] Comte | Penalized contrast estimator for adaptive density deconvolution[END_REF] used a Shannon type basis to construct an adaptive estimator that is minimax in most cases. More recently, non-compactly supported bases were used by Mabon (2017) (Laguerre basis), by Comte & Genon-Catalot (2018) (Laguerre basis and Hermite basis), and by Sacko (2020) (Hermite basis) to construct adaptive estimators on suitable functional spaces.

The Laguerre basis was also used in a regression setting to study the problem of Laplace deconvolution, see Comte et al. (2017) and [START_REF] Vareschi | Noisy Laplace deconvolution with error in the operator[END_REF], or more recently [START_REF] Benhaddou | Anisotropic functional Laplace deconvolution[END_REF].

The multivariate deconvolution literature is more sparse. [START_REF] Masry | Multivariate probability density deconvolution for stationary random processes[END_REF] generalizes the kernel estimator for stationary random processes, with a dependence structure between the variables. The noise is assumed to have i.i.d. coordinates (isotropic noise) and no adaptive strategy is proposed, the author focuses on the problem of dependency between the variables. [START_REF] Youndjé | Optimal bandwidth selection for multivariate kernel deconvolution density estimation[END_REF] propose a cross-validation strategy to estimate the optimal bandwidth of the kernel estimator in the multivariate setting, and show it is asymptotically optimal under the assumption that the noise is isotropic and ordinary smooth. [START_REF] Comte | Anisotropic adaptive kernel deconvolution[END_REF] use a bandwidth selection procedure inspired by [START_REF] Goldenshluger | Bandwidth selection in kernel density estimation : Oracle inequalities and adaptive minimax optimality[END_REF]. Their procedure allows anisotropic noises, with both ordinary smooth and supersmooth components, and they derive rates of convergence for the pointwise risk and the L 2 risk, when f belongs to anisotropic Hölder, Sobolev, or Nikol'skii classes. For ordinary smooth noise and when f belongs to anisotropic Nikol'skii classes, [START_REF] Rebelles | Structural adaptive deconvolution under Lp-losses[END_REF] provides an adaptive kernel estimator which is minimax for the L p loss. Recently, [START_REF] Lepski | Oracle inequalities and adaptive estimation in the convolution structure density model[END_REF] studied a more general model (with direct and indirect observations of X ) and provided an adaptive kernel estimator on anisotropic Nikol'skii classes, under the L p loss.

Concerning our specific case of deconvolution with non-negative noise, the case d = 1 has already been studied by Mabon (2017) using a projection strategy on the Laguerre basis. We also use a projection strategy in the multivariate case. The main tool we use to construct our estimator is the theory of hypermatrices. Using the contraction product of hypermatrices, we show that it is possible to recover the coefficients of f from the observations. We recall the definitions of these objects in Section 1.3.

We provide rates of convergence for the MISE of our estimator on anisotropic functional spaces: Sobolev-Laguerre spaces and smooth Laguerre spaces. We propose a model selection procedure to produce an adaptive estimator, under mild assumptions on the noise density g . This procedure is inspired by the work of [START_REF] Goldenshluger | Bandwidth selection in kernel density estimation : Oracle inequalities and adaptive minimax optimality[END_REF] concerning bandwidth selection. It was introduced for model selection by Chagny (2013c) for estimation of conditional density, in a two-dimensional setting. We show this procedure can be applied to our deconvolution problem, in a d -dimensional setting, and we establish an asymptotic oracle inequality for this procedure. Moreover, the proof is written to provide general steps that can be applied to other contexts.

Outline of the paper

In Section 2.2, we construct the estimator. In section 2.3, we provide non asymptotic MISE bounds and we derive convergence rates on Sobolev-Laguerre balls and smooth Laguerre balls. In Section 2.4, we give model selection procedures to construct an adaptive estimator and we establish oracle inequalities. In Section 2.5, we illustrate the procedures on simulated data. All the proofs are gathered in Section 2.6.

The estimation procedure

In the model (2.1), the Z i s are i.i.d. random vectors on R d + , and they admit a density we denote by h. This density function is given by the convolution product of CHAPTER 2. ANISOTROPIC MULTIVARIATE DECONVOLUTION f and g :

( f * g )(x) := R d f (u) g (x -u) du = • • • [0,x 1 ]ו••×[0,x d ] f (u) g (x -u) du.
We assume that f , g and h belong to L 2 (R d + ) and we expand them in the multivariate Laguerre basis. We recall that the one-dimensional Laguerre functions (ϕ k ) k∈N are defined by:

∀x ∈ R + , ϕ k (x) := 2 L k (2x) e -x , where L k (x) := k j =0 k j (-x) j j ! ,
and that they form an orthonormal basis of L 2 (R + ). In the multivariate case, we tensorize the Laguerre basis. For k = (k 1 , . . . , k d ) ∈ N d a multi-index, we define the multivariate Laguerre function ϕ k on R d + as the tensor product of onedimensional Laguerre functions:

ϕ k (x 1 , . . . , x d ) := ϕ k 1 ⊗ • • • ⊗ ϕ k d (x 1 , . . . , x d ) = ϕ k 1 (x 1 ) × • • • × ϕ k d (x d ).
The multivariate Laguerre functions (ϕ k ) k∈N d form a basis of L 2 (R d + ), and we expand the functions f , g and h in this basis:

f = k∈N d a k ϕ k , g = j ∈N d b j ϕ j , h = ℓ∈N d c ℓ ϕ ℓ . (2.
2)

The use of the Laguerre basis is relevant in this context, as the one-dimensional Laguerre functions satisfy the relation:

∀k, j ∈ N, ϕ k * ϕ j = 2 -1/2 (ϕ k+ j -ϕ k+ j +1 ), (2.3)
see (Abramowitz & Stegun, 1972, formula 22.13.14). Using this relation and h = f * g , by expanding the functions f , g and h on the Laguerre basis, we get a relation between their coefficients.

Proposition 2.2.1. If a, b and c are the coefficients defined in (2.2), then the following relation holds:

∀ℓ ∈ N d , c ℓ = 2 -d /2 ε∈{0,1} d (-1) |ε| (a * b) ℓ-ε ,
where a * b is the discrete convolution product of a and b defined by

(a * b) k := j ≤k a j b k-j if k ∈ N d and (a * b) k = 0 if k ∉ N d .
This relation can be written as a discrete convolution product c = β * a with β ∈ N d defined by:

β k := 2 -d /2 ε∈{0,1} d (-1) |ε| b k-ε , (2.4)
where by convention b j = 0 if j ∉ N d . Thus, we have a linear relation between the coefficients c and a:

∀ℓ ∈ N d , c ℓ = k≤ℓ G ℓk a k , where G ℓk := β ℓ-k if k ≤ ℓ, 0 else. (2.5) If we consider G as an infinite hypermatrix [G ℓk ] ℓ,k∈N d ∈ R N d ×N d
, then it is lower triangular according to the following definition.

Definition 2.2.2. A hypermatrix T ∈ R m×m is said to be lower triangular if apart from multi-indices ℓ, k ≤ m -1 such that k ≤ ℓ, we have T ℓk = 0. An infinite hypermatrix T ∈ R N d ×N d is said to be lower triangular if apart from multi-indices ℓ, k ∈ N d such that k ≤ ℓ, we have T ℓk = 0.
In the next proposition, we show that the linear relation between a and c is invertible.

Proposition 2.2.3. Let G be the infinite hypermatrix defined in (2.5). For every k ∈ N d , there exists [H kℓ ] ℓ≤k such that for every a, c ∈ R N d statisfying the relation (2.5), we have:

a ℓ = ℓ≤k H ℓk c k .
(2.6)

We denote

H ℓk =: [G -1 ] ℓk .
We can write the linear relations between a and c using hypermatrices and contraction products. For m ∈ N d + , we denote by a m (resp. c m ) the hypermatrix

[a k ] k≤m-1 ∈ R m (resp. [c ℓ ] ℓ≤m-1 ∈ R m
), and we denote by G m and G -1 m the hypermatrices [G ℓk ] ℓ,k≤m-1 and [(G -1 ) ℓk ] ℓ,k≤m-1 in R (m,m) . Then, we have:

c m = G m × d a m ⇐⇒ a m = G -1 m × d c m , (2.7)
where "× d " stands for the contraction product defined by (1.5). ϕ ℓ (Z i ).

Estimation procedure

Non-asymptotic error bounds

We quantify the quality of the estimator f m by its MISE (Mean Integrated Squared Error): E∥ ff m ∥ 2 L 2 . In the next proposition, we decompose the MISE in a bias term and a variance term and give a bound on the MISE of f m .

Proposition 2.3.1. If f and g are L 2 (R d + ) functions, then we have the inequality:

∀m ∈ N d + , E∥ f -f m ∥ 2 L 2 ≤ ∥ f -f m ∥ 2 L 2 + 2 d D m ∥G -1 m ∥ 2 op n ∧ ∥h∥ ∞ ∥G -1 m ∥ 2 F n . Remark 2.3.2. The norm equivalence (1.6) implies that ∥G -1 m ∥ 2 F ≤ D m ∥G -1 m ∥ 2 op
, so the order of magnitude of the variance term is given by ∥G -1 m ∥ 2 F . The minimum is important only for the small values of m (because of the constants).

Remark 2.3.3. Using the Cauchy-Schwarz inequality, it holds ∥h∥ ∞ ≤ ∥ f ∥ L 2 ∥g ∥ L 2 which is finite by assumption. Moreover, if g is bounded, we also have ∥h∥ ∞ ≤ ∥g ∥ ∞ , so that the bound on the variance term does not depend on unknown quantities. We make this assumption in the following.

Assumption 2.1. We assume that g is bounded.

Under an additional assumption, Comte & Genon-Catalot (2018) improved the variance bound in the one-dimensional case. We generalize their result to the multivariate case.

Assumption 2.2. We denote Y ( j ) 1 the j -th coordinate of Y 1 . We assume that for every nonempty subset J of {1, . . . , d }, we have:

M J (g ) := E    j ∈J 1 Y ( j ) 1    < +∞.
Proposition 2.3.4. Under Assumption 2.2, we have:

∀m ∈ N d + , E∥ f -f m ∥ 2 L 2 ≤ ∥ f -f m ∥ 2 L 2 + c(g ) D m ∥G -1 m ∥ 2 op n ∧ ∥h∥ ∞ ∥G -1 m ∥ 2 F n ,
where c(g ) is a positive constant depending on M J (g ) for J ⊆ {1, . . . , d }.

To study the bias term, we assume that f belongs to a Sobolev-Laguerre space. In dimension d = 1, these functional spaces have been introduced by [START_REF] Bongioanni | What is a Sobolev space for the Laguerre function systems ?[END_REF] to study the Laguerre operator. The connection with Laguerre coefficients was established later by Comte & Genon-Catalot (2015). Following the same idea, we define Sobolev-Laguerre balls on R d + .

Definition 2.3.5 (Sobolev-Laguerre ball). Let L > 0 and s ∈ (0, +∞) d , we define the Sobolev-Laguerre ball of order s and radius L by:

W s (R d + , L) := f ∈ L 2 (R d + ) k∈N d a 2 k ( f ) k s ≤ L , with a k ( f ) := 〈 f , ϕ k 〉 L 2 the Laguerre coefficients of f .
Assuming f to belong to W s (R d + , L), the bias term decreases to 0 with polynomial rate. Indeed, for m ∈ N d + , we have:

∥ f -f m ∥ 2 L 2 = k∈N d ∃q, k q ≥m q a 2 k ( f ) ≤ d q=1 k∈N d k q ≥m q a 2 k ( f ) k s q q k -s q q ≤ L d q=1 m -s q q .
(2.8)

The case where the Laguerre coefficients of f decrease with exponential rate is also interesting. We define new functional spaces, "smooth Laguerre spaces", in the following way.

Definition 2.3.6 (Smooth Laguerre ball). Let L > 0 and r ∈ (0, +∞) d , we define the smooth Laguerre ball of order r and radius L as:

S r (R d + , L) := f ∈ L 2 (R d + ) k∈N d a 2 k ( f ) e r •k ≤ L .
By the same argument as previously, if f belongs to S r (R d + , L), the bias term decreases to 0 with exponential rate:

∀m ∈ N d + , ∥ f -f m ∥ 2 L 2 ≤ L d q=1
e -r q m q .

(2.9)

Now, we need to control the variance term in Proposition 2.3.1. In the onedimensional case, this control is provided under assumptions on the Laplace transform G of g and under assumptions on the derivatives of g , see lemma 3.6 in (Comte et al., 2017). In the next proposition, we extend this result to the multivariate case. Moreover, we make assumptions only on the behavior of the Laplace transform of g , we do not need to study its differentials.

We recall that the Laplace transform of g is the function G defined on the domain P d + by: G(s) :=

R d + e -s•x g (x) dx,
where P + stands for the set of complex numbers with non-negative real part. In addition, we extend the set C of complex numbers by adding a point at infinity denoted by ∞. The control of the Frobenius norm of G -1 m relies on the behavior of G when some of its arguments take the ∞ value.

Proposition 2.3.7. We assume that β ∈ ℓ 1 (N d ), with β defined in (2.4). We assume that G is non-zero on P d + and that there exists α ∈ N d + such that the function:

K α (s) := (1 + s) α G(s), s ∈ P d + ,
can be extended as a non-zero function on (P + ∪{∞}) d such that the restriction of

K α on (iR ∪ {∞}) d is continuous. Then for m ∈ N d satisfying m ≥ 4, there exists a constant C > 0 depending on β such that ∥G -1 m ∥ 2 F ≤ C m 2α . Remark 2.3.8. If g ∈ W s (R d + , L)
with L > 0 and s ∈ (1, +∞) d , the Laguerre coefficients of g belong to ℓ 1 (N d ). Indeed, using Cauchy-Schwarz inequality,

k∈N d |b k | = k∈N d |b k | k s 2 k -s 2 ≤ k∈N d b 2 k k s 1 2 k∈N d k -s 1 2
< +∞, because for every q ∈ {1, . . . , d }, s q > 1.

Remark 2.3.9. We notice that in dimension d = 1, the assumptions of Proposition 2.3.7 simply become:

1. The Laplace transform G does not vanish on P + .

2. The Fourier transform of g admits an asymptotic expansion:

g * (ω) = ω -α K α + o(1) ,
when |ω| goes to +∞, for some α ∈ N * and some non-zero constant K α .

It is easy to see that this second assumption is a consequence of the assumptions on the derivatives of g made in (Comte et al., 2017, Subsection 2.5).

Remark 2.3.10. If the distribution of Y i s is a product of gamma distributions d q=1 Γ(α q , λ q ) with α = (α 1 , . . . , α d ) ∈ N d + , then G and K α are given by:

G(s) = d q=1 1 + s q λ q -α q and K α (s) = λ α d q=1 1 + s q λ q + s q α q
, so the assumptions of Proposition 2.3.7 are fulfilled.

Gathering (2.8) or (2.9) with Proposition 2.3.7, we obtain convergence rates for our estimator.

Theorem 2.3.11. Let s, r ∈ (0, +∞) d and L > 0. We assume that g satisfies the assumptions of Proposition 2.3.7 with α ∈ N d + .

1. For m opt ∈ N d + given by m opt, j ∝ n

1/ s j +s j d i =1
2α i s i , there exists a positive constant C (s, L, g ) depending on s, L and g such that:

sup f ∈W s (R d + ,L) E∥ f -f m opt ∥ 2 L 2 ≤ C (s, L, g ) n -1/ 1+ d i =1 2α i s i .
2. For m opt ∈ N d + given by m opt, j ∝ log n r j , there exists a constant C (r, L, g ) > 0 depending on r , L and g such that:

sup f ∈S r (R d + ,L) E∥ f -f m opt ∥ 2 L 2 ≤ C (r, L, g ) (log n) d i =1 2α i n .
Remark 2.3.12. Our convergence rates on Sobolev-Laguerre balls are similar to convergence rates found by [START_REF] Comte | Anisotropic adaptive kernel deconvolution[END_REF] on anisotropic Sobolev balls, in the context of deconvolution using a kernel estimator with an ordinary smooth noise.

Remark 2.3.13. We could have considered mixed regularities for f . For instance, if the coefficients of f satisfy:

k∈N d a 2 k k s 1 1 • • • k s j 0 j 0 exp(r j 0 +1 k j 0 +1 + • • • + r d k d ) ≤ L,
for some 1 ≤ j 0 < d , then we can give the following upper-bound on the bias term:

∥ f -f m ∥ 2 L 2 ≤ L j 0 j =1 m -s j j + d j = j 0 +1
e -r j m j .

By choosing m j ∝ log n r j for j > j 0 , the MISE of f m is then:

E∥ f -f m ∥ 2 L 2 ≲ L j 0 j =1 m -s j j + ∥h∥ ∞ N n j 0 j =1 m 2α j j + L (d -j 0 ) n ,
with N n := n j > j 0 (log(n)/r j ) 2α j . We can now choose the first j 0 components of m like in the case 1 of Theorem 2.3.11, but with a sample size N n , and we get:

E∥ f -f m opt ∥ 2 L 2 ≤ C n j > j 0 log(n)/r j 2α j -1/ 1+ j 0 j =1 2α j s j
.

It is the rate we would find on a Sobolev-Laguerre ball in dimension j 0 , up to a logarithmic factor.

Adaptive estimation and oracle inequalities

In practice, we do not know the underlying regularity of f , so we can not compute the model m opt of Theorem 2.3.11. We want a data-driven procedure that automatically optimizes the bias-variance compromise, without making regularity assumptions on f .

We need a restriction on the complexity of models we consider. Let M n be the following model collection:

M n := m ∈ N d + D m ∥G -1 m ∥ 2 op ∨ 1 ≤ n log n .
(2.10)

We make an additional assumption on the growth of ∥G -1 m ∥ 2 op .

Assumption 2.3. For every b > 0, we have:

m∈M n ∥G -1 m ∥ 2 op e -b D m ≤ K (b),
with K (b) a positive constant not depending on n.

Under Assumptions 2.1 and 2.2, we can apply Proposition 2.3.4 to control the variance term E∥ f mf m ∥ 2 L 2 by:

V (m) := c(g ) D m ∥G -1 m ∥ 2 op n ∧ (∥g ∥ ∞ ∨ 1)∥G -1 m ∥ 2 F log n n . (2.11)
Moreover, under Assumption 2.3, we can control the right deviation from its mean of

∥ f m -f m ∥ 2 L 2 when m belongs to M n .
Lemma 2.4.1. Under Assumptions 2.1, 2.2 and 2.3, there exists a numerical constant a 0 (d ) > 0 depending on the dimension d such that for every a > a 0 (d ):

m∈M n E ∥ f m -f m ∥ 2 L 2 -aV (m) + ≤ C (g , a) n ,
with C (g , a) a positive constant depending on g and a.

The one-dimensional case When d = 1, we consider two procedures, indexed by i ∈ {1, 2}, the first procedure being the one studied by [START_REF] Mabon | Adaptive Deconvolution on the Non-negative Real Line : Adaptive deconvolution on R +[END_REF]. In both procedures, the projection space is chosen by minimizing the penalized criterion:

m i := arg min m∈M n -∥ f m ∥ 2 L 2 + κ i pen i (m) , i ∈ {1, 2}
where M n is defined by (2.10), κ i is a numerical constant to be adjusted and pen i is the penalty term. [START_REF] Mabon | Adaptive Deconvolution on the Non-negative Real Line : Adaptive deconvolution on R +[END_REF] proposes the following penalty term:

pen 1 (m) := 2m∥G -1 m ∥ 2 op n ∧ (∥g ∥ ∞ ∨ 1)∥G -1 m ∥ 2 F log n n ,
and provides an oracle inequality for the estimator f m 1 under Assumptions 2.1 and 2.3, see Theorem 4.1 in Mabon's article. This choice is based on the bound of the variance term of Proposition 2.3.1. However if g is bounded, then Assumption 2.2 holds automatically in dimension d = 1, so we can apply Proposition 2.3.4 to get a better bound on the variance term. Thus, we propose the penalty term:

pen 2 (m) := V (m) = c(g ) m ∥G -1 m ∥ 2 op n ∧ (∥g ∥ ∞ ∨ 1)∥G -1 m ∥ 2 F log n n .
We show that our estimator f m 2 also satisfies an oracle inequality.

Theorem 2.4.2. We assume d = 1. Under Assumptions 2.1, 2.2 and 2.3, there exists a numerical constant κ 0 > 0 such that for every choice of κ > κ 0 , we have the following oracle inequality:

E ∥ f -f m 2 ∥ 2 L 2 ≤ 4 inf m∈M n ∥ f -f m ∥ 2 L 2 + κ pen 2 (m) + C n ,
with C a positive constant depending on κ and g .

The multivariate case

We use the procedure similar to [START_REF] Goldenshluger | Bandwidth selection in kernel density estimation : Oracle inequalities and adaptive minimax optimality[END_REF] for model selection introduced by Chagny (2013c) for the estimation of a conditional density function. We apply this procedure to our multivariate deconvolution problem, and we establish an oracle inequality.

We choose m in the model collection M n defined in (2.10), minimizing:

m := arg min m∈M n A(m) + κ 2 V (m) , (2.12)
where V (m) is defined by (2.11) and A(m) is a term which has the order of the bias term (see the proof):

A(m) := max m ′ ∈M n ∥ f m ′ -f m∧m ′ ∥ 2 L 2 -κ 1 V (m ′ ) + ,
and where κ 1 , κ 2 are two numerical constants to be adjusted.

Theorem 2.4.3 (Oracle inequality). Under Assumptions 2.1, 2.2 and 2.3, there exists a numerical constant κ 0 (d ) > 0 depending on the dimension d such that for every choice of κ 1 , κ 2 satisfying κ 0 (d ) < κ 1 ≤ κ 2 , we have the following oracle inequality:

E ∥ f -f m ∥ 2 L 2 ≤ C inf m∈M n ∥ f -f m ∥ 2 L 2 + V (m) + C ′ n ,
with C a positive constant depending on κ 1 and κ 2 , and C ′ a positive constants depending on g , d and κ 1 .

Numerical illustrations

Estimators comparison in one-dimensional case

We want to compare the two estimators f m 1 and f m 2 defined in Section 2.4, with different distributions for X and Y , and with different sample size n. We compare their MISE:

R i = R i ( f , g , n) := E∥ f -f m i ∥ 2 L 2 , i ∈ {1, 2}
. We also compute the oracle risk:

R o = R o ( f , g , n) := min 1≤m≤m * E∥ f -f m ∥ 2 L 2 ,
where m * is the maximal element of M n . We compute an approximation of

∥•∥ 2 L 2
with Simpson's rule on a bounded interval I of R + with 1000 points. We compute the expectations with an empirical mean over 500 samples (we use the same samples for R 1 , R 2 and R o ).

Remark 2.5.1. Since f is non-negative, f m is replaced by ( f m ) + := max( f m , 0) in the following.

Distributions for X We consider several distributions for X . In each case, we normalize the distribution for the variance to be 1. We use the same examples as Mabon (2017).

• Exponential E (1), I = [0, 5].

• Gamma Γ(20, 20), I = [0, 10].

• Rayleigh, Distributions for Y We choose gamma distributions for Y . We recall the density of the gamma distribution with parameters α ≥ 1 and λ > 0:

f (x) = x σ 2 exp(-x 2 2σ 2 ) with σ 2 = 2 4-π , I = [0, 6]. • Weibull, f (x) = k λ x λ k-1 e -(x/λ) k , with k = 3 2 and λ = 1/ Γ(1 + 4 3 ) -Γ(1 + 2 3 ) 2 , I = [0, 5]. • Beta B(4,
g (x) = λ α Γ(α) x α-1 e -λx , x ≥ 0.
with Γ the gamma function. These distributions satisfy Assumptions 2.1, 2.2 and 2.3, so we can use the procedure described in Section 2.4. We can compute the Laguerre coefficients of g exactly:

∀k ∈ N, b k = 2 λ λ + 1 α k j =0 k j α -1 + j j -2 1 + λ j , where α-1+ j j := (α-1+ j )×(α-2+ j )ו••×α j ! . Denoting b m the vectors [b k ] k≤m-1 , we can compute: b m = 2 λ λ + 1 α P m v m ,
where P m is the m × m matrix with components P i j := i j for 0 ≤ i , j ≤ m -1, and v m is the vector of size m:

v m := α -1 + j j -2 1 + λ j 0≤ j ≤m-1
.

Therefore, we can compute easily and efficiently the matrix G m and its inverse.

We choose two distributions for Y : the Γ(2, 20) distribution which has variance 1 10 and the Γ(2, 8) distribution which has variance 1 4 .

The constant c(g ) This constant in the penalty pen 2 is not known, so we have to evaluate it numerically. Following the proof of the Proposition 2.3.4, we see this constant appears in the upper bound:

∥G -1 m ∥ 2 op n m-1 k=0 E ϕ k (Z 1 ) 2 ≤ c(g ) m ∥G -1 m ∥ 2 op n ,
which is true for every density of X and for every m. Therefore,

c(g ) = sup X 1 ∼ f sup m∈N * 1 m m-1 k=0 E ϕ k (X 1 + Y 1 ) 2 .
For every distribution of X we considered earlier and for every m from 1 to 50, we computed:

1 m m-1 k=0 E ϕ k (X + Y ) 2 ,
using an empirical mean over 1000 realizations of (X , Y ) to compute the expectation, then we took the maximum. For the two distributions we considered for Y , the worst constant was about 0.4 and was reached for X ∼ E (1). For the other distributions of X , we found constants between 0.2 and 0.3. To be safe, we chose a bigger constant c(g ) = 0.5 for both Γ(2, 20) and Γ(2, 8) distributions.

The constants κ We use the same constant κ 1 = 0.03 as [START_REF] Mabon | Adaptive Deconvolution on the Non-negative Real Line : Adaptive deconvolution on R +[END_REF]. Concerning the constant κ 2 , we made several simulations to calibrate it and we chose κ 2 = 0.04. During the calibration of κ 2 , we realized that the collection M n did not have enough models. The selected dimensions were too small and lead to bad performances. Therefore, we considered the following collection:

M ′ n := 1 ≤ m ≤ m * m ∥G -1 m ∥ 2 op ∨ 1 ≤ 10 n log n ,
where m * is a fixed maximal model.

Procedure

We take the maximal dimension to be m * = 20. We use two sample sizes: n = 200 and n = 2000. Given a distribution for X , a distribution for Y , a sample size n, and a subdivision Σ(I ) of I , do:

1. Compute the matrix G 20 and its inverse.

2. Compute the collection M ′ n .

3. Compute f (x) for x ∈ Σ(I ).

m i = arg min m∈M ′ n - m-1 k=0 a 2 k + κ i pen i (m) , i ∈ {1, 2}, and compute f m 1 (x) + and f m 2 (x) + for x ∈ Σ(I ). d) Compute J 1 = ∥ f -( f m 1 ) + ∥ 2 L 2 and J 2 = ∥ f -( f m 2 ) + ∥ 2 L 2 using Simpson's rule.
e) For m from 1 to 20, compute f m (x) + for x ∈ Σ(I ); then compute

J (m) = ∥ f -( f m ) + ∥ 2
L 2 using Simpson's rule.

5. Compute R 1 (resp. R 2 ) as the mean of J 1 (resp. J 2 ) over the 500 samples.

6. For each m, compute the mean of J (m) over the 500 samples, then compute R o as the minimum of these quantities.

Results

We show our results in Table 2.1. We note that in the cases X ∼ E (1) and X ∼ Γ(20, 20), both estimators performed badly compared to the oracle. We see that our estimator f m 2 is better when X has gamma, Rayleigh, beta and mixture gamma distribution. The estimator f m 1 is better when X has Weibull and exponential distribution. For illustration, Figure 2.1 shows several estimations when the distribution of X is a mixture gamma. It's a bimodal distribution, so it's interesting to see if the estimators are able to recover the two "peaks" and the "hollow" of the true density. For small samples (n = 200), the estimator f m 1 seems to fail more often than the estimator f m 2 . For large samples (n = 2000), both estimators locate well the two pikes (by overestimating the first one and underestimating the second one), but the estimator f m 1 locates less well the hollow and underestimates more the second pike.

Distribution of X MISE

σ 2 Y = 1/10 σ 2 Y = 1/4 n = 200 n = 2000 n = 200 n = 2000 E (1)

Model selection in two-dimensional case

In this subsection, our goal is to illustrate the procedure similar to [START_REF] Goldenshluger | Bandwidth selection in kernel density estimation : Oracle inequalities and adaptive minimax optimality[END_REF] on two examples, in the case d = 2.

Distributions for X To generate a random vector X = (X (1) , X (2) ), we do the following: we generate a random variable W (1) with some distribution and we generate W (2) independently with some other distribution, and we compute:

X (1) X (2) = 1 0.1 0.2 1 W (1) W (2) ,
so that the coordinates of X are not independent. We consider the following distributions for W (1) and W (2) :

• Gamma Γ(3, 1)

• Beta B(4, 5) with normalisation 9 2 • Rayleigh, f (x) = x σ 2 exp(-x 2 2σ 2 ) with σ 2 = 2 4-π • Weibull, f (x) = k λ x λ k-1 e -(x/λ) k , with k = 3 2 and λ = 1/ Γ(1 + 4 3 ) -Γ(1 + 2 3 ) 2
Distribution for Y We choose distributions of the form Γ(α 1 , λ 1 ) ⊗ Γ(α 2 , λ 2 ). These distributions satisfy the Assumptions 2.1, 2.2 and 2.3 of the Section 2.4. Moreover, the Laguerre coefficients can be computed easily: if γ i is the density of the distribution Γ(α i , λ i ), then we have g = γ 1 ⊗ γ 2 , so:

∀k ∈ N 2 , b k = 〈γ 1 , ϕ k 1 〉 L 2 × 〈γ 2 , ϕ k 2 〉 L 2 .
Refer to Subsection 2.5.1 for the computation of 〈γ i ,

ϕ k i 〉 L 2 . We chose the distri- bution Γ(2, 20) ⊗ Γ(2, 20) for Y .
The κ constants After several simulations, we chose κ 1 = κ 2 = 10 -5 . However, this calibration is rough. Like in the one-dimensional case, the model collection M n defined by (2.10) was too small, so we considered the following collection:

M ′ n := m ≤ m * D m ∥G -1 m ∥ 2 op ∨ 1 ≤ 10 4 n log n ,
where m * is a fixed maximal model.

W distribution Gamma Beta Rayleigh Weibull

Gamma n = 500 7.78 12.99 11.73 20.30 (4.6, 4.8) (3.6, 7.0) (4.7, 5.9) (5.1, 6.4) n = 5000 1.36 3.40 1.96 6.30 (4.5, 5.6) (3.8, 8.9) (4.9, 6.5) (4.6, 8.5) Beta n = 500 11.75 22.04 18.73 28.15 (6.5, 3.9) (6.2, 6.3) (6.9, 5.0) (6.7, 5. 2.2: MISE computation over 100 samples of size n, for n = 500 and n = 5000. In rows: distribution of W (1) . In columns: distribution of W (2) . In each cell, we show the MISE (multiplied by 10 4 ) and the mean selected model.

Results

We took the maximal model to be m * = (12, 12). In each case, we simulated a sample of size n = 500 and n = 5000, then we computed the model m defined by (2.12). We computed E∥ ff m ∥ 2 L 2 by approximating the double integral by a Riemann sum:

R 2 + f (x, y) -f m (x, y) 2 dx dy ≈ N 1 -1 i =0 N 2 -1 j =0 f (x i , y j ) -f m (x i , y j ) 2 ∆x i ∆y j
on a grid with step size 0.01, and by computing the expectation with an empirical mean over 100 samples. We show our results in Table 2.2. In each case, we compute the MISE and the mean selected model. We emphasize that in the majority of the samples, the selected model is anisotropic: the components of m are not equal. It is a property we expected from a procedure similar to [START_REF] Goldenshluger | Bandwidth selection in kernel density estimation : Oracle inequalities and adaptive minimax optimality[END_REF]. The estimator adapts to the regularity of f . For illustration, Figure 2.2 shows the result of the estimation when W (1) has a Gamma distribution and W (2) has a Weibull distribution, for a sample of size 5000. We show both the adaptive estimator f m and the estimator with no selection procedure f (12,12) , where we simply choose the maximum model. We see that the procedure selected the model m = (5, 8), which has a smaller dimension than the maximum model.

Proofs

Proofs of Sections 2.2 and 2.3

Proof of Proposition 2.2.1. Using the relation (2.3), we have:

f * g = k∈N d j ∈N d a k b j (ϕ k * ϕ j ) = k∈N d j ∈N d a k b j d q=1
2 -1/2 (ϕ k q + j q -ϕ k q + j q +1 ).

By setting ℓ q = k q + j q , we get:

f * g = 2 -d /2 ℓ∈N d k∈N d k≤ℓ a k b ℓ-k d q=1 (ϕ ℓ q -ϕ ℓ q +1 ) = 2 -d /2 ℓ∈N d (a * b) ℓ d q=1 (ϕ ℓ q -ϕ ℓ q +1 ).
Using the tensor product multi-linearity:

d q=1 (ϕ ℓ q -ϕ ℓ q +1 ) = d q=1 1 ε q =0 (-1) ε q ϕ ℓ q +ε q = 1 ε 1 =0 • • • 1 ε d =0 d q=1 (-1) ε q ϕ ℓ q +ε q = ε∈{0,1} d (-1) |ε| ϕ ℓ+ε .
Thus, we get:

f * g = ℓ∈N d (a * b) ℓ 2 -d /2 ε∈{0,1} d (-1) |ε| ϕ ℓ+ε = ℓ∈N d 2 -d /2 ε∈{0,1} d (-1) |ε| (a * b) ℓ-ε ϕ ℓ .
Since h = f * g , by uniqueness of the Laguerre coefficients of h, we obtain the desired relation.

Proof of Proposition 2.2.3. First, we notice that ∀ℓ,

G ℓℓ = E[e -(Y (1) 1 +•••+Y (d )
1 ) ] > 0. We proceed by induction on |k|.

• If |k| = 0, then k = 0 and a 0 = (G 0,0 ) -1 c 0 .

• Let r ∈ N, we suppose (2.6) is true for every

k ∈ N d such that |k| ≤ r . Let k ∈ N d with |k| = r + 1. From (2.5), c k = ℓ≤k ℓ̸ =k G kℓ a ℓ + G kk a k .
If ℓ ≤ k with ℓ ̸ = k then |ℓ| < |k|, so we can use the induction assumption:

a k = (G kk ) -1   c k - ℓ≤k ℓ̸ =k G kℓ j ≤ℓ H ℓ j c j    .
Thus, by setting H kk := (G kk ) -1 and H k j := (G kk ) -1 j ≤ℓ≤k,ℓ̸ =k G kℓ H ℓ j for every j ≤ k, j ̸ = k, we've just proved (2.6) for all k such that |k| = r + 1.

Proof of Proposition 2.3.1. By Pythagoras theorem,

∥ f -f m ∥ 2 L 2 = ∥ f -f m ∥ 2 L 2 +∥ f m - f m ∥ 2 L 2 .
We decompose the second term on the Laguerre basis:

∥ f m -f m ∥ 2 L 2 = k≤m-1 (a k -a k ) 2 = ∥a m -a m ∥ 2 R m .
We now give an upper bound on the last quantity in two different ways.

1. The first way is a bound using the spectral norm.

E∥ f m -f m ∥ 2 L 2 = E∥G -1 m (c m -c m )∥ 2 R m ≤ ∥G -1 m ∥ 2 op E∥c m -c m ∥ 2 R m = ∥G -1 m ∥ 2 op E k≤m-1 1 n n i =1 ϕ k (Z i ) -E ϕ k (Z 1 ) 2 = ∥G -1 m ∥ 2 op n k≤m-1 Var ϕ k (Z 1 ) ≤ ∥G -1 m ∥ 2 op n k≤m-1 E ϕ k (Z 1 ) 2 . Yet for every x ∈ R d + , ϕ k (x) 2 ≤ 2 d and Card k ∈ N d k ≤ m -1 = d q=1 m q , so we have: E∥ f m -f m ∥ 2 L 2 ≤ ∥G -1 m ∥ 2 op n k≤m-1 E ϕ k (Z 1 ) 2 ≤ 2 d d q=1 m q ∥G -1 m ∥ 2 op n . (2.13)
2. For the second way, we develop the square.

E∥G -1 m (c m -c m )∥ 2 R m = E ℓ≤m-1 k≤m-1 [G -1 m ] ℓk (c k -c k ) 2 = E ℓ≤m-1 k≤m-1 k ′ ≤m-1 [G -1 m ] ℓk (c k -c k ) [G -1 m ] ℓk ′ (c k ′ -c k ′ ) = ℓ≤m-1 k≤m-1 k ′ ≤m-1 [G -1 m ] ℓk [G -1 m ] ℓk ′ Cov( c k , c k ′ ) = ℓ≤m-1 k≤m-1 k ′ ≤m-1 [G -1 m ] ℓk [G -1 m ] ℓk ′ Cov ϕ k (Z 1 ), ϕ k ′ (Z 1 ) n = 1 n ℓ≤m-1 Cov k≤m-1 [G -1 m ] ℓk ϕ k (Z 1 ), k ′ ≤m-1 [G -1 m ] ℓk ′ ϕ k ′ (Z 1 ) = 1 n ℓ≤m-1 Var k≤m-1 [G -1 m ] ℓk ϕ k (Z 1 ) .
We control the variance by the expectation of the square:

Var k≤m-1 [G -1 m ] ℓk ϕ k (Z 1 ) ≤ E k≤m-1 [G -1 m ] ℓk ϕ k (Z 1 ) 2 = R d + k≤m-1 [G -1 m ] ℓk ϕ k (x) 2 h(x) dx ≤ ∥h∥ ∞ k≤m-1 [G -1 m ] ℓk ϕ k 2 L 2 = ∥h∥ ∞ k≤m-1 [G -1 m ] 2 ℓk .
In the end, we obtain:

E∥ f m -f m ∥ 2 L 2 ≤ ∥h∥ ∞ n ℓ≤m-1 k≤m-1 [G -1 m ] 2 ℓk = ∥h∥ ∞ ∥G -1 m ∥ 2 F n .
To prove Proposition 2.3.4, we will use the following lemma about the order of magnitude of the functions ϕ k for k ∈ N.

Lemma 2.6.1 [START_REF] Askey | Mean Convergence of Expansions in Laguerre and Hermite Series[END_REF]. There exists k 0 ∈ N and C > 0 such that for every k ≥ k 0 ,

ϕ k x 2 ≤ C ×                        1 if 0 ≤ x ≤ 1 k , k -1 4 x -1 4 if 1 k ≤ x ≤ δk, k -1 4 (ν -x) -1 4 if δk ≤ x ≤ ν -ν 1 3 , k -1 3 if ν -ν 1 3 ≤ x ≤ ν + ν 1 3 , k -1 4 (x -ν) -1 4 exp -η(x -ν) 3 2 ν -1 2 if ν + ν 1 3 ≤ x ≤ (1 + λ)ν, exp(-ξx) if (1 + λ)ν ≤ x,
where ν := 4k + 2, where δ et λ are small enough positive constants, and where η and ξ are fixed positive constants.

Proof of Proposition 2.3.4. Following the proof of Proposition 2.3.1, we see we need to improve the upper bound in (2.13). Using Lemma 2.6.1, we have for all k ∈ N,

ϕ k (x) 2 ≤ C        1 if 0 ≤ 2x ≤ 1 k , 1/ kx if 1 k ≤ 2x ≤ δk, R k if 2x ≥ δk.
where

R k = o(1/ k) does not depend on x. Since "0 ≤ x ≤ 1 k " is equivalent to "1 ≤ 1 kx ", we get |ϕ k (x)| 2 ≤ C ( 1 kx + R k ). Thus for k = (k 1 , . . . , k d ) ∈ N d , we get: E ϕ k (Z ) 2 = E d j =1 ϕ k j (Z ( j ) ) 2 ≤ E    d j =1 C    1 k j Z ( j ) + R k j       ≤ E    d j =1 C    1 k j Y ( j ) + R k j       = C d k 1 • • • k d E 1 Y (1) • • • Y (d ) + C o 1 k 1 • • • k d ,
where C depends on M J for J ⊆ {1, . . . , d }. Therefore:

k≤m-1 E ϕ k (Z ) 2 ≤ c(g ) D m ,
with c(g ) a positive constant depending on M J for J ⊆ {1, . . . , d }.

Proof of Theorem 2.3.11. Using Proposition 2.3.1, Equation (2.8), and Proposition 2.3.7, if f belongs to W s (R d + , L), we have:

∀m ∈ N d + , E∥ f -f m ∥ 2 L 2 ≤ L d i =1 m -s i i + ∥h∥ ∞ n d i =1 m 2α i i . By Remark 2.3.3, ∥h∥ ∞ is controlled by ∥ f ∥ L 2 ∥g ∥ L 2 . Because f ∈ W s (R d + , L), we have ∥ f ∥ 2 L 2 ≤ L, so ∥h∥ ∞ ≤ L ∥g ∥ L 2 . Thus, ∀m ∈ N d + , E∥ f -f m ∥ 2 L 2 ≤ L d i =1 m -s i i + L ∥g ∥ L 2 n d i =1 m 2α i i =: ψ n (m).
Let m opt minimizing ψ n , then the gradient of ψ n vanishes on m opt , so we have:

∀ j ∈ {1, . . . , d }, L s j 2α j m -s j opt, j = L ∥g ∥ L 2 n d i =1 m 2α i opt,i . (2.14)
Therefore, the coordinates of m opt must satisfy s i 2α i m

-s i opt,i = s j 2α j m
-s j opt, j for every i and j in {1, . . . , d }. Using these relations in (2.14), we obtain:

∀ j ∈ {1, . . . , d }, m opt, j = C j (s, L, g ) n 1/ s j +s j d i =1 2α i s i ,
where C j (s, L, g ) are constants depending on s, L and g . The minimum value of ψ n is then:

ψ n (m opt ) = C (s, L, g ) n -1/ 1+ d i =1 2α i s i ,
where C (s, L, g ) is a constant depending in s, L and g . Now, if f belongs to S r (R d + , L), we use the bound (2.9) on the bias term:

∀m ∈ N d + , E∥ f -f m ∥ 2 L 2 ≤ L d i =1 e -r i m i + L ∥g ∥ ∞ n d i =1 m 2α i i =: φ n (m).
We minimize the function φ n (m) as we did above, and we find the following relations:

∀ j ∈ {1, . . . , d }, r j m opt, j e -r j m opt, j = C j (r, L, g ) (r j m opt, j )

d i =1 2α j n ,
where C j (r, L, g ) are constants depending on r , L and g . Taking the log, we find:

r j m opt, j + d i =1 2α i -1 log(r j m opt, j ) = log n -logC j (r, L, g ).
Thus, when n goes to +∞, we have r j m opt, j ∼ log n. Taking m opt ∈ N d + such that m opt, j ∝ log n r j , we find:

φ n (m opt ) ≤ C (r, L, g ) (log n) d i =1 2α i n ,
where C (r, L, g ) is a constant depending on r , L and g .

Proposition 2.3.7 Preliminary results

To prove this proposition, we first need to extend the theory of Toeplitz matrices to hypermatrices. For more details about Toeplitz matrices, see [START_REF] Böttcher | Spectral properties of banded Toeplitz matrices[END_REF]. We say that T is an infinite lower triangular Toeplitz hypermatrix if it is lower triangular according to Definition 2.2.2 and if the value of T ℓk depends only on the difference ℓk:

T = T ℓk ℓ,k∈N d , T ℓk = a ℓ-k , with a = [a k ] k∈Z d and a k = 0 if k ∉ N d .
So there is a bijection that takes a ∈ R N d and returns the corresponding Toeplitz hypermatrix T(a). We can see T(a) as a linear map on R N d :

x = x k k∈N d -→ k∈N d T ℓk x k ℓ∈N d = k≤ℓ a ℓ-k x k ℓ∈N d = a * x.
The associativity of the convolution product gives that for every a and b, we have The ℓ 2 case We will need to study T(a) as an operator on ℓ 2 (N d ) and give a bound on its norm with milder assumptions than a ∈ ℓ 1 (N d ). We define a subspace of L 2 (T d ) that plays an important role in this matter.

Definition 2.6.2 (Hardy space). We define the Hardy space as the following subset of L 2 (T d ):

H

2 (T d ) := u ∈ L 2 (T d ) ∀k ∉ N d , c k (u) = 0 ,
where c k (u) denotes the k-th Fourier coefficient of u and T is the set of complex numbers with unitary module.

The map that takes a function and returns its Fourier coefficient is then an isometric bijection between H 2 (T d ) and ℓ 2 (N d ).

F : H 2 (T d ) -→ ℓ 2 (N d ) f -→ c k ( f ) k∈N d .
We see that if u and v are H 2 (T d ) functions, the identity

F [u] * F [v] = F [u × v] translates for Toeplitz hypermatrices into T F [u] × T F [v] = T F [u × v] .
Under the additional assumption that F -1 [a] belongs to L ∞ (T d ), we show in the next proposition that T(a) defines an operator on ℓ 2 (N d ).

Proposition 2.6.3.

Let a ∈ ℓ 2 (N d ) such that u := F -1 [a] ∈ L ∞ (T d ).
Then T(a) defines an operator on ℓ 2 (N d ), and its operator norm is bounded by ∥u∥ ∞ .

Proof. Let x ∈ ℓ 2 (N d ) and let v := F -1 [x]. Then: ∥T(a)x∥ ℓ 2 = ∥F [u] * F [v]∥ ℓ 2 = ∥F [u×v]∥ ℓ 2 = ∥u×v∥ L 2 ≤ ∥u∥ ∞ ∥v∥ L 2 = ∥u∥ ∞ ∥x∥ ℓ 2 .
Before we can prove Proposition 2.3.7, some facts need to be established. We denote by C := C ∪ {∞} the Riemann sphere. We will use the following functions:

• We make the assumption that β belongs to ℓ 1 (N d ) so that the power series B (z) := k∈N d β k z k is normally convergent on D d and defines a function which is continuous on D d and holomorphic on D d .

• We denote by G the Laplace transform of g . This function is defined on P d + , continuous on P d + , and holomorphic on s ∈ C d ∀q, Re(s q ) > 0 .

• If u is a L 1 (R d + ) or L 2 (R d +
) function, we denote by:

u * (ω) := R d + e iω•x u(x) dx, ω ∈ R d ,
its Fourier transform, where ω • x := i ω i x i . The Fourier transform of the Laguerre functions ϕ k , k ∈ N d can be computed from the case d = 1:

ϕ * k (ω) = d q=1 ϕ * k q (ω q ) = d q=1 (-1) k q 2 (1 + iω q ) k q (1 -iω q ) k q +1 .
We will need to understand the behaviour of the map z → 1+z 1-z .

Lemma 2.6.4. Let η : C → C be the homographic function η(s) := s-1 s+1 (with η(∞) = 1 and η(-1) = ∞).

The function η is invertible and its inverse is

η -1 (z) = 1+z 1-z .
2. The image of {s ∈ C | Re(s) > 0} by η is D.

The image of {s

∈ C | Re(s) = 0} by η is T \ {1}.
In the next proposition that generalizes lemma C.1 from Comte et al. (2017), we show that the functions G and B are linked through the transformation η.

Proposition 2.6.5. If θ ∈ R d , we denote e iθ := (e iθ 1 , . . . , e iθ d ).

If β ∈ ℓ 1 (N d ), then [β k ] k∈N d are the Fourier coefficients of θ → G( 1+e iθ
1-e iθ ) and we have:

∀θ ∈ R d , G 1 + e iθ 1 -e iθ = k∈N d β k e ik•θ = B e iθ ,
with normal convergence of the series.

Remark 2.6.6.

If g ∈ W s (R d + , L) with s ∈ (1, +∞) d , then β belongs to ℓ 1 (N d ), see Remark 2.3.8.
Proof of Proposition 2.6.5. We start from the expression of β k and we use the Plancherel isometry:

β k = 2 -d /2 k≤1 (-1) |ε| b k-ε = 2 -d /2 k≤1 (-1) |ε| 〈g , ϕ k-ε 〉 L 2 = 2 -d /2 k≤1 (-1) |ε| 1 (2π) d 〈g * , ϕ * k-ε 〉 L 2 = g * , 2 -d /2 (2π) d ε≤1 (-1) |ε| ϕ * k-ε L 2 .
Let us compute the second factor in the scalar product. The reader is referred to Section 1.3 for the notations governing vectors and multi-indices computation.

2 -d /2 (2π) d ε≤1 (-1) |ε| ϕ * k-ε (ω) = 2 -d /2 (2π) d ε≤1 (-1) |ε| d q=1 (-1) k q -ε q 2 (1 + iω q ) k q -ε q (1 -iω q ) k q -ε q +1 = (-1) |k| (2π) d ε≤1 1 + iω 1 -iω k-ε 1 1 -iω 1
Using the multibinomial theorem (Proposition 1.3.1),

= iω + 1 iω -1 k 1 (2π) d 1 -iω 1 + iω + 1 1 1 1 -iω 1 = iω + 1 iω -1 k 1 π d d q=1 1 1 + ω 2 q .
Hence, we reach the following expression:

β k = 1 π d R d g * (ω) iω -1 iω + 1 k dω 1 • • • dω d (1 + ω 2 1 ) • • • (1 + ω 2 d )
.

The change of variable e -iθ q = iω q -1 iω q +1 = η(iω q ) yields:

β k = 1 (2π) d [0,2π] d g * e iθ + 1 i(e iθ -1) e -ik•θ dθ = 1 (2π) d [0,2π] d G 1 + e iθ
1e iθ e -ik•θ dθ.

Therefore, if k ∈ N d , the k-th Fourier coefficient of the function θ → G( 1+e iθ 1-e iθ ) is β k . On the other hand, if k ∉ N d , let us show that the Fourier coefficients vanish. Without loss of generality, we assume that k 1 < 0, and we compute the k-th Fourier coefficient:

1 (2π) d [0,2π] d G 1 + e iθ 1 -e iθ e -ik•θ dθ = 1 π d R d g * (ω) iω 1 -1 iω 1 + 1 k 1 d q=2 iω q -1 iω q + 1 k q dω 1 • • • dω d (1 + ω 2 1 ) • • • (1 + ω 2 d ) = 1 π d R d g * (ω) i(-ω 1 ) -1 i(-ω 1 ) + 1 -k 1 d q=2 iω q -1 iω q + 1 k q dω 1 • • • dω d (1 + ω 2 1 ) • • • (1 + ω 2 d ) = -1 π d R d g * (-ω 1 , ω 2 , . . . , ω d ) iω -1 iω + 1 k ′ dω 1 • • • dω d (1 + ω 2 1 ) • • • (1 + ω 2 d )
,

where k ′ := (-k 1 , k 2 , . . . , k d ). Let δ be the map on R d defined by:

δ(ω) := (-ω 1 , ω 2 , . . . , ω d ),
then we have:

-1 π d R d g * δ(ω) iω -1 iω + 1 k ′ dω 1 • • • dω d (1 + ω 2 1 ) • • • (1 + ω 2 d ) = -g * • δ, 2 -d /2 (2π) d ε≤1 (-1) |ε| ϕ * k ′ -ε L 2 = 2 -d /2 k≤1 (-1) |ε| 1 (2π) d 〈-g * • δ, ϕ * k ′ -ε 〉 L 2 = 2 -d /2 k≤1 (-1) |ε| 〈g • δ, ϕ k ′ -ε 〉 L 2 , because (g • δ) * = -g * • δ.
This last expression is always zero:

〈g • δ, ϕ k ′ -ε 〉 L 2 = R d g (-x 1 , x 2 , . . . , x d ) ϕ k ′ -ε (x) dx = 0,
because the function g is zero of x 1 > 0, and

ϕ k ′ -ε is zero if x 1 < 0. Thus, the Fourier coefficients of θ → G( 1+e iθ 1-e iθ ) are [β k ] k∈N d . The function G is continuous on (iR∪{∞}) d , so the function G•(η -1
) ⊗d is continuous on T d by Lemma 2.6.4. Therefore, since the Fourier series θ → G( 1+e iθ 1-e iθ ) is normally convergent, this function is equal to its Fourier series at each point:

∀θ ∈ R d , G 1 + e iθ 1 -e iθ = k∈N d β k e ik•θ .
We need a last technical lemma before we start the proof of Proposition 2.3.7.

Lemma 2.6.7. Let α ∈ N d + , then (1z) -α admits a power series expansion on D d given by:

∀z ∈ D d , (1 -z) -α = j ∈N d α -1 + j j z j .
Moreover, denoting ζ j the j -th coefficient in the power series above, for m ≥ 4 we have ∥T m (ζ)∥ 2 F ≤ m 2α where T(ζ) is the Toeplitz hypermatrix contructed from the coefficients ζ j .

Proof of Lemma 2.6.7. We recall the following identity: for z ∈ D and r ∈ N * , we have (1z) -r = ∞ j =0 r -1+ j j z j . Thus, for z ∈ D d and α ∈ N d + , we have:

(1 -z) -α = d q=1 (1 -z q ) -α q = d q=1 ∞ j q =0 α q -1 + j q j q z j q q = j ∈N d α -1 + j j z j .
Therefore:

∥T m (ζ)∥ 2 F = j ≤m-1 α -1 + j j 2 Card (k, ℓ) ∈ N d × N d k ≤ ℓ ≤ m -1, ℓ -k = j = d q=1 m q -1 j q =0
α -1 + j q j q 2 (m qj q ), and it reduces to the case d = 1 which was already solved in (Comte et al., 2017, appendix C). So if m q ≥ 4 for every q, then ∥T m (ζ)∥ 2 F ≤ d q=1 m

2α q q = m 2α .

Proof of Proposition 2.3.7

From Proposition 2.6.5, we get G = B • η ⊗d . We define a function w on (D \ {1}) d by:

∀z ∈ D \ {1} d , w(z) := (1 -z) -α B (z).
This function is related to K α by the identity:

∀z ∈ D \ {1} d , w(z) = 2 -α K α (η -1 ) ⊗d (z) .
Thus, the function w can be extended as a function on D d , still denoted w, and according to our assumptions on K α and Lemma 2.6.4, w satisfies:

• w |T d is continuous; • w is continuous on D \ {1} d ;
• w is holomorphic on D d ;

• w doesn't vanish on D d .

Thus, the function w -1 = 1/w is well defined on D d and has the same properties.

In particular, since it is holomorphic on D d , it admits a power series expansion:

∀z ∈ D d , w -1 (z) = k∈N d d k z k .
Let us have look on what is happening on T d . For r ∈ [0, 1[, we denote w -1 r the function on T d defined by:

∀t ∈ T d , w -1 r = w -1 (r t ) = k∈N d d k r |k| t k .
On the one hand, the Fourier coefficients of w -1 r are d k r |k| (we set

d k = 0 if k ∉ N d ).
On the other hand, we can compute the Fourier coefficients and we get:

∀k ∈ Z d , d k r |k| = 1 (2π) d [0,2π] d w -1 (r e iθ ) e -ik•θ dθ. Since w -1 is continuous on D \ {1} d , we have w -1 r → w -1 |T d a.
e. on T d . By dominated convergence, we obtain:

∀k ∈ Z d , d k = 1 (2π) d [0,2π] d w -1 (e iθ ) e -ik•θ dθ.
Therefore, (d k ) are the Fourier coefficients of w -1 |T d . Thus, we have shown that w -1 |T d ∈ H 2 (T d ) and:

w -1 (t ) = k∈N d d k t k ,
with L 2 (T d )-convergence of the series. By Lemma 2.6.7, the function (1z) -α admits a power series expansion on D d given by (1z) -α = k∈N d ζ k z k . Thus, the power series equality:

B (z) × (1 -z) -α × w -1 (z) = 1, on the domain D d translates to their coefficients into the relation β * ζ * d = δ 0 ,
where δ 0 is the element of R N d defined by:

δ 0 k = 1 if k = 0, 0 else.
Taking the corresponding Toeplitz hypermatrices, we get

G × T(ζ) × T(d ) = I N d ,
where I N d is the infinite hypermatrix given by:

I N d ℓk = 1 if ℓ = k, 0 else. Thus, for m ∈ N d + , we get G -1 m = T m (ζ) × T m (d ).
Taking the Frobenius norm, we obtain the following inequality:

∥G -1 m ∥ 2 F ≤ ∥T m (ζ)∥ 2 F × ∥T m (d )∥ 2 op .
From Proposition 2.6.3, we have:

∥T m (d )∥ 2 op = sup a∈R m \{0} ∥T m (d ) × d a∥ 2 R m ∥a∥ 2 R m ≤ sup x∈ℓ 2 (N d )\{0} ∥T(d ) a∥ 2 ℓ 2 ∥a∥ 2 ℓ 2 = ∥w -1 |T d ∥ 2 ∞ ,
and by Lemma 2.6.7, we have

∥T m (ζ)∥ 2 F ≤ m 2α if m ≥ 4.

Proofs of Section 2.4

Proof of Theorem 2.4.2. The proof is identical to the one in Mabon ( 2017), but we use our Lemma 2.4.1 instead of Mabon's proposition 7.1.

Proof of Lemma 2.4.1. Let m ∈ N d + , we prove that ∥ f m -f m ∥ 2
L 2 can be written as the supremum of an empirical process, then we use Talagrand's inequality.

First, the coefficient a k is given by:

a k = G -1 m × d c m k = j ≤k [G -1 m ] k j c j = 1 n n i =1 j ≤k [G -1 m ] k j ϕ j (Z i ) .
We rewrite this expression with hypermatrix calculus: for x ∈ R d + , let Φ m (x) ∈ R m be the hypermatrix [ϕ j (x)] j ≤m-1 , and let E k ∈ R m be the elementary hypermatrix with 1 in position k and zeros elsewhere; the coefficient a k can be written as:

a k = G -1 m × d c m , E k R m = 1 n n i =1 G -1 m × d Φ m (Z i ), E k R m .
For t ∈ S m , let us introduce the empirical process:

ν n (t ) := 1 n n i =1 G -1 m × d Φ m (Z i ), t m R m -E G -1 m × d Φ m (Z i ), t m R m ,
where t m ∈ R m is the hypermatrix of the Laguerre coefficients of t . Since E k is the hypermatrix of the coefficients of ϕ k , we have:

∥ f m -f m ∥ 2 L 2 = k≤m-1 ( a k -a k ) 2 = k≤m-1 ν 2 n (ϕ k ).
The map t → ν n (t ) being linear on S m and (ϕ k ) k≤m-1 being a basis of S m , the Cauchy-Schwarz inequality implies that:

k≤m-1 ν 2 n (ϕ k ) = sup t ∈B m ν 2 n (t ), B m := t ∈ S m | ∥t ∥ L 2 = 1 .
Thus, the following holds:

∥ f m -f m ∥ 2 L 2 = sup t ∈B m ν 2 n (t ), B m := t ∈ S m | ∥t ∥ L 2 = 1 .
Secondly, we apply1 Talagrand's inequality (Theorem 1.4.8). We need the constants M , H and v that appear in this inequality.

• Computation of M . By the Cauchy-Schwarz inequality, we have:

G -1 m × d Φ m (x), t m R m 2 ≤ ∥t m ∥ 2 R m ∥G -1 m × d Φ m (x)∥ 2 R m ≤ ∥t ∥ 2 L 2 ∥G -1 m ∥ 2 op k≤m-1 ϕ k (x) 2 .
Hence, we get:

sup t ∈B m sup x∈R d + G -1 m × d Φ m (x), t m R m 2 ≤ 2 d D m ∥G -1 m ∥ 2 op =: M 2 .
• Computation of H .

E sup t ∈B m |ν n (t )| 2 = E ∥ f m -f m ∥ L 2 2 ≤ E ∥ f m -f m ∥ 2 L 2 .
We recognize the variance term, that is bounded using Proposition 2.3.4:

E sup t ∈B m |ν n (t )| 2 ≤ c(g ) D m ∥G -1 m ∥ 2 op n ∧ ∥g ∥ ∞ ∥G -1 m ∥ 2 F n =: H 2 . • Computation of v. Var G -1 m × d Φ m (Z 1 ), t m R m ≤ E G -1 m × d Φ m (Z 1 ), t m 2 R m = R d + G -1 m × d Φ m (x), t m 2 R m h(x) dx ≤ ∥h∥ ∞ R d + G -1 m × d Φ m (x), t m 2 R m dx.
The norm of h is bounded by ∥g ∥ ∞ . We compute the integral:

R d + G -1 m × d Φ m (x), t m 2 R m dx = R d + k, j ≤m-1 [t m ] k G -1 k j ϕ j (x) 2 dx = k, j ≤m-1 [t m ] k G -1 k j ϕ j 2 L 2 = j ≤m-1 k≤m-1 [t m ] k G -1 k j 2 = G -1 m × d t m 2 R m ≤ ∥G -1 m ∥ 2 op ∥t m ∥ 2 R m .
Hence, we have:

sup t ∈B m Var G -1 m × d Φ m (Z 1 ), t m R m ≤ ∥g ∥ ∞ ∥G -1 m ∥ 2 op =: v.
We consider two cases.

If c(g

) D m ∥G -1 m ∥ 2 op ≤ (∥g ∥ ∞ ∨ 1)∥G -1 m ∥ 2
F , then we have:

nH 2 v = c(g ) ∥g ∥ ∞ D m , nH M = c(g ) 2 d /2 nD -1/4 m ≥ c(g ) 2 d /2 n 1/4 ,
since D m ≤ n. For δ > 0, Talagrand's inequality yields:

E ∥ f m -f m ∥ 2 L 2 -2(1 + 2δ)H 2 + ≲ ∥g ∥ ∞ ∥G -1 m ∥ 2 op n exp -K δ c(g ) ∥g ∥ ∞ D m + D m ∥G -1 m ∥ 2 op C (δ) 2 n 2 exp - K C (δ) 2δ 7 c(g ) 2 d /2 n 1/4 .
We control the first term using Assumption 2.3:

m∈M n ∥g ∥ ∞ ∥G -1 m ∥ 2 op n exp -K δ c(g ) ∥g ∥ ∞ D m ≤ ∥g ∥ ∞ K (δ) n ,
where K (δ) is a constant not depending on n. To control the second term, we use that

D m ∥G -1 m ∥ 2 op ≤ n when m ∈ M n : m∈M n D m ∥G -1 m ∥ 2 op C (δ) 2 n 2 exp - K C (δ) 2δ 7 c(g ) 2 d /2 n 1/4 ≲ exp -K (δ) n 1/4 ,
so we have our result.

If c(g

) D m ∥G -1 m ∥ 2 op ≥ (∥g ∥ ∞ ∨ 1)∥G -1 m ∥ 2
F , then we have:

nH 2 v = ∥G -1 m ∥ 2 F ∥G -1 m ∥ 2 op ≥ 1, nH M = n (∥g ∥ ∞ ∨ 1) 1/2 ∥G -1 m ∥ F 2 d /2 D m ∥G -1 m ∥ op ≥ n 2 d /2 D -1/2 m .
Let us show that ∥G -1 m ∥ op ≥ 1. We notice that 2 d /2 b 0 is an eigenvalue of G -1 m : indeed, if E 0 is the elementary hypermatrix with 1 in position (0, . . . , 0) and zeros elsewhere, then:

G -1 m × d E 0 = 2 d /2 b 0 E 0 .
Since the operator norm is bigger than the spectral radius, we have:

∥G -1 m ∥ op ≥ 2 d /2 b 0 = 1 E e -(Y (1) 1 +•••+Y (d ) 1 ) ≥ 1. Thus, if m ∈ M n we have D m ≤ D m ∥G -1 m ∥ 2 op ≤ n log n . Therefore, nH M ≥ log n 2 d /2
. We apply Talagrand's inequality with δ = a log n and a > 0 to be chosen later:

E ∥ f m -f m ∥ 2 L 2 -2(1 + 2a log n)H 2 + ≲ ∥g ∥ ∞ ∥G -1 m ∥ 2 op n 1 n K a + D m ∥G -1 m ∥ 2 op C (a log n) 2 n 2 exp - K C (a log n) 2a 7 log n 2 d /2 .
We assume that 2 n ≥ exp(3/a), such that C (a log n) = 1. Hence, we get:

E ∥ f m -f m ∥ 2 L 2 -2(1 + 2a log n)H 2 + ≲ ∥g ∥ ∞ ∥G -1 m ∥ 2 op n 1+K a + D m ∥G -1 m ∥ 2 op n 2 exp - K 2a 7 × 2 d /2 log n .
We control the first term using that if m ∈ M n then ∥G -1 m ∥ 2 op ≤ n:

m∈M n ∥g ∥ ∞ ∥G -1 m ∥ 2 op n 1+K a ≤ ∥g ∥ ∞ n K a-1 ≤ ∥g ∥ ∞ n , if a ≥ 2/K = 12. To control the second term, we use that if m ∈ M n then D m ∥G -1 m ∥ 2 op
≤ n, so that we obtain:

m∈M n D m ∥G -1 m ∥ 2 op n 2 exp - K 2a 7 × 2 d /2 log n ≤ n -K 2a 7×2 d /2 ≤ 1 n , if a ≥ 2 d ×7 2 2K 2 .
Proof of Theorem 2.4.3. Using Lemma 1.4.6, we have for all m ∈ M n :

E∥ f -f m ∥ 2 ≤ C ∥ f -f m ∥ 2 +C ′ (1 + κ 1 + κ 2 )V (m) +C ′′ E[R n ],
with:

R n := max m ′ ∈M n ∥ f m ′ -f m ′ ∥ 2 - κ 1 6 V (m ′ ) + .
Taking the infimum on m, we obtain:

E∥ f -f m ∥ 2 ≤ max C ,C ′ (1 + κ 1 + κ 2 ) inf m∈M n ∥ f -f m ∥ 2 + V (m) +C ′′ E[R n ].
We control the rest with a sum on all the models:

E[R n ] ≤ m ′ ∈M n E ∥ f m ′ -f m ′ ∥ 2 - κ 1 6 V (m ′ ) + .
We conclude by applying Lemma 2.4.1.

2 actually, we assume later that a ≥ 12, so there is no assumptions on n after all.

Introduction

The statistical problem

We consider the classical risk model (compound Poisson model) for the risk reserve process (U t ) t ≥0 of an insurance company:

U t = u + c t - N t i =1 X i , t ≥ 0 (3.1)
where u ≥ 0 is the initial capital; c > 0 is the premium rate; the claim number process (N t ) is a homogeneous Poisson process with intensity λ; the claim sizes (X i ) are positive and i.i.d. with density f and mean µ, independent of (N t ). We denote by τ(u) the ruin time:

τ(u) := inf t ≥ 0 N t i =1 X i -c t > u ∈ R + ∪ {+∞}
and we make the following assumption to ensure that τ(u) is not almost surely finite.

Assumption 3.1 (safety loading condition). Let θ := λµ c , we assume that θ < 1.

To study simultaneously the ruin time, the deficit at ruin, and the surplus level before the ruin, Gerber & Shiu (1998) introduced the function:

φ(u) := E e -δτ(u) w U τ(u)-, |U τ(u) | 1 τ(u)<+∞ , (3.2)
where δ ≥ 0, and w is a non-negative function of the surplus before the ruin and the deficit at ruin. This function is called the expected discounted penalty function, but it will also be referred to as the Gerber-Shiu function in the following. For more information concerning the compound Poisson model and the Gerber-Shiu function, see [START_REF] Asmussen | Advanced series on statistical science and applied probability[END_REF].

Example 3.1.1. Several quantities of interest can be put in the form (3.2), 1. if δ = 0 and w(x, y) = 1, then φ(u) is the probability of ruin;

2. if δ > 0 and w(x, y) = 1, then φ(u) is the Laplace transform of τ(u);

3. if δ = 0 and w(x, y) = x + y, then φ(u) is the expected jump size causing the ruin.

Observations and goal

In all this chapter, we suppose that the premium rate c is known, but the parameters of the aggregate claims process are not, that is (λ, µ, f ) is unknown. We suppose we have observed the process (U t ) t ≥0 during the interval [0, T ], with T > 0 fixed, so we have access to the number of claims and their size. Our goal is to recover the Gerber-Shiu function from the observations (N T ; X 1 , . . . , X N T ).

Several authors have considered the problem of estimating the Gerber-Shiu function using nonparametric methods. The first articles had an asymptotic approach: [START_REF] Frees | Nonparametric Estimation of the Probability of Ruin[END_REF], [START_REF] Croux | Nonparametric estimators for the probability of ruin[END_REF], [START_REF] Pitts | Nonparametric estimation of compound distributions with applications in insurance[END_REF], [START_REF] Politis | Semiparametric Estimation for Non-Ruin Probabilities[END_REF], and [START_REF] Masiello | On semiparametric estimation of ruin probabilities in the classical risk model[END_REF] constructed nonparametric estimators of the ruin probability, and established their consistency and their asymptotic normality.

Concerning non-asymptotic approaches, [START_REF] Mnatsakanov | Nonparametric estimation of ruin probabilities given a random sample of claims[END_REF] introduced a regularized Laplace inversion method to estimate the ruin probability in the compound Poisson model. [START_REF] Shimizu | Estimation of the expected discounted penalty function for Lévy insurance risks[END_REF][START_REF] Shimizu | Non-parametric estimation of the Gerber-Shiu function for the Wiener-Poisson risk model[END_REF] then extended this method to the estimation of the Gerber-Shiu function in more general risk models. However, this method suffers from poor rates of convergence, and numerical difficulties to compute the estimator.

In their paper, [START_REF] Zhang | A new efficient method for estimating the Gerber-Shiu function in the classical risk model[END_REF] introduced a projection estimator on the Laguerre basis to overcome these drawbacks. The choice of this basis is motivated by the work of [START_REF] Comte | Laplace deconvolution on the basis of time domain data and its application to dynamic contrastenhanced imaging[END_REF], where the properties of the Laguerre functions relative to the convolution product are used to solve a Laplace deconvolution problem. The same method was then used in more general risk models: Zhang & Su (2019) In this paper, we construct an estimator of the Gerber-Shiu function (3.2) in the compound Poisson model (3.1). As [START_REF] Zhang | A new efficient method for estimating the Gerber-Shiu function in the classical risk model[END_REF], our estimator is a projection estimator on the Laguerre basis, but we compute the coefficients using Plancherel theorem instead of using a Laguerre deconvolution method. We emphasize that our estimator achieves parametric rates of convergence on Sobolev-Laguerre spaces regardless of the regularity of the Gerber-Shiu function, and without needing to find a compromise between the bias and the variance.

We also improve the previous results concerning the Laguerre deconvolution method. Previous rates were given in O P , and we propose a non-asymptotic bound on the MISE (Mean Integrated Squared Error) of the estimator. To achieve this goal, we introduce two modified versions of the Laguerre deconvolution estimator: the first one depends on a truncation parameter, whereas the second one does not, but it is only defined in the case δ = 0.

To control the MISE of the second version of the Laguerre deconvolution estimator, we had to prove that the primitives of the Laguerre functions were uniformly bounded (see Theorem A.3.1). This result is interesting in itself, the proof relies on the study of the properties of the ODE's satisfied by Laguerre polynomials. The interested reader can find all the details in Appendix A.3.

Outline of the paper

In the remaining part of this section, we introduce the notations and we give preliminary results on the Gerber-Shiu function. In Section 3.2, we construct our estimator and we study its MISE. In Section 3.3, we introduce two modified versions of the Laguerre deconvolution estimator and we study their MISE. In Section 3.4, we compute convergence rates of the different estimators considered on Sobolev-Laguerre spaces and also in the case where the claim sizes are exponentially distributed. In Section 3.5, we compare numerically the estimators on simulated data. We gathered all the proofs in Section 3.7.

Preliminaries on the Gerber-Shiu function

The key result to estimate the Gerber-Shiu function is the following theorem.

Theorem 3.1.2 [START_REF] Gerber | On the Time Value of Ruin[END_REF]). Under Assumption 3.1, the Gerber-Shiu function satisfies the equation:

φ = φ * g + h. (3.3)
where g and h are given by:

g (x) := λ c +∞ x e -ρ δ (y-x) f (y) dy, (3.4) h(u) := λ c +∞ u e -ρ δ (x-u) +∞ x w(x, y -x) f (y) dy dx,
and where ρ δ is the unique non-negative solution of the so-called Lundberg equation:

c s -λ 1 -L f (s) = δ. (3.5) Remark 3.1.3. Since L f (s) ∈ [0, 1], it is easy to see that ρ δ ∈ δ c , δ+λ c
. Moreover, we know that ρ δ = 0 when δ = 0.

We need to ensure that φ, g and h belong to L 2 (R + ) in order to use a projection estimator. We see that sup

x g (x) ≤ sup x λ c P[X > x] ≤ λ c and ∞ 0 g (x) dx ≤ λ c ∞ 0 P[X > x] dx = θ, hence g ∈ L 1 (R + ) ∩ L ∞ (R + ), therefore g ∈ L 2 (R + ).
To ensure that h ∈ L 2 (R + ) we make the following assumption. Assumption 3.2. We assume that

∞ 0 (1 + x) ∞ x w(x, y -x) f (y) dy dx is finite.
Under this assumption, we have:

sup u>0 h(u) ≤ λ c ∞ 0 ∞ x w(x, y -x) f (y) dy dx < +∞, ∞ 0 h(u) du ≤ λ c ∞ 0 x ∞ x w(x, y -x) f (y) dy dx < +∞. Hence, h belongs to L 1 (R + ) ∩ L ∞ (R + ), so h ∈ L 2 (R + ). Integrating Equation (3.3) yields: ∥φ∥ L 1 = ∞ 0 φ(u) du = ∞ 0 h(u) du 1 - ∞ 0 g (x) dx
, which is finite under Assumption 3.1 since ∞ 0 g (x) dx ≤ θ < 1. Since φ belongs to L 1 (R + ) and g belongs to L 2 (R + ), their convolution product belongs to L 2 (R + ), hence φ = φ * g + h belongs to L 2 (R + ) as well.

Remark 3.1.4. Assumption 3.2 has already been considered by [START_REF] Shimizu | Estimating Gerber-Shiu functions from discretely observed Lévy driven surplus[END_REF], and [START_REF] Zhang | A new efficient method for estimating the Gerber-Shiu function in the classical risk model[END_REF]. Actually, the quantity:

ω(x) := +∞ x w(x, y -x) f (y) dy = E w(x, X -x)1 X ≥x ,
can be found on several occasion in the study of the Gerber-Shiu function. The assumption that ∞ 0 ω(x) dx is finite ensures that φ(u) is finite for all u (Asmussen & Albrecher, 2010, Chapter X, Section 1). The additional requirement that:

∞ 0 x ω(x) dx < +∞,
serves to prove that φ belongs to L 1 (R + ), so that its Fourier transform is well defined. As we have seen, it also ensures that φ belongs to L 2 (R + ).

The Laguerre-Fourier estimator

We use the Laguerre functions (ψ k ) k∈N as an orthonormal basis of L 2 (R + ):

∀x ∈ R + , ψ k (x) := 2 L k (2x) e -x , L k (x) := k j =0 k j (-x) j j ! . (3.6)
We choose this basis for several reasons. First, the support of the Laguerre functions is R + , which is well suited since the functions we want to estimate are defined on R + . Moreover, exponential functions (and more broadly mixtures of gamma functions, see the proof of Lemma 3.9 in Mabon ( 2017)) have an exponentially small bias in this basis, which is interesting because when the claim sizes distribution is exponential and w is a polynomial, then g and h will be given by products of polynomials with exponentials. Finally, the Fourier transform of the Laguerre function is known explicitly:

∀ω ∈ R, F ψ k (ω) = (-1) k 2 (1 + iω) k (1 -iω) k+1 , (3.7)
which is helpful for the computation of the estimated coefficients (3.8).

We denote by (a k ) k≥0 the Laguerre coefficients of φ. If m ∈ N * , we denote by φ m the projection of φ on the subspace of L 2 (R + ) spanned by the first m Laguerre functions ψ 0 , . . . , ψ m-1 , that is:

φ m := m-1 k=0 a k ψ k , with a k = 〈φ, ψ k 〉.
The Laguerre coefficients of φ can be computed using Plancherel theorem:

a k = 〈φ, ψ k 〉 = 1 2π 〈F φ, F ψ k 〉.
Taking the Fourier transform in equation ( 3.3), we see that F φ = F h 1-F g . Let g , h ∈ L 2 (R + ) be some estimators of g and h (we provide these estimators later in equation (3.14)), we estimate the coefficients of φ by:

a k := 1 2π F h 1 -F g , F ψ k , (3.8)
where F g := (F g )1 |F g |≤θ 0 for some truncation parameter θ 0 < 1. The estimator of φ is then:

φ m 1 := m 1 -1 k=0 a k ψ k ,
where m 1 is the dimension of the projection space.

Proposition 3.2.1. Under Assumptions 3.1 and 3.2, if θ < θ 0 , we have:

∥φ -φ m 1 ∥ 2 L 2 ≤ ∥φ -φ m 1 ∥ 2 L 2 + 2 (1 -θ 0 ) 2 ∥h -h∥ 2 L 2 + 2 ∥h∥ 2 L 1 (1 -θ 0 ) 2 (1 -θ) 2 1 + ∥g ∥ 2 L 1 (θ 0 -θ) 2 ∥g -g ∥ 2 L 2 .
Remark 3.2.2. We emphasize the fact that this result is proven using only two properties: the function φ satisfies the equation (3.3) and θ 0 > θ > ∥g ∥ L 1 . Hence, it can be applied to other problems where the target function satisfies an equation of the form (3.3). For example, it is the case in Zhang & Su (2019), [START_REF] Su | Estimating the Gerber-Shiu function in the perturbed compound Poisson model by Laguerre series expansion[END_REF] and Su et al. (2020).

We now need to provide good estimators of g and h. We choose to estimate them by projection on the Laguerre basis too. Let (b k ) k≥0 and (c k ) k≥0 be the coefficients of g and h, that is:

g = +∞ k=0 b k ψ k , with b k := 〈g , ψ k 〉, (3.9) h = +∞ k=0 c k ψ k , with c k := 〈h, ψ k 〉.
(3.10) By Fubini's theorem and using equation (3.4):

b k = +∞ 0 g (x) ψ k (x) dx = λ c +∞ 0 +∞ x e -ρ δ (y-x) f (y) dy ψ k (x) dx = λ c +∞ 0 y 0 e -ρ δ (y-x) ψ k (x) dx f (y) dy = λ c E X 0 e -ρ δ (X -x) ψ k (x) dx .
The same calculation for c k yields:

c k = λ c E X 0 X u e -ρ δ (x-u) w(x, X -x) dx ψ k (u) du .
We estimate these coefficients by empirical means. However, we first need to estimate ρ δ . Since ρ δ is the non-negative solution of the Lundberg equation (3.5), we estimate it by ρ δ the non-negative solution of the empirical Lundberg equation: (3.11) where λ := N T T and L f (s) := 1

cs -λ(1 -L f (s)) = δ,
N T N T
i =1 e -s X i . When δ = 0 we know that ρ δ = 0 so we do not need to estimate it, thus we set ρ 0 = 0. The estimated coefficients of g and h are: (3.13) and the estimators of g and h are:

b k = 1 cT N T i =1 X i 0 e -ρ δ (X i -x) ψ k (x) dx, (3.12) c k = 1 cT N T i =1 X i 0 X i u e -ρ δ (x-u) w(x, X i -x) dx ψ k (u) du,
g m 2 := m 2 -1 k=0 b k ψ k , h m 3 := m 3 -1 k=0 c k ψ k , (3.14)
where m 2 and m 3 are the dimensions of the projection spaces. We denote by g m 2 and h m 3 the projections of g and h on the subspaces Span(ψ 0 , . . . , ψ m 2 -1 ) and Span(ψ 0 , . . . , ψ m 3 -1 ).

Remark 3.2.3. The dimensions m 1 , m 2 , m 3 do not have to be the same for the estimation of φ, g and h. In practice, we will choose different dimensions.

In order to give a bound on the mean integrated squared error of our estimators g m 2 and h m 3 , we need to make an additional assumption. )] is finite, and if δ > 0, we assume that E[W (X ) 2 ] is finite. Remark 3.2.4 (Applicability of Assumptions 3.2 and 3.3). Assumptions 3.2 and 3.3 can be thought as moment conditions on the claim sizes distribution, with respect to w. In the special case where w is given by w(x, y) = x k (x + y) ℓ for k, ℓ ≥ 0, we have:

Assumption 3.3. Let W (X ) := X 0 X u w(x, X -x) dx 2 du. If δ = 0, we assume that E[W (X
+∞ 0 (1 + x) +∞ x w(x, y -x) f (y) dy dx = E X k+ℓ+1 k + 1 + E X k+ℓ+2 k + 2 , W (X ) = X 2k+2ℓ+3 (k + 1) 2 (2k + 3) ,
so Assumptions 3.2 and 3.3 reduce to the moment condition E X 2k+2ℓ+3 < +∞ (if δ = 0). Notice that the functions of Example 3.1.1 correspond to the cases (k, ℓ) = (0, 0) or (0, 1), so that the corresponding moment condition is

E[X 3 ] < ∞ or E[X 5 ] < ∞.
Hence, heavy-tailed distributions can fit into these assumptions, provided they admit sufficiently large moments. On the other hand, if w grows with an exponential rate, for example if w(x, yx) := exp(γ(x + y)), then we also need an exponential moment for X , so that we are restricted to light tailed distributions.

Theorem 3.2.5. Under Assumptions 3.1, 3.2 and 3.3, if δ = 0 then it holds:

E∥g -g m 2 ∥ 2 L 2 ≤ ∥g -g m 2 ∥ 2 L 2 + λ c 2 T E[X ], E∥h -h m 3 ∥ 2 L 2 ≤ ∥h -h m 3 ∥ 2 L 2 + λ c 2 T E[W (X )],
and if δ > 0 then it holds:

E∥g -g m 2 ∥ 2 L 2 ≤ ∥g -g m 2 ∥ 2 L 2 + C (λ) c 2 T   E[X ] + E X 2 1 2 (1 -θ) 2 δ 2   , E∥h -h m 3 ∥ 2 L 2 ≤ ∥h -h m 3 ∥ 2 L 2 + C (λ) c 2 T   E[W (X )] + E W (X ) 2 1 2 (1 -θ) 2 δ 2   , where C (λ) is a O(λ 2 ).
Remark 3.2.6. The variance terms do not depend on m 2 nor m 3 , so no compromise between the bias and the variance is needed: we just have to take m 2 and m 3 as large as possible such that the bias is smaller than 1/T . See Section 3.4 for a discussion concerning the choice of m 2 and m 3 when the functions g and h belong to a Sobolev-Laguerre space.

Let m 1 , m 2 , m 3 ∈ N * , we estimate g by g m 2 and h by h m 3 . We plug these estimators in (3.8) and we estimate φ by: )] and θ 0 -θ; and also δ,

φ m 1 ,m 2 ,m 3 := m 1 -1 k=0 F h m 3 1 -F g m 2 , F ψ k ψ k , with F g m 2 := F g m 2 1 |F g m 2 |≤θ 0 .
E∥φ -φ m 1 ,m 2 ,m 3 ∥ 2 L 2 ≤ ∥φ -φ m 1 ∥ 2 L 2 + C (1 -θ 0 ) 2 ∥g -g m 2 ∥ 2 L 2 + ∥h -h m 3 ∥ 2 L 2 + 1 cT , where C is a constant depending on λ, c, θ, ∥g ∥ L 1 , ∥h∥ L 1 , E[X ], E[W (X
E[X 2 ], E[W (X ) 2 ] if δ > 0.
We want to compare our estimator with the Laguerre deconvolution method. However, there is no result on the MISE of this method for estimating the Gerber-Shiu function, so we study it in the next section.

The Laguerre deconvolution estimator

For the Laguerre deconvolution method, we need an additional assumption on the coefficients of g .

+∞ k=0 |b k | = +∞ k=0 |b k |(1 + k) s 2 (1 + k) -s 2 ≤ +∞ k=0 |b k | 2 (1 + k) s 1 2 +∞ k=0 (1 + k) -s 1 2 , which is finite if g ∈ W s (R + ) and s > 1. Hence, (b k ) k≥0 is in ℓ 1 (N) and so is (b k+1 - b k ) k≥0 .
The reason why the Laguerre basis is well suited for deconvolution on R + is the following relation satisfied by the Laguerre functions:

∀k, j ∈ N, ψ k * ψ j = 1 2 (ψ k+ j -ψ k+ j +1 ),
see formula 22.13.14 in Abramowitz & Stegun (1972). The reader interested in the use of the Laguerre basis for deconvolution problems is referred to [START_REF] Mabon | Adaptive Deconvolution on the Non-negative Real Line : Adaptive deconvolution on R +[END_REF]. Expanding the renewal equation (3.3) on the Laguerre basis, one easily obtains the following relation between the coefficients of φ, g and h:

∀k ∈ N, a k = (β * a) k + c k ,
where the sequence (β k ) k≥0 is defined by

β 0 := b 0 2 and β k := b k -b k-1 2 for k ≥ 1.
This relation can be written in a matrix form: if a m := (a 0 , . . . , a m-1 ) T and c m := (c 0 , . . . , c m-1 ) T are the vectors of the m first coefficients of φ and h, then it holds: (3.15) where A m is the lower triangular Toeplitz matrix:

A m × a m = c m ⇐⇒ a m = A -1 m × c m ,
∀i , j ∈ {0, . . . , m -1}, (A m ) i , j :=        1 -1 2 b 0 if i = j , 1 2 (b i -j -1 -b i -j ) if i > j , 0 else. (3.16)
This matrix is invertible if and only if 1

-b 0 2 ̸ = 0, which is the case because b 0 2 ≤ θ < 1 under Assumption 3.1. Lemma 3.3.2. Under Assumption 3.4, we have ∥A -1 m ∥ op ≤ 2 1-θ for all m ∈ N * .
This lemma is borrowed from Zhang & Su (2018) (Lemma 4.3 in their article). There were missing elements in their proof, so we give a new proof of this lemma, for the sake of completeness.

The naive Laguerre deconvolution estimator consists in estimating the matrix A m and the coefficients c m in (3.15), to obtain an estimation of the coefficients of φ. More precisely, the matrix A m is estimated by plugging b k , defined by (3.12), in (3.16):

∀i , j ∈ {0, . . . , m -1}, ( A m ) i , j :=        1 -1 2 b 0 if i = j , 1 2 ( b i -j -1 -b i -j ) if i > j , 0 else.
(3.17)

This matrix is invertible if and only if b 0 2 ̸ = 1, which is almost surely the case since

b 0 2 = 1 cT N T i =1 (1 -e -X i
) is a continuous random variable. The coefficients of φ are estimated by: (3.18) where c m := ( c 0 , . . . , c m-1 ) T . Under Assumptions 3.1, 3.2, 3.3, and 3.4, [START_REF] Zhang | A new efficient method for estimating the Gerber-Shiu function in the classical risk model[END_REF]

a Lag 0 m := A -1 m × c m ,
show that if E[X 2 ] is finite and if m = o(T ), then ∥φ -φ Lag 0 m ∥ 2 L 2 ≤ ∥φ - φ m ∥ 2 L 2 + O P m T .
In the following, we propose two ways inspired by [START_REF] Comte | Laguerre deconvolution with unknown matrix operator[END_REF] to estimate the Gerber-Shiu function, using the Laguerre deconvolution method. To obtain a non asymptotic result on the MISE of the estimator, a cutoff is required when inverting the matrix A m . Let θ 0 < 1 be a truncation parameter, we estimate A -1 m by:

A -1 m,1 := A -1 m 1 ∆ 1 m where ∆ 1 m := ∥ A -1 m ∥ op ≤ 2 1 -θ 0 ,
and we estimate the coefficients a m by a

Lag 1 m := A -1 m,1 × c m .
Theorem 3.3.3. Under Assumptions 3. 1, 3.2, 3.3, and 3.4, if θ < θ 0 then it holds:

∀m ∈ N * , E∥φ -φ Lag 1 m ∥ 2 L 2 ≤ ∥φ -φ m ∥ 2 L 2 +C m T ,
where C is a constant depending on λ, c, θ, E[X ], E[W (X )] and θ 0 -θ; and also δ,

E[X 2 ], E[W (X ) 2 ] if δ > 0.
We propose a second way to estimate φ using the Laguerre deconvolution method, in the case δ = 0. It avoids the use of a truncation parameter θ 0 , but at the expense of an extra log(m) factor in the upper bound of the MISE, and it uses an additional independence assumption. We estimate the Laguerre coefficients of g by (3.12), that is in this case:

b k := 1 cT N T i =1 Ψ k (X i ),
where

Ψ k (x) := x 0 ψ k (t ) dt .
The matrix A m is still estimated by (3.17 This time, we estimate the inverse of the matrix A m by:

A -1 m,2 := A -1 m 1 ∆ 2 m , where ∆ 2 m := ∥ A -1 m ∥ 2 op ≤ cT m log m ,
we estimate the coefficients of φ by a Lag 2 m := A -1 m,2 × c m , and we estimate φ by:

φ Lag 2 m := m-1 k=0 a Lag 2 k ψ k .
To provide an upper bound on the MISE of φ

Lag 2 m , we need A -1 m,2 and c m to be independent. For this reason, we assume that we have a second observation set {N ′ T ; X ′ 1 , . . . , X ′ N ′ T } identical in law but independent from the main one 1 . We use this second set to estimate A -1 m,2 .

Theorem 3.3.5. We assume that δ = 0. Under Assumptions 3. 1, 3.2, 3.3 and 3.4, if m log m ≤ cT then it holds:

E∥φ -φ Lag 2 m ∥ 2 L 2 ≤ ∥φ -φ m ∥ 2 L 2 + C (λ) cT (1 -θ) 2 E[W (X )] c + ∥φ∥ 2 L 2 (µ + µ 2 )m log m + O 1 T 2 , with C (λ) = O(λ ∨ λ 2 ).
Remark 3.3.6. Contrary to the Laguerre-Fourier method, there is only one bias term with the Laguerre deconvolution method. However, the variance term is more complicated and a bias-variance compromise is needed. It leads to nonparametric rates of convergence, which are slower than the parametric rate 1 T .

Convergence rates of the Laguerre estimators

Sobolev-Laguerre spaces

To study the bias of a function in the Laguerre basis, we consider the Sobolev-Laguerre spaces. These functional spaces have been introduced by [START_REF] Bongioanni | What is a Sobolev space for the Laguerre function systems ?[END_REF] to study the Laguerre operator. The connection with the Laguerre coefficients was established later by Comte & Genon-Catalot (2015).

Definition 3.4.1. For s > 0, we define the Sobolev-Laguerre ball of radius L > 0 and regularity s as:

W s (R + , L) := v ∈ L 2 (R + ) +∞ k=0 〈v, ψ k 〉 2 k s ≤ L ,
and we define the Sobolev-Laguerre space as W s (R + ) := L>0 W s (R + , L).

By Proposition 7.2 in Comte & Genon-Catalot (2015), when s is a natural number, v ∈ W s (R + ) if and only if v is (s -1) times differentiable, v (s-1) is absolutely continuous, and for all 0 ≤ k ≤ s -1 we have

x k+1 2 k+1 j =0 k+1 j v ( j ) ∈ L 2 (R + ). In par- ticular, a function v belongs to W 1 (R + ) if and only if it is absolutely continuous and x(v + v ′ ) ∈ L 2 (R + ).
We are interested in the Sobolev-Laguerre spaces because of the following observation. If v belongs to a Sobolev-Laguerre ball W s (R + , L), then its bias is controlled by:

∥v -v m ∥ 2 L 2 = +∞ k=m 〈v, ψ k 〉 2 = +∞ k=m 〈v, ψ k 〉 2 k s k -s ≤ L m -s .
Combining this upper bound on the bias term with Corollary 3.2.7, and Theorems 3.3.3 and 3.3.5, we obtain convergence rates for the Laguerre-Fourier estimator and the Laguerre deconvolution estimators, on Sobolev-Laguerre spaces.

Theorem 3.4.2. Under Assumptions 3.1, 3.2 and 3.3, if θ < θ 0 and if φ ∈ W s 1 (R + ),

g ∈ W s 2 (R + ) and h ∈ W s 3 (R + ), then choosing m i > (cT ) 1
s i for all i ∈ {1, 2, 3} yields:

E∥φ -φ m 1 ,m 2 ,m 3 ∥ 2 L 2 = O 1 cT .
Remark 3.4.3. If φ, g and h belong to some Sobolev-Laguerre spaces with a regularity index greater than 1, we can just choose m 1 = m 2 = m 3 = ⌈cT ⌉ and obtain the parametric rate O( 1 cT ) for the Laguerre-Fourier estimator.

Theorem 3.4.4. We make Assumptions 3.1, 3.2, 3.3 and 3.4, and we assume that φ ∈ W s (R + ).

1. If θ < θ 0 , then choosing m opt ∝ (cT ) 1 1+s yields:

E∥φ -φ Lag 1 m opt ∥ 2 L 2 = O (cT ) -s 1+s .
2. If δ = 0, then choosing m opt ∝ (cT ) 1 1+s yields:

E∥φ -φ Lag 2 m opt ∥ 2 L 2 = O (cT ) -s 1+s log(cT ) .
Remark 3.4.5. The Fourier-Laguerre estimator and the Laguerre deconvolution estimator φ

Lag 1 m both depend on a truncation parameter θ 0 that needs to be chosen such that θ < θ 0 . We see two ways to ensure that.

1. We can assume that we know some θ 0 < 1 such that θ < θ 0 . Then our convergence rates are those of Theorems 3.4.2 and 3.4.4.

2. We can choose θ 0 = 1 -(log T ) 1/2 . Then for T large enough (more precisely T > e (1-θ) 2 ), the convergence rates of the Laguerre-Fourier estimator and φ

Lag 1 m are those of Theorems 3.4.2 and 3.4.4 multiplied by log(T ).

In our simulations, we chose the first way.

The exponential case

In this section, we want to compute the convergence rate of the estimators, in the exponential case: X ∼ Exp(1/µ). This distribution is often considered in risk theory and closed forms of the Gerber-Shiu function are available in this case. Indeed, the Gerber-Shiu functions of Example 3.1.1 are given by:

φ(u) =                  θ exp - 1 -θ µ u (ruin probability), θ 1 + µρ δ exp - 1 -θ µ + ρ δ - δ c u (Laplace transform of τ), µ(1 + 2θ) exp - 1 -θ µ u -µ exp - u µ
(jump size causing the ruin).

(3.19)

These formulas are obtained by Laplace inversion, see [START_REF] Asmussen | Advanced series on statistical science and applied probability[END_REF], chapter XII. We use the following lemma to compute the bias terms of the functions φ, g and h.

Lemma 3.4.6. Let C , γ be positive numbers and let F (x) = C exp(-γx)1 R + (x). The Laguerre coefficients of F are given by:

〈F, ψ k 〉 = C 2 γ + 1 γ -1 γ + 1 k .
Hence if m ≥ 0 we have:

+∞ k=m 〈F, ψ k 〉 2 = C 2 2γ γ -1 γ + 1 2m . Proposition 3.4.7. If the density of X is f (x) = 1 µ e -x
µ , then the bias term of φ is given by: ∥φ -

φ m ∥ 2 L 2 ≤ Le -r m
with L and r given by:

1. Ruin probability: L = θ 2 2γ , r = 2 log γ+1 γ-1 and γ = 1-θ µ .

Laplace transform of the ruin time: L

= θ 2 2γ(1+µρ δ ) 2 , r = 2 log γ+1 γ-1 and γ = 1-θ µ + ρ δ -δ c .
3. Jump size causing the ruin:

L = µ 3 (1+2θ) 2 1-θ , r = 2 log 1-θ+µ 1-θ-µ ∧ 1+µ 1-µ .
Combining this Proposition with Theorems 3.3.3 and 3.3.5, we easily obtain convergence rates for the Gerber-Shiu functions we are interested in.

Theorem 3.4.8. We assume that the density of X is f

(x) = 1 µ e -x
µ , we make Assumptions 3. 1, 3.2, 3.3 and 3.4, and we assume that the bias term of φ decreases as:

∥φ -φ m ∥ 2 L 2 ≤ Le -r m . 1. If θ < θ 0 , then choosing m opt = ⌈ 1 r log(cT )⌉ yields: E∥φ -φ Lag 1 m opt ∥ 2 = O log(cT ) cT .
2. If δ = 0, then choosing m opt = ⌈ 1 r log(cT )⌉ yields:

E∥φ -φ Lag 2 m opt ∥ 2 L 2 = O log(cT ) log log(cT ) cT .
For the Laguerre-Fourier estimator, we also need to know the decreasing rate of the bias term of g and h. For the ruin probability, the Laplace transform of τ, and the jump size causing the ruin, direct calculations show that g and h are given by a positive multiple of e -x/µ . Thus, Lemma 3.4.6 yields that their bias term is less than exp(-r ′ m), with r ′ := 2 log| 1+µ 1-µ |. Together with Corollary 3.2.7, we obtain the convergence rates of the Laguerre-Fourier estimator.

Theorem 3.4.9. If the density of X is f

(x) = 1 µ e -x
µ , under Assumptions 3.1, 3.2 and 3.3, if θ < θ 0 and if the bias term of φ decreases as:

∥φ -φ m ∥ 2 L 2 ≤ Le -r m , then choosing m 1 > ⌈ 1 r log(cT )⌉ and m 2 , m 3 > ⌈ 1 r ′ log(cT )⌉ with r ′ := 2 log| 1+µ 1-µ | yields: E∥φ -φ m 1 ,m 2 ,m 3 ∥ 2 L 2 = O 1 cT .

Numerical illustrations

Risk comparison

In this subsection, we compare the performance of the Laguerre-Fourier estimator (see Section 3.2) and the Laguerre deconvolution estimators (see Section 3.3) on simulated data. We consider the three Gerber-Shiu functions of Example 3.1.1:

1. φ (1) (u) = P[τ(u) < ∞] the ruin probability; 2. φ (2) (u) = E[(U τ(u)-+ |U τ(u) |)1 τ(u)<∞
] the expected claim size causing the ruin; (u) 1 τ(u)<∞ ] the Laplace transform of the ruin time, for δ = 0.1.

3. φ (3) (u) = E[e -δτ
We also consider three sets of parameters:

1. X follows an exponential distribution, λ = 1, µ = 1, c = 1.5. In this setting, θ ≈ 0.67.

X follows an exponential distribution

, λ = 1.25, µ = 2, c = 3. In this setting, θ ≈ 0.83 3. X follows a Γ(2, µ 2 ) distribution, λ = 1.25, µ = 2, c = 3. In this setting, θ ≈ 0.83.
Using Laplace inversion techniques (Asmussen & Albrecher, 2010, Chapter XII), we have access to explicit formulas for these Gerber-Shiu functions. In all cases, they are given by a sum of products of polynomials and exponentials, hence they belong to W s (R + ) for all s > 0.

Computation of the estimators

The Laguerre functions and their primitives are computed using recursive relations, see Appendix A. The expression of b k and c k depends on the value of δ and the form of w:

1. Ruin probability. The estimators of the coefficients b k and c k are in this case:

b k = 1 cT N T i =1 Ψ k (X i ), c k = 1 cT N T i =1 X i 0 Ψ k (x) dx.
We compute the integrals in c k using Romberg's method with 2 10 +1 points.

2. Expected claim size causing the ruin. The estimators of the coefficients b k and c k are in this case:

b k = 1 cT N T i =1 Ψ k (X i ), c k = 1 cT N T i =1 X i X i 0 Ψ k (x) dx.
We compute the integrals in c k using Romberg's method with 2 10 +1 points.

3. Laplace transform. The estimators of the coefficients b k and c k are in this case:

b k = 1 cT N T i =1 X i 0 e -ρ δ (X i -x) ψ k (x) dx, c k = 1 ρ δ 1 cT N T i =1 Ψ k (X i ) -b k ,
where we used integration by parts to obtain this expression of c k . We compute the integrals in b k using Romberg's method with 2 10 + 1 points. We compute ρ δ , the solution of Equation (3.11), with Newton's method using the initial condition δ+ λ/2 c .

For the Laguerre-Fourier estimator, once ( b k ) 0≤k<m 2 and ( c k ) 0≤k<m 3 have been computed, we can compute a k defined by (3.8):

a k = 1 2π R F h(ω) 1 -F g (ω) F ψ k (ω) dω, F g (ω) = F g (ω) if |F g (ω)| ≤ θ 0 0 if |F g (ω)| > θ 0 , F g = m 2 -1 k=0 b k F ψ k , F h = m 3 -1 k=0 c k F ψ k ,
where F ψ k is given by (3.7), and where the integral in a k is computed with Romberg's method on a discretization of [-10 3 , 10 3 ] with 2 15 + 1 points.

For the Laguerre deconvolution estimators, once we have computed the coefficients ( b k ) 0≤k<m and ( c k ) 0≤k<m , we can compute the matrix A m defined by (3.17) and then compute the coefficients a Lag i m as described in Section 3.3. Remark 3.5.1. While the Gerber-Shiu function is always positive, this is not necessarily the case of the estimators. However, we can always take their positive part, since it does not increase their risk:

E∥φ -( φ) + ∥ 2 ≤ E∥φ -φ∥ 2 .
In Figures 3.1 and 3.2, we observe that the estimators stay positive where φ is positive, and that they can take small negative values when φ becomes small (as u tends to +∞). Hence, it is reasonable to use the estimators without taking their positive part. We choose to do so, in the simulations.

Model selection Each estimator we consider depends on one or several parameters that need to be chosen. The Laguerre-Fourier estimator and the Laguerre deconvolution estimator depend on a truncation parameter θ 0 , which needs to be chosen such that θ < θ 0 . We choose θ 0 = 0.95 in our simulations.

• The Laguerre-Fourier estimator depends on four parameters: m 1 , m 2 and m 3 , the dimensions of the projection spaces for the functions φ, g and h, and θ 0 the truncation parameter in the estimation of F g . As said in Remark 3.4.3, we can choose m 1 = m 2 = m 3 = ⌈cT ⌉, no selection procedure is required. Still, we propose a model reduction procedure for the choice of m 2 and m 3 , that we describe in Subsection 3.5.2.

• The naive Laguerre deconvolution estimator φ Lag 0 m , defined by (3.18), depends on one parameter: m, the dimension of the projection space for φ. However, there is no model selection procedure for m. In their numerical section, [START_REF] Zhang | A new efficient method for estimating the Gerber-Shiu function in the classical risk model[END_REF] only consider (as we do) Gerber-Shiu functions with exponential decay; hence the bias term also decays with exponential rate. Using this fact, they chose m = ⌊5T 1/10 ⌋. We make the same choice in our simulations and we write φ ZS this estimator.

• The Laguerre deconvolution estimators φ Lag 1 m and φ

Lag 2 m also depend on m. For i ∈ {1, 2}, we choose m Lag i as the minimizer of a penalized criterion:

m Lag i ∈ arg min m∈M i -∥ φ Lag i m ∥ 2 L 2 + κ i pen i (m) (3.20)
where the model collections are:

M 1 := 1 ≤ m ≤ M ∥ A -1 m ∥ op ≤ 1 1 -θ 0 M 2 := 1 ≤ m ≤ M ∥ A -1 m ∥ 2 op ≤ cT m log(m)
with M = ⌈cT ⌉ ∧ 500 (we do not compute more than 500 coefficients, because of computation time).

In the following, if F (X ) is a function of X , we write F (X ) := 1 N T N T i =1 F (X i ) its empirical mean from the sample {X 1 , . . . , X N T }. For the penalty terms, we choose empirical versions of the variance terms in Theorems 3.3.3 and 3.3.5:

pen 1 (m) := 1 (1 -θ 0 ) 2 ∥ φ Lag 1 m ∥ 2 L 2 m V g + V h pen 2 (m) := ( λ ∨ λ 2 ) W (X ) c + ∥ φ Lag 1 m ∥ 2 L 2 X ∨ X 2 m log(m) ,
with:

V g :=        λ c 2 T X if δ = 0, λ 2 c 2 T X + X 2 1/2 δ(1-θ 0 ) 2 if δ > 0, V h :=        λ c 2 T W (X ) if δ = 0, λ 2 c 2 T W (X ) + W (X ) 2 1/2 δ(1-θ 0 ) 2 if δ > 0.
The constants κ 1 and κ 2 are calibrated following the "minimum penalty heuristic" (Arlot & Massart, 2009). On several preliminary simulations, we compute the selected dimension m as a function of κ, and we find κ min such that for κ < κ min the dimension is too high and for κ > κ min it is acceptable. Then, the selected constant is 2κ min . In our cases, we choose:

κ 1 = 0.01, κ 2 = 0.01 for the ruin probability;

κ 1 = 0.1, κ 2 = 1 for the expected claim size causing the ruin;

κ 1 = 10 -8 for the Laplace transform of the ruin time, δ = 0.1.

There is no constant κ 2 in the last case because the Laguerre deconvolution estimator φ Lag 2 m is defined only if δ = 0.

We write φ Lag 1 := φ m Lag 2 in the following.

MISE calculation

We compare the estimators by looking at their MISE: E∥φ -φ∥ 2 L 2 . We compute the norm ∥•∥ L 2 with Romberg's method using a discretization of [0, u max ] with 2 11 + 1 points. The value of u max varies from 12 to 50, depending on the parameters set. We compute the expectation by an empirical mean over n = 200 paths of the process (U t ) t ∈[0,T ] . We also compute a 95% confidence interval for the MISE, using the asymptotic confidence interval for a mean (CLT approximation):

CI = ISE n ± q 1-α 2 S n n , α = 5%,
where ISE n is the empirical mean of the ISEs, q 1-α 2 is the (1 -α 2 )-quantile of the normal distribution, and S 2 n is the empirical variance of the ISEs. We have two goals in this section: 1. To compare the performance of our Laguerre-Fourier estimator with the Laguerre deconvolution estimators.

2. To see if the model selection procedures (3.20) for the Laguerre deconvolution estimators lead to the same performance than the naive choice m = ⌊5T 1/10 ⌋.

The code that performed the simulations can be obtained on request.

Results

We display our results in Tables 3.1, 3.2 and 3.3. Concerning the estimation of the ruin probability (Table 3.1), we see that all the estimators perform well with the first set of parameter (exponential distribution, θ = 0.67). However, with the two other sets of parameters (exponential distribution and Gamma(2) distribution, θ = 0.83), the difference is clear: the Laguerre-Fourier estimator has the smallest risk, followed by the estimator of [START_REF] Zhang | A new efficient method for estimating the Gerber-Shiu function in the classical risk model[END_REF], and the Laguerre deconvolution estimators come last. We notice that φ Lag 2 seems to be better than φ Lag 1 in this case.

Concerning the estimation of the expected jump size causing the ruin (Table 3.2), the difference is even clearer. With the first set of parameters, we see that the Laguerre-Fourier is better for small sample size (E[N T ] = 100), but equivalent to the other estimators for larger sample sizes. We also notice that the estimator φ ZS and φ Lag 2 have the same risk. With the two other sets of parameters, we find again that the Laguerre-Fourier estimator is better than the estimator φ ZS , which is better than the Laguerre deconvolution estimators. This time, we see that φ Lag 1 has better performances than φ Lag 2 .

Concerning the estimation of Laplace transform of the ruin time (Table 3.3), we see no difference between the MISE of the Laguerre-Fourier estimator and the Laguerre deconvolution estimators.

For illustration purposes, on Figures 3.1 and 3.2, we show the estimations of the ruin probability and the expected claim size causing the ruin, on 50 independent samples, with the second set of parameters (exponential distribution, θ = 0.83). Qualitatively, we see that the Laguerre-Fourier estimator is better than the others. In contrast, the non data-driven choice of m for estimator of [START_REF] Zhang | A new efficient method for estimating the Gerber-Shiu function in the classical risk model[END_REF] seems not appropriate in this setting.

To conclude, we can say that our Laguerre-Fourier estimator has better performances than the Laguerre deconvolution estimators on simulated data, even in the exponential case where they have theoretically the same MISE (up to a log factor). Furthermore, the Laguerre deconvolution estimators with the model selection procedure (3.20) fail to match the performance of the estimator of [START_REF] Zhang | A new efficient method for estimating the Gerber-Shiu function in the classical risk model[END_REF], for which we choose the parameter m knowing the bias decay rate of φ, in most cases. Remark 3.5.2. In Tables 3.1, 3.2 and 3.3, the MISEs of the estimators are not normalized by ∥φ∥ 2 L 2 , the size of the estimated function. Hence, it is normal that the order of magnitude of the results varies from one function to another. For example, in Table 3.2, ∥φ∥ 2 L 2 equals respectively 5, 100 and 50, for each set of parameters.

Model reduction procedure

We propose a model reduction procedure to choose the dimensions m 2 and m 3 , defined by (3.14). We explain the method for the choice of m 2 in the case δ = 0. Let us assume we have estimated the M first coefficients of g , for a large M . By Remark 3.2.6, we know that the best estimator is g M . Our goal is to choose m 2 smaller than M that achieves a similar MISE. This provides a parsimonious version of the estimator without degrading its MISE. By Theorem 3.2.5, the MISE of g m is given by:

E∥g -g m ∥ 2 L 2 ≤ ∥g -g m ∥ 2 L 2 + λ c 2 T E[X ].
Ideally, we would like to choose the first m such that the bias term ∥gg m ∥ 2

L 2 is smaller than the variance term λ c 2 T E[X ]. Since these terms are unknown, we N T i =1 X i respectively. We choose m 2 as:

m 2 = min 1 ≤ m ≤ M -1 M -1 k=m b 2 k ≤ κ 2 (cT ) 2 N T i =1 X i , (3.21)
with κ 2 an adjustment constant. The next proposition shows that the MISE of g m 2 does not exceed the MISE of g M by more than κ 2 × (variance term).

Proposition 3.5.3. Let κ 2 > 0, if m 2 is chosen as (3.21) then the MISE of g m 2 is:

E∥g -g m 2 ∥ 2 L 2 ≤ ∥g -g M ∥ 2 L 2 + (1 + κ 2 ) λ c 2 T E[X ].
Proof. By Pythagoras Theorem:

∥g -g m 2 ∥ 2 L 2 = ∥g -g M ∥ 2 L 2 + ∥ g M -g m 2 ∥ 2 L 2 = ∥g -g M ∥ 2 L 2 + M -1 k= m 2 b 2 k ≤ ∥g -g M ∥ 2 L 2 + κ 2 (cT ) 2 N T i =1 X i .
We take the expectation, and we apply Theorem 3.2.5:

E∥g -g m 2 ∥ 2 L 2 ≤ ∥g -g M ∥ 2 L 2 + (1 + κ 2 ) λ c 2 T E[X ].
The same goes for m 3 : we estimate the bias term by M -1 k=m c 2 k and the variance term by 1 (cT ) 2 N T i =1 W (X i ); we choose m 3 as:

m 3 = min 1 ≤ m ≤ M -1 M -1 k=m c 2 k ≤ κ 3 (cT ) 2 N T i =1 W (X i ) .
By the same arguments, the MISE of h m 3 is given by:

E∥h -h m 3 ∥ 2 L 2 ≤ ∥h -h M ∥ 2 L 2 + (1 + κ 3 ) λ c 2 T E[W (X )].
In the case δ > 0, we choose the same m 2 and m 3 as in the case δ = 0. By the same arguments, we obtain:

E∥g -g m 2 ∥ 2 L 2 ≤ ∥g -g M ∥ 2 L 2 + C (λ) c 2 T   E[X ] + E X 2 1 2 (1 -θ) 2 δ 2   + κ 2 λ c 2 T E[X ] ≤ ∥g -g M ∥ 2 L 2 + (1 + κ 2 ) C (λ) c 2 T   E[X ] + E X 2 1 2 (1 -θ) 2 δ 2   . E∥h -h m 3 ∥ 2 L 2 ≤ ∥h -h M ∥ 2 L 2 + C (λ) c 2 T   E[W (X )] + E W (X ) 2 1 2 (1 -θ) 2 δ 2   + κ 3 λ c 2 T E[W (X )] ≤ ∥h -h M ∥ 2 L 2 + (1 + κ 3 ) C (λ) c 2 T   E[W (X )] + E W (X ) 2 1 2 (1 -θ) 2 δ 2   .
Numerically, we compared the MISE's of the Laguerre-Fourier estimator with and without the model reduction procedure for m 2 and m 3 , with the choice κ 2 = κ 3 = 0.3. We show the results in Table 3.4. We see that the model reduction procedure does not affect the MISE of the estimator and we emphasize that the selected dimensions are far lower than the maximum dimension ( m's are less than 10 whereas the maximum dimension is 100).

Conclusion

Using a projection estimator on the Laguerre basis, and computing the coefficients with Fourier transforms, we constructed an estimator of the Gerber-Shiu function that achieves parametric rates of convergence, without needing a model selection procedure. It is worth noticing that our results are non-asymptotic and concern the MISE of the estimator. In comparison, the Laguerre deconvolution [33.7, 46.9] [34.7, 48.4]

m 2 = 4.1, m 3 = 4.3 m 2 = m 3 = N T Laplace transform, δ = 0.1 0.092 0.098 [0.075, 0.110] [0.079, 0.117] m 2 = 3.9, m 3 = 4.0 m 2 = m 3 = N T Table 3.4:
Comparison between the MISE of the Laguerre-Fourier estimator with and without model reduction. In each case, we chose the following parameters:

X ∼ Exp(1/2), λ = 1.25, c = 3, T = 80. With this set of parameters, E[N T ] = 100.
Each cell displays an estimation of the MISE over 200 samples with a 95% confidence interval, and the mean selected models m 2 and m 3 . In every case, m 1 is equal to N T .

estimators have slower rates of convergence and necessitate a model selection procedure in practice. The better performances of our procedure are confirmed by a numerical study, on simulated data.

Knowing that the Laguerre deconvolution method does not achieve the best rate of convergence in the compound Poisson model is important. Indeed, this method is used to estimate the Gerber-Shiu function in more general models, see Zhang & Su (2019), [START_REF] Su | Estimating the Gerber-Shiu function in the perturbed compound Poisson model by Laguerre series expansion[END_REF] and Su et al. (2020). These papers have one thing in common: they all want to estimate a function φ that satisfies an equation of the form φ = φ * g + h, with g and h functions that depend on the specificity of each problem. If we applied the procedure described in the beginning of Section 3.2, we could obtain an estimator that would achieve the same rate of convergence as the estimators of g and h (see Remark 3.2.2). Hence the Laguerre deconvolution method used in these papers is not optimal since a factor m appears in the variance term in the construction step of φ m from g m and h m .

Proofs

Proof of Proposition 3.2.1. We start with the decomposition bias-variance of the risk of φ m :

∥φ -φ m ∥ 2 L 2 = ∥φ -φ m ∥ 2 L 2 + ∥φ m -φ m ∥ 2 L 2 .
Let Π m be the projector on Span(F ψ 0 , . . . , F ψ m-1 ). Since ∥F ψ k ∥ 2 = 2π, we get:

∥φ m -φ m ∥ 2 L 2 = m-1 k=0 ( a k -a k ) 2 = 1 (2π) 2 m-1 k=0 F h 1 -F g - F h 1 -F g , F ψ k 2 = 1 2π Π m F h 1 -F g - F h 1 -F g 2 L 2 ≤ 1 2π F h 1 -F g - F h 1 -F g 2 L 2
.

(3.22)

Then since | F g | ≤ θ 0 by definition, and |F g | ≤ ∥g ∥ L 1 ≤ θ, we obtain:

F h 1 -F g - F h 1 -F g 2 L 2 ≤ 2 F h 1 -F g - F h 1 -F g 2 L 2 + 2 F h 1 -F g - F h 1 -F g 2 L 2 ≤ 2 (1 -θ 0 ) 2 ∥F h -F h∥ 2 L 2 + 2 (1 -θ 0 ) 2 ∥h∥ 2 L 1 (1 -θ) 2 ∥ F g -F g ∥ 2 L 2 . (3.23)
To control the last term, we decompose according to the set {|F g | ≤ θ 0 } and its complement:

∥ F g -F g ∥ 2 L 2 ≤ ∥F g -F g ∥ 2 L 2 + ∥g ∥ 2 L 1 Leb({|F g | > θ 0 }). Thus if θ < θ 0 , then {|F g | > θ 0 } ⊆ {|F g -F g | ≥ θ 0 -θ}, therefore Markov inequal- ity yields: ∥ F g -F g ∥ 2 L 2 ≤ ∥F g -F g ∥ 2 L 2 + ∥g ∥ 2 L 1 (θ 0 -θ) 2 ∥F g -F g ∥ 2 L 2 . (3.24)
Finally, gathering (3.22), (3.23) and (3.24), and using Plancherel theorem yield the desired result.

Proof of Theorem 3.2.5

We start with some preliminary lemmas.

Lemma 3.7.1. Let Y 1 , . . . , Y n be i.i.d non-negative random variables. We denote by L (s) := E[e -sY 1 ] their Laplace transform and we denote by L (s) := 1 n n i =1 e -sY i the empirical Laplace transform. Then for p ≥ 1, we have:

E sup s>0 L (s) -L (s) 2p ≤ p! 2 p-1 n p . Proof. Let F (x) := 1 n n i =1 1 {Y i ≤x}
be the empirical c.d.f. of the Y i 's, and let F (x) := P[Y ≤ x] be their c.d.f. We notice that for s > 0:

+∞ 0 se -sx F (x) dx = 1 n n i =1 +∞ 0 se -sx 1 {Y i ≤x} dx = 1 n n i =1 e -s X i =: L (s),
and by the same argument, L (s) = +∞ 0 se -sx F (x) dx. Thus:

sup s>0 L (s) -L (s) ≤ sup s>0 +∞ 0 se -sx F (x) -F (x) dx ≤ ∥ F -F ∥ ∞ .
We take the expectation and we get:

E sup s>0 L (s) -L (s) 2p ≤ E ∥ F -F ∥ 2p ∞ = 2p +∞ 0 t 2p-1 P ∥ F -F ∥ ∞ ≥ t dt .
(3.25) By [START_REF] Massart | The Tight Constant in the Dvoretzky-Kiefer-Wolfowitz Inequality[END_REF], P n∥ F -F ∥ ∞ ≥ x ≤ 2e -2x 2 , so by setting t = x/ n in (3.25), we obtain:

E sup s>0 L (s) -L (s) 2p ≤ 2p n p +∞ 0 x 2p-1 2e -2x 2 dx = 2p n p +∞ 0 u p-1 e 2u du = p! n p 2 p-1 .
Lemma 3.7.2. Let Z ∼ P (λ) and m j (λ) := E[(Z -λ) j ] be the j -th central moment of Z . Then, for all r ≥ 2 we have:

m r (λ) = λ r -2 j =0 r -1 j m j (λ).
Proof. Let L (λ, t ) := e λ(e t -t -1) = E[e t (Z -λ) ] and ϕ(t

) := e t -t -1. Then m r (λ) = ∂ r L ∂t r (λ, 0)
. By Leibniz's rule:

∂ r L ∂t r (λ, t ) = ∂ r -1 ∂t r -1 λ ϕ ′ (t ) L (λ, t ) = λ r -1 j =0 r -1 j ∂ j L ∂t j (λ, t ) ϕ (r -j ) (t ).
Taking t = 0 gives the result since ϕ ′ (0) = 0 and ϕ

(k) (0) = 1 if k ≥ 2.
Corollary 3.7.3. The central moments m 2r (λ) and m 2r +1 (λ) are polynomials of degree r in λ.

The next proposition provides an upper bound on the L p -risk of ρ δ .

Proposition 3.7.4. Under Assumption 3.1, for p ≥ 1, we have:

E ( ρ δ -ρ δ ) 2p ≤ C (p, λ) c 2p (1 -θ) 2p T p , where C (p, λ) is a O(λ p ).

PROOFS

Proof. By definition, ρ δ is a solution of the Lundberg equation, so it is a zero of the function:

ℓ δ (s) := cs -(λ + δ) + λ L f (s).
The estimator ρ δ is then a zero of the function:

ℓ δ (s) := cs -( λ + δ) + λ L f (s).
We use a Taylor-Lagrange expansion:

ℓ δ ( ρ δ ) = 0 = ℓ δ (ρ δ ) = ℓ δ ( ρ δ ) + ℓ ′ δ (z)(ρ δ -ρ δ ),
where z is between ρ δ and ρ δ .

|ℓ ′ δ (z)| = c -λ +∞ 0 xe -zx f (x) dx ≥ c -λ +∞ 0 x f (x) dx = c -λµ > 0,
under the safety loading condition. Thus:

|ρ δ -ρ δ | ≤ 1 c -λµ ℓ δ ( ρ δ ) -ℓ δ ( ρ δ ) = 1 c(1 -θ) λ L f ( ρ δ ) -L f ( ρ δ ) + λ -λ 1 -L f ( ρ δ ) ≤ 1 c(1 -θ) | λ|∥ L f -L f ∥ ∞ + 2| λ -λ| E ( ρ δ -ρ δ ) 2p ≤ 1 c 2p (1 -θ) 2p 2 2p-1 E λ 2p ∥ L f -L f ∥ 2p ∞ + 2 4p-1 E | λ -λ| 2p .
For the second term, we use Corollary 3.7.3:

E| λ -λ| 2p = E|N T -λT | 2p T 2p
= O(λ p ) T p . For the first term, we apply Lemma 3.7.1 conditional to N T :

E λ 2p ∥ L f -L f ∥ 2p ∞ ≤ E C (p) λ 2p N p T = C (p) T p E λ p = O(λ p ) T p .
Finally:

E ( ρ δ -ρ δ ) 2p ≤ C (p, λ) c 2p (1 -θ) 2p T p , with C (p, λ) = O(λ p ).
Now, we can prove Theorem 3.2.5.

Proof of Theorem 3.2.5. By Pythagoras theorem:

E∥g -g m 2 ∥ 2 L 2 = ∥g -g m 2 ∥ 2 L 2 + E∥g m 2 -g m 2 ∥ 2 L 2 = ∥g -g m 2 ∥ 2 L 2 + m 2 -1 k=0 E ( b k -b k ) 2 , E∥h -h m 3 ∥ 2 L 2 = ∥h -h m 3 ∥ 2 L 2 + E∥h m 3 -h m 3 ∥ 2 L 2 = ∥h -h m 3 ∥ 2 L 2 + m 3 -1 k=0 E ( c k -c k ) 2 ,
hence we need to control the variance terms

m 2 -1 k=0 E[( b k -b k ) 2 ] and m 3 -1 k=0 E[( c k - c k ) 2 ].
Using equations (4.17) to (4.21) and (4.10) to (4.14) in [START_REF] Zhang | A new efficient method for estimating the Gerber-Shiu function in the classical risk model[END_REF], we can obtain equations (3.31) and (3.32) below. Still, we give the proofs of these equations for the sake of completeness.

We notice that b k and c k (defined by (3.12) and (3.13)) can be written as:

1 cT N T i =1 +∞ 0 F (u, X i , ρ δ )ψ k (u) du,
and that the coefficients b k and c k (defined by (3.9) and (3.10)) can be written as:

E 1 cT N T i =1 +∞ 0 F (u, X i , ρ δ )ψ k (u) du ,
where F is given by: F (u, X , ρ) := e -ρ(X -u) 1 X >u for the coefficients of g , X u e -ρ(X -x) w(x, Xx) dx 1 X >u for the coefficients of h.

(3.26) Thus, we need to give an upper bound on quantities of the form:

V m := m-1 k=0 E[I k ],
(3.27)

I k := 1 cT N T i =1 +∞ 0 F (u, X i , ρ δ )ψ k (u) du -E 1 cT N T i =1 +∞ 0 F (u, X i , ρ δ )ψ k (u) du 2 .
The bound on V m is based on the following decomposition:

1 cT N T i =1 +∞ 0 F (u, X i , ρ δ )ψ k (u) du -E 1 cT N T i =1 +∞ 0 F (u, X i , ρ δ )ψ k (u) du = Z k + ∆ k
(3.28) where:

Z k := 1 cT N T i =1 +∞ 0 F (u, X i , ρ δ )ψ k (u) du -E N T i =1 +∞ 0 F (u, X i , ρ δ )ψ k (u) du ∆ k := 1 cT N T i =1 +∞ 0 F (u, X i , ρ δ ) -F (u, X i , ρ δ ) ψ k (u) du.
Let us notice that if δ = 0, then ρ δ = ρ δ = 0, so ∆ k = 0 and the decomposition reduces to Z k .

• Bound on m-1 k=0 E Z 2 k . This bound is obtained by a projection argument:

m-1 k=0 E Z 2 k = m-1 k=0 Var 1 cT N T i =1 +∞ 0 F (u, X i , ρ δ )ψ k (u) du = m-1 k=0 λ c 2 T E +∞ 0 F (u, X , ρ δ )ψ k (u) du 2 ≤ λ c 2 T E +∞ 0 F (u, X , ρ δ ) 2 du ,
where the last inequality comes from the fact that (ψ k ) k≥0 is an orthonormal basis of L 2 (R + ). From (3.26), we see that:

λ c 2 T E +∞ 0 F (u, X , ρ δ ) 2 du ≤ λ c 2 T E[X ]
for the coefficients of g , )] for the coefficients of h.

λ c 2 T E[W (X
(3.29) where W (X ) is defined in Assumption 3.3. In the δ = 0 case, this gives the desired results.

• Bound on m-1 k=0 ∆ 2 k . We use a projection argument again:

m-1 k=0 ∆ 2 k ≤ m-1 k=0 N T c 2 T 2 N T i =1 +∞ 0 F (u, X i , ρ δ ) -F (u, X i , ρ δ ) ψ k (u) du 2 ≤ λ c 2 T N T i =1 +∞ 0 |F (u, X i , ρ δ ) -F (u, X i , ρ δ )| 2 du,
where λ := N T T . By Remark 3.1.3, we know that ρ δ ∈ [ δ c , δ+λ c ] and that ρ δ ∈ [ δ c , δ+ λ c ], so by the mean value theorem:

|F (u, X i , ρ δ ) -F (u, X i , ρ δ )| ≤ | ρ δ -ρ δ | sup ρ≥ δ c ∂F ∂ρ (u, X i , ρ) .
Since the function t e -ρt 1 t >0 achieves its maximum at t = 1 ρ , we see that:

sup ρ≥ δ c ∂F ∂ρ (u, X i , ρ) ≤ c eδ 1 X i >u for the coefficients of g , c eδ X i u w(x, X i -x) dx1 X i >u for the coefficients of h. Thus, m-1 k=0 ∆ 2 k ≤ λ ρ δ -ρ δ 2 e 2 δ 2 × 1 T N T i =1 X i for the coefficients of g , 1 T N T i =1 W (X i )
for the coefficients of h.

(3.30)

Using the decomposition (3.28) in (3.27), we get:

V m ≤ 2 m-1 k=0 E[Z 2 k ] + 2 m-1 k=0 E[∆ 2 k ].
Combining (3.29) and (3.30) yields:

E∥ g m 2 -g m 2 ∥ 2 L 2 ≤ 2 λ c 2 T E[X ] + 2 E λ| ρ δ -ρ δ | 2 e 2 δ 2 1 T N T i =1 X i , (3.31) E∥ h m 3 -h m 3 ∥ 2 L 2 ≤ 2 λ c 2 T E[W (X )] + 2 E λ| ρ δ -ρ δ | 2 e 2 δ 2 1 T N T i =1
W (X i ) .

(3.32)

We apply Hölder's inequality on the second term in (3.31) and we use Proposition 3.7.4:

E λ| ρ δ -ρ δ | 2 1 T N T i =1 X i ≤ E[ λ 4 ] 1/4 E | ρ δ -ρ δ | 8 1/4 E 1 T N T i =1 X i 2 1/2 ≤ C (λ) c 2 (1 -θ) 2 T E 1 T N T i =1 X i ) 2 1/2 , with C (λ) = O(λ 2
). We need to evaluate this last expectation:

E 1 T N T i =1 X i 2 ≤ E N T T 2 N T i =1 X 2 i = E N 2 T T 2 E[X 2 ] = λ T + λ 2 E[X 2 ].
Thus, we obtain:

E∥ g m -g m ∥ 2 L 2 ≤ 2 λ c 2 T E[X ] + 2 C (λ) c 2 T (1 -θ) 2 δ 2 E[X 2 ] 1/2
with C (λ) = O(λ 2 ). We make the same reasoning for h, replacing X i by W (X i ).

Proofs of Section 3.3

Let us recall some facts about Toeplitz matrices; the interested reader can find more details in the book of [START_REF] Böttcher | Toeplitz Matrices, Asymptotic Linear Algebra, and Functional Analysis[END_REF]. Given (α n ) n∈Z a sequence of complex numbers, a Toeplitz matrix is an infinite matrix of the form:

     α 0 α -1 α -2 • • • α 1 α 0 α -1 • • • α 2 α 1 α 0 • • • • • • • • • • • • • • •      . (3.33)
The classical result from O. Toeplitz says that this matrix induces a bounded operator on ℓ 2 (N) if and only if (α n ) n∈Z are the Fourier coefficients of some function α ∈ L ∞ (T), where T denotes the complex unit circle. We denote both the matrix (3.33) and its induced operator on ℓ 2 (N) by T(α), the function α being called the symbol of the Toeplitz matrix. Finally, if m ∈ N * and if T(α) is a Toeplitz matrix, we denote by T m (α) the m × m matrix:

T m (α) :=    α 0 • • • α -(m-1) . . . . . . . . . α m-1 • • • α 0    . (3.34)
The operator norm of T(α) depends on the properties of its symbol. In the case where α k = 0 for all k < 0, we have the following lemma.

Lemma 3.7.5. Let (α k ) k≥0 ∈ ℓ 1 (N) be a sequence of complex numbers. Then the Toeplitz matrix T(α) is lower triangular and we have:

∀x ∈ ℓ 2 (N), T(α) × x = α * x.
In particular, ∥T(α)∥ op ≤ ∥α∥ ℓ 1 .

Proof. The fact that T(α) is lower triangular and that T(α) × x = α * x is clear from the definition of a Toeplitz matrix. Then, Young's inequality for convolution yields ∥α * x∥ ℓ2 ≤ ∥α∥ ℓ 1 ∥x∥ ℓ 2 .

Concerning the inverse of a Toeplitz matrix, its norm depends on the position of zero relatively to the range of the symbol. More precisely, we use the following result.

Lemma 3.7.6 (Lemma 3.8 in [START_REF] Böttcher | Toeplitz Matrices, Asymptotic Linear Algebra, and Functional Analysis[END_REF]). Let α ∈ L ∞ (T) and let E (α) be the convex hull of the essential range of α. If d := dist(0, E (α)) > 0, then T m (α) is invertible for all m ≥ 1, and we have ∥T -1 m (α)∥ op < 2 d .

The matrix A m defined by (3.16) is a Toeplitz matrix and its symbol is given by:

α(t ) := +∞ k=0 α k t k , with α k :=    1 -b 0 2 if k = 0, b k-1 -b k 2 if k ≥ 1.
Let us notice that under Assumption 3.4, we have (α k ) k≥0 ∈ ℓ 1 (N) so the symbol α is continuous on T, and thus α ∈ L ∞ (T).

Proof of Lemma 3.3.2. We apply 2 Lemma C.1 in Comte et al. (2017) to the coefficients of g : the sequence (β k ) k≥0 , defined by β 0 := b 0 2 and

β k := b k -b k-1 2 for k ≥ 1,
are the Fourier coefficients of the function t ∈ T → L g ( 1+t 1-t ) ∈ C. Thus, we have:

∀t ∈ T, L g 1 + t 1 -t = +∞ k=0 β k t k , with the convention L g (∞) = 0. Since α(t ) = 1 -k≥0 β k t k , we get: ∀t ∈ T, α(t ) = 1 -L g 1 + t 1 -t ,
We notice that if t ∈ T \ {1}, then there exists ω ∈ R such that 1+t 1-t = iω. Thus:

∀t ∈ T \ {1}, Reα(t) = 1 -Re L g 1 + t 1 -t = 1 -Re L g (iω) = 1 -Re +∞ 0 e -iωx g (x) dx = 1 - +∞ 0 cos(ωx) g (x) dx ≥ 1 - +∞ 0 g (x) dx ≥ 1 -θ.
This inequality holds for t = 1 as well, hence α(T) is included in the half-plane {z ∈ C | Re(z) ≥ 1 -θ}, and so is its convex hull. By Lemma 3.7.6:

∥A -1 m ∥ op ≤ 2 1 -θ .
Remark 3.7.7. In their article, [START_REF] Zhang | A new efficient method for estimating the Gerber-Shiu function in the classical risk model[END_REF] show that inf |z|=1 |α(z)| ≥ 1-θ > 0, that is dist(0, α(T)) > 0, which is not sufficient to apply Lemma 3.7.6.

Proof of Theorem 3.3.3 Proposition 3.7.8. Under Assumption 3.4, if θ < θ 0 then it holds:

∀m ∈ N * , E∥( A -1 m,1 -A -1 m )c m ∥ 2 ℓ 2 ≤ C (θ, θ 0 ) (1 -θ 0 ) 2 ∥φ m ∥ 2 L 2 E∥ A m -A m ∥ 2 op ,
where C (θ, θ 0 ) is a constant satisfying C (θ, θ 0 ) ≲ (1-θ 0 ) 2 (θ 0 -θ) 2 .

Proof. We decompose the expectation according to the event

∆ m := {∥ A -1 m ∥ op ≤ 2 1-θ 0 }: E∥( A -1 m,1 -A -1 m )c m ∥ 2 ℓ 2 = ∥A -1 m c m ∥ 2 ℓ 2 P ∆ c m + E ∥ A -1 m,1 (A m -A m )A -1 m c m ∥ 2 ℓ 2 1 ∆ m ≤ ∥A -1 m c m ∥ 2 ℓ 2 P ∆ c m + 4 (1 -θ 0 ) 2 E∥ A m -A m ∥ 2 op = ∥a m ∥ 2 ℓ 2 P ∆ c m + 4 (1 -θ 0 ) 2 E∥ A m -A m ∥ 2 op .
Since θ < θ 0 and ∥A -1 m ∥ op ≤ 2 1-θ (see Lemma 3.3.2), we get:

P ∆ c m ≤ P ∥ A -1 m -A -1 m ∥ op > 2 1 -θ 0 - 2 1 -θ = P ∥ A -1 m -A -1 m ∥ op > 2 1 -θ 0 - 2 1 -θ ∩ ∥A -1 m ( A m -A m )∥ op < 1 2 + P ∥ A -1 m -A -1 m ∥ op > 2 1 -θ 0 - 2 1 -θ ∩ ∥A -1 m ( A m -A m )∥ op ≥ 1 2 .
• First term. We apply Theorem B.1.2 and we conclude using Markov's inequality:

P ∥ A -1 m -A -1 m ∥ op > 2 1 -θ 0 - 2 1 -θ ∩ ∥A -1 m ( A m -A m )∥ op < 1 2 ≤ P ∥A -1 m ∥ 2 op ∥ A m -A m ∥ op 1 -∥A -1 m ( A m -A m )∥ op > 2 1 -θ 0 - 2 1 -θ ∩ ∥A -1 m ( A m -A m )∥ op < 1 2 ≤ P ∥A -1 m ∥ 2 op ∥ A m -A m ∥ op > 1 1 -θ 0 - 1 1 -θ ≤ (1 -θ) 2 (1 -θ 0 ) 2 (θ 0 -θ) 2 ∥A -1 m ∥ 4 op E∥ A m -A m ∥ 2 op ≤ 16(1 -θ 0 ) 2 (θ 0 -θ) 2 (1 -θ) 2 E∥ A m -A m ∥ 2 op .
• Second term. We use Markov's inequality:

P ∥ A -1 m -A -1 m ∥ op > 2 1 -θ 0 - 2 1 -θ ∩ ∥A -1 m ( A m -A m )∥ op ≥ 1 2 ≤ P ∥A -1 m ( A m -A m )∥ op ≥ 1 2 ≤ 4∥A -1 m ∥ 2 op E∥ A m -A m ∥ 2 op ≤ 16 (1 -θ) 2 E∥ A m -A m ∥ 2 op .
Thus, we obtain:

E∥( A -1 m,1 -A -1 m )c m ∥ 2 ℓ 2 ≤ ∥φ m ∥ 2 L 2 16 (1 -θ) 2 1 + (1 -θ 0 ) 2 (θ 0 -θ) 2 + 4 (1 -θ 0 ) 2 E∥ A m -A m ∥ 2 op .
We can now prove Theorem 3.3.3.

Proof of Theorem 3.3.3. We start with the decomposition bias-variance of the risk of φ

Lag 1 m : ∥φ -φ Lag 1 m ∥ 2 L 2 = ∥φ -φ m ∥ 2 L 2 + ∥φ m -φ Lag m ∥ 2 L 2 .
We decompose the variance term as:

E∥φ m -φ Lag 1 m ∥ 2 L 2 = E∥ a Lag 1 m -a m ∥ 2 ℓ 2 = E∥ A -1 m,1 c m -A -1 m c m ∥ 2 ℓ 2 ≤ 3 E∥( A -1 m,1 -A -1 m )c m ∥ 2 ℓ 2 + 3 E∥(A -1 m -A -1 m,1 )(c m -c m )∥ 2 ℓ 2 + 3 E∥A -1 m (c m -c m )∥ 2 ℓ 2 .
• First term. We apply Proposition 3.7.8 with Lemma 3.7.5:

E∥( A -1 m,1 -A -1 m )c m ∥ 2 ℓ 2 ≤ C (θ, θ 0 ) ∥φ m ∥ 2 L 2 E∥ A m -A m ∥ 2 L 2 ≤ C (θ, θ 0 ) ∥φ m ∥ 2 L 2 E∥ b m -b m ∥ 2 ℓ 1 ≤ C (θ, θ 0 ) ∥φ m ∥ 2 L 2 m E∥ b m -b m ∥ 2 ℓ 2 = C (θ, θ 0 ) ∥φ∥ 2 L 2 m E∥ g m -g m ∥ 2 L 2 .
• Second term.

E∥(A -1 m -A -1 m,1 )(c m -c m )∥ 2 ℓ 2 ≤ E ∥A -1 m -A -1 m,1 ∥ 2 op ∥c m -c m ∥ 2 ℓ 2 ≤ 8 (1 -θ) 2 + 8 (1 -θ 0 ) 2 E∥ h m -h m ∥ 2 L 2 .
• Third term.

E∥A -1 m (c m -c m )∥ 2 ℓ 2 ≤ ∥A -1 m ∥ 2 op E∥c m -c m ∥ 2 ℓ 2 ≤ 4 (1 -θ) 2 E∥ h m -h m ∥ 2 L 2 . E∥φ m -φ Lag 1 m ∥ 2 L 2 ≤ 3 × C (θ, θ 0 ) (1 -θ 0 ) 2 ∥φ∥ 2 L 2 m E∥ g m -g m ∥ 2 L 2 + 60 (1 -θ 0 ) 2 E∥ h m -h m ∥ 2 L 2 , with C (θ, θ 0 ) ≲ (1-θ 0 ) 2 (1-θ) 2 .
To conclude, we use the upper bounds established in the proof of Theorem 3.2.5. If δ = 0, we have:

E∥ g m -g m ∥ 2 L 2 ≤ λ c 2 T E[X ], E∥ h m -h m ∥ 2 L 2 ≤ λ c 2 T E[W (X )],
and if δ > 0, we have:

E∥ g m -g m ∥ 2 L 2 ≤ C (λ) c 2 T   E[X ] + E X 2 1 2 (1 -θ) 2 δ 2   , E∥ h m -h m ∥ 2 L 2 ≤ C (λ) c 2 T   E[W (X )] + E W (X ) 2 1 2 (1 -θ) 2 δ 2   , with C (λ) = O(λ 2 ).
Proof of Proposition 3.3.4

Let us introduce the sequence of functions (D k ) k≥0 as:

D k (x) :=    Ψ 0 (x) 2 if k = 0, Ψ k (x)-Ψ k-1 (x) 2 if k ≥ 1. so we can rewrite A m = I m -λ c T m (E[D(X )]) and A m = I m -1 cT N T i =1 T m (D(X i ))
, with T m (•) defined by (3.34). Now, the difference between A m and A m can be decomposed as:

A m -A m = 1 cT N T i =1 T m (D(X i ))-E T m (D(X i )) + N T cT T m E[D(X )] - λ c T m (E[D(X )]).
(3.35) The next lemma gives a control on the first term in the decomposition (3.35).

Lemma 3.7.9. Let S n := n i =1 Z i , with Z i := T m (D(X i )) -E T m (D(X i )) . Then for p ≥ 1 and log m ≥ p, we have:

E∥S n ∥ 2p op ≤ C (p) (nµ m log m) p + (m log m) 2p ,
with C (p) a constant depending on p.

Proof. We want to apply Theorem 1.4.12. First, we need upper bounds on ∥Z i ∥ op and λ max (E[S ⊤ n S n ]).

• Bound on ∥Z i ∥ op :

∥Z i ∥ op = sup ∥x∥ ℓ 2 ≤1 ∥ T m (D(X i )) -E[T m (D(X i ))] x∥ ℓ 2 = sup ∥x∥ ℓ 2 ≤1 ∥(D(X i ) -E[D(X i )]) * x∥ ℓ 2 ≤ ∥D(X i ) -E[D(X i )]∥ ℓ 1 ≤ 2 m-1 k=0 |Ψ k (X i ) -E[Ψ k (X i )]| ≤ 2 2 m-1 k=0 ∥Ψ k ∥ ∞
By Theorem A.3.1, there exists an absolute constant C > 0 such that for all k, we have ∥Ψ k ∥ ∞ ≤ C , hence ∥Z i ∥ op ≤ C 2 2m.

• Bound on λ max E[S ⊤ n S n ] :

λ max E[S ⊤ n S n ] = sup ∥x∥ ℓ 2 =1 x ⊤ E[S ⊤ n S n ]x = n sup ∥x∥ ℓ 2 =1 x ⊤ E[Z ⊤ 1 Z 1 ]x = n sup ∥x∥ ℓ 2 =1 E ∥Z 1 x∥ 2 ℓ 2 = n sup ∥x∥ ℓ 2 =1 E ∥(D(X 1 ) -E[D(X 1 )]) * x∥ 2 ℓ 2 . If x ∈ R m , we have: E ∥(D(X 1 ) -E[D(X 1 )]) * x∥ 2 ℓ 2 = m-1 j =0 E ({D(X 1 ) -E[D(X 1 )]} * x) 2 j = m-1 j =0 Var (D(X 1 ) * x) j ≤ m-1 j =0 E (D(X 1 ) * x) 2 j ,
and by Cauchy-Schwarz inequality:

(D(X 1 ) * x) 2 j ≤ j k=0 D k (X 1 ) 2 j k=0 x 2 k ≤ ∥x∥ 2 ℓ 2 j k=0 Ψ k (X 1 ) 2 ≤ ∥x∥ 2 ℓ 2 ∥1 X 1 >• ∥ 2 L 2 = ∥x∥ 2 ℓ 2 X 1 , because Ψ k (X 1 ) = 〈1 X 1 >• , ψ k 〉 and (ψ k ) is an orthonormal basis of L 2 (R + ).
Hence, we obtain λ max E[S ⊤ S] ≤ nmµ.

We want apply Theorem 1.4.12 to our matrix S n , which is not Hermitian. We use the following trick, called the Paulsen dialtation. For M a rectangular matrix, we define:

M → H (M) = 0 M M † 0 ,
where M † denotes the conjugate transpose of M. Now, H (M) is an Hermitian matrix, and:

H (M) 2 = MM † 0 0 M † M ,
hence λ max H (M) 2 = ∥M∥ 2 op and λ max (H (M)) = ∥M∥ op . We can now apply Theorem 1.4.12: for M = S n , we have:

H (S n ) = 0 i Z i i Z ⊤ i 0 = i 0 Z i Z ⊤ i 0 = i H (Z i ),
thus for p ≥ 1 and r ≥ max(2p, 2 log m), we get that:

E∥S n ∥ 2p op 1/2p = Eλ max H i Z i 2p 1/2p ≤ er λ 1/2 max i EH (Z i ) 2 + 2er E max i λ max (H (Z i )) 2p 1/2p ≤ er λ max ES ⊤ n S n + 2er E max i ∥Z i ∥ 2p op 1/2p
≤ er nmµ +C 4 2er m.

If log m ≥ p, then r = 2 log m and we get:

E∥S n ∥ 2p op ≲ 2 2p-1 (nµ m log m) p + 2 6p-1 (m log m) 2p .
Now we can prove Proposition 3.3.4.

PROOFS 123

Proof of Proposition 3.3.4. From the decomposition (3.35), we get:

E∥ A m -A m ∥ 2p op ≤ 2 2p-1 1 (cT ) 2p E∥S N T ∥ 2p op + 2 2p-1 E|N T -λT | 2p (cT ) 2p ∥T m (E[D(X )])∥ 2p op .
For the first term, we apply Lemma 3.7.9 conditional on N T :

1 (cT ) 2p E∥S N T ∥ 2p op ≤ C (p) E[N p T ]µ p (m log m) p (cT ) 2p + m log m cT 2p = C (p) µ p E N T cT p m log m cT p + m log m cT 2p , with E N T cT p = O(λ p ).
For the second term, we know from Corollary 3.7.3 that

E[(N T -λT ) 2p ] = O(λ p T p
), and:

∥T m (E[D(X )])∥ op ≤ m-1 k=0 |E[D k (X )]| ≤ 2 m-1 k=0 |E[Ψ k (X )]| ≤ 2m m-1 k=0 E Ψ k (X ) 2 1/2 = 2m E m-1 k=0 〈1 X >• , ψ k 〉 2 1/2 ≤ 2mµ, thus: E|N T -λT | 2p (cT ) 2p ∥T m (E[D(X )])∥ 2p op ≤ O(λ p ) T p µ p m p .
Proof of Theorem 3.3.5

The following results are based on the proofs of Lemma 3.1 and Corollary 3.2 in [START_REF] Comte | Laguerre deconvolution with unknown matrix operator[END_REF].

Proposition 3.7.10. If m log m ≤ cT , then it holds:

E∥ A -1 m,2 -A -1 m ∥ 2p op ≤ C (p, λ) µ p ∥A -1 m ∥ 2p op ∧ (µ p + µ 2p )∥A -1 m ∥ 4p op m log m cT p , with C (p, λ) = O(λ p ∨ λ 2p ).
Proof. We decompose the expectation according to the event

∆ m := {∥ A -1 m ∥ 1 op ≤ cT m log m }: E ∥A -1 m -A -1 m,2 ∥ 2p op = E ∥A -1 m ∥ 2p op 1 ∆ c m + ∥ A -1 m (A m -A m )A -1 m ∥ 2p op 1 ∆ m = ∥A -1 m ∥ 2p op P ∆ c m + E ∥ A -1 m (A m -A m )A -1 m ∥ 2p op 1 ∆ m . (3.36)
We now give two bounds on (3.36), depending on the value of ∥A -1 m ∥ op .

• First case: ∥A -1 m ∥ op > 1 2 cT m log m . Starting from Equation (3.36) and using the set ∆ 2 m , we have that:

E ∥A -1 m -A -1 m,2 ∥ 2p op ≤ ∥A -1 m ∥ 2p op + ∥A -1 m ∥ 2p op E ∥ A -1 m ∥ 2p op ∥A m -A m ∥ 2p op 1 ∆ m ≤ ∥A -1 m ∥ 2p op + ∥A -1 m ∥ 2p op cT m log m p E ∥A m -A m ∥ 2p op .
We apply Proposition 3.3.4 and get:

E ∥A -1 m -A -1 m,2 ∥ 2p op ≤ ∥A -1 m ∥ 2p op + ∥A -1 m ∥ 2p op cT m log m p C (p, λ)µ p m log m cT p ≤ (1 +C (p, λ)µ p )∥A -1 m ∥ 2p op , with C (p, λ) = O(λ p ).
• Second case: ∥A -1 m ∥ op < 1 2 cT m log m . Starting from (3.36) again, we get:

E ∥A -1 m -A -1 m,2 ∥ 2p op ≤ ∥A -1 m ∥ 2p op P ∆ c m + ∥A -1 m ∥ 2p op E ∥A m -A m ∥ 2p op ∥ A -1 m ∥ 2p op 1 ∆ m .
Let us give an upper bound on

E ∥A m -A m ∥ 2p op ∥ A -1 m ∥ 2p op 1 ∆ m .
First we notice that:

∥ A -1 m ∥ 2p op ≤ 2 2p-1 ∥ A -1 m -A -1 m ∥ 2p op + 2 2p-1 ∥A -1 m ∥ 2p op .
Applying Proposition 3.3.4, we get:

E ∥A m -A m ∥ 2p op ∥ A -1 m ∥ 2p op 1 ∆ m ≤ 2 2p-1 ∥A -1 m ∥ 2p op E ∥A m -A m ∥ 2p op 1 ∆ m + 2 2p-1 E ∥A m -A m ∥ 2p op ∥ A -1 m -A -1 m ∥ 2p op 1 ∆ m ≤ 2 2p-1 ∥A -1 m ∥ 2p op E ∥A m -A m ∥ 2p op 1 ∆ m + 2 2p-1 ∥A -1 m ∥ 2p op E ∥A m -A m ∥ 4p op ∥ A -1 m ∥ 2p op 1 ∆ m ≤ C (p, λ)µ p ∥A -1 m ∥ 2p op m log m cT p + ∥A -1 m ∥ 2p op cT m log m p C (2p, λ)µ 2p m log m cT 2p ≤ C ′ (p, λ)(µ p + µ 2p )∥A -1 m ∥ 2p op m log m cT p , (3.37) with C ′ (p, λ) = O(λ p ∨ λ 2p ).

Now let us give an upper bound on P[∆

c m ] = P ∥ A -1 m ∥ op > cT m log m .
From the triangular inequality, we get:

∥ A -1 m ∥ op ≤ ∥ A -1 m -A -1 m ∥ op + ∥A -1 m ∥ op
we obtain:

P ∥ A -1 m ∥ op > cT m log m ≤ P ∥ A -1 m -A -1 m ∥ op > cT m log m -∥A -1 m ∥ op . 1 2 . (3.38)
To control the second term, we apply Markov inequality and Proposition 3.3.4:

P ∥A -1 m ( A m -A m )∥ op ≥ 1 2 ≤ P ∥A -1 m ∥ op ∥ A m -A m ∥ op ≥ 1 2 ≤ C (p, λ)µ p m log m cT p ∥A -1 m ∥ 2p op .
(3.39)

Next, to control the first term on the right hand side of Equation (3.38), we apply Theorem B.1.2:

P ∥ A -1 m -A -1 m ∥ op > ∥A -1 m ∥ op ∩ ∥A -1 m ( A m -A m )∥ op < 1 2 ≤ P ∥ A m -A m ∥ op ∥A -1 m ∥ 2 op 1 -∥A -1 m ( A m -A m )∥ op > ∥A -1 m ∥ op ∩ ∥A -1 m ( A m -A m )∥ op < 1 2 ≤ P ∥ A m -A m ∥ op > 1 2 ∥A -1 m ∥ -1 op . (3.40)
We apply Markov inequality again, along with Proposition 3.3.4:

P ∥ A -1 m -A -1 m ∥ op > ∥A -1 m ∥ op ∩ ∥A -1 m ( A m -A m )∥ op < 1 2 ≤ C (p, λ)µ p m log m cT p ∥A -1 m ∥ 2p op .
So starting from Equation (3.38) and gathering Equations (3.39) and (3.40) gives:

P ∥ A -1 m ∥ op > cT m log m ≤ C (p, λ)µ p m log m cT p ∥A -1 m ∥ 2p op , (3.41) with C (p, λ) = O(λ p ).
Finally gathering Equations (3.37) with (3.41), we get that

E ∥A -1 m -A -1 m,2 ∥ 2p op ≤ C (p, λ)(µ p + µ 2p ) ∥A -1 m ∥ 4 op m log m cT p . with C (p, λ) = O(λ p ∨ λ 2p ).
The next proposition is a variant of the last one. It gives a better bound than applying directly Proposition 3.7.10 to

E ∥ A -1 m,2 -A -1 m ∥ 2 op ∥c m ∥ 2 ℓ 2 .
Proposition 3.7.11. If m log m ≤ cT , then it holds:

E∥( A -1 m,2 -A -1 m )c m ∥ 2 ℓ 2 ≤ C (λ)∥φ m ∥ 2 L 2 µ ∧ (µ + µ 2 )∥A -1 m ∥ 2 op m log m cT , with C (λ) = O(λ ∨ λ 2 ).
Proof. The proof follows the lines of the proof of of Proposition 3.7.10, but starting from the following decomposition:

E∥(A -1 m -A -1 m,2 )c m ∥ 2 ℓ 2 = ∥A -1 m c m ∥ 2 ℓ 2 P ∆ c m + E ∥ A -1 m (A m -A m )A -1 m c m ∥ 2 ℓ 2 1 ∆ m = ∥a m ∥ 2 ℓ 2 P ∆ c m + E ∥ A -1 m (A m -A m )A -1 m c m ∥ 2 ℓ 2 1 ∆ m ,
It yields the following upper bound:

E ∥(A -1 m -A -1 m,2 )c m ∥ 2 ℓ 2 ≤ ∥a m ∥ 2 ℓ 2 P ∆ c m + ∥a m ∥ 2 ℓ 2 E ∥ A -1 m ∥ 2 op ∥A m -A m ∥ 2 op 1 ∆ m .
Following the proof of Proposition 3.7.10, we get:

E ∥(A -1 m -A -1 m,2 )c m ∥ 2 ℓ 2 ≤ C (λ)∥a m ∥ 2 L 2 µ ∧ (µ + µ 2 )∥A -1 m ∥ 2 op m log m cT , with C (λ) = O(λ ∨ λ 2 ).
Now we can prove Theorem 3.3.5.

Proof of Theorem 3.3.5. The decomposition bias-variance of the risk of φ Lag 2 m is:

∥φ -φ Lag 2 m ∥ 2 L 2 = ∥φ -φ m ∥ 2 L 2 + ∥φ m -φ Lag 2 m ∥ 2 L 2 .
In the proof of Theorem 3.2.5, we saw that:

E∥ c m -c m ∥ 2 ℓ 2 = E∥ h m -h m ∥ 2 L 2 ≤ λ c 2 T E[W (X )].
We decompose the variance term in three terms:

E∥φ m -φ Lag 2 m ∥ 2 L 2 = E∥ a Lag 2 m -a m ∥ 2 ℓ 2 = E∥ A -1 m,2 c m -A -1 m c m ∥ 2 ℓ 2 ≤ 3 E∥( A -1 m,2 -A -1 m )c m ∥ 2 ℓ 2 + 3 E∥(A -1 m -A -1 m,2 )(c m -c m )∥ 2 ℓ 2 + 3 E∥A -1 m (c m -c m )∥ 2 ℓ 2 .
For the first term, we apply Proposition 3.7.10. For the second term, we use the fact that A -1 m,2 and c m are independent, and we apply Proposition 3.7.11:

E∥(A -1 m -A -1 m,2 )(c m -c m )∥ 2 ℓ 2 ≤ E∥A -1 m -A -1 m,2 ∥ 2 op × E∥c m -c m ∥ 2 ℓ 2 = O 1 T 2 .
For the third term:

E∥A -1 m (c m -c m )∥ 2 ℓ 2 ≤ ∥A -1 m ∥ 2 op E∥ c m -c m ∥ 2 ℓ 2 ≤ ∥A -1 m ∥ 2 op λ c 2 T E[W (X )].
We apply Lemma 3.3.2 and we obtain the following bound, with C (λ) = O(λ∨λ 2 ):

E∥φ m -φ Lag 2 m ∥ 2 L 2 ≤ 3 ∥A -1 m ∥ 2 op C (λ) cT ∥φ m ∥ 2 L 2 (µ + µ 2 )m log(m) + E[W (X )] c + O 1 T 2 ≤ 12 C (λ) cT (1 -θ) 2 ∥φ m ∥ 2 L 2 (µ + µ 2 )m log(m) + E[W (X )] c + O 1 T 2 .

Proofs of Section 3.4

Proof of Lemma 3.4.6. It follows from direct calculation using (3.6):

〈F, ψ k 〉 = +∞ 0 C exp(-γx)ψ k (x) dx = C 2 k j =0 k j (-2) j j ! +∞ 0 x j e -(1+γ)x dx = C 2 k j =0 k j (-2) j (1 + γ) j +1 = C 2 γ + 1 1 - 2 γ + 1 k = C 2 γ + 1 γ -1 γ + 1 k .
Since γ is positive, we have γ-1 γ+1 < 1 and we can compute the geometric series:

+∞ k=m 〈F, ψ k 〉 2 = 2C (γ + 1) 2 γ-1 γ+1 2m 1 - γ-1 γ+1 2 = C 2 2γ γ -1 γ + 1 2m .
Proof of Proposition 3.4.7. For the ruin probability and the Laplace transform of the ruin time, we start from (3.19) and we apply Lemma 3.4.6. For the expected jump size causing the ruin, we also start from (3.19) and we write φ = F 1 + F 2 with:

F 1 (u) := µ(1 + 2θ)e -1-θ µ u 1 u>0 , F 2 (u) := µe -u/µ 1 u>0 .

Introduction

We consider the following random design regression model:

Y i = b(X i ) + ε i , i = 1, . . . , n,
where the variables X i ∈ R p are independent but not necessarily identically distributed, the noise variables ε i ∈ R are i.i.d. centered with finite variance σ 2 and 129 independent from the X i s, and b : R p → R is a regression function. We seek to recover the function b on a domain A ⊆ R p from the observations (X i , Y i ) i =1,...,n .

More precisely, we consider the following framework. We assume that the variance of the noise σ 2 is known. We assume that the variables X i are independent but not identically distributed, we call µ i the distribution of X i , but we do not assume that µ i is known. However, we fix ν a reference measure on A and we assume that µ := 1 n n i =1 µ i admits a bounded density with respect to ν, so that we have L 2 (A, µ) ⊆ L 2 (A, ν). In particular, this assumption implies that supp(µ) ⊆ A. Finally, we consider domains A ⊆ R p of the form A 1 × • • • × A p where A k ⊆ R and we consider a measure ν on A that is of the form ν 1 ⊗ • • • ⊗ ν p with ν k supported on A k . Our goal is to estimate the regression function b on the domain A and to control the expected error with respect to the norm ∥•∥ µ associated with the distribution of the X i s:

∀t ∈ L 2 (A, µ), ∥t ∥ 2 µ := A t (x) 2 dµ(x) = 1 n n i =1 A t (x) 2 dµ i (x).
We can interpret the error with respect to this norm as a prediction risk:

∀ b estimator, ∥b -b∥ 2 µ = 1 n n i =1 E X ∼µ i b(X ) -b(X ) 2 X 1 , . . . , X n ,
which is the mean quadratic error of a new observation drawn uniformly from one of the distributions µ i .

Nonparametric regression problems have a long history, and a large number of methods have been proposed. In this introduction, we focus on two main families of methods: kernel estimators and projection estimators. For reference books on the subject, see [START_REF] Efromovich | Nonparametric curve estimation : methods, theory and applications[END_REF] regarding the projection method and [START_REF] Györfi | A Distribution-Free Theory of Nonparametric Regression[END_REF] for the kernel method.

The classical estimator of [START_REF] Nadaraya | On Estimating Regression[END_REF] and [START_REF] Watson | Smooth Regression Analysis[END_REF] consists of a quotient of estimators b f / f , where b f and f are kernel estimators of the functions b f and f (the function f being the common density of the X i s in the i.i.d case). This estimator can also be interpreted as locally fitting a constant by averaging the Y i s, the locality being determined by the kernel, see the book of [START_REF] Györfi | A Distribution-Free Theory of Nonparametric Regression[END_REF] or [START_REF] Tsybakov | Introduction to nonparametric estimation[END_REF]. This method can then be generalized by replacing the local constant by a local polynomial, leading to the so-called local polynomial estimator.

The main drawback of the Nadaraya-Watson estimator is that it relies on an estimator of the density of the X i s. As such, the rate of convergence depends on the regularity of f , and two smoothing parameters have to be chosen. A popular solution is to choose the same bandwidth for both estimators using leave-oneout cross validation. This method works well in practice and has been proven consistent by [START_REF] Hardle | Optimal Bandwidth Selection in Nonparametric Regression Function Estimation[END_REF] (see also Chapter 8 in [START_REF] Györfi | A Distribution-Free Theory of Nonparametric Regression[END_REF]). Recently, [START_REF] Comte | On a Nadaraya-Watson estimator with two bandwidths[END_REF] have proposed to use the Penalized Comparison to Overfitting method (PCO), a bandwidth selection method developed by [START_REF] Lacour | Estimator Selection : a New Method with Applications to Kernel Density Estimation[END_REF] for kernel density estimation, to select separately the bandwidths of the numerator and the denominator of the Nadaraya-Watson estimator. Their estimator matches the performances of the single bandwidth CV estimator when the noise is high, but the latter is better when the noise is small. Other bandwidth selection methods exist such as plug-in or bootstrap; see [START_REF] Köhler | SPERLICH : A Review and Comparison of Bandwidth Selection Methods for Kernel Regression : Review of Bandwidth Selection for Regression[END_REF] for an extensive survey and comparison of the different bandwidth selection methods for the local linear estimator.

Another approach is to use a projection estimator. The idea is to minimize a least squares contrast over finite-dimensional spaces of functions {S m : m ∈ M n } called models:

bm := arg min t ∈S m 1 n n i =1 Y i -t (X i ) 2 ,
the model collection M n being allowed to depend on the number of observations. This method overcomes the problems of the Nadaraya-Watson estimator: it does not need to estimate the density of the X i s, and only one model selection procedure is required. Moreover, it can provide a sparse representation of the estimator. This approach was developed in a fixed design setting by [START_REF] Birgé | Minimum Contrast Estimators on Sieves : Exponential Bounds and Rates of Convergence[END_REF], [START_REF] Barron | Risk bounds for model selection via penalization[END_REF] and [START_REF] Baraud | Model selection for regression on a fixed design[END_REF]. In particular, the papers of [START_REF] Baraud | Model selection for regression on a fixed design[END_REF][START_REF] Baraud | Model selection for regression on a random design[END_REF] provide a model selection procedure that optimizes the bias-variance compromise under weak assumptions on the moments of the noise distribution. They obtain an estimator that is adaptive both in the fixed and random design setting when the domain A is compact. The non-compact case have been studied recently in the simple regression setting (p = 1) by Comte & Genon-Catalot (2020b,a). They use non-compactly supported bases, specifically the Hermite basis (supported on R) and the Laguerre basis (supported on R + ), to construct their estimator. Significant attention has been paid to these bases in the past years since they exhibit nice mathematical properties that are useful for solving inverse problems [START_REF] Mabon | Adaptive Deconvolution on the Non-negative Real Line : Adaptive deconvolution on R +[END_REF]Comte & Genon-Catalot, 2018;[START_REF] Sacko | Hermite density deconvolution[END_REF]. Non-compactly supported bases also avoid issues concerning the choice of support. When A is compact, the theory assumes it is fixed a priori. In practice, however, the support is generally determined using the data, although this dependency between data and support is not taken into account in the theoretical development. Working with a non-compact domain, for example R or R + , allows us to bypass this issue.

Concerning the regression problem, difficulties arise when we go from the compact case to the non-compact case. When A is compact, it is usual to assume that the density of the X i s is bounded from below by some positive constant f 0 . In the non-compact case, this assumption fails. Instead, the study of the minimum eigenvalue of some random matrix must be done. This question has been studied in the simple regression case (p = 1) by [START_REF] Cohen | On the Stability and Accuracy of Least Squares Approximations[END_REF] by using the matrix concentration inequalities of [START_REF] Tropp | User-Friendly Tail Bounds for Sums of Random Matrices[END_REF]. However, their results are obtained under the assumption that the regression function is bounded by a known quantity and they do not provide a model selection procedure.

We make the following contributions in our paper. We extend the results of Comte & Genon-Catalot (2020b) to the multiple regression case (p ≥ 2) with more general assumptions on the design, and we improve their result on the oracle inequality under the empirical norm (see Theorem 4.4.1). Our work generalizes the results of [START_REF] Baraud | Model selection for regression on a random design[END_REF] to the non-compact case and improves their results in the compact case (see Theorem 4.4.4). We do so by combining the fixed design results of [START_REF] Baraud | Model selection for regression on a fixed design[END_REF] with a more refined study of the discrepancy between the empirical norm and the µ-norm. This discrepancy is expressed in terms of the deviation of the minimum eigenvalue of a random matrix, of which we control the probability with the concentration inequalities of [START_REF] Tropp | User-Friendly Tail Bounds for Sums of Random Matrices[END_REF] and [START_REF] Gittens | Tail bounds for all eigenvalues of a sum of random matrices[END_REF]. Finally, our estimator is constructed as a projection estimator on a tensorized basis whose coefficients are computed using hypermatrix calculus and can be implemented in practice. This feasibility is illustrated in Section 4.5 which also shows that the procedure works well.

Outline of the paper In Section 4.2 we define the projection estimator. In Section 4.3 we study the probability that the empirical norm and the µ-norm depart from each other and we derive an upper bound on the µ-risk of our estimator. In Section 4.4 we propose a model selection procedure and we prove that it satisfies an oracle inequality both in empirical norm and in µ-norm. Finally, in Section 4.5 we study numerically the performance of our estimator. All the proofs are gathered in Section 4.6.

Notations

• E X := E[ • | X 1 , . . . , X n ], P X := P[ • | X 1 , . . . , X n ], Var X := Var( • | X 1 , . . . , X n ).
• If π is a measure on A, we write ∥•∥ π and 〈•, •〉 π the norm and the inner product weighted by the measure π.

• We denote by 〈•, •〉 n and ∥•∥ n the empirical inner product and the empirical norm1 , defined as 〈t , s〉 n := 1

n n i =1 t (X i )s(X i ) and ∥t ∥ 2 n := 1 n n i =1 t (X i ) 2 . If u ∈ R n is a vector, we also write ∥u∥ 2 n := 1 n n i =1 u 2 i .

Projection estimator

In our setting, the domain is a Cartesian product

A = A 1 ו • •× A p and ν = ν 1 ⊗• • •⊗ ν p where ν k is supported on A k .
For each i ∈ {1, . . . , p}, we consider (ϕ i j ) j ∈N an orthonormal basis of L 2 (A i , dν i ) and we form an orthonormal basis of L 2 (A, dν) by tensorization:

∀ j ∈ N p , ∀x ∈ A, ϕ j (x) := (ϕ 1 j 1 ⊗ • • • ⊗ ϕ p j p )(x) := ϕ 1 j 1 (x 1 ) × • • • × ϕ p j p (x p ).
For m ∈ N p + , we set S m := Span(ϕ j : j ≤ m -1) and we write D m := m 1 • • • m p its dimension. We estimate b by minimizing a least squares contrast on S m : bm := arg min

t ∈S m 1 n n i =1 Y i -t (X i ) 2 .
If we expand bm on the basis (ϕ j ) j ∈N p , this problem can be written as: bm

= j ≤m-1 â(m) j ϕ j , â(m) := arg min a∈R m ∥Y -Φ m × p a∥ 2 R n , (4.1)
where

Y := (Y 1 , . . . , Y n ) ∈ R n and Φ m ∈ R n×m is defined as: ∀i ∈ {1, . . . , n}, ∀ j ≤ m -1, Φ m i , j := ϕ j (X i ).
Using Lemma B.1.1 in Appendix, the problem (4.1) has a unique solution if and only if Φ m is injective and in that case:

â(m) = ( Φ * m × 1 Φ m ) -1 × p Φ * m × 1 Y = 1 n G -1 m × p Φ * m × 1 Y, where [ Φ * m ] j ,i = [ Φ m ] i , j
and where G m is the Gram hypermatrix of (ϕ j ) j ≤m-1 relatively to the empirical inner product 〈•, •〉 n :

∀ j , k ≤ m -1, G m j ,k := 〈ϕ j , ϕ k 〉 n .
Notice that Φ m is injective if and only if G m is invertible, that is if and only if ∥•∥ n is a norm on S m .

Bound on the risk of the estimator

Let us start with the classical bias-variance decomposition of the empirical risk. In our context this result is given by the next Proposition.

E X ∥b -bm ∥ 2 n = inf t ∈S m ∥b -t ∥ 2 n + σ 2 D m n .
As a consequence, if G m is invertible a.s, then we have:

E∥b -bm ∥ 2 n ≤ inf t ∈S m ∥b -t ∥ 2 µ + σ 2 D m n .
If we want to obtain a similar result for the µ-norm, we need to understand how the empirical norm can deviate from the µ-norm. More generally, we need

Adaptive estimator

We consider the empirical version of the model collection M n,α defined by (4.3):

M (1) n,β := m ∈ N p + K ∞ ν (m) ∥ G -1 m ∥ op ∨ 1 ≤ β n log n ,
with β a positive constant. We choose m1 ∈ M (1) n,β by minimizing the following penalized least squares criterion:

m1 := arg min m∈ M (1) n,β -∥ bm ∥ 2 n + (1 + θ)σ 2 D m n , θ > 0. (4.4)
Based on a result of [START_REF] Baraud | Model selection for regression on a fixed design[END_REF] for fixed design regression, we prove that b m1 automatically optimizes the bias-variance compromise in empirical norm on M n,α , up to a constant and a remainder term.

Theorem 4.4.1. If b ∈ L 2r (µ) for some r ∈ (1, +∞] and if E|ε 1 | q is finite for some q > 6, then there exists a constant α β,r ′ > 0 depending on β and r ′ (the conjugated index of r ) such that for all α ∈ (0, α β,r ′ ), the following upper bound on the risk of the estimator b m1 with m1 defined by (4.4) holds:

E∥b -b m1 ∥ 2 n ≤ C (θ) inf m∈M (1) n,α inf t ∈S m ∥b -t ∥ 2 µ + σ 2 D m n + σ 2 Σ(θ, q) n + R n ,
where:

C (θ) := (2 + 8θ -1 )(1 + θ), Σ(θ, q) := C ′′ (θ, q) E|ε 1 | q σ q m∈N p + D -( q 2 -2) m
, and where the remainder term is given by:

R n := C ′ (∥b∥ L 2r (µ) , σ 2 ) (log n) (p-1)/r ′ n κ(α,β)/r ′ , with κ(α, β) a positive constant satisfying κ(α,β) r ′ > 1 and κ(α,β) r ′ → 1 as α → α β,r ′ .
Remark 4.4.2. The term Σ(θ, q) is finite if q > 6. Indeed, let 2ϵ := ( q 2 -2) -1 > 0, we have:

m∈N p + D -( q 2 -2) m = +∞ d =1 Card m ∈ N p + D m = d × d -( q 2 -2) ≤ +∞ d =1 o(d ϵ ) d 1+2ϵ < +∞,
where we use Theorem B.2.2 in Appendix.

Remark 4.4.3. The constant α β,r ′ is increasing with β and goes from 0 to 1 2r ′ +1 . It is also decreasing with r ′ (so increasing with r ) and tends to 0 as r ′ → +∞ (as r → 1).

To transfer the previous adaptive result from the empirical norm into the µnorm, we use once again concentration inequalities on the matrix G m . However, we need to make a distinction between the compact case and the noncompact case. Indeed, when A is compact, we can make the usual assumption that the density dµ dν is bounded from below and apply the matrix Chernoff bound of [START_REF] Gittens | Tail bounds for all eigenvalues of a sum of random matrices[END_REF], see Lemma 4.6.6. This lemma relies critically on the "bounded from below" assumption so it cannot work in the non-compact case.

To handle the non-compact case, we make use of the matrix Bernstein bound of [START_REF] Tropp | User-Friendly Tail Bounds for Sums of Random Matrices[END_REF] instead (Theorem 1.4.11 in appendix), see Lemma 4.6.7. This inequality is different from the matrix Chernoff bounds we have used so far, so we have to consider smaller model collections to make it work. In the following, we consider two cases:

1. Compact case. We assume that there exists f 0 > 0 such that for all x ∈ A, dµ dν (x) > f 0 . In that case, G m is always invertible and we have:

∥G -1 m ∥ op = sup t ∈S m \{0} ∥t ∥ 2 ν ∥t ∥ 2 µ ≤ 1 f 0 . ( 4.5)
2. General case. We consider smaller model collections:

M (2) n,α := m ∈ N p + K ∞ ν (m) ∥G -1 m ∥ 2 op ∨ 1 ≤ α n log n , M (2) n,β := m ∈ N p + K ∞ ν (m) ∥ G -1 m ∥ 2 op ∨ 1 ≤ β n log n ,
where α and β are positive constants and we choose m2 ∈ M (2) n,β as: , let r ′ ∈ [1, +∞) be its conjugated index and let us assume that b belongs to L 2r (µ) and that E|ε 1 | q is finite for some q > 6.

m2 := arg min m∈ M (2) n,β -∥ bm ∥ 2 n + (1 + θ)σ 2 D m n , θ > 0. ( 4
• Compact case. Let f 0 > 0 such that dµ dν (x) ≥ f 0 for all x ∈ A, there exists β f 0 ,r ′ > 0 such that for all β ∈ (0, β f 0 ,r ′ ), there exists α β,r ′ > 0 such that for all α ∈ (0, α β,r ′ ), the following upper bound on the risk of the estimator b m1 with m1 defined by (4.4) holds:

E∥b -b m1 ∥ 2 µ ≤ C (θ, β, r ) inf m∈M (1) n,α inf t ∈S m ∥b -t ∥ 2 µ + σ 2 D m n +C ′ (β, r )σ 2 Σ(θ, q) n + R n ,
where the remainder term is given by:

R n = C ′′ ∥b∥ L 2r (µ) , σ 2 , β, r n -κ(α,β) r ′ (log n) p-1 r ′ + n -λ(β,r, f 0 ) (log n) p-1 r ′ -1 , with λ(β, r, f 0 ) > 1 and κ(α,β) r ′ > 1.
• General case. Let B := (∥ dµ dν ∥ ∞ + 2 3 ) -1 , there exists β B,r ′ > 0 such that for all β ∈ (0, β B,r ′ ), there exists αβ,r ′ > 0 such that for all α ∈ (0, αβ,r ′ ), the following upper bound on the risk of the estimator b m2 with m2 defined by (4.6) holds:

E∥b -b m2 ∥ 2 µ ≤ C (θ, β, r ) inf m∈M (2) n,α inf t ∈S m ∥b -t ∥ 2 µ + σ 2 D m n +C ′ (β, r )σ 2 Σ(θ, q) n + R n ,
where the remainder term is given by:

R n = C ′′ ∥b∥ L 2r (µ) , σ 2 , β, r n -κ(α,β) r ′ (log n) p-1 r ′ + n -λ(β,r,B ) (log n) p-1 r ′ -1 , with λ(β, r, B ) > 1 and κ(α,β) r ′ > 1.
This result shows that there is a range of values for the constant β that depends on the integrability of b and on f 0 (compact case) or ∥ dµ dν ∥ ∞ (general case), such that for the µ-norm, the estimator b m automatically optimizes the bias-variance trade-off (up to a constant and a rest) on M n,α for all α in a range that depends on β. 1. In the compact case, we improve the result of [START_REF] Baraud | Model selection for regression on a random design[END_REF]. Indeed in this article, the model collections considered are built by picking an "envelope model", that is a linear space S n with finite dimension N n , whose all models are a subspace. Their assumptions concern the space S n : they assume that K ∞ ν (S n ) ≤ C 2 N n for some constant C > 0 and they require that N n ≤ C -1 n/(log n) 3 . In comparison, our procedure avoids the choice a priori of an envelope model, and uses a looser constraint on the dimension of the models.

2. In the non-compact case, we extend the results of Comte & Genon-Catalot (2020b) to the case p ≥ 2 without losing much on the assumptions: their result requires a moment of order 6 on the noise whereas our result is obtained with a moment of order q, with q > 6. We also generalize their result by considering a non i.i.d. design and by using a more general moment assumption on the regression function.

Numerical illustrations

In this section, we compare our estimator with the Nadaraya-Watson estimator on simulated data in the case p = 1 and p = 2.

Parameters of the projection estimator Since the distributions of X are supported on R or R 2 , we choose the Hermite basis. The Hermite functions are defined as:

ϕ j (x) := c j H j (x) e -x 2
2 , H j (x) := (-1) j e x 2 d j dx j e -x 2 , c j := 2 j j ! π -1/2 . and form a basis of L 2 (R). We form a basis of L 2 (R 2 ) by tensorizing the Hermite basis as explained in Section 4.2. We choose the parameter m with the model selection procedure (4.6). This procedure requires two additional parameters: the constant θ in the penalty and the constant β in the model collection M (2) n,β . We choose β such that the model collection M (2) n,β is not too small, especially for small sample sizes. Indeed, we find that the operator norm ∥ G -1 m ∥ op can grow very fast with m, which can result in model collections with very few models. In our case, we choose β = 10 4 .

The constant κ := (1 + θ) in front of the penalty is chosen following the "minimum penalty heuristic" (Arlot & Massart, 2009). On several preliminary simulations, we compute the selected dimension D m as a function of κ and we find κ min such that for κ < κ min the dimension is too high and for κ > κ min it is acceptable. Then, we choose κ ⋆ = 2κ min . In our case, we find κ ⋆ = 2 when p = 1 and p = 2.

Nadaraya-Watson estimator

Let us define the Nadaraya-Watson estimator in the case p = 1. For all h ∈ (0, 1), let K h be the pdf of the N (0, h) distribution. The Nadaraya-Watson estimator is defined as:

∀x ∈ R, bNW h (x) := n i =1 Y i K h (x -X i ) n i =1 K h (x -X i )
.

The bandwidth h is selected by leave-one-out cross validation, that is: ĥ := arg min

h n i =1 Y i -bNW h,-i (X i ) 2 ,
where bNW h,-i is the Nadaraya-Watson estimator computed from the data set:

(X j , Y j ) : j ∈ {1, . . . n} \ {i } .

In the case p = 2, the definition of the estimator is the same but with a couple of bandwidths h = (h 1 , h 2 ) ∈ (0, 1) 2 , and with K h the pdf of the N 2 (0, H) distribution, where H := diag(h 1 , h 2 ).

Computation of the risk

We consider samples of size n = 250 and n = 1000 in the case p = 1, and samples of size n = 500 and n = 2000 in the case p = 2.

For each choice of regression function, distribution of X and SNR, we generate N = 100 samples of size n. For each sample, we compute the Hermite projection estimator and the Nadaraya-Watson estimator, then we compute the relative µerror of the estimators, that is:

relative error := ∥ b -b∥ 2 µ ∥b∥ 2 µ = R p | b(x) -b(x)| 2 f (x) dx R p b(x) 2 f (x) dx
, where f is the density of the distribution µ. We compute an approximation of these integrals: we consider a compact domain I × I with I an interval such that P[X ∈ I ] = 95% in the case p = 1 and P[X ∈ I × I ] = 95% in the case p = 2. Then, we consider a discretization with 200 points of I . In the case p = 1, we use Simpson's rule with this discretization of I to approximate the integrals. In the case p = 2, we approximate the integrals by a sum over the grid of I × I :

R 2 b(x) -b(x) 2 f (x) dx ≈ 200 i =1 200 j =1 b(x 1,i , x 2, j ) -b(x 1,i , x 2, j ) 2 f (x 1,i , x 2, j )∆ 2 ,
where ∆ is the discretization step.

Results

In the case p = 1, we show our results on Table 4.1 (Normal distribution) and Table 4.2 (Laplace distribution).

First of all, we see that the results are superior when X has a Normal distribution compared to a Laplace distribution. This can be explained by the fact that the Laplace distribution is less concentrated around 0 than the normal distribution, so the X i s are more scattered and the mu-risk covers a larger range. In addition, in the normal setting, we see that the Hermite estimator is better than the Nadaraya-Watson estimator for estimating b 1 , b 2 and b 3 , and both estimators are equivalent for estimating b 4 . In the Laplace setting, the Hermite estimator is still better for b 1 and b 2 , but for b 3 it has similar performances as the Nadaraya-Watson estimator. For estimating b 4 , the latter is better, although the difference becomes small as n increases.

In the case p = 2, we show our results on Table 4.3 (Normal distribution) and Table 4.4 (Laplace distribution). In the normal setting, the Hermite projection estimator is better for estimating b 5 , b 6 and b 7 . For b 8 , its performances are worse than the kernel estimator on small samples but they are equivalent on large samples. In the Laplace setting, our estimator is better for estimating b 5 and b 6 , but it is worse for estimating b 7 . Moreover, the Hermite estimator has very poor performances for estimating b 8 . We think that the functions b 7 and b 8 are hard to approximate with the Hermite basis, so that the Hermite projection estimator performs poorly. This can be seen by looking at the mean selected dimension, which grows quickly as n grows, showing that the estimator needs a large number of coefficients to reconstruct the regression function.

In addition, we observe that the Hermite estimator is faster to compute than the Nadaraya-Watson estimator with leave-one-out cross validation. The difference is small when n is small, but for example, when n = 2000 and p = 2, the

E X ∥b -bm ∥ 2 n = ∥b -Π (n) m b∥ 2 n + E X ∥ bm -Π (n) m b∥ 2 n = inf t ∈S m ∥b -t ∥ 2 n + E X ∥Π (n) m ε∥ 2 n = inf t ∈S m ∥b -t ∥ 2 n + σ 2 Tr Π (n) m n = inf t ∈S m ∥b -t ∥ 2 n + σ 2 D m n .
Taking the expected value in this equality, we obtain:

E∥b -bm ∥ 2 n = E inf t ∈S m ∥b -t ∥ 2 n + σ 2 D m n ≤ inf t ∈S m E∥b -t ∥ 2 n + σ 2 D m n = inf t ∈S m E∥b -t ∥ 2 µ + σ 2 D m n .

Proofs of Section 4.3

Proof of Lemma 4.3.3. Let x ∈ A and let t = d j =1 a j ψ j ∈ S. The family of functions (ψ 1 , • • • , ψ d ) is orthonormal with respect to 〈•, •〉 α , so by the Cauchy-Schwarz inequality we have:

t 2 (x) = d j =1 a j ψ j (x) 2 ≤ d j =1 a 2 j d j =1 ψ 2 j (x) = ∥t ∥ 2 α d j =1 ψ 2 j (x),
with equality if (α 1 , . . . , α d ) is proportional to (ψ 1 (x), . . . , ψ d (x)). Hence we have:

d j =1 ψ 2 j (x) = sup t ∈S\{0} t 2 (x) ∥t ∥ 2 α .
Taking the supremum for x ∈ A, we obtain:

sup x∈A d j =1 ψ 2 j (x) = sup x∈A sup t ∈S\{0} t 2 (x) ∥t ∥ 2 α = sup t ∈S\{0} sup x∈A t 2 (x) ∥t ∥ 2 α , that is: d j =1 ψ 2 j ∞ = sup t ∈S\{0} ∥t ∥ 2 ∞ ∥t ∥ 2 α =: K ∞ α (S).
To prove Proposition 4.3.5 and Theorem 4.4.1, we need the following lemma. For all δ ∈ (0, 1) we have:

P λ min ( H m ) ≤ (1 -δ)λ min (H m ) ≤ D m exp -h(δ) nλ min (H m ) K ∞ α (m)
, with h(δ) := δ + (1 -δ) log(1 -δ) and where K ∞ α (m) is given by Lemma 4.3.3. Proof. We use Theorem 1.4.10 in Appendix. Indeed, H m can be written as a sum Z 1 + . . . + Z n where:

∀ j , k ∈ {1, . . . , D m }, Z i j ,k := 1 n ψ j (X i )ψ k (X i ), so we have using Lemma 4.3.3: Thus, we have shown: m and let Π (n) m be the empirical projector on S m we have:

λ max (Z i ) = ∥Z i ∥ op = 1 n D m k=1 ψ k (X i ) 2 ≤ 1 n D m k=1 ψ 2 k ∞ = 1 n K ∞ α (m).
E ∥b (n) m -b (µ) m ∥ 2 µ 1 Ω m (δ) ≤ 1 1 -δ E∥b -b (µ) m ∥ 2 n = 1 1 -δ ∥b -b (µ) m ∥ 2 µ . ( 4
E ∥b (n) m -b (µ) m ∥ 2 µ 1 Ω m (δ) = E ∥Π (n) m g ∥ 2 µ 1 Ω m (δ) .
Let (ψ 1 , . . . , ψ D m ) be an orthonormal basis of S m for the inner product 〈•, •〉 µ , we have:

Π (n) m g = arg min t ∈S m ∥g -t ∥ 2 n = D m j =1 c ⋆ j ψ j , c ⋆ := arg min c∈R Dm ∥g -Ψ m c∥ 2 R n ,
where Ψ m ∈ R n×D m is the matrix defined by [Ψ m ] i , j := ψ j (X i ), and where g is the vector g (X 1 ), . . . , g (X n ) ∈ R n . By Lemma B.1.1, c ⋆ is given by:

c ⋆ = (Ψ * m Ψ m ) -1 Ψ * m g = 1 n H -1 m Ψ * m g,
where H m is the Gram matrix of (ψ 1 , . . . , ψ D m ) relatively to the empirical inner product. Using Lemma 4.3.2, we get:

∥Π (n) m g ∥ 2 µ = ∥c ⋆ ∥ 2 R Dm ≤ ∥H -1 m ∥ 2 op 1 n Ψ * m g 2 R Dm = K µ n (m) 2 D m j =1
〈g , ψ j 〉 2 n .

Hence, on the event Ω m (δ) we obtain:

∥Π (n) m g ∥ 2 µ 1 Ω m (δ) ≤ 1 (1 -δ) 2 D m j =1 〈g , ψ j 〉 2 n . Since g = b-b (µ)
m is orthogonal to ψ 1 , . . . , ψ D m relatively to the inner product 〈•, •〉 µ , we have E[〈g , ψ j 〉 n ] = 〈g , ψ j 〉 µ = 0, so we get:

E D m k=1 〈g , ψ k 〉 2 n = D m k=1 Var 〈g , ψ k 〉 n = 1 n 2 n i =1 D m j =1 Var g (X i )ψ j (X i ) = 1 n 2 n i =1 E g (X i ) 2 D m j =1 ψ j (X i ) 2 ≤ 1 n 2 n i =1 E g (X i ) 2 sup x∈A D m j =1 ψ j (x) 2 = 1 n ∥g ∥ 2 µ K ∞ µ (m) = K ∞ µ (m) n ∥b -b (µ) m ∥ 2 µ ,
where the last equality comes from Lemma 4.3.3. Hence we have shown:

E ∥b (n) m -b (µ) m ∥ 2 µ 1 Ω m (δ) ≤ 1 (1 -δ) 2 K ∞ µ (m) n ∥b -b (µ) m ∥ 2 µ .
(4.10)

Combining (4.9) and (4.10) yields: .11) For the second term in (4.7), we have:

E ∥b (n) m -b (µ) m ∥ 2 µ 1 Ω m (δ) ≤ 1 1 -δ ∥b -b (µ) m ∥ 2 µ 1 ∧ K ∞ µ (m) (1 -δ)n . ( 4
E ∥b -bm ∥ 2 µ 1 Ω m (δ) c ≤ 2∥b∥ 2 µ P Ω m (δ) c + 2 E ∥ bm ∥ 2 µ 1 Ω m (δ) c .
We have the following upper bound on ∥ bm ∥ 2 µ : (4.12) where the last inequality comes from the fact that bm is the empirical projection of Y. Hence, we get:

∥ bm ∥ 2 µ ≤ K µ n (m) ∥ bm ∥ 2 n ≤ K µ n (m) ∥Y∥ 2 n ,
E ∥b -bm ∥ 2 µ 1 Ω m (δ) c ≤ 2∥b∥ 2 µ P Ω m (δ) c + 2 E K µ n (m) ∥Y∥ 2 n 1 Ω m (δ) c . (4.13)
The inequality of Proposition 4.3.4 is obtained using (4.8), (4.11) and (4.13) in (4.7).

Proof of Theorem 4.3.7. Let m ∈ M (1) n,α and let δ ∈ (0, 1) (we choose it later in the proof). By Remark 4.3.6, we have by definition of M (1) n,α : For the first term in R n , we apply Proposition 4.3.5 with (4.14):

K ∞ µ (m) ≤ K ∞ ν (m)∥G -1 m ∥ op ≤ α n log n , ( 4
P Ω m (δ) c ≤ D m n -h(δ) α ≤ n -h(δ) α +1 . (4.15)
For the second term in R n , since ∥•∥ µ ≤ ∥•∥ ∞ and m ∈ M (1) n,α we have:

K µ n (m) ≤ K µ ν (m) K ν n (m) ≤ K ∞ ν (m) ∥G -1 m ∥ op ≤ α n log n , (4.16)
and we have using the independence of (X i ) 1≤i ≤n and (ε i ) 1≤i ≤n :

E ∥Y∥ 2 n 1 Ω m (δ) c = 1 n n i =1 E b(X i ) + ε i 2 1 Ω m (δ) c = E 1 n n i =1 b(X i ) 2 1 Ω m (δ) c + σ 2 P Ω m (δ) c .
We apply Hölder's inequality with r, r ′ ∈ (1, +∞) such that 1 r + 1 r ′ = 1:

E ∥Y∥ 2 n 1 Ω m (δ) c ≤ E 1 n n i =1 b(X i ) 2 r 1 r P Ω m (δ) c 1 r ′ + σ 2 P Ω m (δ) c ≤ E 1 n n i =1 b(X i ) 2r 1 r P Ω m (δ) c 1 r ′ + σ 2 P Ω m (δ) c ≤ ∥b∥ 2 L 2r (µ) n -h(δ) αr ′ + 1 r ′ + σ 2 n -h(δ) α +1 ,
and if b ∈ L ∞ (µ), the last inequality also holds for r = ∞ and r ′ = 1 (just take the limit as r → +∞). Hence, we obtain:

E K µ n (m)∥Y∥ 2 n 1 Ω m (δ) c ≤ α log n ∥b∥ 2 L 2r (µ) n -h(δ)
αr ′ + 1 r ′ +1 + σ 2 n -h(δ) α +2 . (4.17)

If we choose δ such that h(δ) ≥ (2r ′ + 1)α, then all the exponents of n in (4.15) and (4.17) are less than -1. The function h is an increasing function from [0, 1] to itself so it is invertible on [0, 1]. Since α ∈ (0, 1 2r ′ +1 ), we can choose δ = δ(α, r ′ ) := h -1 ((2r ′ + 1)α). For this choice, we obtain:

E∥b -bm ∥ 2 µ ≤ C n δ(α, r ′ ), α inf t ∈S m ∥b -t ∥ 2 µ +C ′ δ(α, r ′ ) σ 2 D m n + C ′′ α, ∥b∥ L 2r (µ) , σ 2 n log n ,
where C n (δ, α) and C ′ (δ) were defined at the beginning of the proof.

Proof of Theorem 4.4.1

The proof of Theorem 4.4.1 is based on a result for fixed design regression of [START_REF] Baraud | Model selection for regression on a fixed design[END_REF]. Let M n be a finite collection of models, that may depend on (X 1 , . . . , X n ), such that for all m ∈ M n , G m is invertible. Let m ∈ M n be the minimizer of the following penalized least squares criterion: Theorem 4.6.2 (Corollary 3.1 in [START_REF] Baraud | Model selection for regression on a fixed design[END_REF]). If E|ε 1 | q is finite for some q > 4, then the following upper bound on the risk of the estimator b m with m defined by (4.18) holds:

E X ∥b -b m ∥ 2 n ≤ C (θ) inf m∈ M n inf t ∈S m ∥b -t ∥ 2 n + σ 2 D m n + σ 2 Σ n (θ, q) n ,
with:

Σ n (θ, q) := C ′ (θ, q)

E|ε 1 | q σ q m∈ M n D -( q 2 -2) m
, where C (θ) := (2 + 8θ -1 )(1 + θ) and C ′ (θ, q) is a positive constant.

Proof of Theorem 4.4.1. Let ∆ n,α,β := {M (1) n,α ⊆ M (1) n,β }, we have:

E∥b -b m1 ∥ 2 n = E E X ∥b -b m1 ∥ 2 n 1 ∆ n,α,β + E ∥b -b m1 ∥ 2 n 1 ∆ c n,α,β .
For the first term, on ∆ n,α,β we have inf m∈ M (1) n,β (. . .) ≤ inf m∈M (1) n,α (. . .) so by applying Theorem 4.6.2 we obtain:

E E X ∥b -b m1 ∥ 2 n 1 ∆ n,α,β ≤ E C (θ) inf m∈M (1) n,α inf t ∈S m ∥b -t ∥ 2 n + σ 2 D m n + σ 2 Σ(θ, q) n ≤ C (θ) inf m∈M (1) n,α inf t ∈S m ∥b -t ∥ 2 µ + σ 2 D m n + σ 2 Σ(θ, q) n .
For the second term, we have:

∥b -b m1 ∥ 2 n 1 ∆ c n,α,β ≤ 2∥b∥ 2 n 1 ∆ c n,α,β + 2∥ b m1 ∥ 2 n 1 ∆ c n,α,β .
Using Hölder's inequality with r, r ′ ∈ (1, ∞) such that 1 r + 1 r ′ = 1, we obtain: To conclude, we give an upper bound on P ∆ c n,α,β :

E ∥b∥ 2 n 1 ∆ c n,α,β ≤ E 1 n n i =1 b(X i ) 2
P ∆ c n,α,β = P ∃m ∈ M (1) n,α , m ∉ M (1)
n,β ≤ m∈M (1) n,α -2. We know that H n ∼ log n, so we want a condition on α such that the κ(α, β) is strictly greater than r ′ . Let x := β α ≥ 1, we have:

P K ∞ ν (m) ∥G -1 m ∥ op ∨ 1 ≤ α n log n ∩ K ∞ ν (m) ∥ G -1 m ∥ op ∨ 1 ≥ β n log n ≤ m∈M (1) n,α P ∥ G -1 m ∥ op ∥G -1 m ∥ op ≥ β α ≤ m∈M (1)
κ(α, β) > r ′ ⇐⇒ h 1 - α β > (2 + r ′ )α ⇐⇒ 1 - α β + α β log α β > (2 + r ′ )α ⇐⇒ 1 - 1 + log(x) x > (2 + r ′ )β x ⇐⇒ 1 + (2 + r ′ )β + log(x)
x < 1. (4.21)

The function:

f β,r ′ (x) := 1 + (2 + r ′ )β + log(x)
x , is decreasing on [1, +∞), we have f β,r ′ (1) > 1 and f β,r ′ (x) → 0 when x → +∞, so there exists a unique x β,r ′ ∈ (1, +∞) such that f β,r ′ (x β,r ′ ) = 1. Thus, we have: Proof of Remark 4.4.3. We have α β,r ′ := β x β,r ′ where x β,r ′ is the unique solution in (1, +∞) of the equation f β,r ′ (x) = 1 with:

f β,r ′ (x) := 1 + (2 + r ′ )β + log x x .
Hence, x β satisfies the relation:

x β,r ′log x β,r ′ = 1 + (2 + r ′ )β. (4.22) Since the functions f β,r ′ are decreasing on (1, +∞) and since ∀x, f β,r ′ (x) is increasing with β and r ′ , we see that x β,r ′ is increasing with β and r ′ . Thus, the limits of x β,r ′ when β → 0 and β → +∞ exist. Using the relation (4.22), we obtain: Since x β,r ′ is increasing with r ′ , we see that α β,r ′ is deacreasing with r ′ . Finally, using the relation (4.22) again, we have:

α β,r ′ = β x β,r ′ = 1 2 + r ′ 1 - 1 x β,r ′ - log x β,r ′ x β,r ′ .
It is easy to see that the function x → 1 -1 x -log x

x is increasing on [1, +∞) so α β,r ′ is also increasing with β.

P ∥ G m -G m ∥ op ≥ x ≤ D m exp -nx 2 /2 K ∞ ν (m) ∥G m ∥ op + 2 3 x ≤ D m exp -nx 2 /2 K ∞ ν (m) ∥
∥G m ∥ op = sup a∈R m ∥a∥ R m =1 ∥G m × p a∥ 2 R m = sup a∈R m ∥a∥ R m =1 ℓ≤m-1 k≤m-1 〈ϕ ℓ , ϕ k 〉a k 2 , ∥H m ∥ op = sup a∈R d ∥a∥ R d =1 ∥H m a∥ 2 R d = sup a∈R d ∥a∥ R d =1 d j =1 d i =1 〈ψ j , ψ i 〉a i 2 .
Since the sets {ϕ j : j ≤ m -1} and {φ 1 , . . . , φ d } are equal, these two quantities are also equal. Hence we have:

∥ G m -G m ∥ op = ∥ H m -H m ∥ op ,
so we work on H m and H m from now on. We write:

H m -H m = n i =1 Z i , Z i := 1 n V i V ⊤ i -E V i V ⊤ i , V i :=    φ 1 (X i ) . . . φ D m (X i )    ,
and we use the Matrix Bernstein bound (Theorem 1.4.11 in appendix).

1. Bound on ∥Z i ∥ op :

1

n ∥V i V ⊤ i ∥ op = 1 n ∥V i ∥ 2 = 1 n D m j =1 φ j (X i ) 2 ≤ K ∞ ν (m) n ,
where the last inequality comes from Lemma 4.3.3. Hence, ∥Z i ∥ op ≤ R, with

R := K ∞ ν (m) n . 2. Bound on ∥ n i =1 E Z 2 i ∥ op : n i =1 E Z 2 i op = sup ∥a∥=1 n i =1 E ∥Z i a∥ 2 = sup ∥a∥=1 n i =1 D m j =1 E (Z i a) 2 j = sup ∥a∥=1 n i =1 D m j =1
Var (Z i a) j , since EZ i = 0. We compute the variance:

Var (Z i a) j = Var 1 n φ j (X i )

D m k=1 φ k (X i ) a k ≤ 1 n 2 E φ j (X i ) D m k=1 φ k (X i ) a k 2 = 1 n E φ j (X i ) 2 t a (X i ) 2 ,
where t a := D m k=1 a k φ k . Using Lemmas 4.3.2 and 4.3.3 yields:

n i =1 D m j =1
Var (Z i a) j ≤ 1

n 2 n i =1 E D m j =1 φ j (X i ) 2 t a (X i ) 2 ≤ 1 n K ∞ ν (m) ∥t a ∥ 2 µ ≤ 1 n K ∞ ν (m) K µ ν (m) ∥t a ∥ 2 ν = 1 n K ∞ ν (m) ∥G m ∥ op ∥a∥ 2 .
Hence,

∥ n i =1 E Z 2 i ∥ op ≤ 1 n K ∞ ν (m)∥G m ∥ op =: v.
Applying Theorem 1.4.11 yields:

P ∥ H m -H m ∥ op ≥ x ≤ D m exp - nx 2 /2 K ∞ ν (m) ∥G m ∥ op + 2 3 x
, which is the first inequality of Lemma 4.6.4. The second inequality follows from the following upper bound on ∥G m ∥ op :

∥G m ∥ op = sup t ∈S m \{0} ∥t ∥ 2 µ ∥t ∥ 2 ν ≤ dµ dν ∞ .
In order to prove Theorem 4.4.4, let us consider the events:

Λ (ι) n (β, γ) := M (ι) n,β ⊆ M (ι) n,γ , Ω (ι) n (δ, γ) := m∈M (ι) n,γ
Ω m (δ), ι ∈ {1, 2}, (4.23) where Ω m (δ) is defined by (4.2).

Lemma 4.6.5. For ι ∈ {1, 2}, we have for all δ ∈ (0, 1) and all γ > 0:

P Ω (ι) n (δ, γ) c ≤ n -h(δ) γ +2 H p-1 n ,
where H n := n k=1 1 k is the n-th harmonic number.

Proof. We use Proposition 4.3.5 with Remark 4.3.6:

P Ω (ι) n (δ, γ) c ≤ m∈M (ι) n,γ

P Ω m (δ) c ≤ m∈M (ι) n,γ

D m exp -h(δ) n K ∞ µ (m) ≤ m∈M (ι) n,γ D m exp -h(δ) n K ∞ ν (m)∥G -1 m ∥ op ≤ m∈M (ι) n,γ D m n -h(δ) γ ≤ n -h(δ) γ +2 H p-1 n ,
where the last inequality comes from Proposition B.2.1.

Lemma 4.6.6 (Compact case). We have for all γ > β > 0:

P Λ (1) n (β, γ) c ≤ n -h(1- γ β ) f 0 β +1 H p-1 n ,
where h(δ) = δ + (1 -δ) log(1 -δ), f 0 > 0 is such that We have the following inclusion of events:

m ∈ M (1) n,β and m ∉ M (1) n,γ ⊆ K ∞ ν (m) ∥ G -1 m ∥ op ∨ 1 ≤ β n log n ∩ K ∞ ν (m) ∥G -1 m ∥ op ∨ 1 ≥ γ n log n ⊆ ∥G -1 m ∥ op ∥ G -1 m ∥ op ≥ γ β ⊆ λ min ( G m ) ≥ γ β λ min (G m ) ,
hence we obtain:

P Λ (1) n (β, γ) c ≤ m∈N p + K ∞ ν (m)≤β n log n P λ min ( G m ) ≥ γ β λ min (G m ) .
We apply inequality (1.26) of Theorem 1.4.10 with R = 1 n K ∞ ν (m):

P λ min ( G m ) ≥ γ β λ min (G m ) ≤ exp -h 1 - γ β n K ∞ ν (m)∥G -1 m ∥ op .
In the compact case, we have ∥G -1 m ∥ op ≤ 1 f 0 , see (4.5). Using Proposition B.2.1, we obtain:

P Λ (1) n (β, γ) c ≤ m∈N p + K ∞ ν (m)≤β n log n n -h(1- γ β ) f 0 β ≤ n -h(1- γ β ) f 0 β +1 H p-1 n .
Lemma 4.6.7 (General case). We have for all γ > β > 0: We have the following inclusion of events:

P Λ (2) n (β, γ) c ≤ n -C (β,γ) B
m ∈ M (2) n,β and m ∉ M (2) n,γ ⊆ K ∞ ν (m) ∥ G -1 m ∥ 2 op ∨ 1 ≤ β n log n ∩ K ∞ ν (m) ∥G -1 m ∥ 2 op ∨ 1 ≥ γ n log n ⊆ K ∞ ν (m)∥ G -1 m ∥ 2 op ≤ β n log n ∩ K ∞ ν (m)∥ G -1 m -G -1 m ∥ 2 op ≥ γ -β 2 n log n ⊆ ∥ G -1 m ∥ 2 op ≤ β K ∞ ν (m) n log n ∩ ∥ G -1 m -G -1 m ∥ op ≥ γ β -1 ∥ G -1 m ∥ op .
Let η := γ β -1 and let ϵ ∈ (0, 1). We consider the following decomposition:

∥ G -1 m -G -1 m ∥ op ≥ η∥ G -1 m ∥ op = E 1 ∪ E 2 , with: E 1 := ∥ G -1 m -G -1 m ∥ op ≥ η∥ G -1 m ∥ op ∩ ∥ G -1 m (G m -G m )∥ op < ϵ , E 2 := ∥ G -1 m -G -1 m ∥ op ≥ η∥ G -1 m ∥ op ∩ ∥ G -1 m (G m -G m )∥ op ≥ ϵ .
• For E 1 , we apply Lemma B.1.2 with A := G m and B := G m -G m :

E 1 ⊆ ∥ G -1 m ∥ 2 op ∥ G m -G m ∥ op 1 -∥ G -1 m (G m -G m )∥ op ≥ η∥ G -1 m ∥ op ∩ ∥ G -1 m (G m -G m )∥ op < ϵ ⊆ ∥ G -1 m ∥ op ∥ G m -G m ∥ op ≥ (1 -ϵ)η .
• For E 2 , we have directly:

E 2 ⊆ ∥ G -1 m (G m -G m )∥ op ≥ ϵ ⊆ ∥ G -1 m ∥∥G m -G m ∥ op ≥ ϵ .
Thus, we obtain:

∀ϵ ∈ (0, 1),

E 1 ∪ E 2 ⊆ ∥ G -1 m ∥ op ∥G m -G m ∥ op ≥ (1 -ϵ)η ∧ ϵ .
We now choose ϵ maximizing (1 -ϵ)η ∧ ϵ. This maximum is achieved when ϵ = (1 -ϵ)η, that is:

ϵ = η 1 -η = 1 -β/γ =: c(β, γ) ∈ (0, 1).
Thus, we obtain:

P Λ (2) n (β, γ) c ≤ m∈N p + K ∞ ν (m)≤β n log n P ∥ G -1 m ∥ 2 op ≤ β K ∞ ν (m) n log n ∩ ∥ G m -G m ∥ op ≥ c(β, γ) ∥ G -1 m ∥ op ≤ m∈N p + K ∞ ν (m)≤β n log n P ∥ G m -G m ∥ op ≥ c(β, γ) K ∞ ν (m) β log n n .
We have decomposed the risk as the sum of (4.24) and (4.25). We give different upper bounds on these two terms depending on whether we are in the compact case or the general case.

• Compact case. In equation ( 4.24), we apply Theorem 4.4.1: for all α ∈ (0, α β,r ′ ) we have:

E ∥b -b m1 ∥ 2 µ 1 Ξ (1) n (β,γ,δ) ≤ 2 + 4 1 -δ 1 +C (θ) inf m∈M n,α inf t ∈S m ∥b -t ∥ 2 µ + σ 2 D m n + 4σ 2 1 -δ Σ(θ, q) n + 4 1 -δ C ′ ∥b∥ 2 L 2r (µ) , σ 2 (log n) (p-1)/r ′ n κ(α,β)/r ′ , with κ(α,β) r ′ > 1.
To obtain an upper bound on (4.25), we apply Lemmas 4.6.5 and 4.6.6:

P Ξ (1)
n (β, γ, δ) c ≤ P Ω (1) n (δ, γ) c + P Λ (1) n (β, γ) c

≤ n

-h(δ) γ +2 + n -h(1- γ β ) f 0 β +1 H p-1 n ,
where h(δ) := δ + (1 -δ) log(1 -δ) and H n := n k=1 1 k . In order to obtain a term of order n -2r ′ , we need:

         h(δ) γ -2 > 2r ′ , h 1 - γ β f 0 β -1 > 2r ′ , ⇐⇒      h(δ) > 2(1 + r ′ )γ, h 1 - γ β > (2r ′ + 1) β f 0 , ⇐⇒              δ > h -1 2(1 + r ′ )γ , γ < 1 2(1 + r ′ ) , h 1 - γ β > (2r ′ + 1) β f 0 .
Let us work on the last two conditions. Let x := γ β > 1, the conditions on (β, γ) become:

      
x < 1 2(1 + r ′ )β ,

x log xx + 1 > (2r ′ + 1) β f 0 .

The function x → x log x -x +1 is increasing on (1, +∞) and ranges from 0 to +∞, so there exists x f 0 ,β > 1 such that for all x > x f 0 ,β we have x log x-x+1 > (2r ′ +1) β f 0 . Hence we need to choose x such that: The function y → R f 0 y + 1+log y y is increasing on (0, 1), it tends to -∞ at 0 and for y = 1 it is greater that 1, so there exists y f 0 ,r ′ ∈ (0, 1) such that the condition (4.27) is satisfied on (0, y f 0 ,r ′ ). To sum up, we have shown that there exists β f 0 ,r ′ ∈ (0, 1 2r ′ +2 ) such that for every β < β f 0 ,r ′ , the condition (4.26) is not empty. We choose:

x f 0 ,β < x < 1 (2r ′ + 2)β . ( 4
γ := βx,
x satisfying (4.26),

δ := 1 + h -1 2(1 + r ′ )γ 2 ,
and we obtain that:

E ∥b -b m1 ∥ 2 µ 1 Ξ (1)
n (β,γ,δ) c ≤ C ′′ (∥b∥ L 2r (µ) , β, σ 2 ) n -λ(β,r, f 0 ) (log n)

p-1 r ′ -1 , where λ(β, r, f 0 ) > 1.

• General case. In equation ( 4.24), if we follow the proof of Theorem 4.4.1 (see Remark 4.6.3), we see that if α ∈ (0, α 2 β 1/2 ,r ′ ) then we have:

E∥b -b m2 ∥ 2 n ≤ C (θ)∥b -t ∥ 2 µ + σ 2 D m n + σ 2 Σ(θ, q) n +C ′ ∥b∥ 2 L 2r (µ) , σ 2 (log n) (p-1)/r ′ n κ(α 1 2 ,β 1
2 )/r ′ , with κ(α

1 2 ,β 1
2 ) r ′ > 1. Thus, we obtain:

E ∥b -b m2 ∥ 2 µ 1 Ξ (2) n (β,γ,δ) ≤ 2 + 4 1 -δ 1 +C (θ) inf m∈M (2) n,α inf t ∈S m ∥b -t ∥ 2 µ + σ 2 D m n + 4σ 2 1 -δ Σ(θ, q) n + 4 1 -δ C ′ ∥b∥ 2 L 2r (µ) , σ 2 (log n) (p-1)/r ′ n κ(α 1 2 ,β 1
2 )/r ′ .

To obtain an upper bound on (4.25), we apply Lemmas 4.6.5 and 4.6.7:

P Ξ (2) n (β, γ, δ) c ≤ P Ω (2) n (δ, γ) c + P Λ (2) n (β, γ) c ≤ n -h(δ) γ +2 + n -C (β,γ) B 2β +2 H p-1 n ,
where C (β, γ) := 1 -β/γ 2 , B := (∥ dµ dν ∥ ∞ + 2 3 ) -1 and H n := n k=1 1 k . To obtain a term of order n -2r ′ , we need:

       h(δ) γ -2 > 2r ′ , C (β, γ) B 2β -2 > 2r ′ , ⇐⇒    h(δ) > 2(1 + r ′ )γ, C (β, γ) B 2 > 2(1 + r ′ )β, ⇐⇒              δ > h -1 2(1 + r ′ )γ , γ < 1 2(1 + r ′ ) , C (β, γ)B 4(1 + r ′ ) > β.
with initial conditions L k (0) = 1 and L ′ k (0) = -k. We have the following relation between the derivative of L k and the polynomials L k and L k-1 :

xL ′ k (x) = k L k (x) -L k-1 (x) . (A.3)
Finally, the following bound on Laguerre polynomials holds:

|L k (x)| ≤ e x 2 2 ,
hence the Laguerre functions are bounded by 2, which is their common value at 0.

A.2 Sobolev-Laguerre spaces

The Sobolev-Laguerre spaces were initially defined as regularity spaces associated with the Laguerre differential operator by [START_REF] Bongioanni | What is a Sobolev space for the Laguerre function systems ?[END_REF]. The equivalent definition from the Laguerre coefficients comes from Section 7 of the paper of Comte & Genon-Catalot (2015).

Definition A.2.1. Let s ∈ (0, +∞), we define the Sobolev-Laguerre space of regularity s as:

W s (R + ) := f ∈ L 2 (R + ) +∞ k=0 〈 f , ϕ k 〉 2 k s < +∞ .
For L > 0, we define the Sobolev-Laguerre ball of radius L as:

W s (R + , L) := f ∈ L 2 (R + ) +∞ k=0 〈 f , ϕ k 〉 2 k s ≤ L .
Theorem A.2.2 (Comte & Genon-Catalot (2015)). Let s ∈ N + . A function f belongs to W s (R + ) if and only if the two following conditions hold:

1. The function f admits derivatives up to order s -1 and f (s-1) is absolutely continuous.

2. For all k ∈ {0, . . . , s -1}, we have x k+1 2 k+1 j =0 k+1 j f ( j ) ∈ L 2 (R + ).

A.3 Primitives of the Laguerre functions

Let Ψ k be the primitive of the Laguerre function ψ k that vanishes at 0:

Ψ k (x) := x 0 ψ k (t ) dt .
From (A.1) and (A.3), one can prove:

(xψ k ) ′ = k + 1 2 ψ k+1 + 1 2 ψ k - k 2 ψ k-1 .
By integrating the last equation, we obtain the recurrence relation:

(k + 1)Ψ k (x) = 2x ψ k (x) -Ψ k (x) + kΨ k-1 (x),
which can be used to compute exactly these functions. In this section remaining, we prove that the primitives of the Laguerre function are uniformly bounded.

The sketch of the proof comes from fedja (2021).

Theorem A.3.1. The functions (Ψ k ) k≥0 are uniformly bounded.

Proof. Let u k (x) := L k (x)e -x/2 . We first notice that the complete integral of u k is uniformly bounded:

xu ′′ k + u ′ k + k + 1 2 - 1 4 x u k = 0 (A.4)
To kill the first derivative, we consider v k (x) := u k (x 3/2 )x 1/2 . The functions u k and v k have the same partial integrals (up to the constant 2/3):

∀x ≥ 0, x 0 v k (t ) dt = 2 3 x 2/3 0 u k (t ) dt .
The first two derivatives of v k are:

v ′ k (x) = 3 2 xu ′ k (x 3/2 ) + 1 2 x -1/2 u(x 3/2 ) v ′′ k (x) = 9 4
x 3/2 u ′′ (x 3/2 ) + 9 4 u ′ (x 3/2 ) -1 4

x -3/2 u(x 3/2 ) so using the ODE (A.4) for u yields the following ODE for v:

v ′′ k + Φ k v k = 0
where Φ k is given by:

Φ k (x) := 9 4 k + 1 2 x 1/2 - 1 4 x + 1 4x 2 .

  On partitionne [0, 1] en D intervalles de même longueurs et on définit : ∀k ∈ {0, . . . , D -1}, ϕ D,k = D 1 k D , k+1 D . Les fonctions (ϕ D,k ) 0≤k≤D-1 sont orthonormées et forment une base de S D := Vect ϕ D,k : k ∈ {0, . . . , D -1} . Les espaces d'approximations sont donc les (S D ) D≥1 et un estimateurs par projections sur S D est une fonction en escalier. On choisit parfois de se restreindre aux D de forme 2 m (subdivision dyadique) pour que les sous-espaces soient emboités.

  1 , la soustraction m -1 s'effectuant terme à terme. Notons qu'on a m ≤ m ′ si et seulement si S m ⊆ S m ′ . On note également ∧ et ∨ respectivement le minimum et le maximum terme à terme :m ∧ m ′ := (m 1 ∧ m ′ 1 , . . . , m d ∧ m ′ d ), m ∨ m ′ := (m 1 ∨ m ′ 1 , . . . , m d ∨ m ′ d ).

  remplacé le terme de variance par le terme de pénalité. Cela suggère de choisir la pénalité du même ordre de grandeur que le terme de variance. Le terme de variance est majoré par L(m)/n, où L(m) est défini par (1.10). Supposons que la quantité L(m) vérifie L(m) ≤ Φ D m /n, avec Φ une constante positive qui dépend de la base. On a vu avec l'exemple 1.3 et la remarque 1.4.2 que c'était le cas pour la base trigonométrique, la base de Laguerre et la base d'Hermite. Le terme de variance est majoré par ΦD m /n, donc on choisit une pénalité de la forme : pen(m) := κΦ D m n , avec κ une constante à ajuster plus tard. Pour établir une inégalité oracle, on commence par écrire :

Remarque 1. 4 . 4 .

 44 Pour les bases de Laguerre et d'Hermite, on a vu dans la remarque 1.4.2 que sous des hypothèses de moment, le terme de variance est en fait d'ordre D m /n. La pénalité utilisée dans l'exemple précédent est donc trop lourde et ne conduira pas à la vitesse optimale. Dans ce cas, on choisit une pénalité de la forme pen(m) := κ D m /n et on démontre un résultat analogue. Pour éviter ces problèmes d'évaluation de l'ordre de grandeur du terme de variance, une solution est d'utiliser une pénalité aléatoire :

  une constante qui dépend des paramètres du modèle. Le risque de notre estimateur est majoré par la somme des termes de biais des fonctions φ, g et h et un terme de variance d'ordre T -1 qui ne dépend pas de m. Si les fonctions appartiennent à des espaces de Sobolev-Laguerre, alors la vitesse de convergence de notre estimateur est T -1 .PerspectivesOn a vu que la méthode d'estimation utilisant les propriétés de déconvolution de la base de Laguerre ne donne pas la vitesse d'estimation optimale dans le modèle de Cramér-Lundberg. Or cette méthode a été utilisée parZhang & Su (2019), Su et al. (2019) et Su et al. (2020) dans des modèles plus généraux. On peut conjecturer que les vitesses d'estimation trouvées dans ces articles ne sont pas optimales non plus. Comme on l'explique dans la remarque 3.2.2, notre méthode d'estimation hybride Laguerre-Fourier peut se généraliser à ces modèles et devrait conduire à la vitesse d'estimation paramétrique T -1 . Une autre voie serait de considérer des conditions d'observation plus difficiles (et plus réalistes). Nous avons considéré qu'on observait une trajectoire complète du processus U t pour t ∈ [0, T ]. À la place, on pourrait considérer que le processus est observé sur une fenêtre de temps [0, T ] discrétisée à pas ∆. L'objectif serait de construire un estimateur Laguerre-Fourier dans ce contexte et d'étudier son risque sous différents régimes d'observation, par exemple ∆ > 0 fixé et T → +∞, ou ∆ → 0 et T → +∞ (observations à haute fréquence).

  uniformément proches sur S m avec grande probabilité.Les autrices relient la difficulté à passer d'une majoration du risque en norme empirique à la majoration du risque en norme ∥•∥ µ au fait que le problème de régression cache un problème inverse. En effet, les Y i admettent pour densité le produit de convolution :f Y (y) := A f ε yb(x) f (x) dx,où f ε est la densité des ε i , le but étant d'estimer b à partir de l'observation des couples (X i , Y i ). Le problème inverse se voit également dans le fait que le calcul des coefficients de l'estimateur b m nécessite l'inversion de la matrice G m . Il n'est donc pas étonnant que la distance entre 0 et les valeurs propres de G m impacte le risque de l'estimateur. Or lorsque A est compact, on peut supposer comme Baraud (2002) que f est minorée par f 0 > 0 ; on a alors la minoration ∥G -1 m ∥ op ≤ f -1 0 . Ainsi, les valeurs propres de G m sont uniformément minorées et les difficultés qui découlent du problème inverse ne se posent pas vraiment. En revanche si A = R (resp. R + ) et que la base utilisée est la base d'Hermite (resp. Laguerre), les autrices montrent bien que ∥G -1 m ∥ op ≥ C m pour une certaine constante C > 0. Autrement dit, les valeurs propres de G m ne sont pas minorées uniformément avec m et la matrice devient de plus en plus singulière à mesure que m croît. D'où l'idée d'introduire une troncature sur les valeurs propres de G m en estimant b par : b m := b m 1 L(m)(∥ G -1 m ∥ op ∨1)≤cn/ log n . Sous l'hypothèse que les ε i admettent un moment d'ordre 4 et que b ∈ L 4 (A, µ) (et donc que les Y i admettent un moment d'ordre 4), elles montrent que si m vérifie la condition (1.41) alors :

  on tensorise ces bases pour obtenir une base orthonormée (ϕ k ) k∈N p de L 2 (A, ν). L'exemple qu'on a en tête est le cas où A = R p , ν est la mesure de Lebesgue et (ϕ k ) k∈N p est la base d'Hermite tensorisée. On estime b par minimisation du contraste des moindres carrés sur les espaces S m := Vect ϕ k : k ≤ m -1 . Notre estimateur peut être calculé à l'aide d'hypermatrices :

  For m ∈ N d + , let S m be the vector space spanned by the functions ϕ k for k ≤ m -1, and let D m := m 1 • • • m d be its dimension. We estimate f by estimating f m the projection of f on S m . This projection is given by f m = k≤m-1 a k ϕ k , so the problem reduces to the estimation of a m . Because a m is related to c m by (2.7) and since c ℓ = E[ϕ ℓ (Z 1 )], we estimate f by: fm := k≤m-1 a k ϕ k where a m := G -1 m × d c m and c ℓ :

  5) with normalisation 9 2 , I = [0, 8]. • Gamma mixture 0.4 Γ(2, 2) + 0.6 Γ(16, 4) with normalisation 1 2.96 , I = [0, 5].

4 .

 4 Repeat 500 times:a) Generate a sample Z i = X i + Y i , i = 1, . . . , n.b) Compute the Laguerre coefficients c 20 , and compute a 20 = G -1 20 c 20 . c) Compute m 1 and m 2 minimizing:

  . The column "σ 2 Y = 1/10" corresponds to the case Y i ∼ Γ(2, 20) and the column "σ 2 Y = 1/4" to the case Y i ∼ Γ(2, 8).

Figure 2 . 1 :

 21 Figure 2.1: Density estimation when X is a mixture of gamma distributions and when Y ∼ Γ(2, 20). The thick blue curve represents the true density and each thin red curve represents the estimation obtained with one sample (total: 200 samples). First line: n = 200, second line: n = 2000. Left: f m 1 , right: f m 2 .

Figure 2

 2 Figure 2.2: Density estimation when W (1) has a Gamma distribution and W (2) has a Weibull distribution, for a sample of size n = 5000. First column: true density, second column: adaptive estimator f m , third column: max model estimator f (12,12) . The selected model is m = (5, 8).

  T(a) × T(b) = T(a * b). Notation If m ∈ N d + , we denote by T m (a) ∈ R (m,m) the sub-hypermatrix of T(a) constructed by taking only the coefficients [T(a)] ℓ,k for ℓ, k ≤ m -1. Note that as a linear map on R m , we have T m (a) = T(a) |R m because of the triangular structure. Operator on ℓ p (N d ) If a ∈ ℓ 1 (N d ) and if x is in ℓ p (N d ) with p ∈ [1, +∞], then a * x belongs to ℓ p (N d ) we have ∥a * x∥ ℓ p ≤ ∥a∥ ℓ 1 ∥x∥ ℓ p . In other words, T(a) is an operator on ℓ p (N d ), and its operator norm is bounded by ∥a∥ ℓ 1 .

  estimate the Gerber-Shiu function in a Lévy risk model, where the aggregate claims is a pure-jump Lévy process; Su, Yong, & Zhang (2019) estimate the Gerber-Shiu function in the compound Poisson model perturbed by a Brownian motion; and Su, Shi, & Wang (2020) study the model where both the income and the aggregate claims are compound Poisson processes. Recently, Su & Yu (2020) showed the Laguerre projection estimator of the Gerber-Shiu function in the compound Poisson model is pointwise asymptotically normal in the case δ = 0.

Assumption 3. 4 .

 4 The coefficients (b k ) k≥0 , defined by (3.9), satisfy (b k+1 -b k ) k≥0 ∈ ℓ 1 (N). Remark 3.3.1. If g belongs to a Sobolev-Laguerre space W s (R + ) with regularity s > 1, then Assumption 3.4 holds automatically. The spaces W s (R + ) are regularity spaces associated with the Laguerre basis, see Definition 3.4.1 below. Indeed, by the Cauchy-Schwarz inequality, we have:

4 .

 4 If δ = 0, p ≥ 1 and log m ≥ p, then it holds:E ∥ A m -A m ∥ 2p op ≤ C (p, λ)µ p m log m p, λ) is a O(λ p), and C (p) is a constant depending on p.

Lag 1 m

 1 Lag 1 and φ Lag 2 := φ Lag 2

Figure 3

 3 Figure 3.1: Estimation of the ruin probability when the parameters of the model are λ = 1.25, µ = 2, c = 3, X ∼ Exp(1/µ) and T = 800 (so that E[N T ] = 1000). For each estimation procedure, we plot the estimation of φ from 50 independent samples. The true function is in bold red and the estimated functions are in dotted blue. Top left: Laguerre-Fourier. Top right: estimator of Zhang & Su (2018). Bottom left: Laguerre deconvolution 1. Bottom right: Laguerre deconvolution 2.

Figure 3

 3 Figure 3.2: Estimation of the expected claim size causing the ruin when the parameters of the model are λ = 1.25, µ = 2, c = 3, X ∼ Exp(1/µ) and T = 800 (so that E[N T ] = 1000). For each estimation procedure, we plot the estimation of φ from 50 independent samples. The true function is in bold red and the estimated functions are in dotted blue. Top left: Laguerre-Fourier. Top right: estimator of Zhang & Su (2018). Bottom left: Laguerre deconvolution 1. Bottom right: Laguerre deconvolution 2.

Model

Proposition 4 .

 4 3.1. If G m is invertible, then we have:

4 .

 4 Let r ∈ (1, +∞]

Remark 4 . 4 . 5 .

 445 Theorem 4.4.4 improves previous results in the literature:

Lemma 4 .

 4 6.1. Let (ψ 1 , . . . , ψ D m ) be an orthnormal basis of S m relatively to an inner product 〈•, •〉 α . Let H m be the Gram matrix of this basis relatively to the empirical inner product and letH m := E[ H m ], that is: ∀ j , k ∈ {1, . . . , D m }, H m j ,k := 〈ψ j , ψ k 〉 n and H m j ,k := 〈ψ j , ψ k 〉 µ .

  Hence, applying inequality (1.25) of Theorem 1.4.10 with µ min = λ min (H m ) and R = 1 n K ∞ α (m) yields:P λ min ( H m ) ≤ (1 -δ)λ min (H m ) ≤ D m exp -h(δ) nλ min (H m ) K ∞ α (m).Proof of Proposition 4.3.5. Let ψ 1 , . . . , ψ D m be an orthonormal basis of S m relatively to the inner product 〈•, •〉 µ . Let H m be their Gram matrix relatively to the empirical inner product. According to Lemma 4.3.2, we haveK µ n (m) = ∥ H -1 m ∥ op = λ min ( H m ) -1 and we have E[ H m ] = I m because (ψ 1 , . . . , ψ D m) is orthonormal for the inner product associated with µ, so the event Ω m (δ) c can be written as:Ω m (δ) c = λ min ( H m ) ≤ 1 -δ = λ min ( H m ) ≤ (1 -δ)λ min (E[ H m ]) .Applying Lemma 4.6.1 yields the result. since K µ n (m) ≤ 1 1-δ on the event Ω m (δ), see (4.2). Let Π (n) m be the empirical projector on S m , we have:

  .9) Secondly, let g := bb (µ)

  δ) log n ∧ 1 , C ′ (δ) := 2 1-δ and:R n := 2∥b∥ 2 µ P Ω m (δ) c + E K µ n (m)∥Y∥ 2 n 1 Ω m (δ) c .

m

  := arg min m∈ M n -∥ bm ∥ 2 n + pen(m) , pen(m) := (1 + θ)σ 2 D m n , θ > 0. (4.18)

  b ∈ L ∞ (µ), the inequality also holds for r = ∞ and r ′ = 1. Since b m1 is the empirical projection of Y on S m1 , we have ∥ b m1 ∥ 2 n ≤ ∥Y∥ 2 n . Hence, we get:E ∥ b m1 ∥ 2 n 1 ∆ c n,α,β ≤ E ∥Y∥ 2 n σ 2 P ∆ c n,α,β . (4.19)

  the inequality K ∞ ν (m)∥G -1 m ∥ op ≤ α n log n for m ∈ M (1)n,α , we obtain:∀m ∈ M (1) n,α , P λ min ( G m ) ≤ α β λ min (G m ) ≤ D m exp h(1 -α β )

( 4 .

 4 21) ⇐⇒ x ∈ (x β,r ′ , +∞) ⇐⇒ α ∈ (0, α β,r ′ ), where α β,r ′ := β x β,r ′ . Hence, if α ∈ (0, α β,r ′ ) then we have: α → α β,r ′ .Remark 4.6.3. If we use the collections M (2) n,α and M (2) n,β instead, we obtain the inequality (4.20) with α and β replaced by α ′ := α and β ′ := β. The rest of the proof is unchanged.

  lim β→0 x β,r ′ = 1, lim β→+∞ x β,r ′ = +∞, lim r ′ →∞x β,r ′ = +∞, and we have x β,r ′ ∼ (2 + r ′ )β when β → +∞. Thus, the limits of α β,r ′ are:

  Before proving Theorem 4.4.4, we need some preliminary results. Lemma 4.6.4. For all x > 0 and all m ∈ N p + we have:

  The set {ϕ j : j ≤ m -1} has cardinality D m so let {φ 1 , . . . , φ D m } be its elements. We define the matrix H m as:∀ j , k ∈ {1, . . . , D m }, H m j ,k := 〈φ j , φ k 〉 n ,and we denote its expectation H m , of which the components are 〈φ j , φ k 〉 µ . In other words, we have reshaped the hypermatrices G m and G m into D m ×D m matrices. Moreover, this operation preserves the operator norm:∥G m ∥ op = ∥H m ∥ op .Indeed, let d := D m , we have:

  dµ dν (x) ≥ f 0 for all x ∈ A and H n := n k=1 1 k .Proof. We start with a union bound:P Λ (1) n (β, γ) c = P ∃m ∈ N p + , m ∈ M (1)n,β and m ∉ M(1)

  We start with a union bound:P Λ (2) n (β, γ) c = P ∃m ∈ N p + , m ∈ M (2) n,β and m ∉ M (2)

  | = 2C for an absolute constant C > 0. Since the k-th Laguerre polynomial satisfies the ODE (A.2), the function u k satisfies:

•

  Montrons que B n (m) est majoré par le terme de biais. Soit m ′ ∈ M n , on introduit l'ensemble I

m,m ′

  -C ′′′ n .

	Il ne reste plus qu'à montrer que Σ n ( f , Φ) est borné indépendamment de n. On
	utilise pour cela la proposition B.2.1 et le théorème B.2.2 :

Théorème 1.4.11 (

  Matrix Bernstein bound). Soient Z 1 , . . . , Z n des matrices symétriques aléatoires indépendantes de taille d × d , telles que E[Z k ] = 0 et telles que sup k λ max (Z k ) ≤ R p.s. Si v > 0 est un majorant de :

  où les X i sont i.i.d. de densité f et les Y i sont des variables de bruit i.i.d. de densité g , indépendantes des X i . L'objectif est d'estimer la loi des X i à partir de l'observation des Z i . En notant h la densité des Z i , celle-ci est donnée par le produit de convolution des densité f et g . Pour que le modèle soit identifiable, on pourra

	supposer que la densité du bruit est connue ou que l'on dispose d'observations
	du modèle « à blanc », c'est-à-dire Y ′ 1 , . . . , Y ′ N i.i.d. de densité g , indépendantes
	des autres variables, ce qui permet de construire un estimateur de g . Dans la
	suite on supposera que g est connue.

  montre que dans le cas où f est supersmooth et le bruit ordinary smooth, la vitesse minimax est quasi-paramétrique. Le cas où à la fois f et g sont supersmooth est plus délicat

TABLE 1

 1 Leur estimateur est adaptatif et atteint la vitesse minimax sur les espaces de Sobolev, ainsi que dans le cas où f est supersmooth et g ordinary smooth.

	.1 : Vitesse de convergence minimax sur A a,b,r pour la déconvolution
	d'une densité sur R, selon que g est ordinary smooth ou supersmooth.
	et a été étudié par Butucea & Tsybakov (2008a,b). Tous ces résultats sont géné-
	ralisés au problème de déconvolution d'une densité sur R d par Comte & Lacour
	(2013). Rebelles (2016) étend ces résultats en construisant un estimateur à noyau
	adaptatif qui atteint la vitesse minimax pour le coût L p . Récemment, Lepski &
	Willer (2019) étudient un modèle plus général qui mélange observations directes
	et indirectes, et établissent les vitesses minimax sur des classes de Nikol'skii pour
	le coût L p .
	D'autres estimateurs ont été proposés en dehors des estimateurs à noyaux
	pour résoudre le problème de déconvolution d'une densité. Pensky & Vidakovic
	(1999) construisent un estimateur par projection sur des bases d'ondelettes de
	Meyer.

  .36) où R n est un reste d'ordre n -1 . Ainsi, toute la problématique réside dans le choix de la collection M n et de la calibration C m . D'un côté il faut choisir une collection suffisamment riche d'espaces d'approximation (S m ) m∈M n de façon à ce que le risque oracle : vitesse de convergence sur les espaces fonctionnels considérés. D'un autre côté, la collection ne doit pas être trop complexe afin que la pénalité ne soit pas trop lourde et ne dégrade pas trop l'inégalité (1.36).

	inf m∈M n	inf t ∈S m	∥b -t ∥ 2 n + σ 2 D m n	,
	ait une bonne

  condition (1.40) est interprétée par les auteurs comme une condition de stabilité. Elle assure qu'avec grande probabilité que la matrice G m est bien conditionnée et que la solution des moindres carrés est stable entre les normes

  Journal of Statistical Planning and Inference, 215:23-46, 2021. Statistical model and motivations . . . . . . . . . . . . . . . . . 53 2.2 The estimation procedure . . . . . . . . . . . . . . . . . . . . . . 55 2.3 Non-asymptotic error bounds . . . . . . . . . . . . . . . . . . . 58 2.4 Adaptive estimation and oracle inequalities . . . . . . . . . . . 61 2.5 Numerical illustrations . . . . . . . . . . . . . . . . . . . . . . . 64

	Contents
	2.1 2.5.1	Estimators comparison in one-dimensional case . . . 64
	2.5.2

Model selection in two-dimensional case . . . . . . . 68 2.6 Proofs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 2.6.1 Proofs of Sections 2.2 and 2.3 . . . . . . . . . . . . . . 70 2.6.2 Proposition 2.3.7 . . . . . . . . . . . . . . . . . . . . . . 75 2.6.3 Proofs of Section 2.4 . . . . . . . . . . . . . . . . . . . . 81

Table 2 .

 2

		R 1	139	8.57	113	9.95
		R 2	204	30.4	203	37.2
		R o	10.6	0.93	14.7	1.50
		R 1	127	32.1	407	109
	Γ(20, 20)	R 2	80.4	16.4	350	58.0
		R o	26.8	3.84	34.7	5.24
		R 1	68.1	7.13	88.7	8.23
	Rayleigh	R 2	42.1	6.44	50.3	9.13
		R o	29.8	4.76	35.0	7.33
		R 1	55.2	4.89	79.0	6.80
	Weibull	R 2	64.3	8.56	70.3	10.5
		R o	30.8	4.84	42.0	6.59
		R 1	122	16.8	184	29.8
	B(4, 5)	R 2	39.6	6.50	53.0	16.5
		R o	30.9	4.52	35.5	5.59
		R 1	286	63.8	717	82.9
	Γ mixture	R 2	162	47.1	595	71.2
		R o	151	34.0	228	49.4

1: MISE computation over 500 samples. MISE are multiplied by 10 4

  The exponential case . . . . . . . . . . . . . . . . . . . 97 3.5 Numerical illustrations . . . . . . . . . . . . . . . . . . . . . . . 99

	Chapter 3
	Nonparametric Estimation of the
	Expected Discounted Penalty
	Function in the Compound
	Poisson Model
	3.5.1	Risk comparison . . . . . . . . . . . . . . . . . . . . . . 99
	3.5.2	Model reduction procedure . . . . . . . . . . . . . . . 107
	3.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
	3.7 Proofs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
	3.7.1	Proof of Theorem 3.2.5 . . . . . . . . . . . . . . . . . . 111
	3.7.2	Proofs of Section 3.3 . . . . . . . . . . . . . . . . . . . . 116
	3.7.3

This chapter is a modified version of my article F. DUSSAP : Nonparametric estimation of the expected discounted penalty function in the compound Poisson model. Electronic Journal of Statistics, 16(1):2124-2174, 2022. Contents 3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 3.1.1 The statistical problem . . . . . . . . . . . . . . . . . . 86 3.1.2 Preliminaries on the Gerber-Shiu function . . . . . . 88 3.2 The Laguerre-Fourier estimator . . . . . . . . . . . . . . . . . . 89 3.3 The Laguerre deconvolution estimator . . . . . . . . . . . . . . 93 3.4 Convergence rates of the Laguerre estimators . . . . . . . . . . 96 3.4.1 Sobolev-Laguerre spaces . . . . . . . . . . . . . . . . . 96 3.4.2 Proofs of Section 3.4 . . . . . . . . . . . . . . . . . . . . 127

Table 4 . 1 :

 41 Normal distribution, p = 1. Table showing the relative µ-risks of the Hermite projection estimator and the Nadaraya-Watson estimator, when X follows the normal distribution. For each regression function, SNR and n, we display the estimated relative µ-risk over N = 100 samples with a 95% confidence interval, multiplied by 100. For the projection estimator, we display the mean selected model, and for the Nadaraya-Watson estimator, we display the mean selected bandwidth.

	Reg. fun. Estimator	SNR = 2 n = 250 n = 1000	SNR = 20 n = 250 n = 1000
		1.23	0.288	0.138	0.034
	Hermite	[1.22, 1.24]	[0.284, 0.292]	[0.136, 0.140]	[0.034, 0.035]
	b 1	4 1.50	5 0.468	6 0.255	6 0.076
	NW	[1.49, 1.51]	[0.463, 0.472]	[0.253, 0.258]	[0.075, 0.076]
		0.307	0.212	0.724	0.763
		1.00	0.362	0.159	0.047
	Hermite	[0.99, 1.01]	[0.358, 0.366]	[0.157, 0.161]	[0.047, 0.047]
	b 2	3 1.38	5 0.475	6 0.236	8 0.075
	NW	[1.37, 1.40]	[0.470, 0.480]	[0.234, 0.238]	[0.074, 0.076]
		0.281	0.214	0.161	0.126
		1.77	0.477	0.206	0.050
	Hermite	[1.76, 1.79]	[0.472, 0.482]	[0.204, 0.208]	[0.049, 0.050]
	b 3	10 2.80	12 0.823	11 0.808	13 0.160
	NW	[2.78, 2.82]	[0.817, 0.829]	[0.799, 0.818]	[0.160, 0.161]
		0.138	0.107	0.088	0.066
		1.94	0.532	0.288	0.116
	Hermite	[1.92, 1.97]	[0.528, 0.536]	[0.286, 0.290]	[0.115, 0.116]
	b 4	9 1.86	12 0.585	11 0.344	13 0.108
	NW	[1.84, 1.88]	[0.581, 0.590]	[0.341, 0.347]	[0.107, 0.108]
		0.216	0.162	0.120	0.096

Table 4 . 2 :

 42 Laplace distribution, p = 1. Table showing the relative µ-risks of the Hermite projection estimator and the Nadaraya-Watson estimator, when X follows the Laplace distribution. For each regression function, SNR and n, we display the estimated relative µ-risk over N = 100 samples with a 95% confidence interval, multiplied by 100. For the projection estimator, we display the mean selected model, and for the Nadaraya-Watson estimator, we display the mean selected bandwidth.

Table 4 . 3 :

 43 Normal distribution, p = 2. Table showing the relative µ-risks of the Hermite projection estimator and the Nadaraya-Watson estimator, when X follows the normal distribution. For each regression function, SNR and n, we display the estimated relative µ-risk over N = 100 samples with a 95% confidence interval, multiplied by 100. For the projection estimator, we display the mean selected dimension, and for the Nadaraya-Watson estimator, we display the mean selected bandwidths.

	Reg. fun. Estimator	SNR = 2 n = 500 n = 2000	SNR = 20 n = 500 n = 2000
		1.91	0.703	0.366	0.076
	Hermite	[1.90, 1.93]	[0.698, 0.708]	[0.359, 0.373]	[0.076, 0.077]
	b 5	12 3.79	17 1.66	21 1.01	27 0.404
	NW	[3.77, 3.80]	[1.66, 1.67]	[1.01, 1.02]	[0.403, 0.405]
		(0.451, 0.441)	(0.354, 0.357)	(0.252, 0.254)	(0.212, 0.208)
		2.09	0.962	0.416	0.172
	Hermite	[2.07, 2.11]	[0.956, 0.968]	[0.412, 0.420]	[0.171, 0.173]
	b 6	7 4.21	18 1.80	27 0.944	39 0.401
	NW

  Let us introduce a new variable y := (2r ′ +2)β and let R = 2r ′ +1 2r ′ +2 , the last inequality becomes:

		R f 0	y +	1 + log y y	< 1.			(4.27)
										.26)
	This is possible only if x f 0 ,β <	1 (2r ′ +2)β , that is if:
	(2r ′ + 1)	β f 0	<	1 (2r ′ + 2)β	log	1 (2r ′ + 2)β	-	1 (2r ′ + 2)β	+ 1.

cette quantité mesure la différence entre les normes ∥•∥ ∞ et ∥•∥ L

sur l'espace S m , voir le lemme

3.1de Birgé & Massart (1998) ou notre lemme4.3.3.

dans le cas de la base d'Hermite, on a en fait L(m) ≤ C m pour C > 0 une constante absolue (numériquement, il semble que C = 1/ π soit la constante optimale). Ce résultat est prouvé dans un travail de Comte et Lacour non publié au moment de l'écriture de cette thèse.

le conditionnement qui apparaît dans la définition de φ n'en est pas vraiment un puisque l'évènement {U 0 = u} est certain, c'est juste une façon de faire apparaître la dépendance en u.

dans l'article de Zhang (2017), le dernier terme dans la majoration est O P m log m T , c'est une erreur due à l'oubli d'un carré dans la preuve.

il a également une autre hypothèse pour les bases localisées comme les bases de polynômes par morceaux ou les bases d'ondelettes, mais nous n'en parlerons pas dans cette thèse.

l'exposant conjugué de r est le nombre r ′ tel que 1 r + 1 r ′ = 1.

this inequality concerns countable families of functions, but it's not a problem here since ν n is continuous on S m , and B m is separable.

alternatively, we could split the data {X 1 , . . . , X N T } in two parts: we use half of the data to estimate A -1 m,2 , and the other half to estimate c m .

this lemma is stated for the generalized Laguerre basis, which depends on a parameter a in their article. This parameter is equal to 1 in our case.

in general it is a semi-norm but we will only consider subspaces on which it is a norm.

Remerciements

Acknowledgments I want to thank fedja for their help with Theorem A.3.1 regarding the primitives of the Laguerre functions, and Emmanuel Rio for his hints for Lemma 3.7.1.

Parameters

Estimator 20.5 [30.0, 62.3] [21.7, 34.5] [15.1, 25.8] 4, 130.2] [31.3, 64.6] [23.0, 32.7 83 [71.6, 83.5] [45.1, 67.4] [29.7, 48.1] 197.7 96.7 48.5 [115.1, 280.3] [47.4, 146.0] [27.5, 69.6 Hence, ∥φ -

We apply Lemma 3.4.6:

Chapter 4

Nonparametric Multiple Regression on Non-compact Domains

to understand the relations between the different norms we have on the subspace

It is well known that all norms are equivalent on finite dimensional spaces; our question concerns the constants in this equivalence. We introduce the following notation: if ∥•∥ α and ∥•∥ β are two norms on a space S, we define:

and when S = S m , we use the notation

We have:

.

The proof of Lemma 4.3.2 is identical to the proof of Lemma 3.1 in [START_REF] Baraud | Model selection for regression on a fixed design[END_REF], so we leave it out.

The next lemma provides a way to compute K ∞ α (S) from an orthonormal basis when ∥•∥ α is Euclidean. It is essentially the same as Lemma 1 in [START_REF] Birgé | Minimum Contrast Estimators on Sieves : Exponential Bounds and Rates of Convergence[END_REF].

Lemma 4.3.3. Let S be a space of bounded functions on A such that d := dim(S) is finite. Let 〈•, •〉 α be an inner product on S. If (ψ 1 , . . . , ψ d ) is an orthonormal basis of S, then we have:

.

The question we are interested in is how close are the norms ∥•∥ n and ∥•∥ µ on S m . Following a similar idea of [START_REF] Cohen | On the Stability and Accuracy of Least Squares Approximations[END_REF], let us define the event:

The key decomposition of the µ-risk of bm is given by the following Proposition.

Proposition 4.3.4.

If G m is invertible, then we have for all δ ∈ (0, 1):

where K µ n (m) and K ∞ µ (m) are given by Lemmas 4.3.2 and 4.3.3.

We see that we need an upper bound on the probability of the event Ω m (δ) c . The following proposition is a consequence of the matrix Chernoff bound of Tropp (2012) (Theorem 1.4.10 in Appendix) .

Proposition 4.3.5. For all δ ∈ (0, 1), we have:

,

The quantity ∥G -1 m ∥ op is still unkown but can be estimated by plugging in G m .

For α a positive constant, let us consider the following model collection:

Gathering Propositions 4.3.4 and 4.3.5, we obtain the following bound on the µrisk of bm when m belongs to M (1) n,α .

Theorem 4.3.7. Let us assume that b ∈ L 2r (µ) for some r ∈ (1, +∞] and let r ′ ∈ [1, +∞) be the conjugated index of r , that is:

) and for all m ∈ M (1) n,α we have:

where the constants C n (α, r ′ ) and C ′ (α, r ′ ) are given by:

and δ(α, r ′ ) ∈ (0, 1) tends to 1 as α tends to 1 2r ′ +1 .

Remark 4.3.8. Let us make some statements concerning the behavior of C n (α, r ′ ) and C ′ (α, r ′ ):

• as α → 1 2r ′ +1 with n fixed, C n (α, r ′ ) and C ′ (α, r ′ ) tend to +∞;

• as n → +∞ with α an r ′ fixed, C n (α, r ′ ) tends to 1.

Regression function

We consider the following regression functions:

The functions b 2 and b 6 are smooth bounded functions and have a unique maximum at 0, so they should be an easy case. The functions b 1 and b 5 are smooth and bounded with two maximums. The functions b 3 and b 7 are smooth oscillating functions. Finally the functions b 4 and b 8 are not smooth nor bounded, and should be a harder case.

Distribution of the X i s For the sake of simplicity, we consider the case where X 1 , . . . , X n are i.i.d. and have a density with respect to Lebesgue measure (i.e. ν = Leb). For the case p = 1, we consider the following distributions for X :

1. X ∼ N (0, 1), 2. X ∼ Laplace.

Both distributions are symmetric and centered at 0, but the normal distribution is more concentrated around its mean than the Laplace distribution. For the case p = 2, we use independent marginals for the distribution of X :

1. X ∼ N (0, 1) ⊗ N (0, 1), 2. X ∼ Laplace ⊗ Laplace.

Noise distribution

We consider the normal distribution: ε ∼ N (0, σ 2 ). The variance σ 2 is chosen such that the signal-to-noise ratio is the same for each choice of regression function and distribution of X , where we define the signalto-noise ratio as:

We consider these two terms separately. The expectation of the first term is controlled as in Theorem 3 in [START_REF] Cohen | On the Stability and Accuracy of Least Squares Approximations[END_REF]. On the event Ω m (δ) we have

m is the projection of b on S m for the norm ∥•∥ µ , we have:

We apply Lemma 4.6.4 and Proposition B.2.1:

where

Now we can prove Theorem 4.4.4.

Proof of Theorem 4.4.4. Let δ ∈ (0, 1) and γ > β be constants to be chosen later.

Let us introduce the event

n (δ, γ) are defined by (4.23). On the event Ξ (ι) n (β, γ, δ), for all m ∈ M (ι) n,α , for all t ∈ S m we have:

Taking the expectation yields for all t ∈ S m :

On the event Ξ (ι) n (β, γ, δ) c , we use inequalities (4.12) and (4.16):

Using Hölder's inequality as we did in (4.19), we obtain:

We see we need to control P Ξ (ι) n (β, γ, δ) c by a term of order n -2r ′ .

Let x := β/γ ∈ (0, 1), the conditions on (β, γ) can be rewritten as:

We choose x maximizing this bound. This maximum is achieved when

. Finally we choose:

and we obtain that for all β ∈ (0, β B,r ′ ) with:

we have:

where λ(β, r, B ) > 1.

Appendix A

Laguerre functions

In this chapter, we gather different useful facts on the Laguerre functions.

A.1 Laguerre polynomials

The following formulas can be found in Chapter 22 of the book of [START_REF] Bibliographie | Handbook of Mathematical Functions : with Formulas, Graphs, and Mathematical Tables[END_REF]. The Laguerre polynomials are orthogonal polynomials on R + with respect to the weight function e -x :

where δ k, j is the Kronecker delta. Hence, the Laguerre functions (ψ k ) k≥0 defined as:

form an orthonormal family in L 2 (R + ). One can show that this family is total, hence it is an orthonormal basis of L 2 (R + ). The Laguerre polynomials are given by the following closed expression:

These polynomials satisfy the following recursive relation:

hence the Laguerre functions satisfy the same relation:

We use this relation to compute the Laguerre functions in our simulations. The Laguerre polynomial L k is also the solution of the Laguerre equation:

We see that the area of the excursions is increasing.

The important properties of this function are that it is convex and decreasing.

Since the Laguerre polynomials have simple zeros, the function v k has (k +1) simple zeros (the zeros of the k-th Laguerre polynomial, and 0) so the integral of v k can be decomposed as an alternating sum

on an open interval I containing 0, and let y 1 , y 2 be the solutions of the following ODE:

Let M > 0 such that y 1 and y 2 are positive on J := (0, M ) ⊆ I . If F 1 > F 2 on J , then we have y 1 ≤ y 2 on J .

Indeed, let z > 0 be a zero of v k and assume w.l.o.g. that v k is positive after z and negative before. Let y 1 (x) := -v k (zx) and y 2 (x) := v k (z + x) (i.e. y 1 is the central inversion of v k with respect to z). Thus, y 1 and y 2 satisfy the ODE:

, so Lemma A.3.2 yields that y 1 (x) ≤ y 2 (x) for x > 0 as long as y 1 (x) and y 2 (x) are positive. Hence, the area of the excursion preceding z is smaller than the area of the excursion following z. Now let z be the last zero of v k , and let us assume w.l.o.g. that v k is positive after z (otherwise we consider -v k , it satisfies the same ODE than v k ). In this case,

attained either by taking the complete integral (it is the maximum of x 0 v k ), either by leaving out the last excursion (it is the minimum of x 0 v k ). We show that the second option is dominated by the first one: there exists an absolute constant

The strategy is to compare the function v k to the Airy function of the first kind. This function is solution of the ODE:

Let z * ℓ and z * p be respectively the last and the penultimate zeros of Ai. We recall that z * ℓ is negative (all the zeros of Ai are negative), and that Ai is negative on (z * p , z * ℓ ) and positive on (z * ℓ , +∞). Lemma A.3.3. Let Ai be the Airy function of the first kind, and let z be the last zero of v k . There exists a decreasing linear function

and there exists a > 0 and b ∈ R, such that the function Ai(ax + b) satisfies:

and such that it stays positive on (z, +∞) and tends to 0 at +∞. Let w k (x) := ε Ai(ax +b) where a and b are given by Lemma A.3.3, and ε > 0 is small enough such that 0

Let z ℓ and z p be respectively the last and the penultimate zeros of w k . By definition of w k , its last zero is the same than v k 's, that is z ℓ = z. Moreover, the zeros of w k and Ai are linked by the linear transformation x → ax + b: we have z * ℓ = az ℓ + b and z * p = az p + b. Let us consider:

the Wronskian of v k and w k . Since W vanishes at z and +∞, we have:

this is possible only if it is negative and then positive. Hence, W is first decreasing and then increasing on (z, +∞). Since it starts from zero at z and tends to zero at +∞, we conclude that W is negative on (z, +∞).

It follows that w k < v k on (z, +∞). Indeed, by contradiction if x 0 := inf{x ∈ (z, +∞) | w k (x) ≥ v k (x)} existed and was finite, we would have v k (x 0 ) = w k (x 0 ) > 0 and v ′ k (x 0 ) ≤ w ′ k (x 0 ). Thus, we would have W (x 0 ) = v k (x 0 )w ′ k (x 0 )-v ′ k (x 0 )w k (x 0 ) ≥ 0; contradiction. We conclude that the area of the last excursion of w k is less than v k 's:

We have seen that Φ k -Υ k was negative then positive on (z, +∞). By convexity, it has to be positive on (0, z), i.e. Φ k > Υ k on the left of z. We apply Lemma A.3.2 to -v k (zx) and -w k (zx), and we conclude that the area of the penultimate excursion of v k is less than w k 's:

We conclude that A k-1 /A k is bounded above by the ratio of the areas of the penultimate excursion to the last excursion of w k . By a linear change of variable, this ratio is equal to the ratio of the areas of the penultimate excursion to the last excursion of the Airy function:

This is an absolute constant, we just need to prove it is smaller than 1 to end the proof. The function Ai satisfies an ODE of the form y ′′ +F (x)y = 0 with F (x) = -x a decreasing function, thus by considering the functions y 1 (x) = -Ai(z * ℓx) and y 2 := Ai(z * ℓ + x), we can apply again Lemma A.3.2 (as we did with v k ), to conclude that y 1 (x) ≤ y 2 (x) for x > 0 as long as y 1 (x) is positive (y 2 being positive for every

1 y 2 be the Wronskian of y 1 and y 2 . Then W ′ = (F 1 -F 2 )y 1 y 2 is positive on J and W (0) = 0, so W > 0 on J . By contradiction, suppose there exists x ∈ J such that y 1 (x) ≥ y 2 (x) > 0 and consider x 0 := inf{x ∈ J | y 1 (x) ≥ y 2 (x) > 0}. Since y ′ 2 (0) > y ′ 1 (0), we know that y 1 is below y 2 on a right neighborhood of 0, so x 0 > 0. By continuity, we have y 1 (x 0 ) = y 2 (x 0 ) > 0, so we must have y ′ 1 (x 0 ) ≥ y ′ 2 (x 0 ); otherwise, we would have y 1 (x) ≥ y 2 (x) > 0 on a left neighborhood of x 0 , which is impossible if x 0 > 0. Thus W (x 0 ) = y 1 (x 0 )[y ′ 2 (x 0 )y ′ 1 (x 0 )] ≤ 0 with x 0 ∈ J ; contradiction. Now consider the case y ′ 2 (0) = y ′ 1 (0). For ε > 0 small enough, we consider y ε the solution of:

Applying the first case, we have y ε ≤ y 2 while y ε and y 2 are positive. Taking ε → 0, we obtain y 1 ≤ y 2 .

Proof of Lemma A.3.3. The Airy function is solution of (A.5), so Ai(ax + b) (with a > 0) satisfies:

We need to determine (a, b) such that the two following conditions hold:

2. Let z * ℓ be the last zero of Ai. We know that z * ℓ < 0 and that Ai is positive on (z * ℓ , +∞), thus we need to choose a, b such that az + b = z * ℓ so Ai(ax + b) stays positive on (z, +∞) and vanishes at z. Thus, (a, b) ∈ R * + × R must be solution of:

Since z * ℓ < 0, this system has a solution iff Φ k (z) > 0. By contradiction, if we had Φ k (z) ≤ 0, then Φ k would be negative on (z, +∞). Since the function v k is positive after z and satisfies v ′′ k (x) = -Φ k (x)v k (x), then v k would be strictly convex on (z, +∞). But the function v k starts from zero at z with a positive derivative, stays positive, and tends to 0 at +∞, so it cannot be strictly convex on (z, +∞); contradiction. Thus, the system (A.6) has a solution.

Appendix B

Miscellaneous results

B.1 Linear Algebra

Lemma B.1.1. Let E be a Euclidean vector space and let ℓ : E → R n be an injective linear map. For y ∈ R n , the solution of the problem:

∥A -1 ∥ 2 op ∥B∥ op 1 -∥A -1 B∥ op .

Proof. Since ∥A -1 B∥ op < 1, its Neumann series is normally convergent and we have: . . .

Theorem B.2.2 (Divisor bound). Let N ∈ N + and let div(N ) be the set of divisors of N . We have for all ϵ > 0:

Card div(N ) = o(N ϵ ).

As a consequence, we have for all ϵ > 0:

A proof of this result can be found in [START_REF] Tao | The divisor bound, sept[END_REF].