Relwendé Sawadogo
email: resawadogo@yahoo.fr

Samuel Guérineau
email: samuel.guerineau@uca.fr

M Idrissa Ouedraogo

M Idrissa Ouedraogo

Investissement direct étranger et assurance dans les pays en développement : au-delà de l'effet de revenu

Keywords: primes d'assurance, investissement direct étranger, revenu par habitant, pays en développement, données de panel Insurance premiums, Foreign direct investment, Income per capita, Developing countries, Panel data G22, F21, O50, O11, C33

et de quelque manière que ce soit, est interdite sauf accord préalable et écrit de l'éditeur, en dehors des cas prévus par la législation en vigueur en France. Il est précisé que son stockage dans une base de données est également interdit.

INTRODUCTION

De nombreuses études macroéconomiques ont démontré l'impact positif des IDE sur la croissance économique, grâce à des effets directs et indirects [START_REF] Alfaro | FDI and Economic Growth: The Role of Local Financial Markets[END_REF][START_REF] Carkovic | Does Foreign Direct Investment Accelerate Economic Growth ?[END_REF][START_REF] Lipsey | Home and Host Country Effects of FDI[END_REF]. L'effet direct découle du financement supplémentaire assuré par les entrées d'investissement dans l'économie d'accueil. Depuis les années 1990, les IDE sont devenus la plus grande source de financement externe d'un grand nombre de pays en développement. Les entrées d'IDE dans les pays en développement ont quadruplé entre 1996 et 2011 (elles sont passées de 150 milliards de dollars américains [USD] à 724 milliards). Au cours de cette période, la part des IDE mondiaux perçus par les pays en développement est passée de 38,3 % à environ 50 % (UNCTAD, 2018). Or, l'impact des IDE sur la croissance s'étend largement au-delà de ces flux financiers, en raison de plusieurs effets de contagion, analysés à l'aide de modèles de croissance endogène [START_REF] Ford | Foreign Direct Investment, Economic Growth, and the Human Capital Threshold: Evidence from US States[END_REF][START_REF] De | Foreign Direct Investment in Developing Countries and Growth: A Selective Survey[END_REF]. Selon l'OCDE (2002), plusieurs voies peuvent être identifiées : i) une augmentation de l'investissement, du revenu et de l'emploi ; ii) une augmentation des recettes fiscales pour les administrations publiques grâce aux impôts perçus auprès des entreprises ; iii) le transfert de technologie et savoir-faire dans les pays bénéficiaires, non seulement dans les filiales, mais également dans toutes les entreprises grâce à l'effet de contagion ; iv) une contribution à long terme à l'intégration de l'économie bénéficiaire dans l'économie mondiale par l'augmentation des importations et des exportations, et v) un renforcement de la concurrence entre les entreprises nationales.

La croissance de la production et du revenu dans les pays en développement a contribué au décollage du secteur des assurances dans ces pays. En effet, en 2011, environ 6,3 % du PIB mondial ont servi à acquérir des produits d'assurance. Ainsi, le volume total de primes d'assurance directe s'élevait à environ 4 500 milliards de dollars américains (USD). 1 La valeur totale des primes d'assurance directe dans les pays émergents et en Afrique a été multipliée par six environ, passant de 129,4 milliards de dollars américains (USD) en 1996 à 687,2 milliards de dollars américains (USD) en 2011. Dans les pays en développement (à l'exception des pays émergents), le marché de l'assurance est dominé par la branche de l'assurance non-vie 2 , qui 1 Sigma, l'assurance dans le monde en 2013, Swiss Re sigma No 3/2014. 2 Selon la définition de la base de données Sigma, l'assurance vie est un produit qui prévoit le versement d'une somme d'argent en cas de décès du souscripteur ou le déblocage du capital en faveur du souscripteur au-delà d'un certain nombre représente l'activité majeure des compagnies d'assurance (Swiss Re sigma). Durant la même période, la valeur des primes d'assurance non-vie directe est passée de 61,6 milliards à 411,9 milliards de dollars américains (USD), soit une multiplication par plus de six en moins de vingt ans (Swiss Re sigma No 3/2014). Ainsi, de nombreux travaux ont démontré que le revenu est le principal déterminant de la pénétration de l'assurance non-vie dans les pays en développement [START_REF] Beck | Economic, Demographic, and Institutional Determinants of Life Insurance Consumption Across Countries[END_REF][START_REF] Browne | An International Analysis of Life Insurance Demand[END_REF][START_REF] Chang | Non-Linearity between Life Insurance and Economic Development: A Revisited Approach[END_REF][START_REF] Enz | The S-Curve Relation between Per-Capita Income and Insurance Penetration[END_REF]Outreville, 1990, etc.). Sans le moindre doute, l'assurance étant un produit de luxe dans les pays en développement [START_REF] Ward | Law, Politics and Life Insurance Consumption in Asia[END_REF], la part de consommation dédiée aux services d'assurance augmente en même temps que le revenu. Ainsi, la hausse du PIB devrait renforcer la pénétration de l'assurance (consommation de produits d'assurance/PIB).

Les entrées d'IDE pourraient aussi avoir un impact sur l'assurance audelà de l'effet de PIB par habitant. En d'autres termes, les IDE pourraient entraîner une hausse de la consommation de services d'assurance pour un niveau donné de PIB par habitant.

Premièrement, une demande spécifique pourrait émaner des multinationales et de leurs salariés, ces sociétés offrant généralement des salaires plus élevés que les entreprises locales. Grâce aux retombées technologiques, aux connaissances et aux compétences organisationnelles, les salariés de multinationales sont plus productifs [START_REF] Aitken | Wages and Foreign Ownership. A Comparative Study of Mexico, Venezuela, and the United States[END_REF]. En outre, il arrive que certaines versent une prime salariale afin de limiter le turnover, de réduire les tensions sur le marché du travail, de recruter les plus productifs susceptibles de préférer travailler pour des entreprises locales pour des raisons culturelles ou linguistiques, et d'entretenir de bonnes relations avec la société civile et l'administration locale, qui constituent leur clientèle locale potentielle [START_REF] Decreuse | FDI and the Labor Share in Developing Countries: A Theory and some Evidence[END_REF][START_REF] Lipsey | Home and Host Country Effects of FDI[END_REF][START_REF] Lipsey | Foreign Direct Investment and Wages in Indonesian Manufacturing[END_REF]. Ainsi, Tintin (2012) a montré que les IDE ont eu un effet positif sur le salaire annuel moyen, le salaire minimum et la part du revenu du travail dans quatorze pays de l'OCDE entre 1990 et 2010. Cela a pu induire une augmentation de la demande de services d'assurance non-vie de la part des salariés d'entreprises étrangères. Cette demande supplémentaire émanant du secteur des entreprises multinationales (encore appelée « effet de la demande multinationale ») peut être importante, dans le domaine des assurances très restreint. d'années, tandis que les assurances non-vie regroupent les autres types de garantie : assurance maladie, voiture, habitation, professionnelle.

Deuxièmement, cette hausse de la demande de services d'assurance peut avoir des retombées pour les travailleurs en dehors de la sphère des multinationales grâce à un effet de connaissances des avantages liés aux services d'assurance.

Troisièmement, l'IDE peut avoir un effet direct sur l'offre, lorsque l'investissement est réalisé dans le secteur des assurances. En effet, au cours de la dernière décennie, des sociétés d'assurance internationales ont racheté plusieurs compagnies locales et ouvert des branches dans des pays en développement. Par exemple, des groupes d'assurance comme AGF, Allianz, Aviva, AXA, ING Group, Lloyd TSB et Royal Bank of Scotland Group possèdent des filiales dans la plupart des pays en développement. De ce fait, la participation des assureurs étrangers devrait permettre de surmonter les obstacles structurels, financiers et techniques, tels que la sous-capitalisation, la faible taille des marchés et le manque d'expérience dans les pays en développement [START_REF] Carson | Does Foreign Direct Investment Affect the Supply of Life Insurance in Developing Countries ?[END_REF].

L'objectif de notre article est d'analyser l'impact des entrées d'IDE sur le développement de l'assurance non-vie dans les économies en développement selon deux angles principaux : i) tester si l'impact des flux d'IDE s'étend audelà de l'effet de revenu, et ii) déterminer l'autre effet potentiel des IDE en Afrique subsaharienne et l'hétérogénéité des effets selon les spécificités structurelles des pays, en particulier la qualité des institutions et le capital humain. Des études antérieures ont montré que l'effet des IDE sur la croissance dépend de la qualité de certaines caractéristiques du pays bénéficiaire [START_REF] Alfaro | FDI and Economic Growth: The Role of Local Financial Markets[END_REF][START_REF] Borensztein | How Does Foreign Direct Investment Affect Economic Growth?[END_REF]. Cet effet conditionnel dans la relation entre les IDE et les assurances mérite ainsi d'être examiné.

La suite de notre étude s'articule de la manière suivante. La section 2 présente les données et la méthodologie employées. La section 3 propose une analyse des principaux résultats, notamment une analyse statistique de nos variables d'intérêt. Pour ce faire, les régressions sont réalisées au moyen de la méthode des variables instrumentales (IV-GMM) avec une correction de l'hétéroscédasticité pour pallier au mieux l'endogénéité de certaines variables de notre échantillon de 76 pays en développement sur la période 1996-2011. Enfin, la section 4 résume les principales conclusions et détermine les implications politiques du développement de l'assurance non-vie.

MÉTHODOLOGIE EMPIRIQUE ET ANALYSE DES DONNÉES

Méthodologie empirique

Conformément à la littérature existante, 3 la stratégie empirique de développement de l'assurance non-vie peut se définir selon le modèle suivant : L'estimation de l'effet des entrées d'investissements étrangers sur la pénétration de l'assurance non-vie [équation (1)] soulève plusieurs problèmes. En premier lieu, le biais d'endogénéité qui pourrait aussi être le plus important. Pour le surmonter, nous utilisons comme variable instrumentale le revenu tiré des ressources naturelles défini en pourcentage du PIB sur une période donnée, cette variable étant fortement corrélée à l'investissement étranger, mais pas à la pénétration de l'assurance non-vie. Pour cela, nous nous sommes appuyés sur les travaux d' [START_REF] Asiedu | Foreign Direct Investment in Africa: The Role of Natural Resources, Market Size, Government Policy, Institutions and Political Instability[END_REF][START_REF] Hailu | Demand Side Factors Affecting the Inflow of Foreign Direct Investment to African Countries: Does Capital Market Matter ?[END_REF] qui ont montré que les pays africains bénéficiant de ressources naturelles attirent davantage d'IDE. Les entrées d'investissements étrangers retardées d'une année sont utilisées comme deuxième instrument. Nous utilisons l'estimateur de la méthode des moments généralisée à deux étapes (IV-GMM), efficace en présence d'hétéroscédasticités, qui génère des coefficients efficaces ainsi que des estimations d'erreur standard convergentes. En effet, selon [START_REF] Baum | Enhanced Routines for Instrumental Variables/Generalized Method of Moments Estimation and Testing[END_REF], les gains d'efficacité de cet estimateur par rapport à l'estimateur IV-2SLS traditionnel découlent de l'optimisation de la matrice de pondération, des restrictions de sur-identification du modèle et du relâchement de l'hypothèse 3 [START_REF] Outreville | The Economic Significance of Insurance Markets in Developing Countries[END_REF][START_REF] Outreville | Life Insurance Markets in Developing Countries[END_REF] et [START_REF] Beck | Economic, Demographic, and Institutional Determinants of Life Insurance Consumption Across Countries[END_REF] estiment qu'il est difficile de séparer l'offre et la demande en matière d'assurances et que la pénétration de l'assurance dépend de l'une comme de l'autre. que les observations sont indépendantes et identiquement distribuées. Dans le cas d'un modèle exactement identifié, l'estimateur IV-GMM et l'estimateur traditionnel IV-2SLS coïncident, et sous les hypothèses conditionnelles d'homoscédasticité et d'indépendance, l'estimateur IV-GMM est plus efficace que l'estimateur IV-2SLS [START_REF] Baum | Enhanced Routines for Instrumental Variables/Generalized Method of Moments Estimation and Testing[END_REF]. Ainsi, pour examiner de manière empirique l'exogénéité de nos instruments, nous rapportons dans les résultats de nos estimations les valeurs de probabilité du test de sur-identification de Hansen et les tests statistiques d'instruments faibles de Cragg-Donald.

(

Données

Pour réaliser cette étude, nous utilisons les données de panel annuelles de 76 pays en développement (voir l'annexe A-1) relatives à la période 1996-2011. Notre variable dépendante qui mesure le développement de l'assurance nonvie est définie comme le ratio du volume total de primes d'assurance nonvie par rapport au PIB. Les données concernant les primes d'assurance nonvie sont issues de la base de données Financial Development and Structure Dataset de la Banque mondiale. La variable explicative est le ratio des entrées d'IDE d'un pays rapportées à son PIB. Elle permet de mesurer le flux d'investissements pour acquérir une participation permanente dans une entreprise présente dans une économie autre que celle de l'investisseur. Les données sur l'investissement étranger proviennent de la base de données de la Conférence des Nations unies sur le commerce et le développement (CNUCED).

Afin de tester l'effet des entrées d'IDE au-delà de l'effet revenu, nous introduisons le PIB par habitant comme première variable de contrôle, que nous complétons ensuite par deux indicateurs de développement financiers : le ratio des actifs liquides sur PIB et le ratio crédits bancaires au secteur privé sur PIB (base de données Financial Development and Structure Dataset). Nous utilisons le taux d'urbanisation, le taux d'intérêt réel, le taux d'inflation, l'ouverture aux échanges commerciaux et l'indice de Gini afin de prendre en compte l'inégalité de revenus. Ces indicateurs sont issus de la base de données de la Banque mondiale.

Enfin, nous ajoutons plusieurs indicateurs de la qualité des institutions susceptibles d'affecter la demande en matière d'assurances. En effet, si les personnes estiment que leurs droits ne sont pas correctement protégés en raison de règles juridiques peu efficaces, leur volonté de conclure un contrat d'assurance peut être affaiblie [START_REF] Beck | Economic, Demographic, and Institutional Determinants of Life Insurance Consumption Across Countries[END_REF]. Plusieurs indicateurs institutionnels comme l'État de droit et la stabilité politique permettent d'évaluer le niveau de confiance : les Indicateurs de gouvernance dans le monde (WGI), le droit de propriété (Heritage Foundation) et la démocratie (Polity IV). Tous les indicateurs s'inscrivent dans une échelle de 0 à 1. Plus leur valeur est élevée, plus la gouvernance est de qualité.

RÉSULTATS

Statistiques descriptives et graphiques

Le tableau 1 présente les éléments de statistique descriptive des principales variables du panel de 76 pays en développement sur la période 1996-2011. Nous observons que la pénétration de l'assurance non-vie est faible par rapport au niveau des entrées d'IDE, des actifs liquides et des crédits bancaires accordés au secteur privé. De plus, il existe une variation importante du ratio des IDE entrants rapportés au PIB, allant de -14,4 % 4 en Azerbaïdjan à 46,5 % au Tchad (moyenne sur 1996-2011). Le ratio primes d'assurance non-vie sur PIB varie également en fonction des pays, allant de 0,124 % pour le Tchad à 11,6 % pour la Bulgarie. Le graphique 1 montre l'évolution de la pénétration de l'assurance nonvie et des entrées d'IDE dans les pays de notre échantillon. Nous observons une évolution dentelée des deux courbes, avec une tendance à la hausse au cours de la période de notre étude. En effet, la pénétration de l'assurance nonvie a connu une hausse importante en 2000, avant de reculer fin 2007. Cette chute des primes d'assurance non-vie s'explique en partie par la crise financière de 2007, qui a entraîné une baisse du revenu et de la consommation. Afrique subsaharienne (28 pays) et autres pays en développement (48 pays)

Tableau 1 : Statistiques descriptives des principales variables

Source : WDI et calculs réalisés par les auteurs. Le tableau 2 présente les résultats de l'estimation de l'impact des entrées d'investissements étrangers sur la pénétration de l'assurance non-vie après contrôle de manière alternative par d'autres déterminants. Nous remarquons que les IDE, indépendamment des spécificités, sont toujours positivement et significativement associés à la pénétration de l'assurance non-vie. En effet, les pays en développement disposant d'un flux important d'IDE tendent à avoir une pénétration d'assurance non-vie plus grande, même en contrôlant l'effet PIB par habitant, le développement du secteur financier et la qualité des institutions. Sur la base des résultats du modèle sans les indicateurs de qualité des institutions (colonne 3), un accroissement de l'écart-type de 1 dans les IDE augmenterait la pénétration de l'assurance non-vie de 6,4 %. Ainsi, les résultats fournissent une preuve empirique de l'effet des IDE sur l'assurance non-vie au-delà de l'effet revenu.

Résultats de l'estimation de référence

Le revenu réel par habitant, le développement financier 6 , l'indice de Gini et l'ouverture aux échanges commerciaux ont un impact positif sur les activités d'assurance non-vie (colonnes 1 et 2), ce qui confirme les résultats de précédentes études [START_REF] Outreville | The Economic Significance of Insurance Markets in Developing Countries[END_REF][START_REF] Outreville | Life Insurance Markets in Developing Countries[END_REF]. Au contraire, l'inflation et le taux d'urbanisation ont un impact négatif sur le développement de l'assurance, tandis que le taux d'intérêt réel n'a pas d'effet significatif sur la pénétration de l'assurance non-vie.

Par ailleurs, en tenant compte des indicateurs de qualité de la gouvernance, seul l'indice de stabilité politique (colonne 7) a une incidence positive importante sur la pénétration de l'assurance non-vie dans les pays de notre échantillon. Nous ne pouvons pas mettre en évidence d'impact significatif de la corruption, de l'efficacité des pouvoirs publics, de la qualité de la réglementation, de l'État de droit, de la voix citoyenne et de la responsabilité sur le ratio primes d'assurance non-vie rapportées au PIB. L'effet positif de la stabilité politique montre que le secteur des assurances, comme tout autre secteur financier, nécessite un environnement politique stable afin de se développer.

6 Nous remarquons que les résultats sont également similaires en ce qui concerne les crédits bancaires au secteur privé. Tableau 2 : (suite)

Toutefois, afin d'isoler l'effet des IDE dans le secteur pétrolier, nous avons réestimé notre régression en excluant les pays dont le revenu issu des ressources naturelles est supérieur à 10 % du PIB. Les résultats sont présentés en annexe (tableau A-3). Ainsi, nous observons que les résultats de toutes les régressions demeurent conformes à ceux exprimés ci-dessus, ce qui confirme que l'impact des IDE sur la pénétration de l'assurance non-vie ne s'explique pas essentiellement par les IDE dans le secteur pétrolier.

Tests de robustesse

Afin de vérifier la stabilité de nos résultats, nous entreprenons plusieurs tests de robustesse. Pour cela, nous utilisons premièrement une méthode d'estimation alternative (GMM en système) qui prend en compte également le problème d'endogénéité. Deuxièmement, nous augmentons le nombre de variables de contrôle. La dernière analyse de cette sous-section consiste à comparer le groupe de pays les plus pauvres (Afrique subsaharienne) aux autres pays en développement et à examiner l'hétérogénéité de l'impact des IDE dans ces pays.

i) Méthode d'estimation alternative : utilisation de l'estimateur GMM en système

Nous examinons la robustesse de nos résultats en réalisant une réestimation de l'équation au moyen de l'estimateur GMM en système qui prend en compte également la question de l'endogénéité. Par ailleurs, [START_REF] Blundell | Initial Conditions and Moment Restrictions in Dynamic Panel Data Models[END_REF] ont montré, à l'aide de la méthode de simulation de Monte-Carlo, que l'estimateur GMM en système est efficace sur des échantillons de taille relativement petite, à l'image de notre échantillon de pays. 7 Nous utilisons donc l'estimateur GMM en système en deux étapes en utilisant la correction de Windmeijer (2005), afin de tester la robustesse de nos résultats obtenus grâce à l'estimateur de variable instrumentale de Baum et al. (2007).

Les résultats d'estimation obtenus à l'aide de la méthode alternative sont présentés dans le tableau 3. Dans toutes les régressions, les tests de diagnostic associés à l'estimateur GMM en système sont concluants, les tests 7 Les équations en niveau et les équations en différences premières sont combinées dans un système et déterminées selon un estimateur fondé sur la « méthode des moments généralisée » en système (GMM en système) qui permet d'utiliser des valeurs retardées des variables explicatives [START_REF] Blundell | Initial Conditions and Moment Restrictions in Dynamic Panel Data Models[END_REF]. En outre, l'inflation a un impact positif et significatif sur la pénétration de l'assurance non-vie (colonnes 4 à 9) lorsque l'effet de la qualité des institutions est contrôlé. L'effet positif de l'inflation pourrait s'expliquer par le fait que les bulles inflationnistes dynamisent l'activité économique assurable, en particulier dans le secteur de l'immobilier [START_REF] Feyen | What Drives the Development of the Insurance Sector? An Empirical Analysis Based on a Panel of Developed and Developing Countries[END_REF].

ii) Tests de variables de contrôle supplémentaires dans la formulation de référence

Nous ajoutons des variables de contrôle à notre formulation de référence afin de prendre en compte les autres variables susceptibles d'affecter le ratio primes d'assurance sur PIB. Ces variables de contrôle supplémentaires sont le taux d'emploi défini en pourcentage de la population totale, l'indice d'ouverture financière (Kaopen) de Chinn et Ito (2008) visant à mesurer l'intégration des marchés financiers, le taux de croissance de la population totale, la densité démographique et le logarithme du nombre de véhicules privés pour 1000 habitants (CARS).

Les tests de diagnostic sont valides dans toutes les régressions, car les résultats du test de sur-identification de Hansen et du test d'instruments faibles de Cragg-Donald sont concluants. Nous observons que, d'un point de vue qualitatif, les principaux résultats restent stables, comme dans notre modèle de base (tableau 4). Les entrées d'IDE restent un déterminant robuste de la pénétration de l'assurance non-vie dans les pays en développement. Ce constat confirme la robustesse de nos résultats ci-dessus. Par ailleurs, l'impact de la stabilité politique sur la pénétration de l'assurance non-vie est également significatif (colonne 4). Le caractère démocratique des institutions améliore également l'activité du secteur des assurances non-vie (colonne 7). Toutefois, contrairement aux résultats de Feyen et al. (2011), la croissance de la population stimule les primes d'assurance non-vie dans les pays en développement. La littérature montre que les effets des IDE sur la croissance des pays en développement dépendent de la situation intérieure du pays d'accueil (économique, politique, sociale, culturelle ou autre). À cet égard, Borensztein, Gregorio et [START_REF] Borensztein | How Does Foreign Direct Investment Affect Economic Growth?[END_REF] ont montré que le stock de capital humain est essentiel pour déterminer l'ampleur des effets des IDE sur la croissance économique. Par ailleurs, [START_REF] Asiedu | On the Determinants of Foreign Direct Investment to Developing Countries: Is Africa Different?[END_REF][START_REF] Asiedu | Foreign Direct Investment in Africa: The Role of Natural Resources, Market Size, Government Policy, Institutions and Political Instability[END_REF] ajoute que la qualité des infrastructures et l'environnement politique sont des facteurs déterminants des IDE dans les pays en développement. Ces effets conditionnels des IDE sur l'assurance nonvie sont testés au moyen de la variable instrumentale (IV-GMM) développée par [START_REF] Baum | Enhanced Routines for Instrumental Variables/Generalized Method of Moments Estimation and Testing[END_REF]. Les résultats sont présentés dans le tableau 5. Nous observons que l'impact positif des IDE sur l'assurance non-vie est amplifié (coefficient positif sur l'interaction) dans les pays ayant un niveau élevé de protection du droit de propriété (colonne 3) et de démocratie (colonne 4), tandis que cet effet marginal n'est pas conditionnel au niveau de capital humain et d'infrastructures (colonnes 1 et 2). Ainsi, les résultats des colonnes 3 et 4 indiquent que plus de démocratie et de respect du droit de 8 La note en matière de droit de propriété est comprise entre 0 (la propriété privée n'existe pas et tous les biens immobiliers appartiennent à l'État) et 100 (l'État garantit le droit à la propriété privée). 9 La note de Polity2 est comprise entre -10 (régime autocratique) et 10 (régime démocratique). Nous obtenons la variable Polity2 à partir de la base de données du projet Polity IV et la note en matière de droit de propriété à partir de la base de données de la Economic Freedom Heritage Foundation (2014).

propriété peuvent améliorer l'impact marginal des flux d'IDE sur le développement de l'assurance non-vie dans les pays en développement. Enfin, le coefficient d'interaction entre les IDE et la variable muette Afrique subsaharienne est significativement négatif (colonne 5). Les résultats indiquent que, même si les IDE favorisent le développement de l'assurance non-vie dans les pays d'Afrique subsaharienne comme ailleurs, le gain marginal d'une amélioration des IDE est d'une certaine manière moindre pour les pays d'Afrique subsaharienne. Plus précisément, une augmentation de 1%, par exemple, des IDE entraîne une augmentation de 0,0195 % de la pénétration de l'assurance non-vie dans les pays hors Afrique subsaharienne, contre une augmentation de 0,0040 % (0,01951-0,01543) pour un pays comparable d'Afrique subsaharienne. Le coefficient interactif estimé négatif et significatif de la variable muette Afrique subsaharienne suggère l'existence d'un effet régional négatif pour les pays d'Afrique subsaharienne. Ce phénomène peut s'expliquer par la perception négative de l'Afrique exprimée par les agences de notation des risques. En outre, il existe un manque d'informations concernant les pays du continent ; les décisions en matière d'investissement ne sont souvent pas guidées par les conditions particulières de chaque pays, mais en fonction de conclusions tirées de l'environnement des pays voisins [START_REF] Asiedu | On the Determinants of Foreign Direct Investment to Developing Countries: Is Africa Different?[END_REF]. Enfin, ce résultat peut, dans une certaine mesure, s'expliquer par le manque de démocratie et de respect du droit de propriété dans les pays d'Afrique subsaharienne.

CONCLUSION ET IMPLICATIONS POLITIQUES

Notre article a permis d'analyser l'impact des entrées d'investissements directs étrangers sur la pénétration de l'assurance non-vie dans 76 pays en développement au cours de la période qui s'étend de 1996 à 2011. Nous avons utilisé une méthode d'estimation économétrique pour prendre en compte l'endogénéité potentielle afin d'analyser l'effet des entrées d'investissements étrangers. Les principaux résultats montrent qu'une augmentation des IDE entraîne une augmentation des primes d'assurance non-vie en plus de l'effet revenu. Les résultats sont robustes à l'utilisation d'une méthode d'estimation alternative et à l'ajout de variables de contrôle supplémentaires. De plus, l'effet marginal des IDE sur l'assurance non-vie est plus important dans les pays les plus démocratiques et respectueux du droit de propriété. Enfin, l'effet des IDE sur la pénétration de l'assurance non-vie est faible dans les pays d'Afrique subsaharienne, contrairement aux autres pays.

Nos conclusions concernant l'effet hétérogène des entrées d'IDE sur la pénétration d'assurance non-vie mettent en évidence le rôle de la démocratie et du droit de propriété dans la formulation de la réponse à apporter pour développer l'implantation de l'assurance dans les pays en développement. Ainsi, notre étude semble laisser à penser que, pour que le secteur des assurances dans les pays en développement bénéficie de l'impact des IDE, les autorités locales doivent travailler à plus de démocratie et au respect du droit de propriété des investisseurs privés. Des améliorations dans ces domaines sont donc d'une importance particulière dès lors que ces institutions sont faibles au départ, comme en Afrique subsaharienne. En prolongement de cet article, il pourrait être intéressant d'examiner les voies de cet effet positif des IDE, en séparant les effets de l'offre et de la demande, notamment l'impact des entrées d'IDE sur le secteur de l'assurance. Capital humain Indice de développement de capital humain par personne, fondé sur les années de scolarité [START_REF] Barro | A New Data Set of Educational Attainment in the World, 1950-2010[END_REF] et le retour sur éducation [START_REF] Psacharopoulos | Returns to Investment in Education: A Global Update[END_REF].

Tableau A2 : Sources et définitions des variables

Penn World

  En ce qui concerne les entrées d'investissements étrangers, nous observons une forte croissance constante à partir de 2005, atteignant un pic en 2007 avant d'entamer une baisse brutale jusqu'en 2010. Cette dynamique des IDE est également liée à la crise financière de 2007, qui a provoqué une baisse du chiffre d'affaires des multinationales. Nous observons une reprise après 2010. Enfin, les pays d'Afrique subsaharienne et les autres pays en développement affichent des tendances similaires à celles de l'ensemble de l'échantillon. Graphique 1 : Pénétration de l'assurance non-vie et flux d'investissements directs étrangers (IDE) entrants dans 76 pays en développement, 1996-2011 Tous les pays (76 pays) Primes d'assurance non-vie (% PIB) Primes d'assurance non-vie (% PIB) Flux d'IDE entrants (% PIB) Flux d'IDE entrants (% PIB)

  assurance non-vie (% PIB) Flux d'IDE entrants (% PIB) Assurance non-vie_ASS IDE_ASS Assurance non-vie_autres pays en développement IDE_autres pays en développement yearprobabilités ne permettent pas de rejeter l'hypothèse de l'exogénéité des instruments. En outre, la comparaison des valeurs critiques de Cragg-Donald calculées par[START_REF] Stock | Testing for Weak Instruments in Linear IV Regression[END_REF] montre que les statistiques de Cragg-Donald sont plus élevées que celles de Stock et Yogo de 10%, confirmant l'absence de problèmes liés à la faiblesse des instruments. Cela écarte tout problème d'instrumentation, comme indiqué par[START_REF] Baum | Enhanced Routines for Instrumental Variables/Generalized Method of Moments Estimation and Testing[END_REF].

Tableau 2 :

 2 Impact des IDE sur la pénétration de l'assurance non-vie entre 1996 et 2011Primes d'assurance non-vie (% PIB)

Tableau 3 :

 3 Méthode d'estimation alternative : GMM en systèmePrimes d'assurance non-vie (% PIB)

Tableau 5 :

 5 Tests sur les effets conditionnels des entrées d'IDE

  Coefficient permettant de mesurer le niveau d'inégalité de la répartition du revenu ou des dépenses de consommation des ménages. L'indice de Gini varie de 0 à 1, où 0 signifie l'égalité parfaite et 1 une inégalité parfaite Emploi Part de la population active en % de la population totale Croissance démographique Croissance de la population (en % annuel) Densité démographique Densité de la population (nombre d'habitants au mètre carré) CARS Nombre de véhicules privés pour 1000 habitants Ouverture aux échanges commerciaux Somme des importations et des exportations rapportée au PIB (%) Développement des infrastructures Utilisateurs Internet pour 100 personnes État de droit Indicateur permettant de mesurer la confiance dans les règles de la société manifestée par les agents, et leur respect de ces règles, notamment la qualité de l'exécution des contrats, de la police et des tribunaux, ainsi que la probabilité de criminalité et de violence Qualité de la réglementation Indicateur permettant de mesurer la capacité d'un gouvernement à formuler et à mettre en oeuvre des politiques et des réglementations favorables au développement du secteur privé Kaufmann et al. (2010) Efficacité des pouvoirs publics Indicateur permettant de mesurer la compétence administrative et la qualité du service public Corruption Indicateur permettant de mesurer l'abus de pouvoir public à des fins privées sous diverses formes (petite et grande corruption), ainsi que l'utilisation de l'État par des élites pour leurs intérêts privés Stabilité politique Indicateur permettant de mesurer la perception de la probabilité du gouvernement à être déstabilisé ou renversé par des moyens anticonstitutionnels ou violents, comme la violence politique ou le terrorisme Voix citoyenne et responsabilité Indicateur permettant de mesurer le niveau de participation citoyenne aux élections, ainsi que la liberté d'expression, la liberté d'association et la liberté de la presse Kaopen Indice de libéralisation financière qui permet de mesurer le degré d'ouverture du compte de capital dans un pays Base de données Chinn et Ito (2008)

  Cette validité se confirme par le résultat du test de sur-identification de Hansen, qui s'avère robuste en termes d'hétéroscédasticité et dont la probabilité ne permet pas de rejeter l'hypothèse de l'exogénéité des instruments. Ainsi, les tests de Hansen et de Cragg-Donald indiquent une faible corrélation entre les instruments et le terme d'erreur. Le test de sur-identification de Hansen (robuste en présence d'hétéroscédasticité) est validé dans toutes les régressions, car les

Les résultats des estimations sur la période 1996-2011 5 sont présentés dans le tableau 2, avec pour variable dépendante la pénétration de l'assurance nonvie. Dans tous les modèles, les tests de diagnostic associés à l'estimateur de variables instrumentales sont concluants. Les tests de Hansen et de Cragg-Donald indiquent une faible corrélation entre les instruments et le terme d'erreur, ce qui écarte tout problème d'instrumentation, comme indiqué par

[START_REF] Baum | Enhanced Routines for Instrumental Variables/Generalized Method of Moments Estimation and Testing[END_REF]

. En effet, les résultats de l'estimation de la première étape de toutes les régressions démontrent la validité de nos instruments. 5 Nous ne testons pas la stationnarité des variables, car la dimension temporelle est faible (16 années) et, conformément à

[START_REF] Hurlin | Une synthèse des tests de cointégration sur données de panel[END_REF]

, pour que la problématique de stationnarité présente un intérêt, la dimension temporelle de l'échantillon doit être supérieure à 20 ans.

  'autocorrélation de second ordre des résidus de modèle en différences premières et les tests de sur-identification de Hansen ayant permis de valider la procédure d'estimation. Les résultats de toutes les régressions montrent que l'effet des entrées d'investissements étrangers sur la pénétration de l'assurance non-vie est significatif et positif, comme dans nos résultats antérieurs.

		668	64	0,013	0,417	0,179	37
		668 En outre, la pénétration de l'assurance non-vie retardée d'une année a une 64 0,013 0,835 53 0,235
		incidence significative sur l'assurance non-vie. Toutefois, nous observons que
	Tableau 3 : (suite)	Test de Hansen oiD : prob. 0,065 0,164 0,647 0,594 0,585 0,721 0,623 la stabilité politique n'a pas d'effet significatif sur le développement du sec-Nombre d'instruments 1078 76 0,003 0,260 46 838 64 0,009 0,337 51 699 63 0,003 0,267 52 668 64 0,011 0,242 49 668 64 0,019 0,276 49 668 64 0,023 0,214 34 668 64 0,031 0,362 35 Note : les écarts-types robustes sont présentés entre parenthèses ; *** p<0,01, ** p<0,05, * p<0,1. teur des assurances.

d

  Investissement direct étranger et assurance dans les pays en développement Cette sous-section porte sur l'identification d'hétérogénéités potentielles dans la relation entre les entrées d'IDE et la pénétration de l'assurance non-vie. Premièrement, nous mettons en relation les coefficients d'IDE avec d'autres variables susceptibles d'influencer l'attractivité des IDE dans l'économie locale. Deuxièmement, nous déterminons si un effet « Afrique subsaharienne » pourrait modifier l'impact marginal des IDE sur le développement de l'assurance non-vie. Ces variables sont : l'indice de capital humain, le développement des infrastructures mesuré en fonction du nombre d'utilisateurs d'Internet pour 100 personnes, le droit de propriété 8 , qui permet d'évaluer la capacité des personnes à accumuler des biens immobiliers privés, le degré de démocratie selon les indicateurs de Polity2 9 et la variable muette Afrique subsaharienne. Les données relatives au développement des infrastructures sont issues de la base de données de la Banque mondiale et de la Penn World Table version 8.0 pour ce qui est de l'indice de capital humain.

		3.4 Existe-t-il une relation non linéaire entre les IDE
		0,480* et l'assurance non-vie ? (0,249)	Oui	655	0,121	63	0,7164	203,654	19,93
						0,120	(0,196)		Oui	655	0,115	63	0,7083	200,639	19,93
	Tableau 4 : (suite)	Contrôle de corruption 0,136 (0,224)	Efficacité du gouvernement 0,508 (0,353)	Stabilité politique 0,499*** (0,149)	Qualité réglementaire 0,354 (0,228)	État de droit	Voix citoyenne et responsabilité	Muettes temporelles Oui Oui Oui Oui Oui	Observations 439 655 655 655 655	R 2 centré 0,149 0,115 0,119 0,125 0,115	Nombre de pays 51 63 63 63 63	Test de Hansen J-oiD (p-value) 0,7444 0,6552 0,8074 0,6110 0,6437	Sat. de Cragg-Donald 106,980 201,940 200,478 195,108	Valeur critique de Stock et Yogo (10%) 19,93 19,93 19,93 19,93 19,93	Note : les écarts-types robustes sont présentés entre parenthèses ; *** p<0,01, ** p<0,05, * p<0,1.

Table ,

 , Note : les écarts-types robustes sont présentés entre parenthèses ; *** p<0,01, ** p<0,05, * p<0,1.

				0,0672	(0,225)	0,230	(0,342)						Non version 8.0 Non	178 178	0,334 0,337	24 24	0,8434 0,893		20,446 20,378		19,93 19,93
		0,618**	(0,293)												Non		178	0,348	24	0,6205		20,341		19,93
									Estimation de première étape						Non Non Non		178 178 178	0,347 0,336 0,349	24 24 24	0,6624 0,8927 0,8010		20,123 20,189 19,970		19,93 19,93 19,93
															Non		160	0,252	22	0,5673		20,195		19,93
															Non		209	0,245	24	0,5867		20,165		19,93
															Non		275	0,113	30	0,7990		28,403		19,93
	Tableau A2 : (suite) Tableau A3 : (suite)	Qualité	réglementaire	État de droit	Voix	citoyenne et	responsabilité	Revenu des	ressources	naturelles	retardé d'une	période	Muettes Non	temporelles	Observations 275	R 2 0,052	Nombre de pays 30	Test de Hansen 0,4804	J-oiD (p-value)	Stat. de Cragg-25,702	Donald	Valeur critique 19,93	de Stock et	Yogo (10%)

© De Boeck Supérieur | Téléchargé le 22/04/2023 sur www.cairn.info (IP: 82.65.91.248) © De Boeck Supérieur | Téléchargé le 22/04/2023 sur www.cairn.info (IP: 82.65.91.248)

IDE entrants (% PIB) 0,0090** (0,0039) 0,00833** (0,00330) 0,0061** (0,0025) 0,0050* (0,0025) 0,0065** (0,0030) 0,0060** (0,0025) 0,0043** (0,0021) 0,0048* (0,00244) 0,0050* (0,0027) Log (PIB par tête) 0,0608** (0,0094) 0,191*** (0,0299) 0,0241** (0,0016) 0,084*** (0,0024) 0,195*** (0,0279) 0,285*** (0,0028) 0,0269*** (0,0056) 0,151*** (0,0131) Primes d'assurance non-vie (% PIB) (t-1) 0,7616** (0,1065) 0,665*** (0,081) 0,8345*** (0,0891) 0,7049*** (0,1088) 0,5123*** (0,1238) 0,4858*** (0,1749) 0,5354*** (0,1697) 0,905*** (0,0357) 0,8636*** (0,0526) Taux d'intérêt réel 0,0012 (0,0013) -0,0016 (0,0026) 0,0161*** (0,0039) 0,0130*** (0,0047) 0,0154** (0,0070) 0,0144** (0,00563) 0,0027** (0,0013) 0,0114*** (0,0032) Taux d'ouverture commerciale 0,0017 (0,0013) 0,00117 (0,0017) 0,0024* (0,0014) 0,0012 (0,0030) 0,0017 (0,0034) 0,00213 (0,00199) 0,0006 (0,0008) 0,0007 (0,0005) Taux d'urbanisation 0,0074 (0,0090) 0,0160* (0,0082) 0,0096 (0,0119) 0,0250 (0,0194) 0,0349 (0,0226) 0,0402* (0,0221) 0,0013 (0,0021) -0,0058 (0,0048) Indice de Gini 0,0015 (0,0062) Contrôle de corruption -0,0358 (0,225) Efficacité du gouvernement -0,600 (0,629) Stabilité politique -0,411 (0,643) Qualité réglementaire -0,0945 (0,743) État de droit -0,0842 (0,0797) IDE entrants (% PIB) 0,0123** (0,0048) 0,0138*** (0,0044) 0,0152*** (0,0046) 0,0122*** (0,0042) 0,0153*** (0,00471) 0,0142*** (0,0044) 0,0141*** (0,0043) Log (PIB par tête) Actifs liquides (% PIB) 0,241* (0,143) 0,0050*** (0,0018) 0,447*** (0,161) 0,0053*** (0,0016) 0,521*** (0,172) 0,0056*** (0,0016) 0,483*** (0,162) 0,0056*** (0,0016) 0,540*** (0,168) 0,0053*** (0,0017) 0,468*** (0,157) 0,0055*** (0,0016) 0,452*** (0,166) 0,0058*** (0,0016) Inflation -0,0010 (0,0014) 0,0002 (0,0008) 0,0001 (0,0008) -0,0003 (0,0008 -3,96 e -05 (0,0008) 0,0001 (0,0008) -0,0001 (0,0008) Taux d'intérêt réel -0,00427 (0,0029) -0,0006 (0,0024) -0,0009 (0,0025) -0,0013 (0,0025) -0,0008 (0,0025) -0,0008 (0,0025) -0,0016 (0,0026) Taux d'ouverture commerciale 0,0017 (0,0018) 0,0014 (0,0013) 0,0013 (0,0013) 0,0017 (0,0013) 0,0014 (0,0014) 0,0015 (0,0013) 0,0016 (0,0014) Taux d'urbanisation 0,0080 (0,0081) -0,0032 (0,0123) -0,0024 (0,0122) -0,0046 (0,012) -0,0035 (0,0122) -0,0030 (0,0123) -0,0037 (0,0122) Taux d'emploi -0,0028 (0,0053) 0,0068 (0,0066) 0,0085 (0,0067) 0,0076 (0,0064) 0,0070 (0,0065) 0,0075 (0,0065) 0,0081 (0,0066) Kaopen -0,0243 (0,0254) -0,0266 (0,0251) -0,0233 (0,0248) -0,0232 (0,0244) -0,0242 (0,0250) -0,0245 (0,0253) Taux de croissance de la population 0,110** (0,0457) 0,0657* (0,0361) 0,0669* (0,0353) 0,0626* (0,0360) 0,0603* (0,0348) 0,0644* (0,0354) 0,0719** (0,0351) Densité de la population -0,0006 (0,0013) 0,00462 (0,0056) 0,0053 (0,0057) 0,00419 (0,0055) 0,0046 (0,0055) 0,0048 (0,0055) 0,0050 (0,0056) Log (Cars) 0,0006 (0,0008)


Arthur Vervaet
email: arthur.vervaet@outscale.com

Mar Callau-Zori

MoniLog: An Automated Log-Based Anomaly Detection System for Cloud Computing Infrastructures

Keywords: Anomaly Detection, Log Analysis, Log Instability, Log Parsing

Within today's large-scale systems, one anomaly can impact millions of users. Detecting such events in real-time is essential to maintain the quality of services. It allows the monitoring team to prevent or diminish the impact of a failure. Logs are a core part of software development and maintenance, by recording detailed information at runtime. Such log data are universally available in nearly all computer systems. They enable developers as well as system maintainers to monitor and dissect anomalous events. For Cloud computing companies and large online platforms in general, growth is linked to the scaling potential. Automatizing the anomaly detection process is a promising way to ensure the scalability of monitoring capacities regarding the increasing volume of logs generated by modern systems. In this paper, we will introduce MoniLog, a distributed approach to detect real-time anomalies within large-scale environments. It aims to detect sequential and quantitative anomalies within a multi-source log stream. MoniLog is designed to structure a log stream and perform the monitoring of anomalous sequences. Its output classifier learns from the administrator's actions to label and evaluate the criticality level of anomalies.

I. INTRODUCTION

Cloud computing platforms give access to on-demand IT resources. This outsourcing makes Cloud providers responsible for the high availability and quality of their client services. Within such large-scale online systems, one incident can impact millions of users [START_REF] Liang | Robust unsupervised anomaly detection via multi-time scale dcgans with forgetting mechanism for industrial multivariate time series[END_REF]- [START_REF] Wang | Practical and white-box anomaly detection through unsupervised and active learning[END_REF]. Anomaly detection is a critical step towards building secure and trustworthy platforms. Timely and accurate detection of anomalous sequences enables operational teams to mitigate their losses [START_REF] Zhang | Prefix: Switch failure prediction in datacenter networks[END_REF].

Recording runtime information is a common practice within software systems [START_REF] Li | Generic and robust localization of multi-dimensional root causes[END_REF]. The produced logs describe a vast range of events as well as variations in the system states. Because of its simplicity and effectiveness, logging has been commonly adopted in practice [START_REF] Zhu | Learning to log: Helping developers make informed logging decisions[END_REF]. Logs are therefore one of the most valuable data sources for anomaly detection [START_REF] Satpathi | Learning latent events from network message logs[END_REF]- [START_REF] Zhang | Robust log-based anomaly detection on unstable log data[END_REF].

Maintainers and developers use logs to understand the status of a system, identify the origin of breakdowns [START_REF] Zhu | Tools and benchmarks for automated log parsing[END_REF]- [START_REF] Kobayashi | Mining causes of network events in log data with causal inference[END_REF], dissect performance issues [START_REF] Jha | Live forensics for hpc systems: a case study on distributed storage systems[END_REF], [START_REF] Lu | Cloudraid: Detecting distributed concurrency bugs via log-mining and enhancement[END_REF], and prevent security attacks [START_REF] Moh | Detecting web attacks using multi-stage log analysis[END_REF]. Large-scale service and its underlying systems development generally involves hundreds of human actors divided into different teams and sometimes different structures. Developers/operators usually have incomplete information regarding the overall system and tend to determine anomalous logs from a local perspective, which is error-prone. Besides, manually detecting anomalous log sequences is not efficient nor scalable because of the continuous increase in volume of logs generated by modern systems.

The use of keyword matching and regular expression helps to detect simple and well-known anomalous events. Still, it is unable to identify a large portion of the anomalies, as many of them are sequences of "non-anomalous" logs leading to an undesired outcome. Automated log-based anomaly detection is an active research field. Different approaches have emerged, driven by the need for robust and real-time solutions [START_REF] Zhang | Robust log-based anomaly detection on unstable log data[END_REF], [START_REF] Xu | Largescale system problem detection by mining console logs[END_REF]- [START_REF] Du | Deeplog: Anomaly detection and diagnosis from system logs through deep learning[END_REF].

Logs are semi-structured strings with a message field for free text. This format is convenient for human inspection, but not for automated analysis. Existing log anomaly detection approaches enlighten the importance of structuring logs messages [START_REF] Zhu | Tools and benchmarks for automated log parsing[END_REF].

3DS OUTSCALE [START_REF] Outscale | 3DS OUTSCALE[END_REF] is a French provider offering multisovereign Cloud services. Logs are widely used within the company to monitor the different systems forming its Cloud computing platform. Outside of monitoring, logs are also used to identify undesired outcomes such as virtual machine crashes or malicious security events. In the case of this thesis, doing research on the detection of anomalies will improve operations and strengthen the high availability and security advocated by the company.

Within our Cloud computing platform, logging presents the following characteristics:

1) Development teams use continuous integration [START_REF] Fowler | Continuous integration[END_REF] methods as a delivery model. It is a commonly used practice in software development and a great way to launch new features quickly. But it also means that the code base and log statements evolve at a fast pace, which eventually induce instability within the log stream. [START_REF] Kabinna | Examining the stability of logging statements[END_REF].

2) The spatial distance between log sources and the different storage systems is variable. This configuration induces noise, as logs can arrive in mixed order or sometimes be duplicated. Regarding anomalies, some of them require a multi-source scope to be detected. For instance, certain patterns within storage logs are anomalous only if certain actions are logged by network logs at the same time. This also highlights the importance of building robust, automated anomaly detection systems [START_REF] Zhang | Robust log-based anomaly detection on unstable log data[END_REF].

Our Ph.D. motivation is to bring forward MoniLog, an autonomous system for anomaly detection within logs, adapted to Cloud computing constraints and large-scale online platforms in general. It is a robust and scalable way of parsing and analyzing logs, but also to classify the identified anomalies.

We based our design on a three-step approach presented in Section II. Sections III, IV, and V are respectively dedicated to each step of our approach. Those sections present the state of the art and our planned contributions for our Ph.D.

Our work is highly motivated by the Cloud computing field limitations and needs, but those concerns exist in almost every large-scale, complex, online system. Therefore, MoniLog does not aim to be limited to Cloud, but to be a robust solution for anomaly handling within constraint environments. Section VI sums up this article and expands the reflection on MoniLog applications. Due to this amalgamated nature, it is linked to multiple log sources. At 3DS OUTSCALE, for instance, one system is connected to 24 different log sources and generates millions of log lines each second. To represent this, we modeled MoniLog input as a log stream fueled by various log sources.

II. MONILOG DESIGN

It is important for MoniLog components to be distributable in order to ensure scalability, which is, for most of the online services companies, the core factor for growth.

The aimed output for MoniLog is a stream of classified anomalies with an assigned criticality. To achieve this, we have designed a three-step system (Figure 1):

1) A parsing component to extract logs' underlying pieces of information and obtain a structured log-stream. 2) A component to detect anomalies within a structured log stream. This part generates anomaly reports, composed of all the logs linked to the identified anomalous sequence.

3) A classifier in charge of assigning anomalies a type and a level of criticality. Anomalies types and criticality levels are defined by the monitoring teams. This module is passively trained by observing the administrator's actions (Section V). Programs are usually executed according to a fixed flow, and logs are produced according to those sequences. Log-related anomalous events can be broadly divided into two categories:

III. LOG-BASED ANOMALY DETECTION

1) Sequential anomalies occur when a log sequence deviates from the normal flow (e.g., Table I:

L 1 → L 4 → L 2 ).
2) Quantitative anomalies are logs following the normal flow but with unusual values leading to an undesired outcome (e.g., L 3 ). Existing solutions for anomaly detection within logs can be classified into two categories: log message counter-based approaches (e.g., PCA [START_REF] Xu | Largescale system problem detection by mining console logs[END_REF], Invariant Mining(IM) [START_REF] Lou | Mining invariants from console logs for system problem detection[END_REF], Log-Clustering [START_REF] Lin | Log clustering based problem identification for online service systems[END_REF]) and deep learning-based approaches (e.g., DeepLog [START_REF] Du | Deeplog: Anomaly detection and diagnosis from system logs through deep learning[END_REF], LogRobust [START_REF] Zhang | Robust log-based anomaly detection on unstable log data[END_REF], LogAnomaly [START_REF] Meng | Loganomaly: Unsupervised detection of sequential and quantitative anomalies in unstructured logs[END_REF]). To compare them, we considered the following metrics:

• Precision: the percentage of log sequences correctly identified as anomalies within all the log sequences identified as anomalous by the model: Precision = T P T P +F P

• Recall: the percentage of log sequences correctly identified as anomalies within all anomalous log sequences: [START_REF] Schmidhuber | Long short-term memory[END_REF], [START_REF] Huang | Bidirectional lstm-crf models for sequence tagging[END_REF], a variant of the Recurrent Neural Network (RNN) model. LSTMs networks use a loop to forward the output of the last states to the current input. Their structure is efficient to learn sequential patterns within the normal execution flow.

Recall = T P T P +F N • F1-score = 2 *
DeepLog uses a second LSTM to detect quantitative anomalies. It uses the knowledge of seen value to define if a new one is in the expected range. LSTMs networks take a fixedlength vector as input. In DeepLog cases, this vector length represents the number of log patterns identified by log parsers on the training dataset. It works if one makes the closedworld assumption that log statements remain the same. It is not the case in our considered environments, where continuous integration may add, delete, or modify a log statement at any time.

To deal with log template instability, LogRobust uses a log count vector to feed the neural network. It is produced through a step called semantic vectorization [START_REF] Zhang | Robust log-based anomaly detection on unstable log data[END_REF], in which semantic relationships between tokens are used to create fixed-length vectors. This method is used to vectorize a new template without changing the vector length.

To test their approach, LogRobust authors used different altered versions of an HDFS dataset. Each version contains a proportion from 0 to 20% of unstable log events. Diverse types of events are crafted to represent real-world instabilities:

• Badly parsed logline, to simulate log parsing errors.

• Logline generated by twisting existing log statements to simulate a code modification. • Duplicated or shuffled log to represent the noise and delay that can occur in a production environment. LogRobust is trained using a training set composed at 50% by anomalous loglines. Creating a real-life dataset containing a lot of anomalies is complicated due to their rare nature, just as crafting or injecting anomalies into a training set is errorprone. There is a risk that the structure learns how to recognize anomalous sequences instead of the normal flow, thus leading to degraded real-life performances of the system.

LogAnomaly explores another option for facing log template instability. The authors intuition is that the majority of the new templates are just a minor variant of an existing one. To feed its LSTM structure, their system computes the similarity between a new template and the existing ones to find the best match.

Regarding the presented state of the art and to design our detection component, we planned to conduct the following experiments:

• To our knowledge, no deep comparative studies of LogAnomaly and LogRobust exist. We are interested in studying their precision if trained using an anomaly-free dataset.

• All the presented anomaly detection approaches use structured logs as input, and log parsing is not an error-free step (Section IV). We want to evaluate the robustness of LSTM approaches regarding the potential errors due to the parsing step. • LSTMs are good at learning sequences, but in a multisource environment, execution flows from each source are mixed. We want to compare LSTM with PCA, IM, and LogClustering approaches using a dataset extracted from such environment.

IV. LOG PARSING

A log can be divided into two parts:

• A HEADER, composed of different fields such as timestamp, criticality level, source, etc.

Fig. 2. Log parsing step

• A MESSAGE, which is a text field without format constraint. Additional information can be added to this field by concatenating XML or JSON-formatted data with the free text. The anomaly detection models previously presented used structured log data. The HEADER fields are already structured according to a predefined format. On the other hand, the MESSAGE field is composed of a static part (template) and of a variable part (variables). The log parsing challenge lies within the discovery of those two parts (e.g., Figure 2).

Different algorithms exist in the literature, some of them process logs per batch (e.g., IPLoM [START_REF] Makanju | Clustering event logs using iterative partitioning[END_REF],SLCT [START_REF] Vaarandi | A data clustering algorithm for mining patterns from event logs[END_REF], Log-Cluster [START_REF] Vaarandi | Logcluster-a data clustering and pattern mining algorithm for event logs[END_REF]) and others process logs in a streaming fashion (e.g., Drain [START_REF] He | Drain: An online log parsing approach with fixed depth tree[END_REF], Spell [START_REF] Du | Spell: Streaming parsing of system event logs[END_REF], Logan [START_REF] Agrawal | Logan: A distributed online log parser[END_REF], Logram [START_REF] Dai | Logram: Efficient log parsing using n-gram dictionaries[END_REF]).

On one hand, batch analysis has a major con regarding our context: Log statement instability made it impossible to collect a representative training set as it will never include yet non-existing log templates. On the other hand, logs are produced streamingly and online parsing methods can discover new patterns on the job. Moreover, online methods tend to have better results even on fixed datasets [START_REF] Zhu | Tools and benchmarks for automated log parsing[END_REF]. We would like our log parsing component to have some features:

1) Being deployed without any human intervention 2) Processing logs in a streaming fashion Regarding this, we therefore choose to concentrate our work on online methods.

To our knowledge, all the existing online log parsing algorithms use parameters, and most of them offer the possibility of pre-processing loglines. Fixing parameter values required a labeled dataset, which is costly and sometimes impossible. During the preprocessing step, algorithms use human crafted regular expressions to identify common variables such as URLs or IP addresses. Preprocessing needs experts to define the regular expressions, which has a cost in time and can lead to mistakes impacting the parsing efficiency.

According to recent studies [START_REF] Zhang | Robust log-based anomaly detection on unstable log data[END_REF], [START_REF] Zhu | Tools and benchmarks for automated log parsing[END_REF], [START_REF] Du | Deeplog: Anomaly detection and diagnosis from system logs through deep learning[END_REF], Drain is the most efficient existing parsing solution. We studied and experimented this approach and came up with two limitations to complete automation [START_REF] Vervaet | Automatisation de la structuration des logs pour le cloud computing[END_REF]:

• Drain's accuracy is influenced by preprocessing and can affect the accuracy if not well defined. • Drain use two hyper-parameters and their values have a significant impact on precision. Therefore, Drain cannot be deployed in an unknown system with a high level of confidence.

By extending our study to other online log parsing solutions (Spell, Logram, Logan, SHISO [START_REF] Mizutani | Incremental mining of system log format[END_REF], LenMa [START_REF] Shima | Length matters: Clustering system log messages using length of words[END_REF]), we could like to present a benchmark of existing online log parsing approaches, focusing on their automation limits.

Regarding the distribution, Drain method, which show the best performances, is not distributable. We plan to provide a distributed version of research tree-based log parsing method as we already have some encouraging results.

While working on logs coming from internal services, we noticed that almost 60% of the tokens composing log messages are coming from JSON or XML-formatted data. Adding such format at the end of a logline is a common practice within API-like services. This indeed helps understand to understand the context of a log (e.g., "Send 42 bytes to 121.13.4.26 {user id=125, service name=dart vader}"). We therefore recommend a preliminary step to extract potential data coming from a structured format. This helps reduce the average length of log messages and can increase the discovery rate of log parsing algorithms.

Current reference metrics to evaluate log parsing solutions are accuracy and time processing [START_REF] Zhu | Tools and benchmarks for automated log parsing[END_REF], [START_REF] He | An evaluation study on log parsing and its use in log mining[END_REF]. If we look at Table I, log message L 1 & L 3 are considered correctly classified if they are identified as coming from the same log class.

The above metric is relevant when it comes to detect sequential anomalies as we are looking for uncommon log template sequences. However, when it comes to quantitative anomalies, detection is only possible if the variable parts were correctly identified. Therefore, we would like to propose a metric to evaluate wheter the static and variable parts of a log message are correctly identified. A token is a sequence delimited by spaces inside a log message. In Table I, log messages L 1 & L 2 have respectively 7 & 8 tokens.

1 n n i=1 1 l i li j=1 1 if t j = T j 0 if t j = T j (1)
Considering a pool of n parsed loglines, l i , represents the number of tokens within logline i, t j the value of the j-th token (static or variable), and T j the expected value of the j-th token.

Evaluating existing log parsers with this metric will give us a better comprehension of their capacity to extract variables from log messages and their relevance for detecting quantitative anomalies.

Most of the existing metrics to evaluate log parsing methods performances are supervised. Within their papers presenting Logan, the authors introduce an unsupervised metric [START_REF] Agrawal | Logan: A distributed online log parser[END_REF]. We plan to extend that study to the pertinence of other unsupervised metrics [START_REF] Palacio-Niño | Evaluation metrics for unsupervised learning algorithms[END_REF].

Unsupervised metrics opens promising perspectives for auto-parametrizing log parser. We can imagine a component deployed according to the following flow. First, it acquires a fixed quantity of loglines within its environment. Then it calibrates the value of its parameters by estimating its performance using an unsupervised metric. Once it detects the supposed optimal values, it starts parsing logs.

V. CLASSIFY ANOMALIES

Anomalies can be different types of events, from breakdowns to performance issues, including security attacks. Due to their different natures, anomalies are generally not handled by the same team and with the same priority. A common practice to prioritize the tasks is to assign anomalies a level of criticality such as "Low", "moderate" or "high".

To our knowledge, few studies exist for automated anomaly classification within logs. Meng & al. propose LogClass, trained a classifier over log anomalies [START_REF] Meng | Device-agnostic log anomaly classification with partial labels[END_REF].

Everyone can define a set of log class and a criticality scale appropriate for their domain. This subjective nature motivates us to present a customizable and intelligent module for anomaly classification (Figure 3).

We would like to provide an easy way for monitoring teams to assign the resolution tasks. We plan our component to work using a pool system. Initially, there is just one default pool, but additional pools can be created or deleted by administrators.

Each time an alert is moved from a pool to another, it is used as an assessment signal to enrich the algorithm's ability to classify further anomalies within a specific pool. In the same way, every time the level of criticality is manually modified, it is used to improve further anomaly evaluation.

We believe that this flexible design will allow maintainers to reproduce their anomaly handling process. This is also a convenient way to provide feedback to the classifier without any extra human effort as it is passively done by the user experience.

VI. CONCLUSION

In this article, we presented MoniLog, an automated approach for log-based anomaly detection within Cloud computing infrastructures. We based our planned system design on three distributable and therefore easy-scalable components. The first one parses the log message to extract relevant pieces of information. The produced structured stream is analyzed in order to identify anomalous sequences. Once detected, anomalous events are assigned a criticality level and a class.

MoniLog was designed to be robust to log statement evolutions. It also allows real-time scalable anomaly detection within complex logging environments. Even if it were conceived for Cloud computing, we believe the approach to be relevant for any large-scale online services.

I would like to thank Professor Raja Chiky for her guidance, encouragement, and valuable advice. A special mention to Mar Callau-Zori for her time and precious feedbacks. My thanks also go to 3DS OUTSCALE and the ANRT, which have funded my thesis and gave me access to real-life data, computing resources, as well as the opportunity to exchange with field experts daily.

3 Fig. 1 .

 31 Fig. 1. MoniLog system designA large system is often composed of different softwares. Due to this amalgamated nature, it is linked to multiple log sources. At 3DS OUTSCALE, for instance, one system is connected to 24 different log sources and generates millions of log lines each second. To represent this, we modeled MoniLog input as a log stream fueled by various log sources.It is important for MoniLog components to be distributable in order to ensure scalability, which is, for most of the online services companies, the core factor for growth.The aimed output for MoniLog is a stream of classified anomalies with an assigned criticality. To achieve this, we have designed a three-step system (Figure1):1) A parsing component to extract logs' underlying pieces of information and obtain a structured log-stream. 2) A component to detect anomalies within a structured log stream. This part generates anomaly reports, composed of all the logs linked to the identified anomalous sequence.

Fig. 3 .

 3 Fig. 3. MoniLog system design

  Error while receiving data src: 10.250.11.53 dest: /10.250.11.53 L 3 Sending 745675869 bytes src: 10.250.11.53 dest: /10.250.11.53 L 4 Failed to verify data integrity src: 10.250.11.53 dest: /10.250.11.53

		TABLE I
		EXAMPLES OF LOG MESSAGES
	Id	message
	L 1	Sending 138 bytes src: 10.250.11.53 dest: /10.250.11.53
	L 2


Luc Pronzato
email: pronzato@i3s.unice.fr

Asymptotic Properties of Nonlinear Least Squares Estimates in Stochastic Regression Models Over a Finite Design Space. Application to Self-Tuning Optimisation

Keywords: Optimal design of experiments, self-tuning optimisation, extremum seeking, penalized optimal design, sequential design, consistency, asymptotic normality

We present new conditions for the strong consistency and asymptotic normality of the least squares estimator in nonlinear stochastic models when the design variables vary in a finite set. The application to self-tuning optimisation is considered, with a simple adaptive strategy that guarantees simultaneously the convergence to the optimum and the strong consistency of the estimates of the model parameters. An illustrative example is presented.

INTRODUCTION Consider a stochastic regression model with observations

Y k = η(x k , θ) + ε k , k = 1, 2 . . . ( 1
)
where {ε k } is a sequence of i.i.d. random variables with IE(ε 1 ) = 0 and IE(ε 2 1 ) = σ 2 < ∞, {x k } is a sequence of design points in X ⊂ R d and η(x, θ) is a known function of x and parameter vector θ ∈ Θ, a compact subset of R p , with θ, the true unknown value of θ, such that θ ∈ int(Θ). We denote F k the σ-field generated by {Y 1 , . . . , Y k } and assume that x k is F k-1 measurable. This setup includes for instance the case of NARX models (nonlinear autoregressive models with exogeneous inputs) where Y k = η(Y k-1 , . . . , Y k-a , u k-q , . . . , u k-q-b , θ) + ε k where a, b ∈ N, q is the delay and u i is the input at stage i.

The unknown θ will be estimated by Least Squares (LS) and we denote

S n (θ) = n k=1 [Y k -η(x k , θ)] 2
and θn LS = arg min θ∈Θ S n (θ). We shall suppose that η(x, θ) is continuously differentiable with respect to θ ∈ int(Θ) for all x ∈ X and denote f θ (x) = ∂η(x, θ)/∂θ and M(ξ, θ) = X f θ (x)f θ (x) ξ(dx) , the information matrix for parameters θ and design measure ξ (a probability measure on X ). When ξ is the empirical measure ξ k for x 1 , . . . , x k we get the information matrix (normalized, per observation) This work was partly accomplished while the author was invited at the Isaac Newton Institute for Mathematical Sciences, Cambridge, UK. The support of the Newton Institute and of CNRS are gratefully acknowledged.

M(ξ

k , θ) = 1 k k i=1 f θ (x i )f θ (x i ) .
In the case of a linear regression model where

η(x, θ) = f (x)θ , ∀x ∈ X , θ ∈ Θ , (2)
(so that M(ξ, θ) does not depend on θ), [START_REF] Lai | Least squares estimates in stochastic regression models with applications to identification and control of dynamic systems[END_REF] show that the conditions

λ min [nM(ξ n )] a.s. → ∞ , n → ∞ (3) {log λ max [nM(ξ n )]} ρ /λ min [nM(ξ n )]
a.s.

→ 0 , n → ∞ (4) for some ρ > 1 are sufficient for the strong consistency of the LS estimator θn LS when {ε k } in (1) is a martingale difference sequence and sup n IE(ε 2 n |F n-1 ) < ∞ a.s. The case of nonlinear stochastic regression models is considered in [START_REF] Lai | Asymptotic properties of nonlinear least squares estimates in stochastic regression models[END_REF], where sufficient conditions for strong consistency are given, which reduce to (3) and the [START_REF] Christopeit | Strong consistency of least squares estimators in linear regression models[END_REF]

condition, λ max [nM(ξ n )] = O{λ ρ min [nM(ξ n )]} for some ρ ∈ (1, 2),(5)
in the case of a linear model.

This paper gives new sufficient conditions for the strong consistency of θn LS in nonlinear stochastic models. These conditions, obtained under the assumption that {x k } lives in a finite set, are much weaker than (3-4). The paper also gives conditions under which √ n M 1/2 (ξ n , θn LS )( θn LS -θ) converges in distribution to a normal random variable N (0, σ 2 I), with 0 and I respectively the p-dimensional null vector and identity matrix. This means that M(ξ n , θn LS ) can be used to characterize the asymptotic precision of the estimation of θ although the sequence of design points is stochastic. Conditions for strong consistency with a finite design space are given in Section 2 and conditions for asymptotic normality in Section 3. The application of these results to self-tuning optimisation is considered in Section 4, where a comparison is made with the results in [START_REF] Pronzato | Adaptive optimisation and D-optimum experimental design[END_REF][START_REF] Pronzato | Sequential experimental design and response optimisation[END_REF]]. A simple illustrative example is presented.

STRONG CONSISTENCY OF LS ESTIMATES

WITH A FINITE DESIGN SPACE Define D n (θ, θ) = n k=1 [η(x k , θ) -η(x k , θ)] 2 . ( 6
)
Next theorem shows that the strong consistency of the LS estimator is a consequence of D n (θ, θ) tending to infinity fast enough for θ = θ. The fact that the design space X is finite makes the required rate of increase for D n (θ, θ) quite slow. Theorem 1. Let {x i } be a design sequence on a finite set X . If D n (θ, θ) given by ( 6) satisfies for all δ > 0 , inf

θ-θ ≥δ D n (θ, θ) /(log log n) a.s. → ∞ , (7) then θn LS a.s. → θ as n → ∞. If D n (θ, θ) simply satisfies for all δ > 0 , inf θ-θ ≥δ D n (θ, θ) p → ∞ , (8) then θn LS p → θ as n → ∞.
The proof is given in [START_REF] Pronzato | One-step ahead adaptive D-optimal design on a finite design space is asymptotically optimal[END_REF] and is based on the following lemma from [START_REF] Wu | Asymptotic theory of nonlinear least squares estimation[END_REF]

[S n (θ) -S n ( θ)] > 0 → 1 , n → ∞ , (10) then θn LS p → θ as n → ∞. The condition [for all θ = θ , D n (θ, θ) → ∞ as n → ∞]
is sufficient for the strong consistency of θn LS when the parameter set Θ is finite, see [START_REF] Wu | Asymptotic theory of nonlinear least squares estimation[END_REF]. From Theorem 1, when X is finite this condition is also sufficient for the weak consistency of θn LS without restriction on Θ. It is proved in [START_REF] Wu | Asymptotic theory of nonlinear least squares estimation[END_REF] to be necessary for the existence of a weakly consistent estimator of θ in a regression model when the errors ε i are independent with a distribution having a density ϕ(•) positive almost everywhere and absolutely continuous with respect to the Lebesgue measure and with finite Fisher information for location. Notice that a classical condition for strong consistency of LS estimates in nonlinear regression with non-random design is D n (θ, θ) = O(n) for θ = θ, see e.g. [START_REF] Jennrich | Asymptotic properties of nonlinear least squares estimation[END_REF], which is much stronger than (7). Also note that (7) is much less restrictive than the conditions (3-4) for stochastic designs in linear models and than the [START_REF] Christopeit | Strong consistency of least squares estimators in linear regression models[END_REF] condition (5).

ASYMPTOTIC NORMALITY OF LS ESTIMATES WITH A FINITE DESIGN SPACE

Under a fixed design, the information matrix can be considered as a large sample approximation for the variancecovariance matrix of the estimator, thus allowing straightforward statistical inference from the trial. The situation is more complicated for adaptive designs and has been intensively discussed in the literature. The property below gives a simple sufficient condition in the situation where the x k 's in (1) belong to a finite set. We use the following regularity assumption for the model.

H f : For all x in X , the components of f θ (x) are continuously differentiable with respect to θ in some open neighborhood of θ.

Theorem 3. Assume that θn LS is strongly consistent, that H f is satisfied, that the design points belong to a finite set X and that exists a sequence

{C n } of p × p deterministic matrices such that C -1 n M 1/2 (ξ n , θ) p → I, with l n = λ min (C n ) satisfying n 1/4 l n → ∞ and θn LS -θ /l 2 n p → 0 as n → ∞. Then, θn LS satisfies √ n M 1/2 (ξ n , θn LS )( θn LS -θ) d → ω ∼ N (0, σ 2 I) (11)
as n → ∞.

One may notice that, compared to [START_REF] Wu | Asymptotic theory of nonlinear least squares estimation[END_REF], we do not require that (n/τ n )M(ξ n , θ) tends to a positive definite matrix for some τ n → ∞ and, compared to [START_REF] Lai | Least squares estimates in stochastic regression models with applications to identification and control of dynamic systems[END_REF], [START_REF] Lai | Asymptotic properties of nonlinear least squares estimates in stochastic regression models[END_REF], we do not require the existence of highorder derivatives of η(x, θ) w.r.t. θ. On the other hand, we need that λ min (C n ) decreases more slowly than n -1/4 .

APPLICATION TO SELF-TUNING OPTIMISATION

Problem statement

We consider a self-tuning optimisation problem where one wishes to minimize some function φ(x, θ) with respect to x, the unknown parameters θ being estimated from the observations in the model (1). One may have φ(•, •) = η(•, •) but this is not mandatory. In particular, less regularity is required for φ(x, •) than for η(x, •) and we shall only use the following assumptions on φ.

H φ -(i): φ(x, θ
) is bounded for below and above for any x ∈ X and θ ∈ Θ.

H φ -(ii): For all x ∈ X , φ(x, θ) is a continuous function of θ in the interior of Θ. H φ -(iii): φ(x, θ) has a unique global minimizer x * = x * ( θ): ∀β > 0, ∃ > 0 such that φ(x, θ) < φ(x * , θ) + implies x -x * < β.
Note that compared to methods based on local gradient approximations, see, e.g. [START_REF] Manzie | Discrete time extremum seeking using stochastic perturbations[END_REF], the method is not restricted to a neighborhood of a local minimum of φ(x, θ). On the other hand, we shall assume that x belongs to a finite space and φ(x, θ) must have a known parametric form.

When the problem is to estimate x * , one can resort to optimal design theory and choose the sequence {x k } in order to optimize a criterion that measures the precision of the estimation of θ in (1). For instance, one may use a nominal value θ 0 for θ, construct a D-optimal design measure ξ * D (θ 0 ) on X maximizing log det M(ξ, θ 0 ) and choose x k 's such that their empirical measure approaches ξ * D (θ 0 ). Alternatively, one may relate the design criterion to the estimation of x * (θ), see, e.g., [Chaloner, 1989, Pronzato and[START_REF] Pronzato | Experimental design for estimating the optimum point in a response surface[END_REF].

In self-tuning optimisation, the design points form a sequence of control variables for the objective of minimizing i φ(x i , θ). The trivial optimum solution x i = x * ( θ) for all i is not feasible since θ is unknown, hence the dual aspect of the control: minimize the objective, help estimate θ. A naive approach (Forced-Certainty-Equivalence control) consists in replacing the unknown θ by its current estimated value at stage k, that is, x k+1 = x * ( θk LS ). However, this does not provide enough excitation to estimate θ consistently, see [START_REF] Bozin | Self tuning optimizerconvergence and robustness properties[END_REF] for a detailed analysis of the special case φ

(x, θ) = η(x, θ) = θ 1 x + θ 2 x 2 .
Here we shall consider the same approach as in [START_REF] Pronzato | Adaptive optimisation and D-optimum experimental design[END_REF][START_REF] Pronzato | Sequential experimental design and response optimisation[END_REF]] and use

x n+1 = arg min x∈X φ(x, θn LS ) -α n f θn LS (x)M -1 (ξ n , θn LS )f θn LS (x) , ( 12
)
with α n > 0; that is, to the current objective φ(x, θn LS ), to be minimized with respect to x, we add a penalty for poor estimation, -α n f θn

LS (x)M -1 (ξ n , θn LS )f θn LS (x) (note that x n+1 is F n -measurable).
Iterations of the similar type can be used to generate an optimal design under a cost-constraint, the cost of an observation at the design point x for parameters θ being measured by φ(x, θ), see [START_REF] Pronzato | Penalized optimal designs for dosefinding[END_REF]. See also [START_REF] Åström | Adaptive Control[END_REF].

The results in Section 4.2 indicate that when X is finite and the sequence of penalty coefficients α n decreases slowly enough, the LS estimator θn LS is strongly consistent.

When θn

LS is frozen to a fixed value θ and α n ≡ α constant, the iteration (12) corresponds to one step of a steepest descent vertex-direction algorithm for the minimisation of X φ(x, θ) ξ(dx) -α log det M(ξ, θ), with step-length 1/n at stage n. Convergence of the empirical measure ξ n to an optimal design measure is proved in [START_REF] Pronzato | Adaptive optimisation and D-optimum experimental design[END_REF] using an argument developed in [START_REF] Wu | The convergence of general step-length algorithms for regular optimum design criteria[END_REF]. It is also shown in the same reference that X φ(x, θ) ξ n (dx) → min x∈X φ(x, θ) as n → ∞ when α n decreases to zero and the sequence {nα n } increases to infinity. If, moreover, H φ -(iii) is satisfied then ξ n w → δ x * (θ) (weak convergence of probability measures), with δ x the delta measure at x. Those results do not require X to be finite.

The fact that the parameters are estimated in (12) makes the proof of convergence a much more complicated issue. In the case of the linear regression model (2) it is shown in [START_REF] Pronzato | Adaptive optimisation and D-optimum experimental design[END_REF] that if {α n } is such that α n log n decreases to zero and nα n /(log n) 1+δ increases to infinity for some δ > 0, then X φ(x, θ) ξ n (dx)

a.s. → min x∈X φ(x, θ) (and ξ n w → δ x * ( θ) a.s. if H φ -(iii) is satisfied).
Using Bayesian imbedding, the same properties are shown to hold in [START_REF] Pronzato | Sequential experimental design and response optimisation[END_REF] under the weaker conditions α n → 0 and nα n → ∞ (however, the almost sure convergence then concerns the product measure µ×Q with µ the prior measure for θ and Q the probability measure induced by {ε k }). To the best of our knowledge, no similar result exists for nonlinear regression models.

When φ(x, θ) = 0 for all x the iteration (12) becomes

x n+1 = arg max x∈X f θn LS (x)M -1 (ξ n , θn LS )f θn LS (x) , ( 13
)
which corresponds to one step in the sequential construction of a D-optimal design. Even for this particular situation, and although this method is widely used, very few asymptotic results are available: the developments in [START_REF] Ford | A sequentially constructed design for estimating a nonlinear parametric function[END_REF][START_REF] Wu | Asymptotic inference from sequential design in a nonlinear situation[END_REF][START_REF] Müller | Batch sequential design for a nonlinear estimation problem[END_REF]] only concern a particular example; [START_REF] Hu | On sequential designs in nonlinear problems[END_REF] is specific of Bayesian estimation by posterior mean and does not use a fully sequential design of the form (13); [START_REF] Lai | Asymptotic properties of nonlinear least squares estimates in stochastic regression models[END_REF] and [START_REF] Chaudhuri | On efficiently designing of nonlinear experiments[END_REF] require the introduction of a subsequence of non-adaptive design points to ensure consistency of the estimator and [START_REF] Chaudhuri | Nonlinear experiments: optimal design and inference based likelihood[END_REF] require that the size of the initial experiment (nonadaptive) grows with the increase in size of the total experiment. Intuitively, the almost sure convergence of θn

LS

to some θ∞ would be enough to imply the convergence of ξ n to a D-optimal design measure for θ∞ and, conversely, convergence of ξ n to a design ξ ∞ such that M(ξ ∞ , θ) is non-singular for any θ would be enough in general to make the estimator consistent. It is thus the interplay between estimation and design iterations (which implies that each design point depends on previous observations) that creates difficulties. As the results below will show, those difficulties disappear when X is a finite set. Notice that the assumption that X is finite is seldom limitative since practical considerations often impose such a restriction on possible choices for the design points; this can be contrasted with the much less natural assumption that would consist in considering the feasible parameter set as finite, see, e.g., [START_REF] Caines | A note on the consistency of maximum likelihood estimates for finite families of stochastic processes[END_REF].

The results below rely on simple arguments based on three ideas. First, we consider iterations of the form

x n+1 = arg min x∈X φ(x, θn ) -α n f θn (x)M -1 (ξ n , θn )f θn (x) , ( 14
)
where { θn } is taken as any sequence of vectors in Θ.

The asymptotic design properties obtained within this framework thus also apply when θn corresponds to θn LS . Second, when X is finite we obtain a lower bound on the sampling rate of a subset of points of X associated with a nonsingular information matrix. Third, we can show that this bound guarantees the strong consistency of θn LS . With a few additional technicalities, this yields almost sure convergence results for the adaptive designs constructed via (12).

Asymptotic properties of LS estimates and designs

We shall use the following assumptions on X .

H X -(i): X is finite, X = {x (1) , x (2) , . . . , x (K) }. H X -(ii): inf θ∈Θ λ min K i=1 f θ (x (i) )f θ (x (i) ) > γ > 0.
H X -(iii): For all δ > 0 there exists (δ) > 0 such that for any subset {i 1 , . . . , i p } of distinct elements of {1, . . . , K},

inf θ-θ ≥δ p j=1 [η(x (i j ) , θ) -η(x (i j ) , θ)] 2 > (δ) .
H X -(iv): For any subset {i 1 , . . . , i p } of distinct elements of {1, . . . , K},

λ min   p j=1 fθ(x (ij ) )f θ (x (ij ) )   ≥ γ > 0 .
The case of sequential D-optimal design, corresponding to the iterations (13), is considered in [START_REF] Pronzato | One-step ahead adaptive D-optimal design on a finite design space is asymptotically optimal[END_REF]. When α n → α > 0 (n → ∞) in ( 12), the results are similar to those in [START_REF] Pronzato | One-step ahead adaptive D-optimal design on a finite design space is asymptotically optimal[END_REF] and θn LS a.s.

→ θ, M(ξ n , θn LS ) a.s. → M(ξ * , θ) with ξ * minimizing X φ(x, θ) ξ(dx) -α log det M(ξ, θ). One can take C n = M 1/2 (ξ * , θ
) for all n in Theorem 3 and θn LS is asymptotically normal.

The situation is more complicated when the sequence {α n } in (12,14) satisfies the following:

H α -(i): {α n }
is a non-increasing positive sequence tending to zero as n → ∞, the situation considered in the rest of the paper. We then obtain the following lower bound on the sampling rate of nonsingular designs.

Lemma 4. Let { θn } be an arbitrary sequence in Θ used to generate design points according to ( 14) in a design space satisfying H X -(i), H X -(ii), with an initialisation such that M(ξ n , θ) is non-singular for all θ in Θ and all n ≥ p. Let r n,i = r n (x (i) ) denote the number of times x (i) appears in the sequence x 1 , . . . , x n , i = 1, . . . , K, and consider the associated order statistics r n,1:

K ≥ r n,2:K ≥ • • • ≥ r n,K:K . Define q * = max{j : ∃β > 0| lim inf n→∞ r n,j:K /(nα n ) > β} .
Then, H φ -(i) and H α -(i) imply q * ≥ p with probability one.

For any sequence { θn } used in ( 14), the conditions of Lemma 4 ensure the existence of N 1 and β > 0 such that r n,j:K > βnα n for all n > N 1 and all j = 1, . . . , p. Under the additional assumption H X -(iii) we thus obtain that D n (θ, θ) given by ( 6) satisfies

1 log log n inf θ-θ ≥δ D n (θ, θ) > βnα n (δ) log log n , n > N 1 . Therefore, if nα n / log log n → ∞ as n → ∞, θn LS a.s.
→ θ from Theorem 1. Since this holds for any sequence { θn } in Θ, it is true in particular when θn LS is substituted for θn in ( 14). It thus holds for (12).

Using the following assumption

H α -(ii): the sequence {α n } is such that nα n is non- decreasing with nα n / log log n → ∞ as n → ∞;
in complement of H α -(i), one can show that the adaptive design algorithm ( 12) is such that {x n } tends to accumulate at the point of minimum cost for θ.

Theorem 5. Suppose that in the regression model (1) the design points for n > p are generated sequentially according to (12), where α n satisfies H α -(i) and H α -(ii). Suppose, moreover, that the first p design points are such that the information matrix is nonsingular for any θ ∈ Θ. Then, under H X -(i-iv), H φ -(i) and H φ -(ii) we have θn LS a.s.

→ θ and

X φ(x, θ) ξ n (dx) a.s. → min x∈X φ(x, θ) , n → ∞ . (15) If, moreover, H φ -(iii) is satisfied, then ξ n w → δ x * ( θ) almost surely , n → ∞ . ( 16
)
Remark 6. Notice that the condition on the rate of decrease of {α n } in Theorem 5 is weaker than in [START_REF] Pronzato | Adaptive optimisation and D-optimum experimental design[END_REF] although the model is nonlinear. Also note that using a penalty for poor estimation of the form

-C det f θn LS (x)f θn LS (x) + n k=1 f θn LS (x k )f θn LS (x k ) det n k=1 f θn LS (x k )f θn LS (x k ) , C > 0,
as suggested in [START_REF] Åström | Adaptive Control[END_REF]] is equivalent to taking α n = C/n in (12), which does not satisfy H α -(ii) and therefore does not guarantee the strong consistency of the LS estimates.

Remark 7. The property ( 16) does not imply that the x k 's generated by ( 12) converge to x * ( θ). However, the following property is proved in [START_REF] Pronzato | Penalized optimal designs for dosefinding[END_REF]. Suppose that X is obtained by the discretization of a compact set X and define x = arg min x∈X φ(x, θ) and, for any design measure ξ on X , ∆θ(ξ) = X φ(x, θ) ξ(dx) -φ(x, θ). Suppose that there exist designs measures ξ α on X such that ∆θ(ξ α ) ≥ pα and for all > 0 lim sup

α→0 + sup x∈X , x-x > 2∆θ(ξ α ) [f θ (x)M -1 (ξ α , θ)fθ(x)] φ(x, θ) -φ(x, θ) < 1.
Then the supporting points of an optimal design measure minimizing X φ(x, θ) ξ(dx) -α log det M(ξ, θ) converge to x as α → 0 + , and, under the conditions of Theorem 5, the design sequence {x n } on X will concentrate around x * ( θ) as n → ∞. Remark 8. Under the conditions of Theorem 5, there exist N 0 and β > 0 such that, for all n > N 0 , λ min [M(ξ n , θ)] > βγα n , with γ as in H X -(iv). The asymptotic normality of θn LS is ensured if one can exhibit a sequence {C n } satisfying the conditions of Theorem 3. For λ min (C n ) ∼ α 1/2 n we then obtain that imposing the condition n 1/3 α n → ∞ on the decrease rate of α n would be enough. A possible construction is based on the matrix M 1/2 (ν n , θ) obtained when θ is substituted for θn LS in the iterations (12). However, it remains to be proved that M -1 (ν n , θ)M(ξ n , θ) p → I, which is not obvious (notice that the sequence { θn LS } becomes highly correlated as n increases). Remark 9. When the function to be minimized is the model response itself and, moreover, is linear with respect to θ, one can construct analytical approximate solutions for the self-tuning optimizer over a finite horizon N when using a Bayesian approach. In particular, one of the constructions proposed in [START_REF] Pronzato | Sequential experimental design and response optimisation[END_REF]] is shown to be within O(σ 4 ) of the optimal solution of the self-tuning optimizer problem (the latter being not computable, it corresponds to the solution of a stochastic dynamic programming problem).

Example

We take η(x, θ)

= θ 1 θ 2 θ 3 + θ 2 x + θ 3 (1 + θ 2 1 ) x 2 + θ 2 1 x 3 , φ(x, θ) = θ 2 + θ 1 x 2 + θ 2 θ 3 x 4 , with x ∈ [-1, 1] and θ = (θ 1 , θ 2 , θ 3 ) ∈ R.
One can easily check that the model is structurally globally identifiable so that, if the sequence {x k } is rich enough, the LS estimator is unique and θ can be estimated consistently. For the true value θ of the parameters we take θ = (0, 1, 1) which gives fθ(x) = (1, x, x 2 ) and φ(x, θ) = 1 + x 4 . The optimal design ξ * (α) on X = [-1, 1] that minimizes X φ(x, θ) ξ(dx)α log det M(ξ, θ) can be constructed analytically for any α, see [START_REF] Pronzato | Penalized optimal designs for dosefinding[END_REF]. For α < 2/9, the support points are -√ 3(α/2) 1/4 , 0, √ 3(α/2) 1/4 , with respective weights 1/6, 2/3, 1/6, showing that ξ * (α) concentrates around 0 = arg min x∈X φ(x, θ) as α tends to zero.

Figure 1 shows a typical sequence {x n } generated by (12) for n ≥ 3 when σ = 1, x 1 = -1, x 2 = 0, x 3 = 1, α n = (log n) -4 and X consists of 201 points regularly spaced in [-1, 1]. The design points tend to concentrate around x * ( θ) = 0 as n increases. This is due to the fact that φ(x, θ) is sufficiently flat around x * ( θ). The situation can be much different for other functions φ, see for instance the examples in [START_REF] Pronzato | Adaptive optimisation and D-optimum experimental design[END_REF][START_REF] Pronzato | Sequential experimental design and response optimisation[END_REF] where ( 16) is satisfied but design points are continuously generated far from x * ( θ) (although less and less often as n increases).

Figure 2 presents the corresponding sequence {φ(x n , θ)}, showing that convergence to the minimum value 1 is fast despite the model is nonlinear and the observations are very noisy, see Figure 3 for a plot of the sequence {Y n }.

The evolution of the parameter estimates θn LS is presented in Figure 4.

A concluding remark on the difficulties raised by dynamical systems

Compared to [START_REF] Choi | Extremum seeking control for discrete-time systems[END_REF] where a periodic disturbance of magnitude α plays the role of a persistently exciting input signal and the output converges to a neighborhood O(α 2 ) of the optimum, iterations of the form (12) guarantee exact asymptotic convergence to the optimum when the excitation provided by the penalty for poor estimation vanishes slowly enough, see Theorem 5. However, (12) assumes that x n+1 can be chosen freely in a given X that does not depend on x n ; that is, it implicitly assumes that the system to be optimized is static (it is only the fact that x n+1 depends on θn LS that introduces a dynamic feedback), whereas [START_REF] Choi | Extremum seeking control for discrete-time systems[END_REF] consider self-tuning optimisation of a dynamic discrete-time system. (See also [START_REF] Krstić | Performance improvement and limitations in extremum seeking control[END_REF], [START_REF] Krstić | Stability of extremum seeking feedback for general nonlinear dynamic systems[END_REF] for continuous-time dynamic systems). Within the setup of [START_REF] Choi | Extremum seeking control for discrete-time systems[END_REF], it means that we need to observe the input of the static nonlinearity. This is a rather severe limitation, but one that seems difficult to overcome.

To illustrate the problem, consider the classical algorithm for the sequential construction of a D-optimal design with iterations of the form (13), see [START_REF] Wynn | The sequential generation of D-optimum experimental designs[END_REF]. Take the linear model η(x, θ) = θ 1 x + θ 2 x 2 , so that f θ (x) = f (x) = (x, x 2 ) , and suppose that x n may only vary within the interval [-1, 1] by increments of ±δ in one iteration (so that x n+1 = x n+1 (u n ) = max{-1, min{1, x n + u n }} with u n ∈ {-δ, 0, δ}), with 1/δ integer. Also suppose that M(ξ n 0 ) is non singular for some n 0 and that x n 0 = mδ ∈ [0, 1] with m a strictly positive integer. One can easily check that the iterations u n = arg max u∈{-δ,0,δ}

f (x n + u n )M -1 (ξ n )f (x n + u n )
for n ≥ n 0 do not yield convergence to the D-optimal design measure ξ * D (which allocates weights 1/2 at the extreme points ±1). Indeed, negative values for x n can only be reached if x k = 0 is selected for some k ≥ n 0 , which is impossible since f (0) = 0. Other types of iterations, perhaps less myopic than (12) and ( 13) which only look one step-ahead, should thus be considered for general dynamic systems.

CONCLUSIONS

Self-tuning optimisation has been considered through an approach based on sequential penalized optimal design. Simple conditions have been given that guarantee the strong consistency of the LS estimator in this context of sequentially determined control variables, under the assumption that they belong to a finite set and that the penalty for poor estimation does not decrease too fast.

  Fig. 1. A typical sequence {x n }, α n = (log n) -4

Fig. 2 .Fig. 4 .

 24 Fig. 2. Corresponding sequence {φ(x n , θ)}, n ≥ 8

  .

	Lemma 2. If for any δ > 0
	lim inf n→∞	inf θ-θ ≥δ	[S n (θ) -S n ( θ)] > 0 almost surely , (9)
	then θn LS	a.s. → θ as n → ∞. If for any δ > 0
	Prob	inf θ-θ ≥δ