Moez Krichen
email: moez.krichen@redcad.org

Apprentissage

Apprentissage par Renforcement Profond

Introduction

Le domaine de l'intelligence artificielle (IA) connu sous le nom d'apprentissage automatique (ML) se concentre sur la création de modèles et d'algorithmes qui peuvent apprendre à partir de données sans être explicitement programmés (5; 19). Les techniques de ML permettent aux ordinateurs de comprendre les motifs et les relations dans les données et de les utiliser pour faire des prédictions ou des jugements sur des données préalablement inconnues. La reconnaissance d'images et de sons, le traitement du langage naturel (NLP), les systèmes de recommandation, la détection de fraudes et la maintenance prédictive sont autant d'exemples de l'utilisation de techniques de ML. Le type et la quantité de données étiquetées utilisées pour entraîner le modèle déterminent si l'algorithme de ML est supervisé, non supervisé ou d'apprentissage par renforcement.

Les réseaux de neurones artificiels (ANNs) avec plusieurs couches de noeuds interconnectés sont la base de l'apprentissage profond (DL), un sous-ensemble du ML motivé par la structure et le fonctionnement du cerveau humain (3; 1). Les modèles DL peuvent apprendre automatiquement des représentations de données complexes en extrayant progressivement des caractéristiques de niveau supérieur à partir de celles de niveau inférieur. Les algorithmes de DL ont démontré des performances de pointe dans diverses disciplines, notamment la vision par ordinateur, le NLP, la reconnaissance vocale et les jeux. Les modèles DL peuvent être entraînés avec des volumes massifs de données étiquetées et se mettre à l'échelle pour gérer des données extrêmement haute dimensionnalité et hétérogènes, telles que les photos, les vidéos et le texte. L'apprentissage non supervisé peut être réalisé en entraînant des modèles DL à reconstruire ou à produire des données, ou à regrouper et afficher des données dans des espaces de faible dimension.

La discipline de l'apprentissage par renforcement (RL) se concentre sur l'enseignement aux agents comment prendre une série de décisions dans un environnement pour maximiser un signal de récompense. Depuis sa première introduction dans les années 1980, le cadre RL a été utilisé pour résoudre une variété de problèmes, notamment les jeux, la robotique et les systèmes de contrôle [START_REF] Richard | Reinforcement Learning : An Introduction[END_REF]. Les algorithmes RL traditionnels reposent souvent sur des caractéristiques artisanales et une approximation linéaire de fonction, ce qui limite leur capacité à gérer des tâches complexes avec des espaces d'état et d'action de grande dimension.

L'apprentissage profond par renforcement (DRL) est apparu comme une solution à ce problème en utilisant des réseaux de neurones profonds (DNNs) pour représenter la politique et la fonction de valeur de l'agent. Les DNN peuvent apprendre automatiquement des représentations hiérarchiques de données d'entrée complexes, telles que des images, des sons et du langage naturel, ce qui les rend bien adaptés pour gérer des espaces d'états et d'actions de grande dimension [START_REF] Silver | A general reinforcement learning algorithm that masters chess, shogi, and go through self-play[END_REF]. La combinaison de RL et de DL a conduit à des avancées significatives dans le domaine, avec de nombreuses applications atteignant des performances de pointe.

Les dernières années ont vu une explosion d'intérêt pour le DRL, avec de nombreuses applications dans l'industrie et le monde universitaire. Par exemple, le DRL a été utilisé pour entraîner des robots à effectuer des tâches telles que la saisie d'objets et la navigation dans des environnements complexes [START_REF] Gu | Deep reinforcement learning for robotic manipulation with asynchronous off-policy updates[END_REF], à jouer à des jeux tels que Go et les jeux Atari avec des performances surhumaines (40; 32), et à générer des descriptions de langage naturel d'images [START_REF] Xu | Show, attend and tell : Neural image caption generation with visual attention[END_REF]. Le succès du DRL dans ces domaines et d'autres encore a stimulé la recherche de nouveaux algorithmes, architectures et applications de DRL.

Dans ce travail, nous fournissons un aperçu du DRL, de ses applications, de ses limitations et des problèmes ouverts, en mettant l'accent sur certaines des zones de recherche les plus prometteuses dans ce domaine. Nous commençons dans la Section 2 en décrivant certains des algorithmes DRL les plus populaires, tels que les réseaux Q profonds, les techniques d'acteur-critique et les techniques de gradient de politique. Nous discutons également des avancées récentes en meta-learning, en RL hiérarchique et en apprentissage par imitation.

Dans la Section 3, nous discutons de certaines des applications les plus prometteuses de DRL dans divers domaines, notamment la robotique, les jeux, le NLP et les systèmes de recommandation. Nous explorons également la combinaison de DRL avec d'autres techniques, telles que l'apprentissage par transfert et l'apprentissage multi-tâches, pour améliorer l'efficacité et l'efficience du DRL (Section 4). Nous approfondissons également l'apprentissage RL multi-agent dans la Section 5 et l'apprentissage RL explicatif dans la Section 6.

Dans la Section 8, nous passons en revue les principales limitations et les problèmes ouverts dans le domaine du DRL, notamment l'inefficacité des échantillons, les préoccupations de sécurité et la mise à l'échelle. Nous discutons également de certaines des directions les plus prometteuses pour la recherche future en DRL, notamment la combinaison de DRL avec des techniques formelles (Section 7), l'apprentissage RL explicatif et l'apprentissage RL multi-agent.

Pour aider les praticiens à appliquer efficacement le DRL dans leur travail, nous fournissons des recommandations dans la Section 9, qui incluent des conseils sur la résolution de problèmes simples, le choix d'algorithmes et d'architectures appropriés, l'attention portée à la sécurité et à l'éthique, et la collaboration avec des experts.

Enfin, dans la Section 10, nous résumons l'article et présentons quelques extensions possibles pour la recherche future dans ce domaine passionnant et en constante évolution. Nous soulignons l'impact potentiel du DRL dans un large éventail d'applications, tout en mettant en évidence la nécessité de considérer attentivement les implications éthiques et sociétales des applications de DRL. Dans l'ensemble, nous pensons que le DRL a le potentiel de révolutionner de nombreux secteurs et domaines, et nous sommes impatients de voir les progrès et le développement continu de ce domaine passionnant.

Algorithmes DRL

Les algorithmes DRL combinent les principes de RL avec les réseaux de neurones profonds pour apprendre des politiques et des fonctions de valeur complexes à partir de données d'entrée de haute dimension. Dans cette section, nous donnons une introduction à certains des algorithmes DRL les plus largement utilisés, tels que les techniques d'acteur-critique, les techniques PG et les réseaux de Q-profond (DQN).

DQN

DQN1 est un type d'algorithme RL basé sur la valeur qui utilise un réseau de neurones profonds pour approximer la fonction de valeur d'action optimale, Q * (st, act), qui représente la récompense cumulative attendue obtenue en effectuant l'action act dans l'état st et en suivant la politique optimale par la suite. Pour augmenter la stabilité et la convergence, la méthode DQN utilise un réseau cible et une mémoire de lecture.

La mémoire de lecture stocke les transitions (st t , act t , r t , st t+1 ) dans un tampon de lecture, à partir duquel des lots de transitions sont échantillonnés uniformément au hasard pour mettre à jour le réseau Q. Afin de fournir des cibles plus stables pour les mises à jour de Q-learning, le réseau cible est une copie distincte du réseau Q qui est périodiquement mis à jour avec les poids du réseau Q. DQN a été appliqué à une large gamme de tâches, notamment la lecture de jeux Atari (32) et le contrôle de systèmes robotiques (24; 45).

Techniques AC

Les techniques AC 2 (11) sont un type d'algorithme RL basé sur la politique qui utilise deux réseaux de neurones : un réseau d'acteur qui apprend une politique stochastique π(act|st), et un réseau de critique qui mesure la fonction de valeur V (st). Alors que le réseau de critique utilise l'apprentissage de différence temporelle (TD) pour estimer la fonction de valeur, le réseau d'acteur utilise le théorème PG pour mettre à jour les paramètres de la politique dans la direction de la récompense anticipée. Trois sous-catégories de méthodes acteur-critique existent : acteur seul, acteur seul sur la politique et acteur seul hors politique. Les techniques sur la politique, telles que A2C et A3C [START_REF] Mnih | Asynchronous methods for deep reinforcement learning[END_REF], mettent à jour la politique en fonction de la politique actuelle, tandis que les techniques hors politique, telles que DDPG [START_REF] Timothy P Lillicrap | Continuous control with deep reinforcement learning[END_REF] et TD3 ( 6), utilisent une politique comportementale distincte pour générer les données utilisées pour mettre à jour la politique cible. Les techniques d'acteur seul, telles que PPO, mettent à jour la politique sans estimer explicitement la fonction de valeur.

Techniques PG

Les techniques PG 3 sont un groupe d'algorithmes RL qui optimisent directement les paramètres de la politique pour maximiser la récompense attendue. Le théorème PG fournit un moyen de calculer le gradient de la récompense attendue par rapport aux paramètres de la politique, qui peut être utilisé pour mettre à jour la politique en utilisant la descente de gradient stochastique (SGD) 4 . Les techniques PG peuvent être subdivisées en deux sous-catégories : les techniques VPG 5 et les techniques TRPO 6 . Les techniques VPG mettent à jour la politique en utilisant le gradient de première ordre de la récompense attendue, tandis que TRPO (39) utilise une contrainte de région de confiance pour garantir que la mise à jour de la politique ne s'écarte pas trop de la politique actuelle, ce qui améliore l'efficacité del'échantillonnage et la convergence.

Techniques PPO

PPO 7 est un algorithme RL basé sur la politique qui a été développé en 2017. PPO est une variante de la technique PG traditionnelle qui utilise un objectif de substitution tronqué pour mettre à jour le réseau de politique. L'objectif de substitution tronqué limite la taille de la mise à jour de la politique pour chaque itération, ce qui contribue à éviter de grands changements de politique qui pourraient déstabiliser le processus d'apprentissage. L'un des avantages clés de PPO est son efficacité d'échantillonnage. PPO est capable d'obtenir de bonnes performances avec moins d'échantillons que les anciens algorithmes PG tels que l'optimisation de politique à région de confiance (TRPO). PPO est un algorithme basé sur la politique qui ne nécessite pas de mémoire de lecture distincte car il apprend directement à partir de la politique existante.

Techniques SAC

SAC 8 est un autre algorithme RL basé sur la politique qui a été proposé par Haarnoja et al. en 2018 (8). SAC est un algorithme hors politique qui utilise un objectif d'entropie maximale pour encourager l'exploration et un réseau d'acteur stochastique pour échantillonner des actions. L'objectif d'entropie maximale encourage la politique à prendre des actions qui ne sont pas seulement optimales mais aussi diverses, ce qui peut aider à améliorer l'exploration et à conduire à de meilleures performances à long terme. SAC utilise également un réseau de critique pour estimer la fonction de valeur état-action. Contrairement aux techniques de Q-learning traditionnelles, qui utilisent une seule estimation de la fonction Q, SAC utilise un ensemble de fonctions Q pour estimer la fonction de valeur. L'utilisation de plusieurs fonctions Q contribue à réduire le biais de surestimation et à améliorer la stabilité du processus d'apprentissage.

Techniques TD3

3 Applications de DRL La DRL a démontré un excellent potentiel dans une gamme d'applications, allant de la robotique et des jeux à la NLP et au-delà. Dans cette section, nous décrirons certaines des applications les plus prometteuses de la DRL, ainsi que les défis qui se posent lors de l'application de ces techniques à des problèmes réels.

Robotique

La robotique est l'un des domaines les plus passionnants dans lesquels la DRL peut être utilisée. Les agents RL peuvent être utilisés pour contrôler des robots qui effectuent des tâches complexes dans des environnements réels. Par exemple, la RL a été utilisée pour entraîner des robots à effectuer des tâches telles que la saisie d'objets, la manipulation d'outils et la navigation dans des environnements complexes (22; 7).

Cependant, l'application de la RL à la robotique pose plusieurs défis. Un défi majeur est le besoin d'efficacité d'échantillonnage, car les interactions réelles avec un robot peuvent être lentes et coûteuses. Pour relever ce défi, les chercheurs ont développé des techniques telles que l'apprentissage par transfert, où un agent pré-entraîné est affiné pour une nouvelle tâche, et l'apprentissage basé sur la simulation, où l'agent apprend à partir d'environnements simulés avant d'être déployé dans le monde réel (9).

Jeux

La DRL a également été appliquée avec succès aux jeux. Les agents RL se sont distingués dans des jeux tels que Go, Chess et autres, en particulier. Ces jeux posent un défi unique pour les agents RL, car ils impliquent une planification à long terme et une réflexion stratégique [START_REF] Silver | Mastering the game of go with deep neural networks and tree search[END_REF]. L'un des principaux avantages de l'utilisation de la RL pour les jeux est qu'elle peut apprendre à partir de l'auto-apprentissage, où l'agent joue contre lui-même et s'améliore au fil du temps. Cela permet à l'agent d'apprendre à partir d'une grande quantité d'expérience sans avoir besoin de supervision humaine (42).

NLP

La DRL a également montré des promesses en NLP. Les agents RL peuvent être utilisés pour apprendre à générer du texte, répondre à des questions et effectuer d'autres tâches de NLP. Par exemple, la RL a été utilisée pour former des chatbots capables d'interagir avec les utilisateurs de manière naturelle et engageante [START_REF] Li | Deep reinforcement learning for dialogue generation[END_REF]. Cependant, l'application de la RL à la NLP pose également plusieurs défis. Un défi est le besoin d'interprétabilité, car il peut être difficile de comprendre comment l'agent prend des décisions. Un autre défi est le besoin d'efficacité d'échantillonnage, car la génération de texte peut être un processus lent et coûteux. Pour relever ces défis, les chercheurs ont développé des techniques telles que le façonnage de récompenses, où la fonction de récompense est conçue pour encourager un comportement souhaitable, et l'apprentissage de programme, où l'agent est formé sur des tâches progressivement plus difficiles (47; 33).

Test de boîte noire d'applications Android

L'article [START_REF] Kim | Generating test input with deep reinforcement learning[END_REF] étudie si la RL peut remplacer les algorithmes métaheuristiques conçus par l'homme dans les tests logiciels basés sur la recherche (SBST) et propose un nouveau cadre appelé GunPowder. Les auteurs reformulent le SUT 10 en tant qu'environnement RL et entraînent un agent DDQN 11 avec DNN pour produire automatiquement des données de test qui optimisent les critères de test structurels. Les auteurs effectuent une recherche empirique modeste pour tester leur approche et constatent que l'agent peut apprendre des algorithmes métaheuristiques SBST et atteindre unecouverture de branche de 100

Tests logiciels basés sur la recherche

Le travail [START_REF] Romdhana | Deep reinforcement learning for black-box testing of android apps[END_REF]

Le transfert d'apprentissage en RL

Le transfert d'apprentissage est une technique d'apprentissage automatique dans laquelle la connaissance acquise pour une tâche est transférée à une tâche connexe. En RL, le transfert d'apprentissage peut être utilisé pour accélérer l'apprentissage d'une nouvelle tâche en exploitant la connaissance acquise à partir d'une tâche connexe.

L'utilisation de réseaux neuronaux pré-entrainés comme point de départ pour l'apprentissage d'une nouvelle tâche est l'une des méthodes les plus prometteuses pour le transfert d'apprentissage en RL. Le réseau pré-entrainé peut être affiné pour la nouvelle tâche, permettant à l'agent d'apprendre plus rapidement et avec moins d'exemples d'entraînement. Par exemple, un réseau pré-entrainé qui a appris à jouer à un jeu peut être affiné pour jouer à un jeu connexe, permettant à l'agent d'apprendre plus rapidement qu'en partant de zéro. Une autre approche pour le transfert d'apprentissage en RL consiste à utiliser la connaissance acquise à partir d'un ensemble de tâches connexes pour apprendre une nouvelle tâche. Cette approche est connue sous le nom d'apprentissage multi-tâches et implique la formation de l'agent sur plusieurs tâches connexes simultanément. L'idée est que l'agent apprendra à partager des connaissances entre les tâches, ce qui lui permettra d'apprendre plus rapidement et avec moins d'exemples d'entraînement pour chaque tâche individuelle.

Le transfert d'apprentissage a été appliqué avec succès à une variété de problèmes RL. Par exemple, le transfert d'apprentissage a été utilisé pour apprendre à des agents à jouer à plusieurs jeux Atari en utilisant un seul réseau neuronal [START_REF] Mittel | Visual transfer between atari games using competitive reinforcement learning[END_REF]. Le transfert d'apprentissage a également été utilisé pour apprendre à des agents à jouer à Pong en utilisant la connaissance acquise à partir de la jouerie de Breakout [START_REF] Parisotto | Actor-mimic : Deep multitask and transfer reinforcement learning[END_REF].

Cependant, le transfert d'apprentissage en RL pose également plusieurs défis. Un défi majeur est la nécessité de trouver une tâche connexe qui peut fournir une connaissance utile pour la nouvelle tâche. Un autre défi est la nécessité d'équilibrer la quantité de connaissance transférée de la tâche connexe avec la quantité d'apprentissage spécifique à la nouvelle tâche.

À mesure que le domaine du RL continue d'évoluer, il est probable que de nouvelles techniques et approches de transfert d'apprentissage émergeront pour faire avancer l'état de l'art.

Une branche du RL appelée RL Explicable (RLX) est préoccupée par la création d'algorithmes qui peuvent fournir des explications pour leurs décisions et actions. Le but de RLX est de rendre le RL plus transparent et compréhensible, permettant aux humains de mieux comprendre et faire confiance aux décisions prises par les agents RL.

RLX devient de plus en plus important car le RL est de plus en plus utilisé dans des applications du monde réel, telles que les voitures autonomes et les soins de santé. Dans ces applications, il est crucial de pouvoir comprendre comment l'agent RL prend des décisions, surtout lorsque ces décisions ont des conséquences importantes pour la sécurité et le bien-être humains.

Les compromis entre performance et explicabilité sont l'un des principaux problèmes avec RLX. Les algorithmes RL hautement explicables peuvent sacrifier leur performance pour fournir des explications, tandis que les algorithmes hautement performants peuvent être difficiles à expliquer.

Il existe plusieurs approches à RLX, notamment les techniques basées sur des règles, les techniques basées sur des modèles et les techniques agnostiques aux modèles. Les techniques basées sur des règles utilisent des règles explicites pour guider le processus de prise de décision et fournir des explications pour les actions prises. Les techniques basées sur des modèles utilisent des modèles conçus pour être interprétables, tels que les arbres de décision ou les modèles linéaires. Les techniques agnostiques aux modèles se concentrent sur la génération d'explications pour les modèles boîte noire, tels que les réseaux de neurones profonds, en analysant les entrées et sorties du modèle.

De nombreux problèmes ont été abordés avec RLX, notamment les soins de santé (37), la finance (4) et la robotique [START_REF] Beyret | Dot-to-dot : Explainable hierarchical reinforcement learning for robotic manipulation[END_REF]. Dans les soins de santé, RLX a été utilisé pour prédire les résultats des patients et fournir des explications pour les prédictions, permettant aux médecins de mieux comprendre et faire confiance aux prédictions de l'algorithme. En finance, RLX a été utilisé pour prendre des décisions d'investissement et fournir des explications pour les décisions, permettant aux investisseurs de mieux comprendre et faire confiance aux recommandations de l'algorithme. En robotique, RLX a été utilisé pour permettre aux humains de mieux comprendre et interagir avec les robots, les rendant plus utiles et efficaces dans une variété d'applications.

À mesure que le domaine de RLX continue d'évoluer, il est probable que de nouvelles techniques et approches émergeront pour faire progresser l'état de l'art.

Combinaison de DRL et de techniques formelles

Les techniques formelles sont des techniques mathématiques pour spécifier, analyser et vérifier les systèmes logiciels et matériels (16; 13; 20; 28; 14). Elles sont souvent utilisées pour garantir la correction et la sécurité des systèmes critiques, tels que ceux utilisés dans l'aérospatiale, les dispositifs médicaux et les véhicules autonomes (27; 25). Les techniques formelles reposent généralement sur la logique et le raisonnement, et elles peuvent être utilisées pour prouver la correction d'un système par rapport à une spécification donnée (21; 15). Les algorithmes DRL peuvent parfois apprendre des politiques qui violent les contraintes de sécurité ou ne satisfont pas certaines exigences. Cela est particulièrement préoccupant dans les applications critiques pour la sécurité, où les conséquences d'une défaillance peuvent être catastrophiques. Pour résoudre ce problème, il y a un intérêt croissant pour la combinaison de DRL et de techniques formelles (17; 29). L'idée est d'utiliser des techniques formelles pour spécifier les contraintes de sécurité et les exigences, puis d'utiliser DRL pour apprendre des politiques qui satisfont ces contraintes et exigences (12; 26).

Une approche pour combiner le DRL et les techniques formelles est d'utiliser la vérification de modèle, qui est une technique de vérification formelle qui vérifie si un système donné satisfait une spécification donnée (18; 19). La vérification de modèle peut être utilisée pour vérifier qu'une politique apprise satisfait les contraintes de sécurité ou d'autres exigences. Une autre approche consiste à utiliser des spécifications formelles pour guider le processus d'apprentissage en DRL. Par exemple, une spécification formelle peut être utilisée comme fonction de récompense dans l'algorithme RL, encourageant l'agent à apprendre une politique qui satisfait les exigences spécifiées dans la spécification.

La combinaison de DRL et de techniques formelles est encore un domaine de recherche relativement nouveau, et il existe de nombreuses questions et défis ouverts. Un défi consiste à développer des techniques qui peuvent être mises à l'échelle pour les systèmes larges et complexes. Un autre défi consiste à s'assurer que les politiques apprises sont non seulement sûres, mais aussi optimales et efficaces.

Limitations et enjeux ouverts

Malgré les énormes avancées réalisées en DRL ces dernières années, certains enjeux demeurent et certaines limitations n'ont pas encore été résolues. L'inefficacité de l'échantillonnage est l'un des principaux inconvénients de la DRL. Les algorithmes de DRL efficaces nécessitent souvent beaucoup de données pour apprendre, ce qui peut être prohibitif dans les applications pratiques. Il est donc nécessaire de développer des algorithmes de DRL capables d'apprendre à partir de moins d'échantillons, par exemple des algorithmes de méta-apprentissage qui peuvent apprendre à apprendre à partir d'expériences passées.

Une autre limitation de la DRL est liée aux préoccupations de sécurité. Les agents de RL peuvent parfois apprendre à exploiter l'environnement de manière inattendue et potentiellement dangereuse, ce qui suscite des préoccupations en matière de sécurité. Il est donc nécessaire de développer des algorithmes de DRL capables de garantir un comportement sûr et fiable, par exemple des algorithmes qui intègrent des contraintes de sécurité dans le processus d'apprentissage.

La scalabilité est également un problème majeur en DRL. Les algorithmes de DRL traditionnels peuvent devenir excessivement lents ou exiger des ressources mémoire considérables à mesure que le nombre d'états et d'actions dans l'environnement augmente. Il est donc nécessaire de développer des algorithmes de DRL capables de s'adapter à des environnements plus vastes et complexes, par exemple des algorithmes de RL hiérarchique capables d'apprendre à plusieurs niveaux d'abstraction.

Tab. 1 -Limitations de la DRL Limitation Description Inefficacité de l'échantillonnage Les algorithmes de DRL nécessitent souvent de grandes quantités de données pour apprendre des politiques efficaces, ce qui peut être prohibitif dans les applications du monde réel. Préoccupations de sécurité Les agents de RL peuvent parfois apprendre à exploiter l'environnement de manière inattendue et potentiellement dangereuse, ce qui suscite des préoccupations en matière de sécurité. Scalabilité À mesure que le nombre d'états et d'actions dans l'environnement augmente, les algorithmes de DRL traditionnels peuvent devenir excessivement lents ou exiger des ressources mémoire considérables. Interprétabilité et explicabilité À mesure que les agents de RL deviennent plus complexes et plus puissants, il devient de plus en plus difficile de comprendre et d'interpréter leur comportement. l'entrée qui ont le plus d'influence sur la sortie de l'agent de RL.

En somme, malgré les enjeux et les défis à relever, la DRL continue d'offrir de nombreuses opportunités pour résoudre des problèmes complexes dans divers domaines, notamment en robotique, en jeux vidéo, en finance, et dans de nombreux autres domaines.

Recommandations pour les praticiens

Il est crucial pour les praticiens de se tenir au courant des avancées les plus récentes et des meilleures pratiques de l'industrie alors que la DRL continue de s'étendre et de trouver de nouvelles applications. Voici quelques suggestions pour les professionnels qui souhaitent utiliser la DRL dans leur travail.

Commencer avec des problèmes simples

La DRL peut être un outil puissant pour résoudre des problèmes complexes de prise de décision, mais elle peut aussi être difficile à appliquer efficacement. Les praticiens qui découvrent la DRL peuvent trouver utile de commencer par des problèmes simples et de progressivement travailler sur des problèmes plus complexes. Des problèmes simples peuvent comprendre des tâches telles que contrôler un bras robotique simple, jouer à des jeux simples, ou naviguer dans un labyrinthe simple. En commençant par des problèmes simples, les praticiens peuvent acquérir de l'expérience avec la DRL et développer une intuition pour son fonctionnement et comment l'appliquer efficacement dans différents contextes. Une fois que les praticiens sont à l'aise avec des problèmes simples, ils peuvent progressivement travailler sur des problèmes plus complexes, tels que la conduite autonome, le diagnostic médical ou la manipulation de robots.

Choisir des algorithmes et architectures appropriés

Il existe de nombreux algorithmes et architectures DRL différents, chacun ayant ses propres forces et faiblesses. Les praticiens doivent tenir compte des exigences de leur problème et choisir des algorithmes et architectures appropriés pour leurs besoins spécifiques. Par exemple, si le problème implique des espaces d'action continus, des algorithmes tels que DDPG ou TD3 peuvent être plus appropriés que des algorithmes tels que Q-learning ou SARSA, conçus pour des espaces d'action discrets. De même, si le problème implique des espaces d'entrée de haute dimension, des architectures telles que les CNNs 12 ou les RNNs 13 peuvent être plus appropriées que des réseaux de neurones feedforward simples. En choisissant soigneusement les algorithmes et architectures, les praticiens peuvent s'assurer qu'ils utilisent les techniques les plus appropriées pour leur problème spécifique.

12. CNN = Réseau de neurones convolutifs 13. RNN = Réseau de neurones récurrents

Prêter attention à la sécurité et à l'éthique

Alors que la DRL est de plus en plus utilisée dans des applications critiques pour la sécurité, telles que la conduite autonome et le diagnostic médical, il est important que les praticiens prêtent une attention particulière à la sécurité et aux considérations éthiques. Les praticiens doivent s'assurer que les politiques apprises sont sûres, transparentes et interprétables, et qu'elles ne perpétuent pas de biais ou de discrimination. Cela peut impliquer l'utilisation de techniques telles que l'entraînement adversarial pour s'assurer que les politiques apprises sont robustes aux attaques adverses, ou l'utilisation de techniques telles que la pensée contrefactuelle pour s'assurer que les politiques apprises ne perpétuent pas de biais ou de discrimination. De plus, les praticiens doivent être conscients des implications éthiques de leur travail et doivent considérer l'impact potentiel de leurs applications sur la société et l'environnement.

Collaborer avec des experts

La DRL est un domaine hautement interdisciplinaire qui nécessite une expertise en informatique, en mathématiques et souvent une connaissance spécifique du domaine. Les praticiens qui découvrent la DRL peuvent trouver utile de collaborer avec des experts dans ces domaines pour s'assurer qu'ils utilisent des techniques appropriées et qu'ils abordent les défis pertinents. Par exemple, les praticiens travaillant sur des applications de diagnostic médical peuvent collaborer avec des experts médicaux pour s'assurer que leurs modèles sont cliniquement pertinents et précis. De même, les praticiens travaillant sur des applications de conduite autonome peuvent collaborer avec des experts en transport pour s'assurer que leurs modèles sont sûrs et efficaces dans des scénarios de conduite réels. En collaborant avec des experts, les praticiens peuvent s'assurer qu'ils utilisent les techniques les plus appropriées et abordent les défispertinents dans leur domaine spécifique.

Se tenir au courant des dernières avancées

La DRL est un domaine en constante évolution avec de nouveaux développements et techniques qui émergent régulièrement. Les praticiens doivent faire un effort pour se tenir au courant des dernières avancées et participer à des conférences et des ateliers pour apprendre de nouvelles techniques et les meilleures pratiques. Cela peut impliquer la lecture d'articles de recherche, l'assistance à des présentations et des séminaires, ou la participation à des forums et des groupes de discussion en ligne. En restant à jour avec les dernières recherches, les praticiens peuvent s'assurer qu'ils utilisent les techniques les plus à la pointe et contribuent au développement continu du domaine.

Conclusion

Nous avons également discuté de certaines des applications clés de la DRL, notamment l'apprentissage par transfert, le RL multi-agent et le RL explicatif, et nous avons souligné certains des défis et des limites de la DRL, tels que l'inefficacité de l'échantillonnage, les préoccupations de sécurité et la scalabilité. En outre, nous avons exploré la combinaison de la DRL avec des techniques formelles, un domaine de recherche prometteur pour garantir la sécurité et la fiabilité des applications de DRL.

Pour aider les praticiens à appliquer efficacement la DRL dans leur travail, nous avons fourni des recommandations pour commencer par des problèmes simples, choisir les algorithmes et architectures appropriés, prêter attention à la sécurité et à l'éthique, collaborer avec des experts et rester à jour avec les dernières recherches dans le domaine. En suivant ces recommandations, les praticiens peuvent appliquer efficacement la DRL dans une large gamme d'applications et contribuer au développement continu de ce domaine passionnant et en constante évolution.

Dans l'ensemble, la DRL est un domaine en constante évolution avec un potentiel significatif d'impact dans une large gamme d'applications. À mesure que le domaine continue d'évoluer, il est probable que de nouvelles techniques et approches émergeront pour faire avancer l'état de l'art et permettre de nouvelles applications de la DRL.

Cependant, il est important de noter que à mesure que les algorithmes de DRL deviennent plus puissants et complexes, il est nécessaire de s'assurer qu'ils sont sûrs, fiables et transparents. Cela nécessite non seulement des avancées dans les algorithmes et les techniques sous-jacentes, mais également une réflexion attentive sur les implications éthiques et sociétales des applications de DRL.

Nous espérons que cet article offre une introduction utile au domaine de la DRL, ses applications, ses limites et ses enjeux ouverts, et qu'il inspire de nouvelles recherches et développements dans ce domaine passionnant et en constante évolution.

2 .

 2 Techniques AC=Techniques d'acteur-critique 3. Techniques PG=Techniques de Gradient de Politique 4. SGD=Descente de Gradient Stochastique 5. VPG=Techniques de Gradient de Politique Vanille 6. TRPO=Optimisation de Politique à Région de Confiance 7. PPO=Optimisation de Politique Proximale

10 .

 10 SUT=Logiciel sous test 11. DDQN=Réseaux Q profonds doubles

  a développé et évalué ARES, une technique de Deep Reinforcement Learning (RL) pour tester des applications Android en boîte noire. Les auteurs utilisent le Deep RL et les réseaux neuronaux pour explorer l'espace d'état important des applications Android lors des tests. ARES surpasse Time Machine et Q-Testing en termes de couverture et de découverte de failles. Les activités enchaînées et bloquées dans les applications Android rendent le Deep RL particulièrement performant, selon les auteurs. Pour éviter le coût de calcul de l'optimisation des applications réelles, les auteurs ont développé FATE, un outil pour affiner les hyperparamètres de l'algorithme Deep RL sur des applications simulées. FATE peut réduire considérablement le temps et le coût de l'ajustement des hyperparamètres, selon les études des auteurs. Le Deep RL et les réseaux neuronaux peuvent automatiser l'exploration de l'espace d'état énorme, améliorant ainsi les tests en boîte noire des applications Android. Les auteurs démontrent que le Deep RL peut évaluer les applications Android dans des environnements d'exploration complexes. Le travail pourrait aider la communauté de l'ingénierie logicielle à améliorer les tests d'applications Android.

DQN=Réseaux Q-Profonds

TD3[START_REF] Hafner | Learning latent dynamics for planning from pixels[END_REF] est un algorithme RL basé sur la politique qui a été proposé par Fujimoto et al. en 2018[START_REF] Fujimoto | Addressing function approximation error in actor-critic methods[END_REF]. TD3 est un algorithme hors politique qui utilise deux réseaux de critique pour estimer la fonction de valeur état-action et un mécanisme de mise à jour différée pour stabiliser l'apprentissage. Les deux réseaux de critique sont entraînés indépendamment, ce qui contribue à réduire le biais de surestimation et à améliorer la précision des estimations de la valeur. Pour augmenter la stabilité du processus d'apprentissage, TD3 applique également une technique de lissage de politique cible. En ajoutant du bruit à la politique cible pendant l'apprentissage, la technique de lissage de politique cible atténue la sensibilité du processus d'apprentissage aux changements minimes de la politique.Dans l'ensemble, ces avancées récentes dans le domaine de la DRL ont montré une grande promesse en améliorant les performances et l'efficacité des agents RL. La tâche particulière à accomplir, ses besoins, les ressources de traitement disponibles et la méthode choisie déterminent finalement la décision finale. À mesure que le domaine continue d'évoluer, il est probable que de nouveaux algorithmes et techniques continueront à émerger pour faire avancer l'état de l'art en DRL. 8. SAC=Acteur-Critique Souple 9. TD3=Acteur-Critique Profond à Retardement Double

RL multi-agentLe RL multi-agent (RLMA) est un sous-domaine du RL qui traite des agents qui interagissent entre eux dans un environnement partagé. En RLMA, les agents doivent apprendre à coopérer ou à rivaliser avec d'autres agents pour atteindre leurs objectifs. Le RLMA devient de plus en plus important en tant qu'outil pour résoudre des problèmes complexes du monde réel, tels que la gestion du trafic, l'optimisation de la chaîne d'approvisionnement et la réponse aux catastrophes. Dans ces scénarios, plusieurs agents doivent coordonner leurs actions pour atteindre un objectif commun.L'un des principaux défis du RLMA est le problème de coordination : comment s'assurer que les agents apprennent à coordonner efficacement leurs actions. Il existe plusieurs approches pour résoudre ce problème, notamment l'entraînement centralisé avec exécution décentralisée (ECED), l'entraînement décentralisé avec exécution centralisée (EDCE) et l'entraînement et l'exécution entièrement décentralisés.Dans l'ECED, un agent centralisé est entraîné avec accès aux états et actions de tous les agents. Pendant l'exécution, chaque agent exécute son action en fonction des recommandations de l'agent centralisé. Dans l'EDCE, chaque agent est entraîné indépendamment, mais pendant l'exécution, un agent centralisé coordonne leurs actions. L'entraînement et l'exécution entièrement décentralisés impliquent que chaque agent apprend et agit de manière indépendante.Le RLMA a été utilisé pour résoudre une variété de problèmes, tels que le football robotique[START_REF] Stone | Multiagent systems : A survey from a machine learning perspective[END_REF], la gestion du trafic (36) et l'optimisation de la chaîne d'approvisionnement[START_REF] Peng | Deep reinforcement learning approach for capacitated supply chain optimization under demand uncertainty[END_REF]. Ces dernières années, le RL profond a été utilisé pour entraîner des agents en RLMA, ce qui a conduit à des améliorations significatives des performances.

Enfin, l'interprétabilité et l'explicabilité sont des enjeux importants en DRL. À mesure que les agents de RL deviennent plus complexes et plus puissants, il devient de plus en plus difficile de comprendre et d'interpréter leur comportement. Il est donc nécessaire de développer des algorithmes de DRL capables de fournir des explications pour leurs décisions et actions, permettant ainsi aux humains de mieux comprendre et faire confiance au comportement des agents de RL. Un résumé de ces limitations est présenté dans le Tableau 1.Malgré ces limitations et enjeux ouverts, il existe plusieurs directions prometteuses pour la recherche future en DRL. Le méta-apprentissage, qui consiste à apprendre à apprendre à partir d'expériences passées, est une approche prometteuse pour résoudre le problème d'inefficacité de l'échantillonnage en DRL. Le RL hiérarchique, qui implique l'apprentissage à plusieurs niveaux d'abstraction, est une approche prometteuse pour résoudre le problème de scalabilité en DRL. L'apprentissage curriculaire, qui consiste à augmenter progressivement la difficulté de la tâche d'apprentissage, est une approche prometteuse pour accélérer l'apprentissage dans la DRL.En ce qui concerne les préoccupations de sécurité, des algorithmes de DRL ont été proposés pour garantir un comportement sûr et fiable. Par exemple, les algorithmes de RL contraints permettent de spécifier des contraintes de sécurité qui doivent être respectées par l'agent de RL. De même, les algorithmes de RL inverse permettent de déduire la politique à partir des comportements observés, ce qui peut être utilisé pour détecter les comportements indésirables.Enfin, en ce qui concerne l'interprétabilité et l'explicabilité, des travaux récents ont développé des approches pour expliquer le comportement des agents de RL, notamment en utilisant des méthodes de visualisation et d'interprétation. Par exemple, les méthodes de saliency map peuvent être utilisées pour mettre en évidence les parties de


Lechevrel Nadège
email: nadege.lechevrel@ehess.fr

Ater

THE INTERTWINED HISTORIES OF ECOLINGUISTICS AND ECOLOGICAL APPROACHES OF LANGUAGE(S) HISTORICAL AND THEORETICAL ASPECTS OF A RESEARCH PARADIGM

This paper is a written version of the communication I gave at the Symposium on Ecolinguistics organized by Jorgen Chr. Bang and Anna Vibeke Lindo at the

INTRODUCTION

I discovered the term ecolinguistics in 1999 in a book entitled Endangered Languages (Grenoble, 1998, p. 23-24) 1 , when I was working on minority languages. Then again, on several occasions (especially when working on orality and literacy amongst Australian Aboriginal languages), I came across some ecological frameworks in linguistics under different names such as "the ecology of language", "language ecology" or "ecolinguistics", mostly in books and articles written in English. There were at least two things which started me thinking about doing the history of ecological approaches in linguistics.

The first thing was that strong supporting arguments in favour of an ecological approach in the study of language and languages instead of traditional ones were almost nowhere to be found at the end of the nineties. There are of course some reputable introductions and short histories of ecological approaches (ecolinguistics or others) such as the ones written by Alwin Fill (Fill A., 1993), Peter 1 My research interests lie at the interface between theoretical and epistemological questions, more specifically between the descriptions made by ecological approaches (in linguistics, sociology, anthropology and enactivist and situated cognition), empirical (or experimental) studies and the development of new technologies. I also have a ten-year experience in teaching and I am currently a temporary researcher and assistant lecturer at the Université d'Angers (France) where I teach educational linguistics (linguistic analysis and linguistic theories applied to FLE, French as a foreign language), sociolinguistics, and French as a foreign language.

Mühlhäusler and Alwin Fill [START_REF] Mühlhäusler | The Ecolinguistics Reader. Language, Ecology and Environment[END_REF], Mark [START_REF] Garner | Endangered Languages. Current Issues and Future Prospects[END_REF], or in a true historical perspective, the unequalled article by Martin Döring and Brigitte Nerlich (Döring M., 2005), but they are all mainly written from the inside (i.e. internal or oriented historiographies) and quickly move to specific developments. One of the most trying things is probably to read on and on the everlasting complaint about Saussurean structuralist theory of language which is said to exclude external parameters from the study of language, and to notice the lack of references from past and present linguistic theories also emphatically opposing representations of languages seen as closed-systems and which assess the complex nature of language. Such reductionist views therefore cannot lead linguists to plead the cause of ecolinguistics.

Secondly, and that explains the reason why my communication is entitled "the intertwined histories of ecolinguistics and the ecological approach of language", despite methodological, theoretical and scientific discrepancies amongst multifarious ecological frameworks, one is often given to read that Haugen is the "Père fondateur" of the ecology of language. Have people read too much into what he wrote in 1971? Why has the seminal work failed to lead to a unified field of research (or research paradigm)? How can we explain or understand the circulation of names and proper names such as Einar Haugen-is it to give visibility, consistency or continuity to a hybrid approach? Doing the history of ecological approaches in linguistics thus consisted in digging into inner historiographies, questioning terms like seminal works, pioneer actors, continuity and paradigm, and trying to decipher the use of a term such as ecolinguistics by different actors and schools of thought, disclosing the difference often made or provided between ecolinguistics and the ecology of languages. As a matter of fact, such historical work had to prevent itself from yielding to a nominalist approach by going beyond "ecolinguistics". It also aimed at finding out why until very recently the ecological trend was so unsuccessful in France. Even though things are changing now, there is still a long way to go. Nevertheless, similar approaches before Haugen's had already been developed in France under the name of sociolinguistics [START_REF] Encrevé | Problèmes de bilinguisme dialectal. La situation linguistique à Foussais (Vendée, France). TH de doctorat sous la direction d'André Martinet[END_REF]. Moreover, the approach was not unknown as some French linguists like J.-B. Marcellesi as early as the 1970's [START_REF] Marcellesi | Basque, breton, catalan, corse, flamand, germanique d'Alsace, occitan: l'enseignement des 'langues régionales[END_REF], C. [START_REF] Hagège | L'homme de paroles[END_REF] or L.-J. Calvet (1999), had tried to introduce the term ecolinguistics (or an ecological approach) in the landscape of French sociolinguistics, followed lately by the Institute of French Linguistics which has opened a session called "Sociolinguistics and ecology of languages"2 or the CNRS linguistic laboratory LACITO who organized a workshop on the subject last October "Linguistic change and social ecology"3 .

In 2002, there was nevertheless little overt support in the field of French sociolinguistics for ecological approaches be it ecolinguistics or ecological frameworks without a name. It was overlooked by linguists, and many of my colleagues did not see any interest in doing the history of a non-existent field of research. Besides, the word ecolinguistics was often attached to some marginal attempts at ecologizing language and/or mind-a linguistic theory warped by ideology and political claims. It was being ostracized for its dangerous eco-attitude too close to "deep ecology" or some other unprincipled strategies and biased forms of ecologist philosophies. But was it fair to cast ecological approaches all together without any insight into the ecological paradigm on the grounds that they were deviant forms of ecologist philosophies? The matter needs to be precisely demonstrated, and this is only possible by going back and forth between the present state of the paradigm, the disciplinary context, and the development of past argumentations. Probably the reasons why ecolinguistics and ecological trends disturb or threaten the community are because (i) there is of course a long and complicated relationship between biology and linguistics, more precisely with the Darwinist developments of the 19 th century naturalistic linguistics and the controversial debates around the genetic tree, blind mutation metaphors and the like, a relation inextricably interwoven in the 20 th century with that of the ecological paradigm in anthropology and ethnology-its drawbacks and benefits 4 ; and (ii) because of the extensive relationship between ecology and the political arena. The 20 th century has indeed witnessed major changes regarding the development of biological ecology which have led to the overlapping of public action and science. Thus, the ecological paradigm in disciplines others than biology is often compared to a dangerous tendency to submit science to our society's needs. This of course is to be linked to the neutrality/objectivity debate, and also perhaps to the question of "whose needs?". The kind of "awareness" that is taking place at the moment may indeed modify our ways of doing research but to what extent and in what directions, we do not predict.

THEORETICAL AND METHODOLOGICAL BACKGROUND

This paper presents some of the results of my research on the history of the ecological paradigm in linguistics (led from 2003 to 2008) (Lechevrel, forthcoming)5 . I would much describe my work after Jean-Louis Fabiani as a "historical sociology of the organization of knowledge" [START_REF] Boutier | Qu'est-ce qu'une discipline[END_REF]. Two of the books I was first given to read by my supervisor were The Genesis and Development of a Scientific Fact by Ludwick [START_REF] Fleck | Genesis and Development of a Scientific Fact[END_REF] and The Cognitive Revolution in Psychology by [START_REF] Baars | The Cognitive Revolution in Psychology[END_REF]. Both books were rather influential in my thinking and I was much guided by Baars's conception of validation of scientific domains and his comparing the academic world itself to an ecological niche. Some other sociological works on the rise and fall of disciplines were also instrumental in my work at a theoretical level.

The specificity of my work has been on the one hand to work on "emergent disciplines/fields/trends/paradigms" using and questioning the use of new technologies in the history of science, and on the other hand, to focus on Haugen's contribution so as to situate his article into his lifework and disciplinary context. I hoped to establish a fair continuity of "The ecology of language" with contemporary trends, especially in the field of sociolinguistics. I gathered two corpora before starting working on Haugen's work in order to present a state of the art of both ecolinguistics and ecological approaches in a broader sense. I indicate in the subsequent sections the methodology that was taken on to do so.

Corpus 1: lexical items, choice of languages, the internet and integrated catalogues

As I was collecting and analyzing data on the subject, it turned out that the term ecolinguistics had taken on some very specific theoretical colours or was being stabilized into a discipline, a stability that the other ecological trends in linguistics did not share (such is the case for at least the ecological approaches developed in sociolinguistics, the sociology of language or language evolution studiesespecially Creole studies). But despite this observation, all of these approaches kept pointing to the same seminal work by Einar Haugen. However, the reader is often left with very little to cling to in terms of theoretical and historical arguments as no real analysis of this supposedly seminal article is ever displayed. I used the term ecolinguistics in my research, amongst other expressions, because it was a window to the world of these approaches, but I did not narrow down all approaches to the discipline ecolinguistics (e.g. defined by some actors as a "dialectical approach"). It allowed me to avoid the reification of disciplines and the objectification of individuals through their seminal works. Haugen work). One of the first linguists to find himself in conflict with these naturalistic theories was certainly H. Schuchardt in the field of Creole studies (Schuchardt, H. (1922). Hugo Schuchardt-Brevier. Ein Vademekum der Allgemeinen Sprachwissenschaft. Spitzer Léo (éd). Halle: Max Niemeyer). As for the development of an eco-anthropology and ethnology in France, see the works by Haudricourt as early as the 1940s.

himself wrote that "the name of the field is of little importance, but it seems to me that the term 'ecology of language' covers a broad range of interests within which linguists can cooperate significantly with all kinds of social scientists towards an understanding of the interaction of languages and their users" (Haugen E., 1971, p. 21). Without going any further into detail regarding nominalist philosophy, one is reminded that methodological awareness is necessary when doing the history of the ecological paradigm in linguistics, i.e. regarding the benefits and drawbacks of a nominalist approach to identify trends and/or delimit a field of research. Moreover, the root eco-has to be carefully defined and correlated to a refined study of the words that constitute the expression used to name all these different approaches and their hierarchical relationship at a lexical and syntactic level. The history of the term 'sociolinguistics' in France, its success and failures, was a great source of inspiration for that matter. The way libraries classify new disciplines was also of interest to me. For instance, the 2003 RAMEAU classification6 for the first time listed the term ecolinguistics under the category "Arts et lettres", in the subdivision "geography". This is of importance regarding the links between dialectology and sociolinguistics, and the possibility of continuity between contemporary trends and Haugen's scientific background and environmental and historical context. In addition to this lexical analysis, there was also a translation problem and the question of an arbitrary choice of languages which limits the inquiry to only four European languages: English, French, German and Spanish. Finally, I used recent studies on the virtual world and new technologies like those by La Vega (La Vega J.F., 2000) or more recently by Pierre Lévy, to analyze the visibility of ecological trends on the Internet. What I did consisted in showing that while browsing the web for information (on Google for example) could make people think they get a clear picture of a research field, and even get an insight into a sort of English-speaking world opposed to a French-speaking one, these worlds are actually to be questioned as the Internet is not an isomorphic picture of anything except what people want to see or find on the web; thus, it is not an isomorphic picture either of what "real" ecological approaches could be. I consequently opposed the Google world to the "deep web" (i.e. the invisible Web which comprises archives, database and libraries catalogues not covered by web browsers) by contrasting a simple internet search with a bibliometric search. This led me to a non-exhaustive bibliometric study of literature on/in ecological frameworks which lists the publications of 120 authors in the four languages mentioned above.

Corpus 2: definitions

The second corpus is made of available definitions of what ecolinguistics or an ecological approach could be, obtained either by oral testimonies or written texts found on the Internet or into the books from the database. Therefore, my work has consisted first in collecting as much data as possible on ecological works in linguistics, using the different existing keywords in circulation (see corpus 1: 120 items in the database, more than 500 peripheral bibliographical references and a complete bibliography of Haugen's work) and second, in gathering definitions so as to render a clearer picture of the ecological paradigm in linguistics (see corpus 2: 12 definitions, including an analysis of the Wikipedia definition available on the Internet, analyzed from a sociological point of view).

~ 5 ~

DISPLAYING SOME OF THE RESULTS

TABLE 1: "The different expressions used to refer to an ecological approach in linguistics and their translation" List of items (and their translation) used to constitute the corpus TABLE 2: "Type of production"

~ 6 ~ One could be led to think that the production finds itself in a process of stabilization, as it first appears that 43% of the production is contained in books, but 52% of the production is actually mainly to be found in short format (i.e. in book chapters, articles and reviews). TABLE 3: "How often are these terms used?" Again, this shows that the adjective and the name of the discipline from which the concepts are being borrowed are preferred to terms referring to a discipline.

FROM HAUGEN'S SEMINAL WORK TO CURRENT TRENDS

Even though Haugen staunchly defended the ecology of language, he did not manage to argue persuasively in favour of it. His 'seminal' article is often criticized for its too many second-hand references and lack of refinement of an ecological approach. But Haugen had a very particular position in the history of American linguistics; he was able to offer a singular reflexive look on his field of research (by contributing personally to the historiographies of linguistics) due to his European and American double heritage. Moreover, he witnessed a very important period in the history of linguistics, i.e. the rise of the "Chomskyan revolution" and that of sociolinguistics and interdisciplinary approaches developed mainly by Hymes and Gumperz7 . Working on Haugen's whole production has thus revealed to be very instrumental in doing the history of the ecological paradigm or ecological approaches in general in linguistics. The 1971 article has also made it clearer how Haugen's work (and Weinreich's) on language contact and bilingualism fostered the ecology of language (i.e. he wondered what was happening in people's minds in shift processes and how people interacted with each other and their environment).

Those interested in ecological approaches in linguistics may have noticed the countless crossreferences made to Haugen's definition(s) of what the ecology of language should or could be. Yet, we do think that the most important elements of his article do not rest on these few sentences turned into dogmas, but on some more relevant comments. For instance, when Haugen implicitly refers to Humboldt by using Aristotle's notions of ergon and energeia only to say that languages of course are not either a product or an activity of humans, but both, and that language "appears as action, like all behaviour, but it exists in the mind as a potential, which can be treated as a thing, a thing that implies the possibility of action" (Haugen, 1971, p. 20); or when priority is given to the role of sociology, through references to human ecology and sociological works. Haugen's emphasis on human ecology stresses the importance of a more integrative linguistics and resonates with current trends in cognition, sociology or linguistics to move towards situated and enactivist anthropology, or ecological approaches.

Regarding the socio-historical context of the 1971 article, it is to be reminded that Haugen first presented it in 1970 as a communication for the CAL conference on understanding and archiving the languages of the world, and on language typology. Haugen's communication at that time gave an argument in favour of an ecological approach to language, but no theoretical framework. Nonetheless, it was already suggesting an integrative approach of language. The study of linguistic marks are quite relevant as well in the analysis of the evolution of the subsequent publications, there was for example a change in title between this conference ("On the ecology of languages") and the first publication in the Linguistic Reporter in 1971 ("The ecology of language"), and then again in the second publication in 1972 in Dil's book ("The ecology of language"). Several models can now be identified (after Haugen):

-Linguistic gravitational models in language planning and policies, language contact and languages in contact, and sociolinguistics (e.g. Calvet L.-J., 1999)

-Linguistic ecosystems and co-evolution in the sociology of language and diglossic contexts (see the complexity paradigm)

-Eco-critical discourse analysis in discourse analysis (or environmental linguistics)

-Dialectical linguistics in dialectical philosophy and linguistics (e.g. Bang J.Ch. and J. Door, 2007)

-Linguistic change and language evolution in Creole studies, linguistic typology and evolution (e.g. Mufwene S.S., 2001Mufwene S.S., , 2008)

CONCLUSION

The purpose of our investigation was to analyze the emergence of ecological approaches in linguistics and to question the role of "The ecology of language" [START_REF] Haugen | The Ecology of language. The Linguistic Reporter La Vega[END_REF]) in these developments. We showed that terms like 'ecolinguistics' or 'ecological linguistics' did not refer to a single well-defined theoretical model but rather to a vast body of research and propositions which nonetheless share a main line. Even though these trends, which are generally gathered under two or three umbrella terms, are linked one to another by rather loose (and somewhat superficial) connections, they enabled us to establish the fact that intellectual novelty (or scientific paradigms) is made possible through the development of models that are not always banded together to form a set theoretical framework. On the contrary, it does not prevent them from sharing some precise conceptual content. We hope the complexity of transferring biological terms and models into disciplines of the humanities was well-illustrated by this case study on ecological approaches and metaphorical ecological models in sociolinguistics. As for Haugen's own receptions of the ecology of language (1979,1987), they certainly legitimate at least two directions in the ecological paradigm: integrative and holistic approaches on the one hand, and the preservation of linguistic diversity (or endangered languages) on the other, while some other researchers have rather reinforced ecological borrowings by clearly establishing them in a well-defined theory of linguistic evolution (e.g. Mufwene S.S., 2008).

In many ways, Haugen's ecology of language continues to articulate with nowadays ecological approaches grounded in sociolinguistics or the preservation of linguistic diversity, which are part of a general integrationist and interdisciplinary trend sometimes found under the expression 'language, embodiment and cognition'8 . This trend is for instance well illustrated through the contributions of various authors in a recently published book by Roslyn M. Frank and alii. on Body, Language, and Mind, whose second volume gives a better handle on understanding "Sociocultural situatedness". In order to help our readers remember how integrative an ecological approach can be, we shall underline a fortuitous combination of words in the adjective ECOLOGICAL: evolution, cognition, ontology, language(s), observation, groups, individualities, culture, anthropology and linguistics; pretty much everything that is needed to carry out our empirical and theoretical inquiry on language.

TABLE 4 :

 4 "Languages used in publications"

	écologie des	éco	linguistique
	langues	4%	écologique
	écologie	4%		3%
	linguistique
	5%
				écologie
				29%
	écologie du
		langage
		18%
				écologique
		écolinguistique	19%
			18%

http://www.ilf.cnrs.fr/spip.php?article101

http://lacito.vjf.cnrs.fr/themes/TCL/changecologie.htm

From the middle of the 19 th century to the first half of the 20 th century, European language fields of research experienced a series of transformations and deep cleavages between schools of thought. Naturalistic linguistics was a thriving trend and the most authoritative one (see Schleicher's and Müller's dominant

I defended my Ph.D. dissertation on 24 October 2008 (Thesis Supervisor: Professor Michel De Fornel). The defense took place at the Ecole des Hautes Etudes en Sciences Sociales (EHESS, Paris), before the following defense committee: Prof. Pierre Encrevé (DE, EHESS); Prof. Michel de Fornel (DE, EHESS); Prof. Gabriel Bergounioux (Linguistics, Université d'Orléans); Dr. Dominique Guillo (Researcher, CNRS-GEMAS) and Prof. Salikoko Mufwene (Linguistics, University of Chicago).

Site RAMEAU : http://rameau.bnf.fr/. « RAMEAU (Répertoire d'autorité-matière encyclopédique et alphabétique unifié) est un langage d'indexation matière. Ce langage documentaire est utilisé, en France, par la Bibliothèque nationale de France, les bibliothèques universitaires, de nombreuses bibliothèques de lecture publique ou de recherche ainsi que plusieurs organismes privés. »

It's a well-known fact moreover that linguistics in America has developed out of an encounter with and an interest in the otherness of indigenous languages which explains its being somewhat of an anthropological linguistics since the beginning.

To cite only a few names, see the works by M. Tomasello; N. Enfield; S. Levinson; W. Croft; V. Evans and S. Pourcel; Ch. Goodwin; W. Hanks, J.B. Haviland, E. Hutchins or A. Noë.

Where you can see the predominance of English but also the high rate of publications in the German language which is to be linked to the Austrian and German effort to turn an ecological (or dialectical) approach into a discipline called 'ecolinguistics'.

TABLE 5: "Scientific production throughout time"

The above quantitative study starts with Haugen's article entitled "The ecology of language", first published in 1971. The five-year distribution shows a regular increase in production, with a rise in 1996 until 2000. The year 1996 was positively marked by a multiplication of publications (mostly in German), indicating an unequivocal gathering of people identifying themselves as ecolinguists into coauthored books. Two events can actually throw light on this recovery of an ecological approach in linguistics: the organization of important conferences like AILA'96, entitled "Language and Ecology. Eco-Linguistics. Problems, Theories and Methods" (Bang J.Ch., 1996); and the publication of Sprachökologie und Ökolinguistik (Fill A., 1996), the book which collected for the first time contributions by researchers committed to developing an ecolinguistic theory (e.g. J. Døør, J. Chr. Bang, P. Finke, W. Trampe, A. Makkaï, P. Mühlhäusler, A. Alexander). The publication of this book starts an upturn of the ecological approach in linguistics after Haugen's article in new directions. The same year, P. Mühlhäusler wrote two books, the first one with Wurm and Tryon [START_REF] Mühlhäusler | Atlas of Languages of Intercultural Communication in the Pacific, Asia, and the Americas[END_REF], and the second one on Linguistic Ecology : Language Change and Linguistic Imperialismin the Pacific Region [START_REF] Mühlhäusler | Linguistic Ecology : Language Change and Linguistic Imperialismin the Pacific Region[END_REF]. D. Harmon and D. Nettle delivered publications connecting the study of endangered languages to the analysis of biological diversity. Still the same year, and in a quite different approach, S.S. Mufwene offered an ecological treatment of Creole languages in an article entitled "The founder principle in Creole genesis" [START_REF] Mufwene | The founder principle in creole genesis[END_REF].

Lastly, in December 2000 in Graz University was held the Austrian linguistics symposium, exceptionally devoted to ecolinguistics (« On 30 years of ecolinguistics »). The communications were then published in 2002 in Colourful Green Ideas (Fill A. and alii, 2002).


domain: scco sde shs stat qfin

text:
Angelo Leogrande

Keywords: Analysis of Collective Decision-Making, General, Political Processes: Rent-Seeking, Lobbying, Elections, Legislatures, and Voting Behaviour, Bureaucracy, Administrative Processes in Public Organizations, Corruption, Positive Analysis of Policy Formulation, Implementation. JEL Classification: D7, D70, D72, D73, D78

In this article, I estimate the value of "Individual Using Internet"-IUI in the context of Environmental, Social and Governance-ESG database of the World Bank. I use data from 193 countries for the period 2011-2020. I found that among others the value of IUI is positively associated to "Methane Emissions" and "People Using Safely Managed Sanitation Services" and negatively associated among others to "Fossil Fuel Energy Consumption" and "Renewable Energy Consumption". I apply the k-Means algorithm for the clusterization optimized with the Elbow Method and we find the presence of three clusters. Finally, I confront eight machine-learning algorithms to predict the future value of IUI. I found that the best predictive algorithm is Linear Regression and that the value of IUI is expected to decrease on average of 0.30% for the analysed countries.

Introduction-Research Question

In the following analysis I consider the role of IUI in the context of ESG models. The data used refer to the World Bank's ESG dataset. Ideally, the use of the internet should lead to an increase in environmental sustainability, social inclusion, and governance capacity. However, it is not obvious that the use of the internet, i.e. digitalization, can be a tool to create greater value for the ESG model. In fact, the internet, and digitization in general, may also be able to increase pollution, reduce social inclusion and worsen governance by fomenting the radicalization of political and institutional conflict. The use of the Internet depends on the social and cultural capacity of the population. If the cultural level of the population is low, then the internet is likely to become a tool against the application of ESG models. It is therefore necessary to carefully investigate the role of the internet in the ESG context to verify the limits and compatibility of digitization with the modeling of environmental, social and governance sustainability.

The article proceeds as follows: the second paragraph presents the literature analysis, the third paragraph contains the econometric model, the fourth paragraph shows the results of the clustering with k-Means algorithm, the fifth paragraph compares eight machine learning algorithms for the prediction, the sixth paragraph concludes.

Literature Review

A brief analysis of the economic literature concerning the role of internet use is presented below. The analysis is not meant to be exhaustive. The articles reported are in fact useful simply to introduce the topic for the purposes of the analysis. IUI, cyber-security and law. The use of the internet increases citizens' risk of being subjected to cyberattacks. This risk requires the presence of a set of digital police policies and anti-hacker tools that can be used by users to protect themselves from cyber-attacks. The increase in internet usage in Indonesia has created many problems in terms of cyber-security [START_REF] Ismail | Methods to prevent privacy violations on the internet on the personal level in Indonesia[END_REF]. Furthermore, the use of the internet tends to reduce the informal economy by creating devices that can be measured to reduce the fraudulent behavior of citizens, for example in the case of paying taxes. There is a negative relationship between IUI and tax evasion [START_REF] Ünal | The Effect of ICT Usage on the Tax Evasion[END_REF].

IUI and international economics. The Internet also has an impact on the development of international trade. In fact, the use of the Internet through e-commerce could have macro-economic and long-term effects in both developed and developing economies. The distribution of internet among the population has a positive effect on the complexity of exports [START_REF] Lapatinas | The effect of the Internet on economic sophistication: An empirical analysis[END_REF]. The growth in IUI is positively associated to an increase in imports to Nigeria [START_REF] Aderibigbe | THE EFFECTS OF TRADE FACILITATION ON TRADE FLOWS IN NIGERIA[END_REF]. Less than 10% of developing countries has promoted the application of internet technologies to promote digitalization [START_REF] Al-Ani | ICT Parameters: Comparative Study for Future Aspects[END_REF]. There is a negative relationship between IUI and inflation in ASEAN-5 countries [START_REF] Çoban | The Effect of the Internet on Inflation: A Research on ASEAN-5 Countries[END_REF]. There is a positive relationship between economic growth and internet usage in Asian countries [START_REF] Wahab | Internet user and economic selected Southeast Asia nations: a panel data analysis[END_REF]. The increase of IUI is positively associated to economic growth in African Countries [START_REF] Adeleye | Evaluation of ICT development and economic growth in Africa[END_REF].

IUI and equality. The use of the Internet should improve the conditions of equality of opportunity among people regardless of gender elements and geographical location. In fact, the internet tends to be ideally inclusive and offers learning, emancipation, and business opportunities also to minorities or marginalized social groups. However, the literature tends to be against this ideal inclusiveness of the internet showing that the internet can worsen the condition of some groups at a socio-economic and geographical level. The growth in the level of internet users does not reduce digital divide in Spain [START_REF] Garín-Muñoz | Evolution of the internet gender gaps in Spain and effects of the Covid-19 pandemic[END_REF]. The proclivity to use internet is greater in Northern Europe than in Southern Europe [START_REF] Oesterreich | Dynamics of changes in the level of propensity to use the Internet in European Union countries in 2010-2019[END_REF].

IUI and entrepreneurship.

The Internet tends to have a positive impact in terms of entrepreneurial development. In fact, the presence of the internet can offer new business opportunities. However, business opportunities are above all linked to a type of entrepreneurship of the Necessity-driven type. The positive effect of the internet on entrepreneurship also depends on the ability to better evaluate business opportunities, identifying new models and new markets. The increase in the level of IUI has a positive effect on Total Entrepreneurial Activities-TEA [START_REF] Gomes | ICT access and entrepreneurship in the open innovation dynamic context: Evidence from OECD countries[END_REF]. The usage of internet is positively related to entrepreneurship in China [START_REF] Tan | The impact of internet on entrepreneurship[END_REF].

IUI and learning.

The Internet can increase the level of cultural and professional training of the population. This learning activity can be made available to both students and the general population by promoting lifelong learning systems. The promotion of internet has a positive impact in creating more learning opportunity for students [START_REF] Widianto | The The Role of the Internet on the Learning Ability of Elementary School Students[END_REF]. The level of IUI for people over 65 in the countries of Visegrad is lower than the correspondent value in EU-28 [START_REF] Hedvicakova | Internet use by elderly people in the czech republic[END_REF].

Miscellaneous. The use of the internet also has general effects on the creation of political awareness, on the digitization of commercial activities. There is a negative relationship between IUI and political ignorance in the long run in Germany [START_REF] Mueller | Political Ignorance and the Internet[END_REF].There is a negative relationship between IUI and digitalization in China, Europe, and United States [START_REF] Chao Su | Two Levels of Digitalization and Internet Use Across Europe, China, and the US[END_REF]. There is a positive relationship between IUI and internet banking in Czech Republic [17]. • AE: Access to electricity is the percentage of population with access to electricity. Electrification data are collected from industry, national surveys and international sources. There is a positive relationship between the AE value and the IUI value. Countries that have high levels of AE also typically have high levels of IUI. For example Bahrain has a value of 100 in terms of AE and 100 in terms of IUI, Qatar 100 and 100, Saudi Arabia 100 and 100, United Arad Emirates with 100 and 100, Kuwait with a value of 99.7 and 100, Iceland with 99.68 and 100, Norway with 99 and 100, Denmark with 98.86 and 100, Luxembourg with 98.66 and 100, Brunei Darussalam with 98.08 and 100. • RFM: Labour force participation rate is the proportion of the population ages 15 and older that is economically active: all people who supply labour for the production of goods and services during a specified period. Ratio of female to male labour force participation rate is calculated by dividing female labour force participation rate by male labour force participation rate and multiplying by 100. There is a positive relationship between the RFTM value and the IUI value. Many countries that have a high level of IUI also have a high level of RFTM. For example, Bahrain has an IUI value of 100 and an RMTF value of 51.15, Mozambique has an IUI value of 17.37 and an RFTM value of 99.30, Papua New Guinea with a value of 32.05 and 97.33, Norway with 99 and 96.48, Solomon Iceland with an amount of 36.13 and 96.30.

The Econometric

• ACFT: Access to clean fuels and technologies for cooking is the proportion of total population primarily using clean cooking fuels and technologies for cooking. Under WHO guidelines, kerosene is excluded from clean cooking fuels. There is a positive relationship between the ACFT value and the IUI value. Countries that generally have a high ACFT value also have a high IUI value. For example Andorra with 100 and 93.89, followed by Antigua and Barbuda with 100 and 95.66, followed by Australia with 100 and 96.24, Austria with a value of 100 and 92.52, and the Bahamas with a value from 100 to 94.29.

• FPI: food production index covers food crops that are considered edible and that contain nutrients. Coffee and tea are excluded because, although edible, they have no nutritional value. There is a positive relationship between the FPI value and the IUI value. Specifically, the countries that have greater use of the internet also have a higher level of food production. Specifically we can note that in the case of Senegal the FPI value is 177.74 while the IUI value is equal to an amount of 58.05, in Qatar the corresponding values are 162.02 and 100.00, in Arabia Saudi Arabia 158.96 and 100 in Djibouti 144. [START_REF] Widianto | The The Role of the Internet on the Learning Ability of Elementary School Students[END_REF] We also found that the level of IUI is negatively associated to:

• FFEC: Fossil fuels are non-renewable resources because they take millions of years to form and reserves are depleted much faster than new ones are created. In developing economies, growth in energy use is closely related to growth in modern sectors -industry, motorized transport and urban areas -but energy use also reflects climatic, geographical and economic factors (such as the relative price of energy). Energy use has grown rapidly in low-and middle-income economies, but high-income economies still use nearly five times as much energy on a per capita basis. Total energy consumption refers to the use of primary energy before processing it into other end-use fuels (such as electricity and refined petroleum products). Includes energy from renewable fuels and waste -solid biomass and animal products, biomass gases and liquids, and industrial and municipal waste. Biomass is any plant material used directly as fuel or converted into fuel, heat or electricity. There is a negative relationship between the FFEC value and the IUI value. Countries that have generally higher level of consumption in terms of FFEC also have lower levels of IUI. • REC: is the share of renewable energy in total final energy consumption. There is a negative relationship between the REC value and the IUI value. In fact, countries that have high REC levels also have low IUI levels.

Clusterization with k-Means Algorithm Optimized with the Elbow Method

A cluster analysis using the k-Means algorithm optimized with the Elbow method is presented below.

The analysis shows the presence of three different clusters that have the following median: C1=90.71>C3=73.21>C2=29.18. • Cluster 1: New Zealand, Belgium, Estonia, Australia, Austria, Germany, Ireland, Switzerland, Canada, Japan, Singapore, Korea, United Kingdom, United Arab Emirates, Finland, France, Slovak Republic, Bahrain, Netherlands, Latvia, Sweden, Spain, United States, Luxembourg, Denmark, The Bahamas, Israel, Qatar, Norway, Kuwait, Barbados, Iceland, Czech Republic, Malta, Hungary, Slovenia, Lithuania, Brunei Darussalam, Cyprus, Russian Federation, Lebanon, Azerbaijan, Oman, Malaysia, Poland, Liechtenstein, North Macedonia, Chile, Monaco, Saudi Arabia, Kazakhstan, Croatia, Andorra, Portugal, Argentina, St. Kittis and Nevis. Cluster 1 is the first cluster for median IUI value with a value of 90.71. From a strictly geographical point of view, the leading countries within the cluster are Saudi Arabia, Australia, the Scandinavian countries, Iceland, Canada, the USA, and Spain. In the same cluster there are also countries that have low levels of IUI or Russia, Portugal, France, Romania, Argentina, Chile. It should be considered that generally the growth in the value of IUI tends to be associated with the growth in per capita income. In fact, countries that have a low per capita income such as Russia, Argentina, and Eastern European countries, despite being part of Cluster 1, still have a low IUI value.

Machine Learning Algorithms for the Prediction of the Future Level of Individuals Using Internet

A machine learning analysis for predicting the future value of individuals using the internet is presented below. Specifically, eight different machine learning algorithms were analysed and classified on the basis of their ability to maximize the R-squared and minimize statistical errors, i.e. MAE-Mean Average Error, MSE-Mean Squared Error, RMSE-Root Mean Squared Error. The algorithms were trained using 80% of the data while the remainder was used for the actual prediction. Each algorithm is assigned a ranking based on its position within the ranking of statistical indicators. The ranking is then added up into a single indicator. The algorithm that scores the lowest aggregate ranking is the preferred algorithm in terms of maximizing the R-squared and minimizing statistical errors. Specifically, the following ordering of the algorithms has been identified, namely:

• Linear Regression with a payoff value of 9;

• Gradient Boosted Trees and Polynomial Regression with a payoff value of 11;

• Simple Regression Tree with a payoff value of 13;

• ANN-Artificial Neural Network with a payoff value of 19;

• Random Forest Learner with a payoff value of 23;

• Tree Ensemble Regression with a payoff value of 27;

• PNN-Probabilistic Neural Network with a payoff value of 31. Therefore, by applying the set of statistical indicators it results that the Linear Regression algorithm is the best in the sense of prediction. Below we consider the top ten algorithms that are winners, i.e. countries for which a growth in the value of the IUI is expected, together with the top ten algorithms that are losers, i.e. countries for which a reduction in the value is expected. IUI value. Among the countries for which a significant growth in the value of IUI is expected, there are the following: Ethiopia with a value of +21.60%, Mozambique with +14.14%, Angola with +13.28%, Lesotho with +9.61%, Uzbekistan with 7.69%, Vanuatu with 7.52%, South Africa with 5.14%, Eswatini with 5.02%, Croatia with 3.75%, Guyana with 3.52%, Trinidad and Tobago with a value of 2.93%. Always applying the Linear Regression algorithm it is also possible to identify the countries that are among the main losers or countries for which a reduction in IUI is predicted, i.e.: Brazil with an amount of -4.74%, Timor Leste with -4.78 %, Benin with -5.82%, Cameroon with -7.86%, Burkina Faso with -8.31, Congo Dem. Rep. with -8.74%, Ecuador with -11.64%, Myanmar with -14 ,12, Sao Tome and Principe with an amount of -17.46%. Considering the value of the average of the countries analysed, it appears that the value of IUI is expected to decrease from an amount of 67.27 to a value of 67.01 or a reduction equal to an amount of -0.25 units equal to an amount by -0.30%. However, it is highly probable that the prediction is excessively flawed by the presence of missing values within the sample. That is, it cannot be excluded that the effective value of IUI is in any case increasing in the medium-long term.

Conclusions

The analysis show that IUI is positively associated to the ESG model variables except for "Fossil Fuel Energy Consumption" and "Renewable Energy Consumption". The cluster analysis shows the presence of a positive relationship between GDP-per capita and IUI. Finally the predictive analysis indicates a perspective reduction in the level of IUI for an average value of 0.30%. Ideally internet should be positively associated to the ESG model. But this positive relationship is not a real necessity. In effect internet can also worsen the ESG condition at country level. To create a deep positive connection between IUI and the ESG model it is necessary to invest more in human capital and social capital to show that internet is not only an entertainment tool but it is also a tool to empower individuals and communities with learning and business opportunities.

Lists of Variables of the Econometric Model Acronym

Variable Definition IUI Individuals using the Internet (% of population) Internet users are individuals who have used the Internet (from any location) in the last 3 months. The Internet can be used via a computer, mobile phone, personal digital assistant, games machine, digital TV etc.

ACFT

Access to clean fuels and technologies for cooking (% of population)

Access to clean fuels and technologies for cooking is the proportion of total population primarily using clean cooking fuels and technologies for cooking. Under WHO guidelines, kerosene is excluded from clean cooking fuels. Fossil fuels are non-renewable resources because they take millions of years to form, and reserves are being depleted much faster than new ones are being made. In developing economies growth in energy use is closely related to growth in the modern sectors -industry, motorized transport, and urban areas -but energy use also reflects climatic, geographic, and economic factors (such as the relative price of energy). Energy use has been growing rapidly in low-and middle-income economies, but high-income economies still use almost five times as much energy on a per capita basis. Total energy use refers to the use of primary energy before transformation to other end-use fuels (such as electricity and refined petroleum products). It includes energy from combustible renewables and waste -solid biomass and animal products, gas and liquid from biomass, and industrial and municipal waste. Biomass is any plant matter used directly as fuel or converted into fuel, heat, or electricity. ME Methane emissions (metric tons of CO2 equivalent per capita) Methane emissions are those stemming from human activities such as agriculture and from industrial methane production.

AE

PUSS

People using safely managed sanitation services (% of population)

The percentage of people using improved sanitation facilities that are not shared with other households and where excreta are safely disposed of in situ or transported and treated offsite. Improved sanitation facilities include flush/pour flush to piped sewer systems, septic tanks or pit latrines: ventilated improved pit latrines, compositing toilets or pit latrines with slabs.

RFM

Ratio of female to male labor force participation rate (%) (modeled ILO estimate)

Labor force participation rate is the proportion of the population ages 15 and older that is economically active: all people who supply labor for the production of goods and services during a specified period. Ratio of female to male labor force participation rate is calculated by dividing female labor force participation rate by male labor force participation rate and multiplying by 100.

REC

Figure 1 .

 1 Figure 1. Average value for econometric regressions with Panel Data with Random Effects, Fixed Effects, Pooled OLS.

Figure 2 .

 2 Figure 2. Clustering with k-Means algorithm optimized with Elbow Methods.

Figure 3 .• Cluster 2 :

 32 Figure 3. Countries in Cluster 1.

Figure 4 .• Cluster 3 :

 43 Figure 4. Countries in Cluster 2.

Figure 5 .

 5 Figure 5. Countries in Cluster 3.

Figure 6 .

 6 Figure 6. Ranking of algorithms for predictive ability in the sense of minimization of statistical errors and maximization of R-squared.

Figure 7 .

 7 Figure 7. Winners i.e. countries for which the Linear Regression algorithm predicts an increase in the level of Individual Using Internet.

Figure 8 .

 8 Figure 8. Losers i.e. countries for which the Linear Regression predicts a reduction in the level of Individuals Using Internet.

Model for the Estimation of the Value of Internet Using Individuals I

  have used various econometric techniques to estimate the future value of IUI. Specifically, we have used Panel Data with Fixed Effects, Panel Data with Random Effects, Pooled OLS. I have used data from the Environmental, Social and Governance-ESG database of the World Bank for 193 countries in the period 2011-2020. I have estimated the following formula:

	=	+	+	+	+	+	+
		+	+
	Where = [	;	] and =	.
	We have found that the level of IUI is positively associated to:
	• ME: Methane emissions are those stemming from human activities such as agriculture and from
	industrial methane production. There is a positive relationship between the ME value and the IUI
	value. That is, the countries that have a higher level of IUI also have a higher level of ME.
	Specifically we can note that the countries that have high levels of IUI also have high levels of
	ME such as for example Granada with a level of UI equal to 77.76 and ME equal to 16.60, Bahrain
	with 100 and 11.65, Barbados with 85.82 and 8.39, Qatar with 100 and 7.64, New Zealand with
	95.91 and 6.53, Uruguay with 90.07 and 6.05, Mongolia with 84.33 and 5.81, Kuwait with 99.7
	and 5.56. This relationship shows that the level of ME and the level of IUI growth together.
	• PUSS: The percentage of people using improved sanitation facilities that are not shared with other
	households and where excreta is safely disposed of on-site or transported and processed off-site.
	Improved sanitation includes flush/flush of piped sewer systems, septic tanks, or pit latrines:
	vented improved pit latrines, composite toilets, or slab pit latrines. There is a positive relationship
	between the PUSS value and the IUI value. Many of the countries that have high levels of IUI
	also have high levels of PUSS such as for example: Bahrain with a value of 100 IUI and 91.23
	PUSS, Qatar with 100 and 97.2, Saudi Arabia with a value of 100 and 59.11, United Arab
	Emirates with 100 and 99.22, Kuwait with 99.7 and 100, Iceland with 99.68 and 83.68, Norway
	with 99 and 65.38, Denmark with 98.86 and 91, 88, Luxembourg with 98.66 and 96.78.

  and 68.86, Oman 143.95 and 96.38, Oman 143.95 and 96.38, Malawi 141.74 and 24.40, Mozambique 139.77 and 17, 37, Zimbabwe 132.04 and 34.81, Sri Lanka with 130.31 and 66.68.

  For example Congo Dem. Rep. has a REC value equal to 96.24 and an IUI value equal to an amount of 22.90, Central African Republic has a value of 91.26 and 10.58, Uganda equal to an amount of 90.22 and 10.34, Gabon has a value of 89.88 and 71.74, Ethiopia with a value of 88.92 and 16.69, Liberia with 87.24 and 33.63, Guinea Bissau with 86 ,24 and 35.15, Tanzania with 85.22 and 31.63, Burundi with 84.77 and 5.80, Zambia 84.5 and 21.23, Madagascar with 82.77 and 19.73, Bhutan with 82, 27 and 85.63, Zimbabwe with 81.5 and 34.81.

	A2	Access to electricity (% of	AE	0,127424	***	0,11932	***	0,134299	***	0,127014
		population)
	A2	Food production index	FPI	0,053283	***	0,03373	*	0,0891069 ***	0,058708
	1	(2014-2016 = 100)
	A2	Fossil fuel energy	FFEC	-0,148870	***	-0,15518	***	-0,133426	***	-
	3	consumption (% of total)								0,145826
	A3	Methane emissions	ME	1,147750	***	1,18922	***	1,09063	***	1,142533
	9	(metric tons of CO2
		equivalent per capita)
	A4	People using safely	PUSS	0,455231	***	0,31377	***	0,420027	***	0,396342
	5	managed sanitation
		services (% of population)
	A5	Ratio of female to male	RFM	0,083456	***	0,06875	**	0,169803	***	0,107337
	4	labor force participation
		rate (%) (modeled ILO
		estimate)
	A5	Renewable energy	REC	-0,174714	***	-0,09612	***	-0,32874	***	-
	7	consumption (% of total								0,212429
		final energy consumption)
				Synthesis of the main Econometric Results
				Random Effects	Fixed Effects		Pooled OLS		Average
	A3	Individuals using the	IUI	Coefficient	p-	Coefficient	p-	Coefficient p-Value
	2	Internet (% of population)			Value		Value
		Const		8,625750	***	15,01890	***	3,54718	**	9,063943
	A1	Access to clean fuels and	ACFT	0,059552	***	0,05106	***	0,104497	***	0,071703
		technologies for cooking
		(% of population)

Professor of Economics at LUM University Giuseppe Degennaro and Researcher at LUM Enterprise s.r.l. Email: leogrande.cultore@lum.it, Strada Statale 100 km 18, Casamassima, Bari, Puglia, Italia.

Acknowledgements. We are grateful to the teaching staff of the LUM University "Giuseppe Degennaro" and to the management of the LUM Enterprise s.r.l. for the constant inspiration to continue our scientific research work undeterred.

Appendix

Funding. The authors received no financial support for the research, authorship, and/or publication of this article.

Declaration of Competing Interest. The authors declare that there is no conflict of interests regarding the publication of this manuscript. In addition, the ethical issues, including plagiarism, informed consent, misconduct, data fabrication and/or falsification, double publication.

Software. The authors have used the following software: Gretl for the econometric models, Orange for clusterization and network analysis, and KNIME for machine learning and predictions. They are all free version without licenses.

[17] M. Hedvicakova e L. Svobodova, «The Use of Internet Banking in the Czech Republic».

Declarations

Data