J.-F Bercher

Chapitre 1 Entropies et critères entropiques

Introduction

Ce chapitre est centré sur les notions d'entropies et de lois à maximum d'entropie qui seront caractérisées selon plusieurs angles. Au delà des liens avec les applications en ingénierie puis en physique, on montrera qu'il est possible de bâtir des fonctionnelles régularisantes fondées sur l'emploi d'une technique à maximum d'entropie, qui peuvent alors éventuellement être utilisées comme potentiels ad hoc dans des problèmes d'inversion de données.

Le chapitre débute par un tour d'horizon des principales propriétés des mesures d'information, et par l'introduction de différentes notions et définitions. En particulier, on définit la divergence de Rényi, on présente la notion de distribution escorte, et on commente le principe du maximum d'entropie qui sera utilisé par la suite. On présente ensuite un problème classique d'ingénierie, le problème du codage de source, et on montre l'intérêt d'utiliser des mesures de longueur différentes de la mesure standard, et en particulier une mesure exponentielle, qui conduit à un théorème de codage de source dont la borne minimale est une entropie de Rényi. On montre également que les codes optimaux peuvent être calculés aisément grâce aux distributions escortes. En section 1.5, on introduit et on étudie un modèle simple de transition d'état. Ce modèle conduit à une distribution d'équilibre définie comme une distribution escorte généralisée, et conduit en sous-produit, à nouveau à une entropie de Rényi. On étudie le flux d'information de Fisher le long de la courbe définie par la distribution escorte généralisée, et on obtient des connections avec la divergence de Jeffreys. Finalement, on obtient différents arguments qui, dans ce cadre, conduisent à une méthode d'inférence fondée sur la minimisation de l'entropie de Rényi sous une contrainte de moyenne généralisée, i.e. prise vis-à-vis de la distribution escorte. À partir de la section 1.6.3, on s'intéresse alors à la minimisation de la divergence de Rényi sous une contrainte de moyenne généralisée. On donne et on caractérise la densité optimale qui résout ce problème, et la valeur de la divergence optimale correspondante. On définit, et on caractérise les principales propriétés des entropies qui peuvent y être associées. Enfin, on montre comment calculer pratiquement ces entropies et comment on peut envisager de les utiliser pour la résolution de problèmes linéaires.

Quelques entropies en théorie de l'information

Le concept d'information joue un rôle majeur dans nombre de champs scientifiques et techniques et dans leurs applications. Qui plus est, la théorie de l'information à la Shannon rejoint les théories de la physique, les unes et les autres se fertilisant mutuellement ; ces interactions ont été exploitées par Jaynes [JAY 57a, JAY 57b] dès 1957, sont discutées par exemple par Brillouin [BRI 62] et plus récemment dans le fascinant travail [MER 10]. Nous donnerons par la suite un modèle simple de transition de phase qui conduit à une entropie de Rényi.

Une question fondamentale en théorie de l'information est bien entendu la mesure, ou la définition, de l'information. Plusieurs approches sont possibles. La première est pragmatique et accepte comme mesure valable d'une information les mesures qui apparaissent d'elles même dans la résolution d'un problème pratique. La seconde est axiomatique, où l'on débute avec un certain nombre de propriétés ou de postulats raisonnables, et où il s'agit ensuite d'une dérivation mathématique des fonctions possédant ces propriétés. C'est le point de vue adopté à l'origine par Shannon, dans son article fondamental [SHA 48a, SHA 48b], et qui a conduit à nombre de développements ultérieurs, parmi lesquels on citera [ACZ 75] et [ACZ 84] (ou l'auteur met en garde contre l'excès de généralisations : «I wish to urge here caution with regard to generalizations in general, and in particular with regard to those introduced through characterizations. (...) There is a large number of "entropies" and other "information measures" and their "characterizations", mostly formal generalizations of (1), ( 19), ( 16), ( 24), ( 17), (23) etc. popping up almost daily in the literature. It may be reassuring to know that most are and will in all probability be completely useless. » De même, Rényi lui même [R´65][CSI 06] soulignait que ne devraient être considérées comme mesures d'information que les quantités qui peuvent effectivement être utilisées dans des problèmes concrets, rejoignant en cela l'approche pragmatique (As a matter of fact, if certain quantities are deduced from some natural postulates (from "first principles") these certainly need for their final justification the control whether they can be effectively used in solving concrete problems).

Principales propriétés et définitions

Nous rappellerons toutefois ici les principales propriétés utilisées pour les caractérisations de mesures d'information. Si P , Q, R désignent des distributions de probabilité discrètes portant sur n événements, et où p k est la probabilité associée au k e événement, k = 1..n, alors, en notant H(P ) = H(p 1 , p 2 , ..., p n ) la mesure de l'information associée aux événements de distribution P , les principales propriétés sont les suivantes :

1) symétrie : H(p 1 , p 2 , ..., p n ) ne dépend pas de l'ordre des événements,

2) H(p, 1 -p) est une fonction continue de p,

3) H( 1 2 , 1 2 ) = 1, 4) récursivité (branchement) : H n+1 (p 1 q 1 , p 1 q 2 , p 2 , . . . , p n ) = H n (p 1 , p 2 , . . . , p n ) + p 1 H 2 (q 1 , q 2 ), 5) expansible : H n+1 (p 1 , p 2 , . . . , p n , 0) = H n (p 1 , p 2 , . . . , p n ), 6) sous-additivité : H(P Q) ≤ H(P ) + H(Q) (et additivité dans le cas indépen- dant : H(P Q) = H(P ) + H(Q)), 7) sous-additivité conditionnelle : H(P Q|R) ≤ H(P |R) + H(Q|R), 8) récursivité généralisée : H n+1 (p 1 q 1 , p 1 q 2 , p 2 , . . . , p n ) = H n (p 1 , p 2 , . . . , p n )+ m(p 1 )H 2 (q 1 , q 2 ).

Conséquences simples

Les quatre premiers postulats sont les axiomes de Faddeev [FAD 56], qui suffisent à caractériser uniquement l'entropie de Shannon

H(P ) = - n i=1 p i log p i .
(1.1)

Si on lève le postulat de récursivité mais qu'on ajoute une exigence d'additivité, alors la classe des solutions possibles est bien plus large, et inclut en particulier l'entropie de Rényi, dont on reparlera plus loin. Le remplacement de la récursivité 4 par un postulat de récursivité générale, 8, avec m(p

1 p 2 ) multiplicatif m(p 1 p 2 ) = m(p 1 )m(p 2 ) et en particulier m(p) = p q conduit à l'entropie d'ordre q H q (P ) = 1 2 1-q -1 n i=1 p q i -1 , (1.2)
qui a été introduite par [HAV 67], indépendamment par Daróczy [DAR 70], puis redécouverte dans le champ de la physique statistique par C. Tsallis [TSA 88]. Pour q ≥ 1, ces entropies sont sous-additives, mais ne sont pas additives. Dans le cas q = 1, par la règle de l'Hôpital, l'entropie d'ordre q = 1 n'est autre que l'entropie de Shannon. En physique statistique, une communauté importante s'est formée autour de l'étude de la thermodynamique nonextensive (non-additive en fait) [TSA 09] reposant sur l'emploi de l'entropie de Tsallis, des distributions à maximum d'entropie associées et de l'extension de la thermodynamique classique.

Dans l'axiomatique de Faddeev, Rényi [R´61] a proposé de remplacer le postulat de récursivité par la propriété d'additivité, et d'ajouter une propriété de moyenne de l'entropie, qui spécifie que l'entropie de l'union de deux distributions de probabilité incomplètes est égale à la moyenne pondérée des entropies des deux distributions. Lorsque la moyenne utilisée est une moyenne arithmétique, la seule solution est l'entropie de Shannon. Par contre en utilisant une moyenne exponentielle, l'entropie qui apparaît est une entropie de Rényi

H q (P ) = 1 1 -q log n i=1 p q i . (1.3)
Une autre manière d'appréhender l'entropie de Rényi est de noter que l'entropie de Shannon est la moyenne arithmétique, avec les poids p i , des informations élémentaires I i = -log p i associées aux différents événements. En remplaçant la moyenne arithmétique par une moyenne de Kolmogorov-Nagumo, l'entropie devient H ψ (p 1 , . . . , p n ) = ψ -1 ( p i ψ(-log p i )). Sous une condition supplémentaire d'additivité et sous lim p→0 H ψ (p, 1p) = 0, alors cette entropie est soit l'entropie de Shannon, soit l'entropie de Rényi, avec q ≥ 0. À nouveau, par la règle de l'Hôpital, on retrouve l'entropie de Shannon pour q = 1. Par ailleurs, pour q = 0, l'entropie de Rényi devient l'entropie de Hartley, le logarithme du nombre d'événements de probabilité non nulle.

Entropies et divergences dans le cas continu

Dans le cas continu, la définition utilisée pour l'entropie de Shannon associée à une densité f (x) est

H[f ] = -ˆf (x) log f (x)dx.
(1.4)

D(f ||g) = ˆf (x) log f (x) g(x) dµ(x), (1.6)
en supposant g absolument continue par rapport à f, et avec la convention 0 log 0 = 0. Lorsque g est uniforme, par rapport à µ, la divergence de Kullback devient, au signe près, une µ-entropie. Dans le cas où µ est la mesure de Lebesgue, on retrouve l'entropie différentielle de Shannon (1.4) ; dans le cas discret, si µ est la mesure de comptage, on retrouvera (1.1). On montre facilement, par une application de l'inégalité de Jensen, que la divergence de Kullback est définie non-négative, D(f ||g) ≥ 0 avec égalité ssi f = g. Elle peut ainsi être comprise comme une distance entre distributions, bien qu'elle ne soit pas symétrique et ne vérifie pas l'inégalité triangulaire.

De la même manière, on peut définir des versions continues des entropies de Rényi et Tsallis, pour un index entropique q = 1,

S q [f ] = 1 1 -q ˆf (x) q dµ(x) -1 , (1.7)
est l'entropie de Tsallis et

H q [f ] = 1 1 -q log ˆf (x) q dµ(x), (1.8)
l'entropie de Rényi. Ces deux entropies se réduisent à l'entropie de Shannon pour q = 1. On peut également leur associer une divergence ; par exemple la divergence de Rényi D q (f ||g) = 1 q -1 log ˆf (x) q g(x) 1-q dµ(x), (1.9) qui est également définie non négative (par l'inégalité de Jensen), et se réduit à la divergence de Kullback lorsque q → 1.

Maximum d'entropie

Le principe du maximum d'entropie est largement utilisé en physique, et peut reposer sur un grand nombre d'argumentations: dénombrements, axiomatiques, etc. Le principe a été particulièrement mis en exergue par Jaynes [JAY 57a] «Information theory provides a constructive criterion for setting up probability distributions on the basis of partial knowledge, and leads to a type of statistical inference which is called the maximum entropy estimate. It is the least biased estimate possible on the given information; i.e., it is maximally noncommittal with regard to missing information », et nous nous bornerons ici à en rappeler la pertinence en terme de statistiques, en suivant en cela Ellis [ELL 99] (théorème 2 par exemple).

Si f N est la distribution empirique correspondant à un tirage de N variables aléatoires selon une loi de densité g par rapport à µ, alors la probabilité Q de trouver f N dans un ensemble B est, grossièrement -cf Ellis [ELL 99] pour des formulations plus correctes, et pour N grand

Q (f N ∈ B) ≈ exp -N inf P ∈B D(f ||g) .
(1.10)

On en déduit donc, en itérant le raisonnement sur des sous ensembles de B, que la distribution absolument prépondérante dans B est celle qui réalise le minimum de la distance de Kullback à g : on a concentration de toute la probabilité sur la distribution la plus proche de g. On en déduit donc un principe de minimum de distance de Kullback, ou de manière équivalente, si g est uniforme, un principe de maximum d'entropie. Parmi toutes les distributions d'un ensemble B, il convient de sélectionner la densité qui minimise D(f ||g). Lorsque ce qui nous intéresse, comme en physique statistique, est la probabilité de trouver une moyenne empirique x N , c'est-à-dire la moyenne sous f N , dans un ensemble C, alors on a un résultat de grandes déviation de niveau 1 qui indique que

Q (x N ∈ C) ≈ exp -N inf x∈C F(x) , (1.11) où F(x) est la fonction de taux F(x) = inf P :x=E[X] D(P ||µ).
Ce résultat suggère ainsi de sélectionner l'élément le plus probable, celui qui réalise le minimum de F(x) sur C. Le passage d'une problématique sur les distributions à une problématique sur les moyennes est connu comme le principe de contraction.

Distributions escortes

Nous utiliserons également dans la suite de ce chapitre la notion de distribution escorte. Ces distributions escortes ont été introduites comme un outil dans le contexte des multifractales [CHH 89][BEC 93], avec d'intéressantes connections avec la thermodynamique standard. Les distributions escortes se révèlent utiles en codage de source, où elles permettent d'obtenir des mots-codes optimaux dont la longueur moyenne est bornée par une entropie de Rényi [BER 09]. C'est ce que nous présenterons en 1.4.3. Nous retrouverons ensuite ces distributions escortes dans le cadre d'un problème de transition d'état, section 1.5.

Si f (x) est une densité de probabilité, alors son escorte d'ordre q ≥ 0 est donnée par

f q (x) = f (x) q ´f (x) q dµ(x)
, (1.12) pourvu que la fonction génératrice informationnelle M q [f ] = ´f (x) q dµ(x) soit finie. On voit facilement que si f q (x) est l'escorte de f (x), alors f (x) est elle-même l'escorte d'ordre 1/q de f q (x). Quand q diminue, l'escorte se rapproche d'une distribution uniforme tandis que lorsque q augmente, les modes de la densité sont amplifiés.

Ceci peut être précisé : on peut en effet montrer, dans le cas à support compact, que

D(f q ||U ) > D(f ||U ) pour q > 1, ainsi que D(f q ||U ) < D(f ||U ) pour q < 1
, ce qui signifie que f q est plus éloignée de l'uniforme que f lorsque q > 1 et plus proche dans le cas contraire.

On peut également étendre la notion de distribution escorte pour prendre en compte deux densités f (x) et g(x) selon :

f q (x) = f (x) q g(x) 1-q ´f (x) q g(x) 1-q dµ(x) , (1.13) avec M q [f, g] = ´f (x) q g(x) 1-q dµ(x) < ∞.
Cette distribution escorte généralisée est simplement une moyenne géométrique pondérée de f (x) et g(x). Bien entendu, si g(x) est une mesure uniforme dont le support inclut celui de f (x), alors l'escorte généralisée se réduit à l'escorte standard (1.12). Cette escorte généralisée apparaît dans l'analyse de l'efficacité de tests d'hypothèses [CHE 52] et permet de définir le meilleur exposant possible dans la probabilité d'erreur [COV 06, chapitre 11]. Quand q varie, l'escorte généralisée décrit une courbe qui connecte f (x) et g(x). Enfin, nous appellerons moments généralisés les moments pris par rapport à une distribution escorte : le moment généralisé d'ordre p associé à l'escorte standard d'ordre q sera

m p,q [f ] = ˆ|x| p f q (x)dx = ´|x| p f (x) q dµ(x) ´f (x) q dµ(x)
.

(1.14)

Codage de source avec des distributions escortes et des bornes de Rényi

Dans cette section, on illustre l'intérêt de l'entropie de Rényi et des distributions escortes dans le cadre du codage de source, l'un des problèmes fondamentaux de la théorie de l'information. Après un rappel très succinct du contexte du codage de source, on décrit un théorème de codage de source reliant une nouvelle mesure de longueur moyenne et l'entropie de Rényi. On montre ensuite qu'il est possible de calculer pratiquement les codes optimaux en utilisant la notion de distribution escorte. Des détails sur ces éléments ainsi que d'autres résultats sont donnés dans [BER 09].

Codage de source

En codage de source, on considère un ensemble de symboles X = {x 1 , x 2 , . . . x N }, produits par un source avec des probabilités respectives p i où N i=1 p i = 1. Le rôle du codage de source est d'associer à chaque symbole x i un mot-code c i , le longueur l i , exprimé avec un alphabet de D éléments. Il est bien connu que si les longueurs vérifient l'inégalité de Kraft-Mac Millan

N i=1 D -li ≤ 1, (1.15)
alors il existe un code uniquement décodable avec ces longueurs élémentaires. De plus, tout code uniquement décodable satisfait l'inégalité de Kraft-Mac Millan (1.15). Le théorème du codage de source de Shannon indique que la longueur moyenne L des mots-code est bornée inférieurement par l'entropie de la source, H 1 (p), et que le meilleur code uniquement décodable satisfait

H 1 (p) ≤ L = i p i l i < H 1 (p) + 1
l i = -log D p i .
(1.17)

La caractéristique de ces codes optimaux est qu'ils assignent les mots les plus courts aux symboles les plus probables et les mots les plus longs aux symboles les plus rares.

Codage de source avec la mesure de Campbell

Il est bien connu que l'algorithme de Huffman fournit un code à préfixe qui minimise la longueur moyenne et approche les longueurs limites optimales l i = -log D p i . Cependant d'autres formes de mesure de longueur ont également été considérées ; parmi lesquelles la première, et fondamentale, contribution est celle de Campbell [CAM 65]. On a vu, par la relation (1.17), que les probabilités les plus faibles conduisent aux mots-codes les plus longs. Cependant, le coût d'utilisation d'un code n'est pas forcément une fonction linéaire de sa longueur, et il est possible que que l'ajout d'une lettre sur un mot long soit bien plus coûteux que le coût de l'ajout de la même lettre sur un mot court. Ceci conduisit Campbell à proposer une nouvelle mesure de longueur moyenne, en introduisant une pénalisation exponentielle des longueurs des mots-codes. Cette longueur, la longueur de Campbell, est une moyenne généralisée de Kolmogorov-Nagumo associée à un fonction exponentielle :

C β = 1 β log D N i=1 p i D βli , (1.18)
avec β > 0. Le résultat remarquable de Campbell est que, de la même manière que l'entropie de Shannon borne inférieurement la longueur moyenne des mots-codes, l'entropie de Rényi d'ordre q, avec q = 1/(β + 1), est la borne inférieure de la longueur moyenne de Campbell (1.18):

C β ≥ H q (p). ( 1
l i = -log D P i = -log D p q i N j=1 p q j .
(1.20) Clairement, les longueurs l i obtenues de cette manière peuvent être rendues plus faibles que les longueurs optimales de Shannon, en choisissant un paramètre q assez faible, qui a alors tendance à uniformiser la distribution, rehaussant alors de fait les probabilités les plus faibles. Ainsi, la procédure pénalise effectivement les mots codes les plus longs et fournit des mots-codes de longueur différentes de celle de Shannon, avec éventuellement des mots-codes plus courts associés aux faibles probabilités.

Codage de source avec une moyenne escorte

Pour la mesure habituelle de longueur moyenne L = i p i l i , on a une combinaison linéaire des longueurs élémentaires, pondérées par les probabilités p i . De manière à accroître l'impact des longueurs les plus importantes associées aux probabilités faibles, la longueur de Campbell utilise une exponentielle des longueurs élémentaires. Une autre idée est de modifier les poids dans la combinaison linéaire, de manière à augmenter l'importance des termes avec des probabilités faibles. Une manière simple de réaliser cela est de déformer, uniformiser la distribution de probabilité initiale, et d'utiliser les poids donnés par cette nouvelle distribution plutôt que les p i . Naturellement, ceci conduit à utiliser une moyenne prise sous la distribution escorte :

M q = N i=1 p q i j p q j l i = N i=1 P i l i .
(1.21)

Pour la source imaginaire qui aurait une distribution P, la moyenne statistique standard est M q , et le théorème de source classique de Shannon s'applique immédiatement :

M q ≥ H 1 (P ), (1.22)
avec égalité si

l i = -log D P i (1.23)
soit exactement les longueurs (1.20) obtenues pour la mesure de Campbell. La simple relation l i = -log D P i obtenue pour la minimisation de M q sous la contrainte fournie par l'inégalité de Kraft-Mac Millan a une application immédiate mais importante. En effet, il suffit de fournir la distribution escorte P plutôt que la distribution initial p à un algorithme de codage standard, par exemple un algorithme de Huffman, pour obtenir un code optimisé pour la longueur de Campbell C β , ou, de manière équivalente, pour la mesure de longueur M q . Un exemple simple est donné Table 1.1 dans le cas D = 2 : nous avons utilisé un algorithme de Huffman standard, avec la distribution initiale, puis ses escortes d'ordre q = 0.7 et q = 0.4.

pi q = 1 q = 0.7 q = 0.4 0.48 0 0 00 0. Tableau 1.1 -Exemple de codes obtenus dans le cas binaire, pour différentes valeurs de q.

Il est important de noter que des algorithmes spécifiques ont été développés pour la longueur moyenne de Campbell. La connexion ci-dessus fournit une alternative aisée et immédiate. Un autre point important est que ces codes ont des applications pratiques : ils sont optimaux pour la minimisation de la probabilité de débordement de buffers [HUM 81] ou, avec q > 1, pour maximiser la probabilité de réception d'un message en un seul envoi de taille limitée.

Un modèle simple de transition

Dans la section précédente, nous avons vu apparaître, et apprécié l'intérêt, de l'entropie de Rényi et des distributions escortes pour un problème de codage de source. Dans cette section, nous montrerons que ces deux quantités interviennent également dans le cadre d'un modèle d'équilibre, ou de transition, entre deux états. Il a en effet été noté que la thermodynamique étendue, associée aux entropies de Tsallis et Rényi, semble particulièrement pertinente dans la cas de déviations à l'équilibre classique de Boltzmann-Gibbs. Ceci suggère alors d'amender la formulation classique de l'approche classique du maximum d'entropie (ou du minimum de divergence) et d'imaginer un équilibre caractérisé par deux (et non plus une seule) distributions : plutôt que de sélectionner la distribution la plus proche d'une distribution de référence sous une contrainte de moyenne, on recherchera une distribution p q (x) intermédiaire, en un sens à préciser, entre deux références p 0 (x) et p 1 (x). Cette construction, ainsi que certaines de ses conséquences, sont aussi décrits dans [BER 12]. On considère deux états de densités de probabilité p 0 (x) et p 1 (x) en un point x de l'espace des phases, et on recherche un état intermédiaire selon le scénario suivant. Le système d'état initial p 0 , soumis à une force généralisée, est déplacé, et maintenu, à une distance η = D(p||p 0 ) de p 0 . D'autre part, le système est attiré vers un état final p 1 . Par suite, le nouvel état intermédiaire p q est choisi comme celui qui minimise sa divergence à l'attracteur p 1 tout en étant maintenu à une distance η de p 0 . Comme illustré sur la Figure 1.1, la densité de probabilité intermédiaire est «alignée» avec p 0 et p 1 et à l'intersection avec l'ensemble D(p||p 0 ) = η, un cercle de rayon η centré sur p 0 . Plus précisément, en prenant les densités par rapport à la mesure de Lebesgue, le problème peut être formulé comme suit :

   min p D(p||p 1 ) sous D(p||p 0 ) = η et ´p(x)dx = 1.
(1.24)

La solution est donnée par la proposition suivante.

PROPOSITION 1.1.-Si q est un réel positif tel que D(p q ||p 0 ) = η et si M q (p 1 , p 0 ) = ´p1 (x) q p 0 (x) 1-q dx < ∞, alors, la solution du problème (1.24) est donnée par p q (x) = p 1 (x) q p 0 (x) 1-q ´p1 (x) q p 0 (x) 1-q dx .

(1.25)

REMARQUE.-Lorsque p 0 est uniforme, avec un support compact, on retrouve la distribution escorte standard (1.12). Si le support n'est pas compact et la distribution uniforme impropre, il est possible de modifier simplement la formulation en prenant pour contrainte une entropie fixée H(p) = -η, et l'on obtient alors la distribution escorte (1.12).

Évaluons la divergence D(p||p q ). Pour toute les densités p telles que la contrainte D(p||p 0 ) = η soit satisfaite, on a D(p||p q ) = ˆp(x) log p(x) p q (x) dx = ˆp(x) log p(x) q p(x) 1-q p 1 (x) q p 0 (x) 1-q dx + log M q (p 1 , p 0 )

= q ˆp(x) log p(x) p 1 (x) dx + (1 -q) ˆp(x) log p(x) p 0 (x) dx + log M q (p 1 , p 0 ) = q D(p||p 1 ) + (1 -q)η + log M q (p 1 , p 0 ) (1.26)
En prenant p = p q , la dernière égalité devient D(p q ||p q ) = q D(p q ||p 1 ) + (1 -q)η + log M q (p 1 , p 0 ).

(1.27)

Finalement en soustrayant (1.26) et (1.27), on obtient D(p||p q ) -D(p q ||p q ) = q (D(p||p 1 ) -D(p q ||p 1 )) .

(1.28)

Puisque q ≥ 0 et D(p||p q ) ≥ 0 avec égalité ssi p = p q , on obtient finalement D(p||p 1 ) ≥ D(p q ||p 1 ) ce qui prouve la Proposition.

Lorsque η varie, la fonction q(η) est monotone croissante, avec toujours D(p q ||p 0 ) = η. Pour η = 0 on a q = 0 et pour η = D(p 1 ||p 0 ) on a q = 1. Ainsi, lorsque q varie, p q définit une courbe qui connecte p 0 (q = 0) à p 1 (q = 1), et au delà pour q > 1, voir la

La divergence de Rényi comme conséquence

Finalement, il est intéressant de constater que la divergence de Rényi apparaît comme sous-produit de notre construction. En effet, par une conséquence directe de (1.27) et de la définition de la divergence de Rényi (1.9), le minimum de l'information de Kullback peut-être exprimé comme

D(p q ||p 1 ) = 1 - 1 q (η -D q (p 1 ||p 0 )) .
(1.29)

En prenant une mesure uniforme pour p 0 , on fait apparaître l'entropie de Rényi

D(p q ||p 1 ) = 1 - 1 q (η + H q [p 1 ]) .
(1.30)

La divergence de Kullback-Leibler n'est pas symétrique. Dès l'origine, Kullback et Leibler ont introduit une version symétrique, retrouvant en cela la divergence de Jeffreys. Dans notre cas, cette divergence de Jeffreys est une simple fonction affine de la divergence de Rényi :

J(p 1 , p q ) = D(p 1 ||p q ) + D(p q ||p 1 ) = (q -1) 2 q (D q (p 1 ||p 0 ) -η) .
(1.31)

Cette égalité est une conséquence simple de la relation (1.26), avec p = p 1 , et de la relation (1.27). On peut noter, comme conséquence importante, que la minimisation de la divergence de Jeffreys entre p 1 et p q sous certaines contraintes, est donc équivalent à la minimisation de la divergence de Rényi avec les mêmes contraintes. 1.5.3. Information de Fisher sur le paramètre q La distribution escorte généralisée p q définit une courbe indexée par q connectant les distributions p 0 et p 1 pour q = 0 et q = 1. Il est intéressant d'évaluer l'information attachée au paramètre q de la distribution généralisée. Cette information de Fisher est donnée par

I(q) = ˆ1 p q (x) dp q (x) dq 2 dx = ˆdp q (x) dq log p 1 (x) p 0 (x) dx.
(1.32) où le terme de droite s'obtient en utilisant la relation

dp q (x) dq = p q (x) log p 1 (x) p 0 (x) - d log M q dq , (1.33)
et le fait que ´dpq(x) dq dx = d dq ´pq (x)dx = 0 par la règle de Leibniz. On peut montrer également que cette information de Fisher est égale à la variance, par rapport à la loi p q , du rapport de vraisemblance.

Finalement, il est possible d'identifier l'intégrale de l'information de Fisher le long de la courbe, l'"énergie» de la courbe, à la divergence de Jeffreys. Plus précisément, on a PROPOSITION 1.2.-L'intégrale de l'information de Fisher, de q = r à q = s est proportionnelle à la divergence de Jeffreys entre p r et p s :

(s -r) ˆs r I(q)dq = J(p s , p r ) = D(p s ||p r ) + D(p r ||p s ).

(1.34)

Avec r = 0 et s = 1, on obtient donc que

ˆ1 0 I(q)dq = J(p 1 , p 0 ) = D(p 1 ||p 0 ) + D(p 0 ||p 1 ). (1.35)
Pour démontrer (1.34), il suffit d'intégrer (1.32) :

ˆs r I(q)dq = ˆs r ˆdp q (x) dq log p 1 (x) p 0 (x) dx dq. = ˆ(p s (x) -p r (x)) log p 1 (x) p 0 (x) dx.
En tenant compte du fait que log p s /p r = (s -r) log p 1 /p 0 , on obtient alors (1.34).

Finalement, si θ i , i = 1..M sont un ensemble de variables intensives dépendant de q, alors d log p dq = M i=1 ∂ log p ∂θi dθi dq et l'information de Fisher de q peut s'exprimer en fonction de la matrice d'information de Fisher sur θ. Dans ces conditions, et pour la distribution escorte généralisée, on obtient que la «divergence thermodynamique» sur la transition n'est autre que la divergence de Jeffreys :

J = ˆ1 0 I(q)dq = M i=1 M j=1 ˆ1 0 dθ i dq [I(θ)] i,j dθ dq dq = D(p 1 ||p 0 ) + D(p 0 ||p 1 ).
(1.36)

Inférence d'une distribution sous contrainte de moment généralisé

Supposons maintenant que la distribution p 1 soit imparfaitement connue, mais qu'une information complémentaire soit disponible sous la forme d'une valeur moyenne, prise sous la distribution p q . Cette moyenne est la moyenne généralisée (1.14), qui est utilisée en physique statistique nonextensive ; elle a ici l'interprétation claire d'une moyenne prise sous la distribution d'équilibre p q . Le problème qui se pose maintenant est alors la détermination de la distribution la plus générale compatible avec cette contrainte.

On peut conserver l'idée de minimiser la divergence à p 1 , comme dans le problème (1.24) qui nous a mené à la distribution d'équilibre en escorte généralisée. Comme la divergence de Kullback est dirigée, on conservera la direction en minimisant D(p q ||p 1 ) pour q < 1 et D(p 1 ||p q ) pour q > 1. Dans les deux cas, la divergence s'exprime comme une fonction affine de la divergence de Rényi D q (p 1 ||p 0 ), cf (1.29), et ces minimisations sont finalement équivalentes à la minimisation de la divergence de Rényi sous la contrainte de moyenne généralisée.

Dans le même ordre d'idée, on pourrait s'intéresser à la minimisation de la divergence symétrique de Jeffreys entre p q et p 1 . Or, nous avons noté en (1.31) que celle-ci s'exprime également comme une fonction affine de la divergence de Rényi D q (p 1 ||p 0 ). Sa minimisation est donc équivalente à la minimisation de la divergence de Rényi sous contrainte de moyenne généralisée.

Enfin, la divergence de Jeffreys J(p 1 , p q ) est proportionnelle à la divergence thermodynamique, l'intégrale de l'information de Fisher, comme indiqué en (1.34), pour q > 1 comme pour q < 1. Dès lors, la minimisation de la divergence thermodynamique entre p q et p 1 est également équivalente à la minimisation de la divergence de Rényi.

Ces différents arguments nous conduisent donc très légitimement à rechercher la distribution p 1 comme la distribution minimisant la divergence de Rényi d'index q, sous la contrainte de moyenne généralisée.

1.6. Minimisation de la divergence de Rényi et entropies associées Dans les paragraphes précédents nous avons décrit un cadre permettant de faire apparaître de manière naturelle l'information de Rényi, les distributions escortes et les moments généralisés. De plus, nous en avons déduit une méthode d'inférence de distribution : la minimisation de l'information de Rényi, avec une information disponible sous forme de moments généralisés. Dans cette section, nous donnerons d'abord l'expression de la densité qui minimise la divergence de Rényi, puis nous décrirons certaines propriétés des fonctions de partition associées. Enfin, nous montrerons comment on peut en déduire de nouvelles fonctionnelles entropiques dont on donnera quelques exemples. Une partie de ces résultats, mais aussi certaines extensions pourront être consultés dans [BER 08].

1.6.1. Minimisation de la divergence de Rényi sous contrainte de moment généralisé Nous considérerons d'abord un moment généralisé d'ordre quelconque (1.14), dont l'expression est rappelée ci-dessous m p,q [f ] = ˆ|x| p f q (x)dµ(x) = ´|x| p f (x) q g(x) 1-q dµ(x) ´f (x) q g(x) 1-q dµ(x) .

(1.37)

On considère alors le problème

F q (m) =    min f D q (f ||g) sous m = m p,q [f ] et ´f (x)dµ(x) = 1.
(1.38)

Le minimum obtenu est bien sûr une fonction de la contrainte m = m p,q [f ], que l'on notera F q (m). Il s'agit d'une version contractée de la divergence de Rényi, qui définit une « entropie » dans l'espace des moyennes possibles m. Dans [BER 11], nous avons considéré un problème plus général, dans lequel les index du moment généralisé et de la divergence de Rényi ne sont pas identiques. Quoi qu'il en soit, on a ici le résultat suivant.

PROPOSITION 1.3.-La densité G γ qui réalise le minimum dans le problème (1.38) est donnée par

G γ (x) = 1 Z ν (γ, xp ) (1 -(1 -q)γ (|x| p -xp )) ν + g(x)
(1.39) ou de façon équivalente par

G γ (x) = 1 Z ν (γ) (1 -(1 -q)γ|x| p ) ν + g(x)
(1.40) avec ν = 1/(1 -q), xp un paramètre de translation éventuel, γ et γ des paramètres d'échelle choisis tels que la contrainte de moment généralisé soit satisfaite, et enfin où (x) + = max(0, x). Les quantités Z ν (γ, xp ) et Z ν (γ) sont les fonctions de partition qui permettent de normaliser la densité. Pour q = 1, la densité G γ (x) devient une densité exponentielle

G γ (x) = 1 Z ν (γ) exp (-γ (|x| p -xp )) g(x) (1.41)
par rapport à g(x).

Dans le cas p = 2, on retrouve ainsi une densité gaussienne. La densité G γ est parfois appelée « gaussienne généralisée ». On notera encore que γ et γ sont reliés par la relation

γ = γ 1 + γ ν xp . (1.42)
On propose ici la démonstration dans le cas de l'expression (1.40). La démarche est tout-à-fait similaire dans la cas de la densité (1.39).

Comme dans [BER 11], posons

A(γ) = 1/Z(γ). On a immédiatement ˆf q G 1-q γ dµ(x) = A(γ) 1-q M q [f, g] × ˆ(1 -(1 -q)γ|x| p ) + f q g 1-q M q [f, g] dµ(x) ≥ A(γ) 1-q (1 -(1 -q)γ m p,q [f ]) M q [f, g], (1.43)
avec M q [f, g] = ´f a g 1-q dµ(x), où m p,q [f ] désigne le moment généralisé, et où l'inégalité résulte du fait que le support de (1 -(1 -q)γ|x| p ) + peut être inclut dans celui de f q g 1-q . L'inégalité devient une égalité dans le cas q ≥ 1. À partir de (1.43) on a directement, avec f = G γ :

M 1 [G γ ] = 1 = A(γ) 1-q (1 -(1 -q)γ m q,p [G γ ]) M q [G γ , g]. (1.44)
Ainsi, pour toutes les distributions f de moment généralisé m p,q [f ] = m et pour γ tel que G γ ait le même moment m p,q [G γ ] = m, alors la combinaison de (1.43) et (1.44) entraîne

ˆf q G 1-q γ dµ ≥ M q [f, g] M q [G γ , g] ,
avec égalité si q ≥ 1. Finalement la divergence de Rényi d'ordre q peut ainsi être exprimée comme

D q (f ||G γ ) = log ˆf q G 1-q γ dµ(x) 1 q-1 (1.45) ≤ log M q [f, g] M q [G γ , g] 1 q-1 = D q (f ||g) -D q (G γ ||g).
(1.46)

Par la non négativité de la divergence, on obtient donc que

D q (f ||g) ≥ D q (G γ ||g) (1.47) pour toutes les distributions f de moment généralisé m p,q [f ] = m p,q [G γ ] = m, et avec égalité ssi f = G γ .
1.6.2. Quelques propriétés des fonctions de partition Dans ce paragraphe, on donne quelques propriétés essentielles des fonctions de partition Z ν (γ, xp ) associées à la densité optimale G γ , voir [BER 08]. Ces propriétés seront essentielles pour la caractérisation des fonctionnelles entropiques F q (x). On désigne par E ν la moyenne statistique prise vis-à-vis de la loi optimum de densité (1.39), avec ν = 1/(1 -q). Il est aussi important de réaliser, dès à présent, que la densité escorte d'ordre q de (1.39) n'est autre que cette même densité G γ mais avec un exposant ν -1, de sorte que l'on ait

m p,q [G γ ] = E ν-1 [X] .
(1.48)

Les fonctions de partition successives sont liées par

Z ν (γ, x p ) = E ν-1 1 - γ ν (|x| p -x p )) Z ν-1 (γ, x).
(1.49)

Comme conséquence directe, on voit que Z ν (γ,

x p ) = Z ν-1 (γ, x p ) ssi x p = E ν-1 [|X| p ] .
En utilisant la règle de Leibniz, on peut obtenir que la dérivée par rapport à γ est donnée par

d dγ Z ν (γ, x p ) = -E ν-1 [|X| p -x p ] + γ dx p dγ Z ν-1 (γ, x p ), (1.50)
sous réserve que x p soit bien différentiable par rapport à γ. De même

d dx p Z ν (γ, x p ) = - dγ dx p E ν-1 [|X| p -x p ] + γ Z ν-1 (γ, x p ) (1.51) Ainsi, si x p = E ν-1 [|X| p ] ,
d 2 Z ν (γ, m) dγ 2 = (ν -1) ν E ν-2 (X -m) 2 Z ν-2 (γ, m), (1.54) et de même d 2 Z ν (γ, m) dm 2 = (ν -1) ν γ 2 E ν-2 (X -m) 2 Z ν-2 (γ, m), (1.55)
ce qui, compte tenu du fait que (ν -1)/ν = q > 0, du fait que les fonctions de partition sont strictement positives, montre que si x p = m et γ sont indépendants, alors la fonction de partition Z ν (γ, m) est convexe en ses deux variables.

Enfin, on peut exprimer la solution du problème (1.38), c'est-à-dire F q (m), à la fonction de partition. Par calcul direct, on a en effet

D q (G γ ||g) = 1 q -1 log Z qν (γ, xp ) - q q -1 log Z ν (γ, xp ), (1.56)
ce qui se réduit simplement à

F q (m) = D q (G γ ||g) = -log Z ν (γ, m) = -log Z ν-1 (γ, m), (1.57)
pour la valeur de γ telle que la contrainte soit satisfaite, soit m p,q

[G γ ] = E ν-1 [X] = xp = m.
1.6.3. Fonctionnelles entropiques issues de la divergence de Rényi

Ainsi, la solution du problème de minimisation de la divergence de Rényi d'ordre q, vue comme une fonction de la contrainte, définit une «fonctionnelle entropique ». Différentes fonctionnelles seront associées aux différentes spécifications de la densité de référence g(x), ainsi qu'aux différentes valeurs de l'index q. Nous allons voir que les fonctions en question présentent des propriétés intéressantes. On dispose ainsi potentiellement d'un ensemble de fonctions qui peuvent être utilisées, éventuellement, comme fonctions objectif, ou termes de régularisation. La principale caractérisation de F q (m) est la suivante. PROPOSITION 1.4.-L'entropie F q (m), définie par (1.38), est non négative, avec un minimum unique en m g , la moyenne de g, et F q (m g ) = 0. L'entropie est une fonction pseudo-convexe pour q ∈ [0, 1) et strictement convexe pour q ≥ 1.

La divergence de Rényi D q (f ||g) est toujours non négative, et nulle uniquement pour f = g. Puisque les fonctionnelles F q (m) sont définies comme le minimum de la divergence D q (f ||g), elles sont toujours non négatives. À partir de (1.53), on a d dx log Z ν (γ, x) = γ. Ainsi, les fonctionnelles F q (x) ne présentent qu'un seul point singulier en γ = 0. Pour cette valeur de γ, on a G γ=0 = g, et D q (g||g) = 0. Dans ces conditions, F q (x) possède un minimum unique pour x = m g , la moyenne de g, et F q (m g ) = 0. On obtient donc que F q (x) est unimodale et ne présente pas de points d'inflexion avec une tangente horizontale ; ceci suffit pour affirmer que F q (x) est pseudo convexe, au sens de Mangasarian [MAN 87]. Examinons maintenant la convexité pour q ≥ 1. Si f q est la distribution escorte généralisée donnée par (1.13), alors on a l'égalité D q (f ||g) = D 1 q (f q ||g). Par suite, rechercher la distribution f qui réalise le minimum de D q (f ||g) avec une contrainte de moyenne généralisée, i.e. prise vis-à-vis de f q , est équivalente à rechercher la distribution f q qui minimise D 1 q (f q ||g), sous une contrainte de moment standard. Dans ces conditions, soient p 1 et p 2 les deux densités qui minimisent D 1 q (f q ||g) sous les contraintes

x 1 = E fq [X] et x 2 = E fq [X]. Alors, F q (x 1 ) = D 1 q (p||g), et F q (x 2 ) = D 1 q (p 2 ||g). De la même manière, soit F q (µx 1 + (1 -µ)x 2 ) = D 1
q ( P ||Q), où P est la distribution escorte optimale de moyenne µx 1 + (1 -µ)x 2 . Les distributions P et µp 1 + (1 -µ)p 2 ont alors même moyenne. Ainsi, lorsque D 1 q (f q ||g) est une fonction strictement convexe de f q , c'est-à-dire pour q ≥ 1, on a D 1 q ( P ||g) < µD 1 q (p 1 ||g) + (1 -µ)D 1 q (p 2 ||g), soit F q (µx 1 + (1 -µ)x 2 ) < µF q (x 1 ) + (1 -µ)F q (x 2 ) et l'entropie F q (x) est une fonction strictement convexe.

Même munis de cette caractérisation intéressante, il reste un problème pratique d'importance : comment déterminer analytiquement, ou numériquement les entropies F q (x) pour une densité de référence g et un index entropique q donnés. Le problème revient à déterminer le paramètre γ tel que la moyenne généralisée de la densité optimale (1.39) ait une valeur spécifiée m. Une manière simple de procéder est de revenir au fait que si xp est un paramètre fixe m, indépendant de γ, alors la relation de dérivation (1.50) se réduit à

d dγ Z ν (γ, m) = (m -E ν-1 [|X| p ]) Z ν-1 (γ, m). ( 1
(m) = -log Z ν (γ, m).
La recherche de l'expression de F q (m) requiert donc de calculer la fonction de partition puis de résoudre d dγ Z ν (γ, m) = 0 par rapport à γ. Hors quelques cas particuliers, cette résolution ne semble pas possible analytiquement, et l'entropie F q (m) est donnée implicitement. Dans le cas particulier où g est une mesure de Bernoulli, il est possible d'obtenir une expression analytique pour F q (m), ceci pour tout q > 0. Pour d'autres densités de référence g, il est possible d'obtenir des expressions analytiques quand q → 1. Ces points sont détaillés dans [BER 08], où par ailleurs différentes densités de référence g sont étudiées, et les entropies correspondantes évaluées numériquement, selon le schéma indiqué précédemment. À titre d'exemple, on donne figures 1.2a et 1.2b les résultats numériques obtenus dans le cas p = 1 et d'une densité uniforme sur l'intervalle [0, 1]. Pour q ≥ 1, on obtient bien une famille de fonctions convexes sur (0, 1), minimum pour la moyenne de g, soit 0.5, comme nous l'avions indiqué plus haut. Pour q < 1, on obtient une famille de fonctions non négatives, unimodales, et également minimales en x = m g = 0.5. Figure 1.2 -Entropie F q (x) pour une référence uniforme, respectivement pour q ≥ 1 et q ∈ (0, 1).

Critères entropiques

Au vu des figures précédentes, il est apparent que la minimisation de F q (x) sous certaines contraintes fournit automatiquement une solution dans l'intervalle (0, 1). De plus, le paramètre q peut être utilisé pour ajuster la courbure de la fonction ou la pénalisation sur les bords du domaine. Il est ainsi intéressant d'utiliser ces entropies en vue de la résolution de problèmes inverses. Plus précisément, on peut utiliser un critère entropique tel que F q (x) comme fonction objectif. On se restreindra dans toute cette section au cas p = 1. Si on considère un problème inverse linéaire y = Ax, avec x k les composantes de x, alors ceci peut se formuler comme min x k F q (x k ) sous y = Ax.

(1.59)

Ceci correspond alors à sélectionner parmi les solutions possibles la solution dont les composantes sont d'entropie minimale. Remarquons que l'on a supposé ici, implicitement, que le critère était séparable en ses composantes. En réalité, si on définit F q (x) comme le minimum de la divergence de Rényi sous une contrainte de moyenne généralisée, alors, même en supposant les composantes indépendantes, on obtient une densité sur x analogue à (1.39), qui n'est pas séparable sur ses composantes. Afin d'obtenir un critère séparable, qui est à la fois plus conforme à l'intuition et d'une utilisation plus aisée, on amende la formulation en recherchant la densité produit qui réalise le minimum de la divergence de Rényi sous contrainte de moyenne généralisée, ce qui conduit effectivement au critère séparable. Ainsi, le problème précédent (1.59) peut aussi se lire

       min x    min f D q (f ||g) sous f = k f k et x = E fq [X] sous y = Ax,
(1.60) où E fq [X] désigne la moyenne généralisée, i.e. prise par rapport à la distribution escorte d'ordre q. Il s'agit donc bien ici d'un problème de «maximum d'entropie » qui consiste à sélectionner une solution x, vue comme moyenne généralisée d'une loi à minimum de divergence de Rényi à une densité de référence g. Les entropies k F q (x k ) étant pseudo-convexes, on sait que la minimisation sous contraintes linéaires conduit à un minimum unique, c.f. par exemple [CAM 08, théorème 4. (1.67)

En suivant cette démarche, il est ainsi possible de résoudre le problème (1.59). Ceci conduit alors à une solution, unique, « à maximum d'entropie de Rényi » au problème inverse linéaire y = Ax, problème où l'on peut inclure différentes contraintes, notamment de support, via la densité de référence g, et où la forme du critère peut être ajustée par l'intermédiaire de l'index entropique q.

Dans le cas où les données y seraient imparfaites, il est possible de minimiser le critère entropique sous une contrainte fournie par une statistique (par exemple du χ 2 ) sur le résidu, plutôt qu'avec une contrainte exacte. Il est également possible d'utiliser le critère entropique avec un terme d'attache aux données.

Dans le cas q = 1, la divergence de Rényi se réduit à la divergence de

  Figure1.1 -Équilibre entre les états p 0 and p 1 : la distribution d'équilibre est recherchée dans l'ensemble des distributions situées à une divergence fixée à p 0 , D(p||p 0 ) = η, et à une distance de Kullback minimale de p 1 . La distribution d'équilibre résultante p q , la distribution escorte généralisée est « alignée » avec p 0 et p 1 et à l'intersection de l'ensemble D(p||p 0 ) = η.

  Figure 1.1. REMARQUE.-Il est intéressant de noter aussi que des résultats ont montré que le travail dissipé durant une transition peut être exprimé comme une divergence de Kullback-Leibler [PAR 09]. Dans ce contexte, avec un Halmitonien pair suivant l'impulsion, la contrainte D(p||p k ) = η, k = 0 ou 1, peut être interprétée comme une borne sur le travail moyen dissipé durant la transition de p à p k .

  alors en tenant compte de l'égalité des fonctions de partition de rangν et ν -1, on a d dγ log Z ν (γ, x p ) = γ dx p dγ , log Z ν (γ, x p ) = γ.(1.53) Par ailleurs, lorsque x p est un paramètre indépendant de γ, disons x p = m, alors

  Cas q ∈ (0, 1).

F-

  4.1]. Examinons maintenant comment on peut obtenir une solution de (1.59), même dans le cas où les entropies n'ont pas d'expression explicite. La solution correspond à un point stationnaire du lagrangien L(λ, x) associé au problème (1.59), et il s'agit donc de résoudremin x max λ L(λ, x) = min x max λ k F q (x k ) + λ T (y -Ax) q (x k ) -c k x k + λ T y (1.62) avec c k = λ T A k . En utilisant le fait que F q (x k ) = -log Z ν (γ * , x k ) = -inf γ log Z ν (γ, x k ), comme nous l'avons vu en section 1.6.3, on a ainsimin log Z ν (γ * , x k ) -c k x k + λ T y (ν (γ * , x k ) + c k x k ) . (1.64)Or, par la relation (1.53), il vientd dx k (log Z ν (γ * , x k ) + c k x k ) = γ * + c k (1.65)ce qui entraîne γ * = -c k , et x k est la moyenne généralisée associée. Il s'agit donc finalement de résoudremax λ λ T yk (log Z ν (-c k , x k ) + c k x k ) ,(1.66) où, pour tout c k , la moyenne généralisée correspondante x k peut être calculée comme solution unique du problème x k = arg min x (log Z ν (-c k , x) + c k x) .

  Kullback, les moments généralisés aux moments habituels, et la densité optimale à une densité exponentielle (1.41) par rapport à g. Dans ces conditions, la log-fonction de partition s'écrit logZ ∞ (-c k , x k ) = -c k x k + log ´exp (c k x k ) g(x k )dµ(x k ), le problème (1.66) devient max λ λ T yk log ˆexp (c k x k ) g(x k )dµ(x k ),(1.68) et la solution optimale est donnée par la dérivée de la log-fonction de partition par rapport aux c k . Cette dernière approche a été développée dans un travail dirigé par Guy Demoment [LEB 99].

  .58) Dès lors, on voit qu'il suffit de rechercher les extrema de la fonction de partitionZ ν (γ, m) pour obtenir un γ tel que m = E ν-1 [|X| p ] .Comme nous avons vu que Z ν (γ, m), à m fixé, est strictement convexe, alors cet extremum est unique et est un minimum. Enfin, la valeur de l'entropie est simplement donnée par (1.57) : F q