Points fixes des groupes de transformations affines

Pour tout $u \in \Gamma$, soit $K_u$ l’ensemble des $x \in K$ tels que $u(x) = x$. Montrons que $K_u$ est non vide. Soit $x$ un point de K ; pour tout entier $n \geq 1$, notons $x_n$ l’élément $\frac{1}{n} \sum_{i=0}^{n-1} u^i(x)$ de E. Comme K est convexe et stable par $u$, les points $x_n$ appartiennent à K et comme K est compact, il existe une valeur d’adhérence $a$ de la suite $(x_n)_{n \geq 1}$. L’application $y \mapsto u(y) - y$ de K dans E est continue, donc $u(a) - a$ est valeur d’adhérence de la suite $(u(x_n) - x_n)_{n \geq 1}$. Or on a $u(x_n) - x_n = \frac{1}{n} (u^n(x) - x)$. Comme

K est compact, donc borné (III, p. 3, prop. 2), la suite $(u^n(x) - x)_{n \geq 1}$ est bornée ; par suite, la suite $\left( \frac{1}{n} (u^n(x) - x) \right)_{n \geq 1}$ tend vers 0 (III, p. 3, prop. 3), et comme E est séparé, on a $u(a) - a = 0$. On a donc $a \in K_u$.

Chacun des ensembles $K_u$ est une partie fermée et convexe de l’espace compact K, et il s’agit de prouver que l’intersection $\bigcap_{u \in \Gamma} K_u$ est non vide. Il suffit donc de prouver que, pour $n \geq 1$, et $u_1, \ldots, u_n$ dans $\Gamma$, l’ensemble $K_{u_1} \cap \ldots \cap K_{u_n}$ n’est pas vide. Raisonnons par récurrence sur $n$, le cas $n = 1$ ayant été traité. Supposons alors $n \geq 2$ et posons $L = K_{u_1} \cap \ldots \cap K_{u_{n-1}}$. Par l’hypothèse de récurrence, L est une partie compacte et convexe non vide de E. Comme $u_n$ commute à $u_1, \ldots, u_{n-1}$, on a $u_n(L) \subset L$. Appliquant la première partie de la démonstration à la transformation affine induite par $u_n$ dans L, on conclut qu’il existe un point $a$ de L tel que $u_n(a) = a$; alors $a$ appartient à $K_{u_1} \cap \ldots \cap K_{u_n}$, qui est donc non vide.

D’après la définition d’un groupe résoluble (A, I, p. 71), il existe une suite finie décroissante $(G_i)_{0 \leq i \leq n}$ de sous-groupes distingués de G, telle que $G_0 = G, G_n = \{e\}$ et que le groupe $G_{i-1}/G_i$ soit commutatif pour $1 \leq i \leq n$. Notons $K_i$ l’ensemble des points fixes de $G_i$ dans K. On a $K_n = K$. De plus, pour $1 \leq i \leq n$, tout élément de $G_i$ induit la transformation identique sur $K_i$; on en déduit une action du groupe commutatif $G_{i-1}/G_i$ sur $K_i$; si $K_i$ est non vide, il résulte du th. 1 que l’ensemble $K_{i-1}$ des points fixes de $G_{i-1}/G_i$ dans $K_i$ est non vide. Par récurrence descendante sur $i$, on en déduit que $K_0$ n’est pas vide, d’où le corollaire.

Soit $\mu$ une forme linéaire sur E, telle que $\mu(1) = 1$. Pour toute fonction $f \in E$, on définit la fonction $f' \in E$ par $f'(x) = \|f\| - f(x)$ ($x \in X$). Supposons d’abord que $\mu$ soit une moyenne ; pour tout $f \in E$, on a $f' \geq 0$, d’où $\mu(f') \geq 0$, c’est-à-dire $\mu(f) \leq \|f\|$; on a donc $\|\mu\| \leq 1$. Réciproquement, supposons que $\mu$ appartienne à $E'$, et que $\|\mu\| \leq 1$; pour toute fonction positive $f \in E$, on a $\mu(f') \leq \|f'\|$, d’où

et finalement $\mu(f) \geq 0$; par suite, $\mu$ est une moyenne.

Il est clair que $K$ est convexe ; qu’il soit compact pour $\sigma(E', E)$ résulte du cor. 3 de III, p. 17.

Soit $\Gamma$ un ensemble d’applications continues de $X$ dans $X$, commutant deux à deux. Soit $\gamma \in \Gamma$. Pour toute fonction $f \in E$, on a $f \circ \gamma \in E$; on définit donc une transformation affine $u_\gamma$ dans l’ensemble $K$ des moyennes sur $X$ par

Si l’on munit $K$ de la topologie induite par $\sigma(E', E)$, l’application $u_\gamma$ est continue. Si $\gamma$ est un homéomorphisme, $u_\gamma \mu$ se déduit de $\mu$ par transport de structure. Enfin, on a $u_\gamma u_{\gamma'} = u_{\gamma' \gamma} u_\gamma$ quels que soient $\gamma, \gamma'$ dans $\Gamma$. D’après le th. de Markoff-Kakutani (IV, p. 39, th. 1), *il existe donc une moyenne $\mu$ sur $X$, telle que $u_\gamma \mu = \mu$ pour tout $\gamma \in \Gamma$ ; autrement dit, $\mu$ satisfait à la relation $\mu(f) = \mu(f \circ \gamma)$ pour $f \in E$ et $\gamma \in \Gamma$.

Le corollaire du th. 1 (IV, p. 40) entraîne de manière analogue le résultat suivant :

Il suffit d’appliquer la prop. 1 au groupe résoluble $G \times G$ agissant sur $G$ par $(g, g').x = gx{g'}^{-1}$.

a) $K_1$ est convexe et compact ; b) on a $\|x_1 - x_2\| < \varepsilon$ quels que soient $x_1$ et $x_2$ dans $K_2$.

Soit L l’adhérence de l’ensemble des points extrémaux de K. D’après le th. de Krein-Milman (II, p. 59, th. 1), K est l’enveloppe fermée convexe de L. Comme K contient au moins deux points, il en est de même de L. Pour tout $x \in L$, soit $A_x$ l’ensemble des $y \in L$ tels que $\|x - y\| \leq \varepsilon/4$. D’après l’hypothèse faite sur K, il existe une partie dénombrable D de L telle que $L = \bigcup_{x \in D} A_x$. Comme la norme est semi-continue inférieurement, chacun des ensembles $A_x$ est fermé. Appliquons le th. de Baire (TG, IX, p. 55, th. 1) à l’espace compact L : il existe un point $a$ de D et une partie ouverte U de E tels que $L \cap U$ soit non vide et contenu dans $A_a$. Comme L contient au moins deux points, et que E est séparé, on peut choisir U de sorte que $L \notin U$.

Soit M l’enveloppe fermée convexe de $L \cap \complement U$. Pour tout nombre réel $t$ tel que $0 < t < 1$, notons $M_t$ l’ensemble des vecteurs de la forme $tx_1 + (1-t)x_2$ avec $x_1 \in M$ et $x_2 \in K$ ; c’est une partie non vide, convexe et compacte de K. Démontrons par l’absurde qu’on a $M_t \neq K$. Supposons qu’on ait $M_t = K$ ; alors tout point extrémal $x$ de K appartient à $M_t$, donc s’écrit sous la forme $x = tx_1 + (1-t)x_2$ avec $x_1 \in M$ et $x_2 \in K$. Ceci entraîne $x = x_1 = x_2$, d’où $x \in M$. D’après le th. de Krein-Milman (II, p. 59, th. 1), on a donc $K = M$, et K est l’enveloppe fermée convexe de $L \cap \complement U$. D’après II, p. 59, corollaire, ceci entraîne $L \subset L \cap \complement U$, en contradiction avec la relation $L \cap U \neq \varnothing$.

Posons $d = \sup_{x \in K, y \in K} \|x - y\|$ et choisissons un nombre réel $t$ tel que $0 < t < 1$ et $t < \varepsilon/4d$. Posons $K_1 = M_t$ et $K_2 = K - M_t$. D’après ce qui précède, les ensembles $K_1$ et $K_2$ sont non vides, et $K_1$ est convexe et compact. Soit $M'$ l’enveloppe fermée convexe de $L \cap U$. Comme K est l’enveloppe fermée convexe de l’ensemble $L = (L \cap \complement U) \cup (L \cap U)$, c’est aussi l’enveloppe fermée convexe de $M \cup M'$. Soient $x_1$ et $x_2$ deux points de $K_2$ ; pour $i = 1, 2$, il existe donc $y_i \in M, z_i \in M'$ et un nombre réel $\alpha_i$ tels que $0 \leq \alpha_i \leq 1$ et $x_i = \alpha_i y_i + (1-\alpha_i) z_i$. Si l’on avait $\alpha_i \geq t$, on aurait $x_i = ty_i + (1-t) \left\{ \frac{\alpha_i - t}{1-t} y_i + \frac{1-\alpha_i}{1-t} z_i \right\}$ contrairement à l’hypothèse $x_i \notin M_t$. On a donc $\alpha_i < t$ pour $i = 1, 2$, d’où

Pour tout point z de M', on a $\|z - a\| \leq \varepsilon/4$ puisque $L \cap U \subset A_a$, d’où en particulier $\|z_i - a\| \leq \varepsilon/4$. On a donc

Ceci achève la démonstration.

Soit $\mathfrak{J}$ l’ensemble des parties de K qui sont non vides, convexes, fermées et stables pour G. Si $(L_\alpha)_{\alpha \in I}$ est une famille totalement ordonnée par inclusion d’éléments de $\mathfrak{J}$, l’ensemble $L = \bigcap_{\alpha \in I} L_\alpha$ appartient à $\mathfrak{J}$. Par suite (E, III, p. 20, th. 2), il existe un élément L de $\mathfrak{J}$, minimal pour la relation d’inclusion. Il s’agit de prouver que L est réduit à un point.

Raisonnons par l’absurde, en supposant que L contienne au moins deux points distincts $x_1$ et $x_2$; posons $x = (x_1 + x_2)/2$ et $\varepsilon = \|x_1 - x_2\|/2$. L’ensemble convexe et compact L est de type dénombrable pour la distance déduite de la norme (TG, IX, p. 19, corollaire). On peut donc lui appliquer le lemme 2 et trouver une partie convexe et compacte $L_1$ de L, distincte de $\varnothing$ et de L, possédant la propriété suivante :

(A) Quels que soient $y_1$ et $y_2$ dans $L - L_1$, on a $\|y_1 - y_2\| < \varepsilon$.

Montrons par l’absurde qu’on a $gx \in L_1$ pour tout $g \in G$. Soit donc $g \in G$ tel que $gx \in L - L_1$; pour $i = 1, 2$, on a

D’après la propriété (A), on a donc $gx_i \in L_1$. Comme $L_1$ est convexe, on en déduit que $gx = (gx_1 + gx_2)/2$ appartient à $L_1$, contrairement à l’hypothèse faite.

Soit $L'$ l’enveloppe fermée convexe de l’orbite $Gx$ de x. L’ensemble $L'$ appartient à $\mathfrak{J}$. D’après ce qui précède, on a $L' \subset L_1$, d’où $L' \subset L$, $L' \neq L$. Ceci contredit le caractère minimal de L et achève la démonstration.

Pour tout $g \in G$, notons $K_g$ l’ensemble des points x de K tels que $gx = x$; munissons K de la topologie affaiblie ; chaque ensemble $K_g$ est convexe et fermé dans l’espace compact K. Il s’agit de prouver que l’intersection $\bigcap_{g \in G} K_g$ est non vide ; pour cela, il suffit de prouver que l’ensemble $K_{g_1} \cap \ldots \cap K_{g_n}$ est non vide quels que soient $g_1, \ldots, g_n$ dans G. Fixons $g_1, \ldots, g_n$ et notons H le sous-groupe de G engendré par $\{g_1, \ldots, g_n\}$. Choisissons un point a de K et notons L l’enveloppe fermée convexe de l’orbite Ha de a. Soit D l’ensemble dénombrable des éléments de la forme $\lambda_1 h_1 a + \cdots + \lambda_m h_m a$, où $\lambda_1, \ldots, \lambda_m$ sont des nombres rationnels positifs tels que $\lambda_1 + \cdots + \lambda_m = 1$, et $h_1, \ldots, h_m$ des éléments de $H$. L’adhérence $\overline{D}$ de $D$ pour la topologie forte est convexe, donc elle est fermée pour $\sigma(E, E')$ (IV, p. 4, prop. 2) ; on a donc $\overline{D} = L$, ce qui prouve que $L$ est un espace métrique de type dénombrable pour la distance $(x, y) \mapsto \| x - y \|$. On peut donc appliquer le lemme 2. Il existe un point $b$ de $L$ invariant par $H$, d’où $b \in K_{g_1} \cap \ldots \cap K_{g_n}$.

Comme E est réflexif, K est compacte pour $\sigma(E, E')$ (IV, p. 15, th. 1). De plus, tout élément de G appartient à $\mathscr{L}(E)$.