(iii) G laisse invariante une forme hermitienne positive non dégénérée sur E.

(iii) ⇒ (i) : supposons que G laisse invariante une forme hermitienne positive non dégénérée Ψ. Soit (e₁, ..., eₙ) une base orthonormale pour Ψ (Alg., chap. IX, § 6, no 1, cor. 1 du th. 1). Pour tout u ∈ G, soit (uᵢⱼ) sa matrice par rapport à (eᵢ). Quel que soit j, on a $\sum_{i=1}^{n} |u_{ij}|^2 = 1$, donc $|u_{ij}| \leq 1$ quels que soient i et j, ce qui prouve (i).

(i) ⇒ (ii) : ceci résulte de Top. Gén., chap. X, 2ᵉ éd., § 4, cor. du th. 4, compte tenu du fait que la topologie de End(E) est celle de la convergence compacte.

(ii) ⇒ (iii) : supposons que l’adhérence $\overline{G}$ de G dans Aut(E) soit compacte. Soit Φ une forme hermitienne positive non dégénérée sur E. Si le corps des scalaires est $\mathbf{R}$ ou $\mathbf{C}$, la donnée de Φ fait de E un espace hilbertien de dimension finie, et la condition (iii) résultera du lemme suivant :

Soit α une mesure de Haar sur K. Quels que soient x, y dans F, l’application s → (U(s)x|U(s)y) est continue. Posons

Il est immédiat que $\varphi(x, y)$ est une forme sesquilinéaire sur F. Comme l’ensemble des endomorphismes U(s) est compact dans $\mathscr{L}_s(F ; F)$, il existe une constante M telle que $\|U(s)\| \leq M$ pour tout s ∈ K. Pour tout x ∈ F, on a donc

d'où les inégalités

ce qui montre que $\varphi$ est positive non dégénérée et que la norme $\varphi(x, x)^{1/2}$ est équivalente à la norme $\|x\|$. Enfin, pour tout $t \in K$, on a

Lorsque le corps des scalaires est $\mathbf{H}$, on raisonne exactement de même, en remplaçant partout la fonction $s \to (U(s)x | U(s)y)$ par la fonction $s \to \Phi(sx, y)$ définie dans $G$, à valeurs dans $\mathbf{H}$. Ce qui achève la démonstration du lemme.

On se ramène aussitôt au cas où $n = 1$. Comme le groupe additif $\mathbf{R}$ est isomorphe au groupe multiplicatif $\mathbf{R}_+^*$, la proposition est alors conséquence immédiate de la prop. 7 du § 2, no 4.

a) *Il existe une application continue $f$ de X dans V telle que $f(xv) = f(x) + v$ quels que soient $x \in X$ et $v \in V$.

b) *Si $f$ est une application vérifiant les conditions de a), l’application $x \to (\pi(x), f(x))$ est un homéomorphisme de X sur $B \times V$.

L’assertion a) résulte de la prop. 2 dans laquelle on prend pour $g$ l’application identique de V. Soit $f$ une application vérifiant les conditions de a). L’application $x \to x.(-f(x))$ de X dans X est continue et constante sur chaque orbite, donc de la forme $\varphi \circ \pi$, où $\varphi$ est une application continue de B dans X ; pour tout $b \in B$, on a $\pi(\varphi(b)) = b$. Les applications $x \to (\pi(x), f(x))$ de X dans $B \times V$ et $(b, v) \to \varphi(b).v$ de $B \times V$ dans X sont réciproques l’une de l’autre, car $\varphi(\pi(x)).f(x) = x.(-f(x)).(f(x)) = x,\ \pi(\varphi(b).v) = \pi(\varphi(b)) = b$, et, si $b = \pi(y), f(\varphi(\pi(y)).v) = f(y.(-f(y)).v) = f(y) - f(y) + v = v$. Comme ces applications sont continues, ce sont des homéomorphismes.

En effet, pour tout $t \in G$, on a

a) Il existe un sous-groupe fermé L de G tel que G soit produit semi-direct topologique de L et de H.

b) Si M est un sous-groupe compact de G, il existe un élément $x \in H$ tel que $x^{-1}Mx \subset L$.

c) Tout sous-groupe compact de G est contenu dans un sous-groupe compact maximal.

d) Les sous-groupes compacts maximaux de G sont les sous-groupes transformés de L par les automorphismes intérieurs de G.

Soit $\pi$ l’homomorphisme canonique de G sur $K = G/H$. Par passage au quotient, l’application $(s, h) \to shs^{-1}$ de $G \times H$ dans H définit une application continue $(\sigma, h) \to \sigma.h$ de $K \times H$ dans H telle que $shs^{-1} = \pi(s).h$. Nous identifierons H à $\mathbf{R}^n$ (et emploierons donc, suivant le cas, la notation multiplicative ou additive pour la loi de groupe dans H). D’après le cor. de la prop. 2, il existe une application continue $f$ de G dans H telle que $f(xh) = f(x) + h$ pour $x \in G,\ h \in H$. Pour tout $x \in G$, soit $p(x) = x.(-f(x))$ qui ne dépend que de la classe de $x$ suivant H. Posons

On voit que, si $F(x, y) = 0$ quels que soient $x,\ y$ dans G, $p(G) = L$ est un sous-groupe de G qui rencontre toute classe suivant H en un point et un seul. Comme $p$ est continu, G est alors produit semi-direct topologique de L et de H (Top. gén., chap. III, 3e éd., § 2, no 10).

Or, quels que soient $h,\ h' \in H$, on a

Donc F définit par passage aux quotients une application continue $\varphi$ de $K \times K$ dans H.

D'autre part, quels que soient $x, y, z$ dans $G$, on a

donc, quels que soient $x', y', z'$ dans $K$, on a Intégrons par rapport à $z'$ au moyen de la mesure de Haar normalisée $\alpha$ de $K$. Si on pose $\psi(x') = \int \varphi(z', x') d\alpha(z')$, $\psi$ est une fonction continue sur $K$, et on obtient (en observant que les opérations de $K$ dans $\mathbf{R}^n$ respectent la structure d'espace vectoriel de $\mathbf{R}^n$ d'après Top. gén., chap. VII, § 2, no 1, prop. 1) Autrement dit, en posant $k = \psi \circ \pi$, qui est une fonction continue dans $G$, (2) Comparant (1) et (2), on voit que, si on remplace $f$ par la fonction continue $f + k$, (ce qui laisse vérifiée la propriété $f(xh) = f(x) + h$), on remplace $F$ par 0, et, comme on l’a vu plus haut, ceci achève la démonstration de a).

Pour tout $g \in G$, soit $l_g$ (resp. $h_g$) l’unique élément de $L$ (resp. $H$) tel que $g = h_g l_g$. Si $h_1 \in H$ et $g \in G$, on a

donc $h_g = h_{g h_1} + l_g h_1 l_g^{-1}$. Pour tout $g \in G$, soit $\psi_g$ l’application de $H$ dans lui-même définie par On voit que l’application $(g, h_1) \to \psi_g(h_1)$ de $G \times H$ dans $H$ est continue et fait de H un espace homogène pour G, dans lequel le stabilisateur de l’origine est L. Remarquons en outre que lorsqu’on identifie H à $\mathbf{R}^n$, $\psi_g$ est une application affine de H dans lui-même. Ceci posé, soit M un sous-groupe compact de G ; en vertu du lemme 2, il existe un $x \in H$ tel que $\psi_m(x) = x$ pour tout $m \in M$. Pour $y \in H$, $\psi_y$ est la translation de vecteur $y$; on en déduit que pour tout $m \in M$, $\psi_{x^{-1}} \circ \psi_m \circ \psi_x$ transforme l’origine de H en elle-même, donc $x^{-1}mx \in L$. Ceci prouve que $x^{-1}Mx \subset L$, d’où b).

Soit L’ un sous-groupe fermé de G contenant L. Alors L’ est produit semi-direct topologique de L et de $L' \cap H$. Si L’ est compact, $L' \cap H$ est compact, donc se réduit à un point (Top. gén., chap. VII, § 1, no 2, cor. 1 du th. 2), donc $L' = L$. Ceci prouve que L est un sous-groupe compact maximal de G ; il en est donc de même des sous-groupes transformés de L par les automorphismes intérieurs de G. Les assertions c) et d) de la prop. 3 sont alors des conséquences immédiates de b).

Soient $L = G \times \mathbf{R}$, et M l’ensemble des $(\xi, -u(\xi))$ où $\xi$ parcourt H. Il est clair que M est un sous-groupe distingué fermé de L. Soient $L' = L/M$ et $\pi$ l’application canonique de L sur L’. Le sous-groupe de L engendré par M et $\mathbf{R}$ est $H \times \mathbf{R}$, donc est fermé ; donc $\pi(\mathbf{R})$ est un sous-groupe fermé N de L’. La restriction $\rho$ de $\pi$ à $\mathbf{R}$ est une représentation continue bijective de $\mathbf{R}$ sur N. Le lemme 2 de l’Appendice 1 prouve que $\rho$ est bicontinue. Par ailleurs, $L'/N$ est isomorphe à

donc est compact. D’après la prop. 3, et compte tenu du fait que N est dans le centre de L’, L’ est le produit de N et d’un autre sous-groupe. Il existe donc une représentation continue de L’ sur N qui se réduit sur N à l’application identique. Donc il existe une représentation continue $v$ de $L$ sur $\mathbf{R}$ qui est triviale sur $M$ et se réduit sur $\mathbf{R}$ à l’application identique. Pour $\xi \in H$, on a $v((\xi, 0)) = v((\xi, -u(\xi)(e, u(\xi)))) = u(\xi)$, ce qui achève la démonstration.

Soit C un ensemble compact tel que $G = CH$. En agrandissant C, on peut supposer que C engendre G et que $G = \dot{C}H$. Alors $C^2$ est compact et recouvert par les $\dot{C}s$ ($s \in H$) qui sont ouverts. Donc il existe $s_1, \ldots, s_n$ dans H tels que $C^2 \subset \dot{C}s_1 \cup \ldots \cup \dot{C}s_n$. Soit $\Gamma$ le sous-groupe de H engendré par les $s_i$. On a $C^2 \subset C\Gamma$. Par récurrence, on en déduit $C^n \subset C\Gamma$ pour tout $n$, donc $G = C\Gamma$. Tout élément de H se met sous la forme $ab$ avec $a \in C, b \in \Gamma$, d’où $a \in H$, d’où $a \in C \cap H$. Donc H est engendré par $C \cap H$ et les $s_i$, c’est-à-dire par un ensemble compact.

En effet, soit $d \in D$. L’image de G par l’application continue $x \to dx d^{-1}$ est un sous-ensemble connexe de D, donc se réduit à $\{d\}$, ce qui prouve que $xd = dx$ pour tout $x \in G$.

Le groupe G est localement isomorphe à K (Top. Gén., chap. III, 3e éd., § 2, no 6, prop. 19) donc localement compact ; puisqu’il est connexe, il est engendré par un voisinage compact de e. D’après les lemmes 3 et 4, D est un groupe commutatif de type fini, donc isomorphe à un groupe $\mathbf{Z}^r \times D_1$ avec $D_1$ fini (Alg., chap. VII, § 4, no 6, th. 3). Supposons $r > 0$. Il existe alors une représentation $f$ de $D$ sur $\mathbf{Z}$. D’après la prop. 4, $f$ se prolonge en une représentation continue $g$ de $G$ dans $\mathbf{R}$. Par passage aux quotients, $g$ définit une représentation continue $g'$ de $K$ dans $\mathbf{R}/\mathbf{Z}$; comme $\mathbf{R}/\mathbf{Z}$ est commutatif, le noyau de $g'$ contient le groupe des commutateurs de $K$, donc $g'$ est triviale ; autrement dit, $g(G) \subset \mathbf{Z}$. Comme $G$ est connexe, on en déduit $g(G) = \{0\}$, ce qui est absurde puisque $f(D) = \mathbf{Z}$. Donc $r = 0$ et $D$ est fini. Par suite $G$ est compact (Top. Gén., chap. III, 3^e éd., § 4, no 1, cor. 2 de la prop. 2).

*de $\prod_{\lambda \in L} V_\lambda$ dans $\prod_{\lambda \in L} V_\lambda$, a pour déterminant $\prod_{\lambda \in L} \det f_{\lambda \lambda}$.

On se ramène aussitôt au cas où L est un intervalle d’entiers et le lemme résulte alors d’*Alg.*, chap. III.

Si $Z \in T_J$, on voit alors qu’il existe $Z' \in T_J$ tel que $Z'Z = I_n$, d’où $Z' = Z^{-1}$. Ainsi, $T_J$ est un sous-groupe fermé de $\mathbf{GL}(n, K)$. D’autre part, la prop. 15 du § 1, n° 10, montre que la mesure

est une mesure de Haar à gauche sur $T_J$. En calculant $ZZ'$, on voit de la même façon que cette mesure est une mesure de Haar à droite sur $T_J$.

On a un résultat analogue si on échange, dans la définition de $T_J$, le rôle des lignes et des colonnes.

Lorsque $J$ est l’ensemble des couples $(i, j)$ tels que $i < j$, le groupe $T_J$ s’appelle groupe trigonal strict supérieur d’ordre $n$ sur $K$ et se note $T_1(n, K)$. Son transposé s’appelle groupe trigonal strict inférieur.