Soit $\mathfrak{h}'$ une sous-algèbre nilpotente de $\mathfrak{g}$ contenant $\mathfrak{h}$. Alors $\mathfrak{h}$ est sous-algèbre de Cartan de $\mathfrak{h}'$ (exemple 3), donc $\mathfrak{h} = \mathfrak{h}'$ (exemple 1).

Il existe des sous-algèbres nilpotentes maximales qui ne sont pas des sous-algèbres de Cartan (exerc. 2).

Si $\mathfrak{h}_i$ est une sous-algèbre de $\mathfrak{g}_i$ de normalisateur $\mathfrak{n}_i$, alors $\prod_{i \in I} \mathfrak{h}_i$ est une sous-algèbre de $\mathfrak{g}$ de normalisateur $\prod_{i \in I} \mathfrak{n}_i$; si les $\mathfrak{h}_i$ sont nilpotentes, $\prod_{i \in I} \mathfrak{h}_i$ est nilpotente; donc si, pour tout $i$, $\mathfrak{h}_i$ est une sous-algèbre de Cartan de $\mathfrak{g}_i$, $\prod_{i \in I} \mathfrak{h}_i$ est une sous-algèbre de Cartan de $\mathfrak{g}$. Réciproquement, soit $\mathfrak{h}$ une sous-algèbre de Cartan de $\mathfrak{g}$; la projection $\mathfrak{h}_i$ de $\mathfrak{h}$ sur $\mathfrak{g}_i$ est une sous-algèbre nilpotente de $\mathfrak{g}_i$, et $\prod_{i \in I} \mathfrak{h}_i$ est une sous-algèbre nilpotente de $\mathfrak{g}$ contenant $\mathfrak{h}$; on a donc $\mathfrak{h} = \prod_{i \in I} \mathfrak{h}_i$ (prop. 1); pour tout $i$, $\mathfrak{h}_i$ est alors son propre normalisateur dans $\mathfrak{g}_i$, donc est une sous-algèbre de Cartan de $\mathfrak{g}_i$.

En effet, $\mathfrak{h}$ est nilpotente si et seulement si $\mathfrak{h} \otimes_k k'$ l’est (I, § 4, n° 5). D’autre part, si $\mathfrak{n}$ est le normalisateur de $\mathfrak{h}$ dans $\mathfrak{g}$, le normalisateur de $\mathfrak{h} \otimes_k k'$ dans $\mathfrak{g} \otimes_k k'$ est $\mathfrak{n} \otimes_k k'$ (I, § 3, n° 8).

Si $\mathfrak{g}^0(\mathfrak{h}) = \mathfrak{h}$, $\mathfrak{h}$ est son propre normalisateur ($\S$ 1, prop. 10 (i)), donc $\mathfrak{h}$ est une sous-algèbre de Cartan de $\mathfrak{g}$. Supposons $\mathfrak{g}^0(\mathfrak{h}) \neq \mathfrak{h}$. Considérons la représentation de $\mathfrak{h}$ dans $\mathfrak{g}^0(\mathfrak{h})/\mathfrak{h}$ déduite par passage au quotient de la représentation adjointe. En lui appliquant le théorème d’Engel (I, § 4, n° 2, th. 1), on voit qu’il existe $x \in g^0(\mathfrak{h})$ tel que $x \notin \mathfrak{h}$ et $[\mathfrak{h}, x] \subset \mathfrak{h}$; alors $x$ appartient au normalisateur de $\mathfrak{h}$ dans $g$, de sorte que $\mathfrak{h}$ n'est pas une sous-algèbre de Cartan de $g$.

Cela résulte du cor. 5, car la condition $\mathfrak{h} = \mathfrak{g}^0(\mathfrak{h})$ ne fait pas intervenir le corps de base.

Supposons que $\mathfrak{h}$ soit une sous-algèbre de Cartan de $\mathfrak{g}$. Puisque $[c, \mathfrak{g}] \subset \mathfrak{h}$, on a $c \subset \mathfrak{h}$. D'autre part, $\mathfrak{h}/c$ est une sous-algèbre de Cartan de $\mathfrak{g}/c$ d'après le cor. 2 de la prop. 4.

Supposons que $\mathfrak{h} \supset c$ et que $\mathfrak{h}/c$ soit une sous-algèbre de Cartan de $\mathfrak{g}/c$. Soit $f$ le morphisme canonique de $\mathfrak{g}$ sur $\mathfrak{g}/c$. L'algèbre $\mathfrak{h}$, qui est extension centrale de $\mathfrak{h}/c$, est nilpotente. Soit $n$ le normalisateur de $\mathfrak{h}$ dans $\mathfrak{g}$. Si $x \in n$, on a $[f(x), \mathfrak{h}/c] \subset \mathfrak{h}/c$, donc $f(x) \in \mathfrak{h}/c$, donc $x \in \mathfrak{h}$. Cela prouve que $\mathfrak{h}$ est une sous-algèbre de Cartan de $\mathfrak{g}$.

En effet, le centre de $\mathfrak{g}/\mathscr{C}_i \mathfrak{g}$ est $\mathscr{C}_{i+1} \mathfrak{g}/\mathscr{C}_i \mathfrak{g}$, et le corollaire se déduit de la prop. 5 par une récurrence immédiate.

(ii) On a $\mathrm{rg}(g) \geqslant \mathrm{rg}(g')$.

Posons $\mathrm{rg}(g) = r, \mathrm{rg}(g') = r'$. Soit $x \in g$. Les polynômes caractéristiques de $\mathrm{ad}\,x, \mathrm{ad}\,f(x)$ et $\mathrm{ad}\,x|\mathrm{Ker}\,f$ sont de la forme

où les $a_i, b_i, c_i$ sont des fonctions polynomiales sur $g$, avec $a_r \neq 0, b_{r'} \neq 0, c_{r''} \neq 0$. On a $P = QR$, donc $r = r' + r''$ et $a_r(x) = b_{r'}(x)c_{r''}(x)$, ce qui prouve (ii) et la première assertion de (i). Si $\mathrm{Ker}\,f$ est contenu dans le centre de $g$, on a $R(T) = T^{n''}$, donc $a_r(x) = b_{r'}(x)$, d'où la deuxième assertion de (i).

Pour $x \in g'$, $\mathrm{ad}_g x$ admet $\mathrm{ad}_{g'} x$ pour restriction à $g'$, et définit par passage au quotient un endomorphisme $u(x)$ de l’espace vectoriel $g/g'$. Soit $d_0(x)$ (resp. $d_1(x)$) la dimension du nilspace de $\mathrm{ad}_{g'} x$ (resp. de $u(x)$), et soit $c_0$ (resp. $c_1$) le minimum de $d_0(x)$ (resp. $d_1(x)$) quand $x$ parcourt $g'$. Il existe des applications polynomiales non nulles $p_0, p_1$ de $g'$ dans $k$ telles que

Comme $k$ est infini, l’ensemble $S$ des $x \in g'$ tels que $d_0(x) = c_0$ et $d_1(x) = c_1$ est non vide. Tout élément de $S$ est régulier dans $g'$. D’autre part, $S$ est l’ensemble des éléments de $g'$ tels que le nilspace de $\mathrm{ad}_g x$ soit de dimension minimum, et contient donc tout élément de $g'$ qui est régulier dans $g$.

Soit $x$ un élément régulier de $g$ et soit $h = g^0(x)$. On a évidemment $h^0(x) = h$. Comme $x$ est régulier dans $h$ (prop. 9), on a $\mathrm{rg}(h) = \dim(h)$, de sorte que $h$ est nilpotente. D’autre part, $h = g^0(x) \supset g^0(h) \supset h$, donc $h = g^0(h)$ est une sous-algèbre de Cartan de $g$ (prop. 4). Cela prouve (i).

Si $h$ est une sous-algèbre nilpotente maximale de $g$, et si $x \in h$ est régulier dans $g$, on a $h \subset g^0(x)$, et $g^0(x)$ est nilpotente d’après (i), donc $h = g^0(x)$, ce qui établit (ii).

Si $h$ est une sous-algèbre de Cartan de $g$, il existe $x \in h$ tel que $h = g^0(x)$ (cor. 1 de la prop. 4), d’où $\dim(h) \geq \mathrm{rg}(g)$, ce qui prouve (iii). Si en outre $\dim(h) = \mathrm{rg}(g)$, $x$ est régulier. Enfin, si $x'$ est régulier dans $g$, $g^0(x')$ est une sous-algèbre de Cartan d’après (i), évidemment de dimension $\mathrm{rg}(g)$. Cela prouve (iv).

Nous verrons au § 3, th. 2, que, lorsque $k$ est de caractéristique zéro, toutes les sous-algèbres de Cartan de $g$ ont pour dimension $\mathrm{rg}(g)$.

Soit $a = f^{-1}(h')$. D’après le cor. 1, $a$ possède une sous-algèbre de Cartan $h$. D’après le cor. 2 de la prop. 4, on a $f(h) = h'$. Montrons que $h$ est une sous-algèbre de Cartan de $g$. Soit $n$ le normalisateur de $h$ dans $g$. Il s’agit de prouver que $h = n$. Si $x \in n, f(x)$ appartient au normalisateur de $h'$ dans $g'$, donc $f(x) \in h'$ et $x \in a$; mais $h$ est son propre normalisateur dans $a$, donc $x \in h$.

La somme $s$ des sous-algèbres de Cartan de $g$ contient l’ensemble des éléments réguliers de $g$ (th. 1 (i)). Comme cet ensemble est dense dans $g$ pour la topologie de Zariski, on a $s = g$.

Soit $h$ une sous-algèbre de Cartan de $c$. Comme $a$ est contenue dans le centre $\delta$ de $c$, on a $a \subset \delta \subset h$ (prop. 5). Soit $n$ le normalisateur de $h$ dans $g$. On a

Comme les $\mathrm{ad}_g x, x \in a$, sont semi-simples et commutent entre eux, il résulte de A, VIII, § 5, n° 1, qu’il existe un sous-espace vectoriel $\delta$ de $n$ stable par $\mathrm{ad}_g a$ et tel que $n = h \oplus \delta$. On a $[a, \delta] \subset h \cap \delta = 0$, donc $\delta \subset c$. Ainsi, $n$ est le normalisateur de $\mathfrak{h}$ dans $c$, et par suite $n = h$, de sorte que $h$ est une sous-algèbre de Cartan de $g$ contenant $a$.

Inversement, soit $h$ une sous-algèbre de Cartan de $g$ contenant $a$. On a $h = g^0(h) \subset g^0(a)$, et par hypothèse $g_0(a) = g^0(a) = c$. D’où $a \subset h \subset c$ et $h$ est une sous-algèbre de Cartan de $c$ (car égale à son normalisateur dans $g$, donc $a$ fortiori dans $c$).

Posons $a = g^0(n)$. On a $n \subset a$ puisque $n$ est nilpotente. Si $x \in a$, soit $P(x)$ le déterminant de l’endomorphisme de $g/a$ défini par ad $x$. Notons $a'$ l’ensemble des $x \in a$ tels que $P(x) \neq 0$, c’est un ouvert de $a$ pour la topologie de Zariski ; les relations $x \in a'$ et $g^0(x) \subset a$ sont équivalentes. D’après la prop. 7 (ii) du § 1, n° 2, il existe $y \in n$ tel que $g^0(y) = a$, et l’on a $y \in a'$, ce qui montre que $a'$ est non vide. Comme $a'$ est ouvert, son intersection avec l’ensemble des éléments réguliers de $a$ est non vide. Soit $x$ un élément de cette intersection. On a $g^0(x) \subset a$ et $g^0(x)$ est une sous-algèbre de Cartan de $a$, donc est nilpotente. D’autre part, la prop. 10 (i) du § 1, n° 3, montre que $g^0(x)$ est son propre normalisateur dans $g$; c’est donc une sous-algèbre de Cartan de $g$, ce qui achève la démonstration.

Comme $h = g^0(h)$, $h$ est réductive ($\S$ 1, prop. 11), donc commutative puisque nilpotente. D’autre part, la restriction à $h$ de la représentation adjointe de $g$ est semi-simple (loc. cit.), donc les éléments de $h$ sont semi-simples dans $g$ (A, VIII, $\S$ 5, n° 1).

En effet, puisque ad $x$ est semi-simple, on a $g^{\lambda(x)}(x) = g_{\lambda(x)}(x)$.

En effet, un tel élément appartient à une sous-algèbre de Cartan (n° 3, th. 1 (i)).

Soient c le centre de g, et s son algèbre dérivée. On a $g = c \times s$, d'où $h = c \times h'$, où $h'$ est une sous-algèbre de Cartan de s (prop. 2). Vu le th. 2, $h'$ est commutative, et il en est de même de $h$. De plus, $\rho(h')$ est formée d’éléments semi-simples et il en est de même de $\rho(c)$ (I, § 6, n° 5, th. 4); l’assertion (b) en résulte.