Exercice 17, § 3

Soit $n\geqslant 2$ un entier. On considère le groupe de Lie réel $G =\mathbf{R}^n\rtimes$ $\mathbf{S}\mathbf{L}(n,\mathbf{R})$, et on note H le sous-groupe $\mathbf{R}^n\times \{e\}$ de G, identifié à $\mathbf{R}^n$.

Soit $\pi$ une représentation unitaire de G dans un espace hilbertien complexe E. On suppose que pour toute partie compacte C de G et tout $\varepsilon >0$, il existe $x\in E$ non nul tel que

sup$_{g\in C}\|\pi (g)x-x\|< \varepsilon \|x\|$. a) Il existe une suite $(x_m)$ de vecteurs de norme 1 dans E telle que les fonctions $\varphi_m(g) =\langle x_m|\pi (g)x_m\rangle$ convergent vers la fonction constante 1 dans $\mathscr{C}(G)$ muni de la topologie de la convergence compacte. (Considérer une suite $(C_m)_{m\in\mathbf{N}}$ de parties compactes dont la réunion est égale à G, et prendre $x_m$ vérifiant la condition ci-dessus pour $(C_m,1/(m+ 1)).$)

b) Pour tout $m\in \mathbf{N}$, il existe une mesure positive $\mu_m$ de masse totale 1 sur $\mathbf{R}^n$ dont la transformée de Fourier s’identifie à la restriction de $\varphi_m$ à H. c) On suppose que $\mu_m(\{0\}) = 0$ pour tout $m\in \mathbf{N}$. On identifie alors $\mu_m$ à une mesure positive de masse totale 1 sur $\mathbf{R}^n-\{0\}$, et on note $\nu_m$ la mesure image de $\mu_m$ sur l’espace projectif $\mathbf{P}_{n-1}(\mathbf{R})$. Il existe une sous-suite $(\nu_{n_k})_{k\in\mathbf{N}}$ convergeant faiblement vers une mesure positive $\nu$ de masse totale 1 sur $\mathbf{P}_{n-1}(\mathbf{R})$; la mesure $\nu$ est $\mathbf{S}\mathbf{L}(n,\mathbf{R}$)-invariante. En déduire une contradiction.

d) Soit $m\in \mathbf{N}$ tel que $\mu_m(\{0\})>0$. Soit $\psi$ la restriction de $\varphi_m$ à H. Il existe $c >0$ tel que $\psi =c+\widetilde{\psi}$ où $\widetilde{\psi}$ est une fonction de type positif sur $\mathbf{R}^n$. e) La représentation $\pi$ contient des vecteurs H-invariants. (Utiliser l’exercice 2.) On dit que le couple $(G,H)$ a la propriété ]T[ relative.