Exercice 20, § 2

Soit G un groupe localement compact dénombrable à l’infini et soit H un sous-groupe fermé de G. Soit $\pi$ une représentation unitaire de H dans un espace hilbertien E et $\varrho$ la représentation unitaire de G induite par $\pi$. On note F l’espace de $\varrho$.

On fixe des mesures de Haar $\mu$ sur G et $\beta$ sur H, et on note $\kappa : G\rightarrow \mathbf{R}^*_+$ une fonction continue telle que $\kappa (xh) = \Delta_H(h)\Delta_G(h)^{-1}\kappa (x)$ pour $(x, h)\in G\times H$ et telle que $\kappa (e) = 1$.

a) Si $G/H$ admet une mesure G-invariante bornée, et s’il existe un vecteur non nul $x\in E$ qui est H-invariant, alors il existe un vecteur $y\in F$ non nul qui est G-invariant.

b) On suppose réciproquement que $y\in F$ est un vecteur non nul et G-invariant de $\varrho$. Montrer qu’il existe une fonction $f\in \mathscr{L}_{\overline{\pi}}^2$ non nulle telle que

pour tous $(g, x)\in G^2$. En déduire que $\kappa = 1$, puis que la mesure $\mu/\beta$ sur $G/H$ est définie et bornée, et enfin que $f(e)\in E$ est un vecteur H-invariant non nul.