Exercice 13, § 3

Soient $\varrho$ une représentation unitaire irréductible de G dans un espace hilbertien E, et $\pi$ une représentation unitaire de G dans F. Soit $x\in E$ de norme 1. On suppose que $\varrho \leqslant \pi ($cf. exercice 11).

On note $A\subset \mathscr{C}(G)$ l’ensemble des coefficients matriciels diagonaux normalisés de $\pi$, et $\widetilde{A}$ l’enveloppe fermée convexe de A dans $L^{\infty}(G)$ pour la topologie faible.

Soit $x\in E$ de norme 1 et $f:g\mapsto \langle x|\varrho (g)x\rangle$ le coefficient matriciel diagonal associé.

a) L’ensemble $\widetilde{A}$ est un ensemble convexe compact dans $L^{\infty}(G)$ et $f$ est un point extrémal de $\widetilde{A}$.

b) La fonction $f$ appartient à l’adhérence de A dans $\widetilde{A}$ pour la topologie faible.

c) La fonction $f$ appartient à l’adhérence de A dans $\mathscr{C}(G)$ muni de la topologie de la convergence compacte.

d) La représentation triviale de G dans $\mathbf{C}$ est faiblement contenue dans $\pi$ si et seulement si, pour toute partie compacte C de G et tout réel $\varepsilon >0$, il existe $x\in F$ de norme 1 tel que

sup$_{g\in C}\|\pi (g)x-x\|< \varepsilon$.