Exercice 11, § 3

Soit G un groupe localement compact.

Soient $\varrho$ et $\pi$ des représentations unitaires de G. On dit que $\varrho$ est faiblement contenue dans $\pi$, et on écrit $\varrho \leqslant \pi$, si l’ensemble des coefficients matriciels diagonaux de $\varrho$ est contenu dans l’adhérence de l’ensemble des sommes finies de coefficients matriciels diagonaux de $\pi$ dans l’espace $\mathscr{C}(G)$ muni de la topologie de la convergence compacte.

a) La relation « $\varrho$ et $\pi$ sont des représentations unitaires de G et $\varrho \leqslant \pi$ » est une relation de préordre. Si $\varrho '$ (resp. $\pi '$) est isomorphe à $\varrho$ (resp. à $\pi$ ) alors $\varrho \leqslant \pi$ si et seulement si $\varrho '\leqslant \pi '$.

b) Si $\varrho$ est isomorphe à une sous-représentation de $\pi$, alors $\varrho \leqslant \pi$. Si I et J sont des ensembles non vides et finis, et si $\varrho \leqslant \pi$, alors $\bigoplus_{i\in I}\varrho \leqslant \bigoplus_{j\in J}\pi$.

c) Soit X un sous-ensemble de l’espace E de $\varrho$ qui engendre $\pi$. On a $\varrho \leqslant \pi$ si et seulement si tout coefficient matriciel $g\mapsto \langle x|\varrho (g)x\rangle$ avec $x\in X$ appartient à l’adhérence de l’ensemble des sommes finies de coefficients matriciels diagonaux de $\pi$ dans l’espace $\mathscr{C}(G)$ muni de la topologie de la convergence compacte. (Montrer que l’ensemble Y des éléments de E vérifiant cette propriété est un sous-espace vectoriel fermé de E.)

d) Soit H un sous-groupe fermé de G. Soient $\pi$ et $\varrho$ des représentations unitaires de G telles que $\varrho \leqslant \pi$; on a alors Res$^G_H(\varrho )\leqslant$ Res$^G_H(\pi )$.

e) Soient H un sous-groupe fermé de G et $\nu$ une mesure de Haar sur H. Soient $\pi$ et $\varrho$ des représentations unitaires de H telles que $\varrho \leqslant \pi$; on a alors Ind$^G_H(\varrho )\leqslant$ Ind$^G_H(\pi )$. (Soit $\varrho '=$ Ind$^G_H(\varrho )$ et $\pi '=$ Ind$^G_H(\pi )$; en utilisant la question c), se ramener à approcher des coefficients matriciels $g\mapsto \langle f|\varrho '(g)f\rangle$ pour $f$ de la forme

où $\varphi \in \mathscr{K}(G)$ et $y$ appartient à l’espace de $\varrho .)$