Exercice 8, § 21

Soient H, F des sous-groupes de G, et soit S une partie de G telle que G soit réunion disjointe des doubles classes $FsH$. Soit $(N, \sigma )$ une représentation de H. Pour $s\in G$, on pose $H_s= F\cap sHs^{-1}$, et l’on note $\sigma_s$ la représentation de $H_s$ dans N définie par $\sigma_s(x) =$ $\sigma (s^{-1}xs)$.

a) Démontrer que la représentation Res$^G_F$(Ind$^G_H(\sigma )$) est isomorphe à la somme directe des représentations Ind$^F_{H_s}(\sigma_s)$ pour $s\in S$ (notons $(M, \pi )$ la représentation Ind$^G_H(\sigma )$; l’espace M s’identifie à la somme directe des $\pi (x)N$ pour $x\in G/H$. Pour $s\in S$, soit $M(s)$ le sous-espace de M engendré par les $\pi (x)N$ avec $x\in FsH$; observer que $M(s)$ est somme directe des sous-espaces $\pi (xs)N$ pour $x\in F/H_s$ et déduire de l’exerc. 5 b) que $M(s)$ est isomorphe comme K[F]-module à Ind$^F_{H_s}(\sigma_s))$.

b) On prend F = H (de sorte que l’on a $H_s= H\cap sHs^{-1}$). Démontrer que pour que la représentation Ind$^G_H(\sigma )$ soit irréductible, il faut et il suffit que $\sigma$ soit irréductible et que pour tout $s\in G$ - H, les supports (VIII, p. 62) des représentations $\sigma_s$ et Res$^H_{H_s}(\sigma )$ soient disjoints (« critère de Mackey » : appliquer a) et la réciprocité de Frobenius).

c) On suppose H distingué ; pour que Ind$^G_H(\sigma )$ soit irréductible, il faut et il suffit que $\sigma$ soit irréductible et ne soit isomorphe à aucune de ses conjuguées $\sigma \circ$ int($g$) pour $g\in G$- H.