Bourbaki

§ 4. Représentations des groupes compacts

Dans ce paragraphe, tous les espaces vectoriels topologiques considérés sont complexes, sauf mention explicite du contraire.

On fixe un groupe topologique compact G, dont on note ee l’élément neutre. Le groupe G est unimodulaire (INT, VII, p. 20, § 1, no3^o3, cor. de la prop. 3). On note μ\mu la mesure de Haar normalisée sur G (c’est-à-dire telle que μ(G)=1\mu(G) = 1) et pour 1⩽p⩽+∞1\leqslant p\leqslant +\infty, on note Lp(G)\mathscr{L}^p(G) (resp. Lp(G)L^p(G)) l’espace LCp(G,μ)\mathscr{L}_{\mathbf{C}}^p(G, \mu) (resp. l’espace LCp(G,μ)L^p_{\mathbf{C}}(G, \mu)). Les convolutions seront toujours considérées relativement à la mesure μ\mu. Soit p∈[1,+∞]p\in [1,+\infty ]. On identifie C(G)\mathscr{C}(G) à un sous-espace de LpL^p(G), ce qui est loisible puisque le support de μ\mu est égal à G.

Pour toute représentation irréductible unitaire π∈G^\pi \in \widehat{G}, on note EπE_{\pi} l’espace de π\pi.

1. Semi-simplicité des représentations de dimension finie

On rappelle (INT, VII, p. 71, § 3, no1^o1, lemme 1) que pour toute représentation continue ϱ\varrho de G dans un espace hilbertien E, il existe une forme hermitienne positive non dégénérée qq sur E telle que la structure d’espace vectoriel topologique de E définie par qq est identique à la structure initiale de E, et telle que ϱ\varrho est une représentation unitaire de G dans l’espace hilbertien E muni du produit scalaire qq.

Proposition 1 03DN

Soit ϱ\varrho une représentation linéaire de dimension finie de G dans un espace vectoriel topologique séparé E. Il existe un produit scalaire qq sur E tel que ϱ\varrho soit une représentation unitaire dans l’espace hilbertien E muni de qq. En particulier, ϱ\varrho est semi-simple.

Puisque E est de dimension finie, il existe une structure d’espace hilbertien sur E. Le résultat en découle en appliquant la remarque précédente et le corollaire 2 de V, p. 392.

Remarque 03DO

On verra plus loin (cor. 4 de V, p. 466) que toute représentation unitaire de G est semi-simple.

Corollaire 03DP

Soient ϱ1\varrho_1 et ϱ2\varrho_2 des représentations de dimension finie de G. Les représentations ϱ1\varrho_1 et ϱ2\varrho_2 sont isomorphes si et seulement si leurs caractères sont égaux.

Cela résulte de la proposition et du corollaire 3 de V, p. 392.

2. Représentations irréductibles

Lemme 1 03DQ

Toute représentation unitaire irréductible de G est de carré intégrable.

En effet, les coefficients matriciels d’une représentation unitaire irréductible sont continus et bornés, et sont donc de carré intégrable sur G, puisque G est compact.

Proposition 2 03DR

Soit π\pi une représentation unitaire irréductible de G dans un espace hilbertien E. La dimension de E est finie et égale au degré formel de π\pi.

La représentation π\pi étant de carré intégrable (lemme 1), son degré formel cμ(π)c_\mu(\pi ) relativement à μ\mu est défini (déf. 4 de V, p. 423) ; c’est un nombre réel strictement positif. Soit (ei)i∈I(e_i)_{i\in I} une famille finie orthonormale dans E. Soit xx un élément de E de norme 1 (il en existe puisque E est non nul). Pour i∈Ii\in I, on a

cμ(π)∫G∣⟨ei∣π(g)x⟩∣2dμ(g)=1 c_\mu(\pi )\int_G|\langle e_i|\pi (g)x\rangle |^2d\mu(g) = 1

(prop. 8 de V, p. 424). Sommons cette formule sur i∈Ii\in I. On obtient

Card(I) =cμ(π)∫G∑i∈I∣⟨ei∣π(g)x⟩∣2dμ(g)=c_\mu(\pi )\int_G\sum_{i\in I}|\langle e_i|\pi (g)x\rangle |^2d\mu(g)

⩽cμ(π)∫G∥π(g)x∥2dμ(g)=cμ(π) \leqslant c_\mu(\pi )\int_G\|\pi (g)x\|^2d\mu(g) =c_\mu(\pi )

d’après l’inégalité de Bessel (EVT, V, p. 21, prop. 4). Donc le cardinal de I est majoré par cμ(π)c_\mu(\pi ). Cela entraîne que la dimension de E est finie.

On peut alors appliquer ce qui précède à une base orthonormale (ei)i∈I(e_i)_{i\in I} de E. On obtient, d’après EVT, V, p. 22, prop. 5,

dim(E) =cμ(π)∫G∑i∈I∣⟨ei∣π(g)x⟩∣2dμ(g)=c_\mu(\pi )\int_G\sum_{i\in I}|\langle e_i|\pi (g)x\rangle |^2d\mu(g)

=cμ(π)∫G∥π(g)x∥2dμ(g)=cμ(π) =c_\mu(\pi )\int_G\|\pi (g)x\|^2d\mu(g) =c_\mu(\pi )

ce qui conclut la preuve.

En particulier, il est donc loisible de parler du caractère χπ\chi_{\pi} d’une représentation unitaire irréductible π\pi de G. C’est une fonction continue sur G.

Corollaire 1 03DS

Soit π\pi une représentation unitaire irréductible de G dans un espace hilbertien E. Le caractère de π\pi est un élément hermitien de l’algèbre involutive L1(G)L^1(G).

Soit x∈Gx\in G. Puisque G est unimodulaire, on a χπ∗(x)=\chi^*_{\pi}(x) = Tr(π(x−1)\pi (x^{-1})), d’où χπ∗(x)=\chi^*_{\pi}(x) = Tr(π(x)\pi (x)) puisque π\pi est une représentation unitaire.

Corollaire 2 03DT

a) Soit π\pi une représentation unitaire irréductible de G dans un espace hilbertien E. On a

∫′\int' 1 ′′''

⟨x∣π(g)x′⟩⟨y∣π(g)y⟩dμ(g)=⟨x∣y⟩⟨x∣y⟩ \langle x|\pi (g)x'\rangle \langle y|\pi (g)y\rangle d\mu(g) =\langle x|y\rangle \langle x|y\rangle

G_G dim(E)

pour tout (x,y,x′,y′)∈E4(x, y, x', y')\in E^4;

b) Soit π1(\pi_1(resp. π2)\pi_2) une représentation unitaire irréductible de G dans un espace hilbertien E1(E_1(resp. E2)E_2). Si π1\pi_1 et π2\pi_2 ne sont pas isomorphes, on a

∫G⟨x∣π1(g)x′⟩⟨y∣π2(g)y′⟩dμ(g)=0 \int_G\langle x|\pi_1(g)x'\rangle \langle y|\pi_2(g)y'\rangle d\mu(g) = 0

pour tout (x,x′,y,y′)∈E12×E22(x, x', y, y')\in E^2_1\times E^2_2.

Cela découle aussitôt de la prop. 8 de V, p. 424 et de la prop. 9 de V, p. 424, compte tenu du lemme 1 et de la formule cμ(π)=c_\mu(\pi ) = dim(E) (prop. 2).

Corollaire 3 03DU

Soient π1\pi_1 et π2\pi_2 des représentations irréductibles de G. Dans l’espace hilbertien L2(G)L^2(G), on a ⟨χπ1∣χπ2⟩=1\langle \chi_{\pi_1}|\chi_{\pi_2}\rangle = 1 si π1\pi_1 et π2\pi_2 sont isomorphes et ⟨χπ1∣χπ2⟩=0\langle \chi_{\pi_1}|\chi_{\pi_2}\rangle = 0 sinon. Autrement dit, la famille des caractères des classes π∈G^\pi \in \widehat{G} est une famille orthonormale dans L2(G)L^2(G).

Cela résulte de la proposition 1 de V, p. 457 et du corollaire 2 en notant que pour toute base orthonormale (ei)i∈I(e_i)_{i\in I} de l’espace d’une représentation unitaire π\pi de dimension finie de G, et pour tout g∈Gg\in G, on a la formule

χπ(g)=∑i∈I⟨ei∣π(g)ei⟩ \chi_{\pi}(g) =\sum_{i\in I}\langle e_i|\pi (g)e_i\rangle

Corollaire 4 03DV

a) Soit ϱ\varrho une représentation continue de dimension finie de G. On a

χϱ=∑π∈G^\chi_{\varrho}=\sum_{\pi\in\widehat{G}} dim(HomG(π,ϱ)_G(\pi , \varrho ))χπ=∑π∈G^\chi_{\pi}=\sum_{\pi\in\widehat{G}} dim(HomG(ϱ,π)_G(\varrho , \pi ))χπ\chi_{\pi}.

b) Soient ϱ1\varrho_1 et ϱ2\varrho_2 des représentations continues de dimension finie de G. On a

⟨χϱ1∣χϱ2⟩=\langle \chi_{\varrho_1}|\chi_{\varrho_2}\rangle = dim(HomG(ϱ1,ϱ2)_G(\varrho_1, \varrho_2)) == dim(HomG(ϱ2,ϱ1)_G(\varrho_2, \varrho_1)).

c) Une représentation continue ϱ\varrho de dimension finie de G est irréductible si et seulement si ∥χϱ∥2=1\|\chi_{\varrho}\|^2= 1.

Puisque ϱ\varrho est semi-simple, elle est isomorphe à la somme directe de ses composantes π\pi-isotypiques Mπ(ϱ)M_{\pi}(\varrho ) pour π∈G^\pi \in \widehat{G}. Notant mπ(ϱ)m_{\pi}(\varrho ) la multiplicité de π\pi dans ϱ\varrho (déf. 10 de V, p. 398), on a alors

χϱ=∑π∈G^mπ(ϱ)χπ \chi_{\varrho}=\sum_{\pi\in\widehat{G}}m_{\pi}(\varrho )\chi_{\pi}

L’assertion a) résulte donc du fait que

mπ(ϱ)=m_{\pi}(\varrho ) = dim HomG(π,ϱ)=_G(\pi , \varrho ) = dim HomG(ϱ,π)_G(\varrho , \pi )

(formule (1) de V, p. 377 et cor. 2 de V, p. 387).

Par bilinéarité et orthonormalité des caractères, l’assertion a) implique que

⟨χϱ1∣χϱ2⟩=∑π∈G^\langle \chi_{\varrho_1}|\chi_{\varrho_2}\rangle =\sum_{\pi\in\widehat{G}} dim(HomG(π,ϱ1)_G(\pi , \varrho_1)) dim(HomG(π,ϱ2)_G(\pi , \varrho_2)), et d’autre part on a des isomorphismes canoniques

HomG(ϱ1,ϱ2)→⨁(π1,π2)∈G^×G^_G(\varrho_1, \varrho_2)\rightarrow \bigoplus_{(\pi_1,\pi_2)\in\widehat{G}\times\widehat{G}} HomG(Mπ1(ϱ1),Mπ2(ϱ2))_G(M_{\pi_1}(\varrho_1),M_{\pi_2}(\varrho_2))

→⨁π∈G^\rightarrow \bigoplus_{\pi\in\widehat{G}} HomG(Mπ(ϱ1),Mπ(ϱ2))_G(M_{\pi}(\varrho_1),M_{\pi}(\varrho_2))

(formule (1) de V, p. 377) d’où il résulte que

dim(HomG(ϱ1,ϱ2)_G(\varrho_1, \varrho_2)) =∑π∈G^mπ(ϱ1)mπ(ϱ2)=\sum_{\pi\in\widehat{G}}m_{\pi}(\varrho_1)m_{\pi}(\varrho_2),

d’où l’assertion b). L’assertion c) résulte également de a) et du lemme de Schur (prop. 6 de V, p. 386).

Corollaire 5 03DW

Soient π1\pi_1 et π2\pi_2 des représentations unitaires irréductibles de G. On a π1(χ‾π2)=0\pi_1(\overline{\chi}_{\pi_2}) = 0 si π1\pi_1 n’est pas isomorphe à π2\pi_2, et π1(χ‾π1)\pi_1(\overline{\chi}_{\pi_1}) est la multiplication par 1/1/ dim(π1\pi_1).

Le caractère de π2\pi_2 est une fonction centrale continue sur G donc l’application linéaire uu = π1(χ‾π2)\pi_1(\overline{\chi}_{\pi_2}) est définie et appartient à l’espace HomG(π1,π1)_G(\pi_1, \pi_1). C’est une homothétie d’après le lemme de Schur (prop. 6 de V, p. 386) dont la trace est

Tr(uu) == Tr(∫Gχπ2(g)‾π1(g)dμ(g))(\int_G\overline{\chi_{\pi_2}(g)}\pi_1(g)d\mu(g))

=∫Gχπ2(g)‾χπ1(g)dμ(g) =\int_G\overline{\chi_{\pi_2}(g)}\chi_{\pi_1}(g)d\mu(g)

D’après les relations d’orthogonalité, la trace de uu est donc nulle si π1\pi_1 n’est pas isomorphe à π2\pi_2, et égale à 1 sinon. L’assertion en résulte.

Remarque 03DX

Lorsque G est fini, la relation d’orthogonalité de Schur (resp. la formule d’orthogonalité des caractères) coïncide avec celle de A, VIII, p. 399 (resp. celle de A, VIII, p. 400, prop. 4). Par contre, la « seconde relation d’orthogonalité » des caractères des groupes finis (A, VIII, p. 402, formule (32)) n’a pas d’analogue exact lorsque G est compact.

Pour G fini, le cas particulier de la seconde formule d’orthogonalité correspondant à la classe de conjugaison de ee est la formule

Card G1 ∑π∈G^\sum_{\pi\in\widehat{G}} dim(π\pi )χπ(g)=\chi_{\pi}(g) = 10 sisinong=,eg=,e qui s’interprète aussi comme le calcul du caractère de la représentation régulière γG\boldsymbol{\gamma }_G de G, et qui est équivalente à la formule Tr(γG(f)\boldsymbol{\gamma }_G(f)) =f(e)=f(e) pour toute fonction ff de G dans C\mathbf{C}.

Soit G de nouveau un groupe compact quelconque. Pour toute fonction f∈Cf\in \mathscr{C}(G), l’endomorphisme γG(f)\boldsymbol{\gamma }_G(f) de L2(G)L^2(G) coïncide avec l’endomorphisme φ↦f∗φ\varphi \mapsto f*\varphi, et il est de trace finie (lemme 4 de V, p. 407 et corollaire 2 de III, p. 33). D’après loc. cit. et le th. 2 de IV, p. 177, on a également

Tr(γG(f)\boldsymbol{\gamma }_G(f)) =∫Gf(x−1x)dμ(x)=f(e)=\int_Gf(x^{-1}x)d\mu(x) =f(e).

Proposition 3 03DY

Supposons que G=G1×G2G = G_1\times G_2 où G1G_1 et G2G_2 sont des groupes compacts. L’application bb de G^1×G^2\widehat{G}_1\times \widehat{G}_2 dans G^\widehat{G} qui à (π1,π2)(\pi_1, \pi_2) associe la classe de π1⊠π2\pi_1\boxtimes \pi_2 est une bijection.

D’après le cor. 6 de V, p. 389, l’application bb est bien définie.

Soient π1\pi_1 et π2\pi_2 des éléments de G^\widehat{G}. Soit π∈G^\pi \in \widehat{G}. La composante π\pi-isotypique de la restriction ϖ\varpi de π1⊠π2\pi_1\boxtimes \pi_2 à G1×{e}G_1\times \{e\} est égale à ϖ\varpi si π1=π\pi_1=\pi et est nulle dans le cas contraire (lemme 8 de V, p. 384). Ainsi, la représentation unitaire π1⊠π2\pi_1\boxtimes \pi_2 détermine π1\pi_1 à isomorphisme près ; de même, elle détermine π2\pi_2, ce qui démontre que bb est injective.

Démontrons que bb est surjective. Soit π\pi une représentation unitaire irréductible de G1×G2G_1\times G_2 dans un espace hilbertien E. Elle est de dimension finie (prop. 2). Soit π1\pi_1 une représentation unitaire irréductible de G1G_1 dans un espace hilbertien E1E_1 telle que la restriction de π\pi à G1×{e}G_1\times \{e\} contient une sous-représentation isomorphe à π1\pi_1 (lemme 3 de V, p. 379). Notons F = HomG1(π1,π)_{G_1}(\pi_1, \pi ). C’est un espace vectoriel non nul de dimension finie. Pour h∈G2h\in G_2 et u∈Fu\in F, soit ϱ(h)(u)\varrho (h)(u) l’application linéaire de E1E_1 dans E définie par x↦π(e,h)(u(x))x\mapsto \pi (e, h)(u(x)). Puisque G1×{e}G_1\times \{e\} et {e}×G2\{e\} \times G_2 commutent dans G, l’application ϱ(h)(u)\varrho (h)(u) appartient à l’espace F. L’application ϱ\varrho est une représentation linéaire de G2G_2 dans l’espace F ; elle est continue. Comme F n’est pas réduit à 0, il existe une sous-représentation irréductible π2\pi_2 de ϱ\varrho (lemme 3 de V, p. 379). Soit E2E_2 l’espace de π2\pi_2. L’application linéaire v:E1⊗E2→Ev: E_1\otimes E_2\rightarrow E telle que x⊗u↦u(x)x\otimes u\mapsto u(x) pour x∈E1x\in E_1 et u∈E2u\in E_2 est alors un G-morphisme non nul de π1⊠π2\pi_1\boxtimes \pi_2 dans π\pi; comme les représentations π\pi et π1⊠π2\pi_1\boxtimes \pi_2 sont irréductibles et de dimension finie, le morphisme vv est un isomorphisme (lemme 2 de V, p. 378).

Cette proposition est à comparer avec le th. 1 de A, VIII, p. 208.

3. Le théorème de Peter–Weyl

On rappelle qu’on note Θ(G) l’espace des coefficients matriciels des représentations unitaires de dimension finie de G. L’espace Θ(G) est une sous-algèbre unifère de C(G)\mathscr{C}(G) stable par la conjugaison complexe (prop. 5 de V, p. 386).

Pour π∈G^\pi \in \widehat{G}, on note ϱG(π)\boldsymbol{\varrho }_G(\pi ) le sous-espace de C(G)\mathscr{C}(G) engendré par les coefficients matriciels de π\pi. On l’identifie à un sous-espace de L2(G)L^2(G).

L’espace Θ(G) coïncide avec la somme des espaces ϱG(π)\boldsymbol{\varrho }_G(\pi ) pour π∈G^\pi \in \widehat{G} (en effet, tout élément de Θ(G) est somme de coefficients matriciels de représentations irréductibles de G puisque les représentations de dimension finie de G sont semi-simples d’après la prop. 1 de V, p. 457). De plus, cette somme est directe puisque, d’après le cor. 2 de V, p. 458, les espaces ϱG(π)\boldsymbol{\varrho }_G(\pi ) sont deux à deux orthogonaux.

Proposition 4 03DZ

L’espace Θ(G) est dense dans C(G)\mathscr{C}(G) et dans L2(G)L^2(G).

La sous-algèbre unifère Θ(G) de C(G)\mathscr{C}(G) est stable par conjugaison. Elle coïncide avec la sous-algèbre Υ(G) par la prop. 2 de V, p. 457, donc elle sépare les points de G (cor. du th. 4 de V, p. 454). Par conséquent, elle est dense dans C(G)\mathscr{C}(G) d’après TG, X, p. 40, cor. 2, et a fortiori, elle est dense dans l’espace L2(G)(L^2(G) (cf. INT, IV, p. 155, §4, no7^o7, prop. 13).

Rappelons que la représentation unitaire birégulière de G est la représentation ϱG\boldsymbol{\varrho }_G de G×GG\times G dans L2(G)L^2(G) telle que (g1,g2)↦γG(g1)δG(g2)(g_1, g_2)\mapsto \boldsymbol{\gamma }_G(g_1)\boldsymbol{\delta }_G(g_2).

Proposition 5 03E0

Soit π∈G^\pi \in \widehat{G}. L’espace ϱG(π)\boldsymbol{\varrho }_G(\pi ) est une sous-représentation de ϱG\boldsymbol{\varrho }_G qui est isomorphe à π‾⊠π\overline{\pi}\boxtimes \pi. En particulier, c’est une représentation irréductible de G×GG\times G.

D’après la prop. 7 de V, p. 422 (appliquée avec Z={e}Z =\{e\}), l’espace ϱG(π)\boldsymbol{\varrho }_G(\pi ) est une sous-représentation de ϱG\boldsymbol{\varrho }_G et l’application linéaire de E‾π⊗Eπ\overline{E}_{\pi}\otimes E_{\pi} dans L2(G)L^2(G) qui associe à x⊗yx\otimes y le coefficient matriciel g↦⟨x∣π(g)y⟩g\mapsto \langle x|\pi (g)y\rangle est un (G×(G\times G)-isomorphisme de π‾⊠π\overline{\pi}\boxtimes \pi dans ϱG(π)\boldsymbol{\varrho }_G(\pi ). La sous-représentation ϱG(π)\boldsymbol{\varrho }_G(\pi ) est donc irréductible (prop. 3 de V, p. 461).

Théorème 1 (Peter–Weyl) 03E1

Soit G un groupe topologique compact. La représentation birégulière ϱG\boldsymbol{\varrho }_G de G est la somme hilbertienne des sous-représentations ϱG(π)\boldsymbol{\varrho }_G(\pi ) pour π∈G^\pi \in \widehat{G}.

Les espaces ϱG(π)\boldsymbol{\varrho }_G(\pi ) sont deux à deux orthogonaux ; ce sont des sous-représentations irréductibles de la représentation birégulière de G (prop. 5) qui sont deux à deux non isomorphes (prop. 3 de V, p. 461). Le théorème résulte alors du fait que la somme Θ(G) des espaces ϱG(π)\boldsymbol{\varrho }_G(\pi ) pour π\pi parcourant G^\widehat{G} est dense dans L2(G)L^2(G) (prop. 4).

Corollaire 1 03E2

Pour tout π∈G^\pi \in \widehat{G}, la sous-représentation ϱG(π)\boldsymbol{\varrho }_G(\pi ) est la composante (π‾⊠π)(\overline{\pi}\boxtimes \pi )-isotypique de ϱG\boldsymbol{\varrho }_G.

Soit F la composante (π‾⊠π(\overline{\pi}\boxtimes \pi)-isotypique de ϱG\boldsymbol{\varrho }_G. L’espace F contient ϱG(π)\boldsymbol{\varrho }_G(\pi ) (prop. 5). De plus, pour tout τ∈G^\tau \in \widehat{G} différent de π\pi, l’intersection de F et ϱG(τ)\boldsymbol{\varrho }_G(\tau ) est nulle (prop. 3 de V, p. 461). On en déduit que F=ϱG(π)F =\boldsymbol{\varrho }_G(\pi ) en appliquant le théorème.

Corollaire 2 03E3

Soient π1\pi_1 et π2\pi_2 des représentations irréductibles non isomorphes de G. La composante (π‾1⊠π2)(\overline{\pi}_1\boxtimes \pi_2)-isotypique de ϱG\boldsymbol{\varrho }_G est nulle.

Corollaire 3 03E4

La représentation régulière droite (resp. gauche) de G est isomorphe à la somme hilbertienne

π⨁∈G^π\pi \bigoplus\in \widehat{G}\pidim(π\pi ).

D’après le théorème et la proposition 5, la restriction de la représentation birégulière de G au sous-groupe H={e}×GH =\{e\} \times G est isomorphe à la somme hilbertienne des restrictions à H des représentations π‾⊠π\overline{\pi}\boxtimes \pi pour π∈G^\pi \in \widehat{G}. Celles-ci sont isomorphes à la somme directe de dim(π\pi ) copies de π\pi (lemme 8 de V, p. 384). Cela implique le résultat pour la représentation régulière droite, et le cas de la représentation régulière gauche est similaire.

Corollaire 4 03E5

Soit π∈G^\pi \in \widehat{G}. La composante π\pi-isotypique de δG\boldsymbol{\delta }_G (resp. la composante π‾\overline{\pi}-isotypique de γG\boldsymbol{\gamma }_G) est égale à ϱG(π)\boldsymbol{\varrho }_G(\pi ).

L’argument est similaire à celui du corollaire précédent, en considérant ϱG(π)\boldsymbol{\varrho }_G(\pi ) comme sous-représentation de δG\boldsymbol{\delta }_G (resp. de γG\boldsymbol{\gamma }_G).

Remarque 1 03E6

Si G est fini, ces énoncés correspondent aux résultats de A, VIII, p. 398, remarque.

Remarque 2 03E7

Supposons que G est commutatif. L’ensemble G^\widehat{G} s’identifie au groupe dual de G (V, p. 393, remarque). Pour tout χ∈G^\chi \in \widehat{G}, l’espace de ϱG(χ)\boldsymbol{\varrho }_G(\chi ) est le sous-espace de dimension 1 de L2(G)L^2(G) engendré par χ\chi. Le théorème 1 pour G est donc alors équivalent au cor. du th. 1 de II, p. 215.

Remarque 3 03E8

S’il existe un entier n⩾0n\geqslant 0 tel que G est un sous-groupe compact de GL(Cn)\mathbf{G}\mathbf{L}(\mathbf{C}^n), la représentation identique de G dans GL(Cn)\mathbf{G}\mathbf{L}(\mathbf{C}^n) suffit à séparer les points de G, et on peut donc alors démontrer directement la proposition 4, puis le théorème de Peter–Weyl, sans faire appel au théorème de Gelfand–Raikov.

Remarque 4 03E9

Le théorème de Peter–Weyl implique en particulier que l’homomorphisme continu naturel de G dans ∏π∈G^U(Eπ)\prod_{\pi\in\widehat{G}}\mathbf{U}(E_{\pi}) est injectif.

4. Coefficients matriciels et fonctions G-finies

Proposition 6 03EA

Les sous-espaces suivants de L2(G)L^2(G) sont égaux :

a) L’espace Θ(G) ;

b) La somme directe algébrique des sous-espaces ϱG(π)\boldsymbol{\varrho }_G(\pi ) de L2(G)L^2(G);

c) L’espace des vecteurs G-finis (cf. V, p. 376) de γG\boldsymbol{\gamma }_G;

d) L’espace des vecteurs G-finis de δG\boldsymbol{\delta }_G;

e) L’espace des vecteurs (G×G)(G\times G)-finis de ϱG\boldsymbol{\varrho }_G.

En particulier, tout vecteur G-fini de γG,δG\boldsymbol{\gamma }_G,\boldsymbol{\delta }_G ou ϱG\boldsymbol{\varrho }_G appartient à C(G)\mathscr{C}(G).

Notons FaF_a (resp. Fb,Fc,Fd,FeF_b, F_c, F_d, F_e) l’espace défini par la condition a) (resp. b), c), d), e)). On a déjà remarqué que Fa=FbF_a= F_b.

On a Fb⊂FcF_b\subset F_c car ϱG(π)\boldsymbol{\varrho }_G(\pi ) est une sous-représentation de dimension finie de γG\boldsymbol{\gamma }_G pour tout π∈G^\pi \in \widehat{G}. Réciproquement, soit ff un vecteur G-fini de γG\boldsymbol{\gamma }_G. Le sous-espace EfE_f engendré par les fonctions γG(g)f\boldsymbol{\gamma }_G(g)f pour g∈Gg\in G est une sous-représentation de dimension finie de γG\boldsymbol{\gamma }_G. Elle est égale à la somme directe de ses composantes π\pi-isotypiques pour π∈G^\pi \in \widehat{G} (prop. 1 de V, p. 457). D’après le cor. 4 de V, p. 463, cela implique que EfE_f est contenu dans la somme des espaces ϱG(π)\boldsymbol{\varrho }_G(\pi ), donc Fc⊂FbF_c\subset F_b.

Par un raisonnement analogue, on obtient Fb=FdF_b= F_d, et comme ϱG(π)\boldsymbol{\varrho }_G(\pi ) est une sous-représentation de ϱG\boldsymbol{\varrho }_G, on établit de même que Fb=FeF_b= F_e.

Corollaire 03EB

Soit E⊂L2(G)E\subset L^2(G) un sous-espace vectoriel de dimension finie définissant une sous-représentation de γG(\boldsymbol{\gamma }_G(resp. de δG\boldsymbol{\delta }_G, de ϱG)\boldsymbol{\varrho }_G). Alors E est contenu dans C(G)\mathscr{C}(G).

En effet, tout élément de E est un vecteur G-fini de la représentation γG\boldsymbol{\gamma }_G.

5. Représentations dans un espace séparé quasi-complet

Proposition 7 03EC

Soit ϱ\varrho une représentation continue de G dans un espace localement convexe séparé et quasi-complet E. La somme des sous-représentations de dimension finie de E est dense dans E.

Soit x∈Ex\in E et soit U un voisinage ouvert de xx. L’ensemble des mesures ν∈M(G)\nu \in \mathscr{M}(G) telles que ϱ(ν)x∈U\varrho (\nu )x\in U est ouvert dans M(G)\mathscr{M}(G) pour la topologie de la convergence compacte (cf. no2^o2 de V, p. 400). Il contient εe\varepsilon_e, donc il contient une mesure de la forme ν=f1⋅μ\nu =f_1\cdot \mu où f1∈C(G)f_1\in \mathscr{C}(G) (INT, VIII, p. 171, § 4, no7^o7, prop. 19) et, par conséquent, il contient une mesure de la forme f2⋅μf_2\cdot \mu où f2f_2 est une fonction G-finie (prop. 6 de V, p. 464 et prop. 4 de V, p. 462).

La sous-représentation F de γG\boldsymbol{\gamma }_G engendrée par f2f_2 est de dimension finie. Soit F~\widetilde{F} l’image de l’application linéaire f↦ϱ(f)xf\mapsto \varrho (f)x de F dans E. L’espace F~\widetilde{F} est de dimension finie, et il contient l’élément ϱ(f2)x\varrho (f_2)x de U. Puisque ϱ(g)ϱ(f)=ϱ(γG(g)f)\varrho (g)\varrho (f) =\varrho (\boldsymbol{\gamma }_G(g)f) pour tout g∈Gg\in G et tout f∈Ff\in F (formule (1) de V, p. 406), l’espace F~\widetilde{F} est une sous-représentation de ϱ\varrho qui rencontre U. La proposition est démontrée.

Corollaire 1 03ED

Soit π\pi une représentation continue irréductible de G dans un espace localement convexe séparé quasi-complet E. L’espace E est de dimension finie.

Corollaire 2 03EE

Soit ϱ\varrho une représentation continue de G dans un espace localement convexe séparé quasi-complet E et soit π\pi une représentation continue irréductible de G.

a) Le G-morphisme pπ=p_{\pi}= dim(π\pi )ϱ(χ‾π)\varrho (\overline{\chi}_{\pi}) de E dans E est un projecteur continu de E dont l’image est la composante π\pi-isotypique de ϱ\varrho;

b) Si ϱ\varrho est une représentation unitaire, alors le projecteur pπp_{\pi} est l’orthoprojecteur de E d’image Mπ(ϱ)M_{\pi}(\varrho ).

Démontrons a). L’application linéaire pπ=p_{\pi}= dim(π\pi )ϱ(χ‾π)\varrho (\overline{\chi}_{\pi}) est bien définie, puisque E est quasi-complet et que G est compact (V, p. 401). C’est un élément de HomG(ϱ,ϱ)_G(\varrho , \varrho ) puisque le caractère de π\pi est une fonction centrale continue sur G.

Soient ϖ\varpi une sous-représentation de dimension finie de E et F son espace. L’application pπp_{\pi} induit, par passage aux sous-espaces, l’endomorphisme (dim π\pi )ϖ(χ‾π)\varpi (\overline{\chi}_{\pi}) de F. Cet endomorphisme est donc nul si ϖ\varpi n’est pas isomorphe à π\pi, et est l’application identique de F sinon (en effet, c’est le cas si ϖ\varpi est irréductible d’après le cor. 5 de V, p. 460, et le cas général s’en déduit puisque ϖ\varpi est semi-simple d’après la prop. 1 de V, p. 457).

Finalement, puisque la somme des sous-représentations de dimension finie de E est dense dans E (prop. 7) et que pπp_{\pi} est continu, on conclut que pπp_{\pi} est un projecteur dont l’image est la composante π\pi-isotypique de ϱ\varrho. Si E est hilbertien, le projecteur pπp_{\pi} est hermitien d’après le cor. 1 de V, p. 458 donc c’est un orthoprojecteur (lemme 3, (ii) de I, p. 133).

Corollaire 3 03EF

Soit ϱ\varrho une représentation continue de G dans un espace localement convexe séparé quasi-complet E. L’endomorphisme

x↦∫Gϱ(g)xdμ(g) x\mapsto \int_G\varrho (g)x d\mu(g)

de E est un projecteur de E dont l’image est l’espace EGE^G des vecteurs invariants dans E. En particulier, si E est de dimension finie, alors

dim(EG^G) =∫Gχϱ(g)dμ(g)=\int_G\chi_{\varrho}(g)d\mu(g).

La première assertion est le cas particulier du corollaire précédent lorsque π\pi est la représentation triviale de dimension 1 de G. La seconde en résulte puisque la dimension de EGE^G est la trace de l’orthoprojecteur sur EGE^G, c’est-à-dire

dim(EG^G) == Tr(∫Gϱ(g)dμ(g))=∫Gχϱ(g)dμ(g)(\int_G\varrho (g)d\mu(g))=\int_G\chi_{\varrho}(g)d\mu(g).

En particulier, lorsque E est de dimension finie, il existe un vecteur x≠0x\not = 0 dans E tel que ϱ(g)x=x\varrho (g)x=x pour tout g∈Gg\in G si et seulement si

∫Gχϱ(g)dμ(g)≠0 \int_G\chi_{\varrho}(g)d\mu(g)\not = 0

Corollaire 4 03EG

Soit ϱ\varrho une représentation unitaire de G dans un espace hilbertien E. L’espace E est la somme hilbertienne des composantes π\pi-isotypiques Mπ(ϱ)M_{\pi}(\varrho ) pour π∈G^\pi \in \widehat{G}. En particulier, la représentation ϱ\varrho est semi-simple.

Les composantes isotypiques de ϱ\varrho correspondant à des représentations irréductibles non isomorphes de G sont orthogonales (prop. 8 de V, p. 394). Puisque toute représentation unitaire de dimension finie de G est semi-simple (prop. 1 de V, p. 457), la somme des composantes isotypiques Mπ(ϱ)M_{\pi}(\varrho ) pour π∈G^\pi \in \widehat{G} est dense dans E (prop. 7). Le corollaire en résulte.

6. Caractères et classes de conjugaison

Soit ϱ\varrho une représentation unitaire de G dans un espace hilbertien E de dimension finie. Le caractère de ϱ\varrho vérifie ∣χϱ∣⩽|\chi_{\varrho}|\leqslant dim(E). Soit (ei)i∈I(e_i)_{i\in I} une base orthonormale de E ; le caractère χϱ\chi_{\varrho} est la somme des coefficients matriciels diagonaux g↦⟨ei∣ϱ(g)ei⟩g\mapsto \langle e_i|\varrho (g)e_i\rangle de ϱ\varrho. En particulier, le caractère de ϱ\varrho est une fonction G-finie, et si ϱ\varrho est irréductible, alors χϱ∈ϱG(ϱ)\chi_{\varrho}\in \boldsymbol{\varrho }_G(\varrho ).

On a les formules suivantes

χϱ1⊕ϱ2=χϱ1+χϱ2,χϱ1⊗ϱ2=χϱ1χϱ2,χϱ˘=χϱ‾=χ‾ϱ \chi_{\varrho_1\oplus\varrho_2}=\chi_{\varrho_1}+\chi_{\varrho_2},\chi_{\varrho_1\otimes\varrho_2}=\chi_{\varrho_1}\chi_{\varrho_2},\chi_{\breve{\varrho}}=\chi_{\overline{\varrho}}=\overline{\chi}_{\varrho}

(cf. A, VIII, p. 388–389).

Proposition 8 03EH

On a

(1) χπ∗χσ=0\chi_{\pi}*\chi_{\sigma}= 0 pour tous π,σ\pi , \sigma appartenant à G^,π≠σ\widehat{G}, \pi \not =\sigma,

(2) χπ∗χπ=\chi_{\pi}*\chi_{\pi}= dim(1π1\pi )χπ\chi_{\pi} pour tout π\pi appartenant à G^\widehat{G}.

Soient π\pi et σ\sigma des représentations irréductibles de G. On a

dim(π\pi )(χπ∗χσ)=(\chi_{\pi}*\chi_{\sigma}) = dim(π\pi )γG(χπ)χσ\boldsymbol{\gamma }_G(\chi_{\pi})\chi_{\sigma}

(lemme 4 de V, p. 407). La fonction dim(π\pi )γG(χπ)χσ\boldsymbol{\gamma }_G(\chi_{\pi})\chi_{\sigma} est la projection orthogonale de χσ\chi_{\sigma} sur la composante π‾\overline{\pi}-isotypique de γG\boldsymbol{\gamma }_G (cor. 2 de V, p. 465), c’est-à-dire sur ϱG(π)\boldsymbol{\varrho }_G(\pi ) (cor. 4 de V, p. 463). Comme χσ\chi_{\sigma} appartient à ϱG(σ)\boldsymbol{\varrho }_G(\sigma ), le résultat découle du théorème 1 de V, p. 462.

Lemme 2 03EI

Le graphe de la relation d’équivalence « x∈Gx\in G et y∈Gy\in G et xx est conjugué à yy » dans G est fermé.

En effet, ce graphe est l’image de l’application continue de l’espace compact G×GG\times G dans lui-même définie par (x,y)↦(x,yxy−1)(x, y)\mapsto (x, yxy^{-1}).

On note G♯G^{\sharp} l’espace des classes de conjugaison de G muni de la topologie quotient ; c’est un espace compact d’après le lemme 2 et TG, I, p. 78, prop. 8. Soit ϖ:G→G♯\varpi : G\rightarrow G^{\sharp} la projection canonique. L’application de C(G♯)\mathscr{C}(G^{\sharp}) dans C(G)\mathscr{C}(G) définie par f↦f∘ϖf\mapsto f\circ \varpi identifie l’algèbre stellaire C(G♯)\mathscr{C}(G^{\sharp}) à la sous-algèbre stellaire de C(G)\mathscr{C}(G) formée des fonctions centrales continues.

Les mesures sur G♯G^{\sharp} s’identifient aux mesures centrales sur G (V, p. 402, déf. 1).

La forme linéaire sur C(G♯)\mathscr{C}(G^{\sharp}) définie par f↦∫Gff\mapsto \int_Gf est alors une mesure positive de masse 1 sur G♯G^{\sharp}, qui est notée μ♯\mu^{\sharp}. Pour tout p∈[1,+∞]p\in [1,+\infty ], on note Lp(G♯)\mathscr{L}^p(G^{\sharp}) (resp. Lp(G♯)L^p(G^{\sharp})) l’espace LCp(G♯,μ♯)\mathscr{L}_{\mathbf{C}}^p(G^{\sharp}, \mu^{\sharp}) (resp. LCp(G♯,μ♯)L^p_{\mathbf{C}}(G^{\sharp}, \mu^{\sharp})). On identifie Lp(G♯)L^p(G^{\sharp}) à l’adhérence de C(G♯)\mathscr{C}(G^{\sharp}) dans Lp(G)L^p(G); en particulier, c’est un sous-espace fermé de Lp(G)L^p(G).

On note aussi Θ(G♯)=Θ(G)∩C(G♯)\Theta (G^{\sharp}) = \Theta (G)\cap \mathscr{C}(G^{\sharp}) l’espace des coefficients matriciels centraux de G. C’est une sous-algèbre involutive unifère de C(G♯)\mathscr{C}(G^{\sharp}).

Lorsque G est un groupe de Lie, l’espace Θ(G♯)\Theta (G^{\sharp}) est également noté ZΘ(G) dans LIE, IX, p. 71.

Lemme 3 03EJ

Soit π\pi une représentation unitaire irréductible de G. L’espace vectoriel L2(G♯)∩ϱG(π)L^2(G^{\sharp})\cap \boldsymbol{\varrho }_G(\pi ) est de dimension un et engendré par le caractère de π\pi.

Considérons la représentation unitaire σ\sigma de G dans l’espace ϱG(π)\boldsymbol{\varrho }_G(\pi ) définie par σ(g)=ϱG(g,g)\sigma (g) =\boldsymbol{\varrho }_G(g, g). Puisque la représentation unitaire ϱG(π)\boldsymbol{\varrho }_G(\pi ) de G×GG\times G est isomorphe à π‾⊠π\overline{\pi}\boxtimes \pi (prop. 5 de V, p. 462), son caractère est donné par

χσ(g)=χπ‾⊠π(g,g)=∣χπ(g)∣2 \chi_{\sigma}(g) =\chi_{\overline{\pi}\boxtimes\pi}(g, g) =|\chi_{\pi}(g)|^2

pour tout g∈Gg\in G. L’espace L2(G♯)∩ϱG(π)L^2(G^{\sharp})\cap \boldsymbol{\varrho }_G(\pi ) est le sous-espace des éléments invariants de cette représentation, et sa dimension est égale à

∫Gχσ(g)dμ(g)=∫G∣χπ(g)∣2dμ(g)=1 \int_G\chi_{\sigma}(g)d\mu(g) =\int_G|\chi_{\pi}(g)|^2d\mu(g) = 1

(cor. 3 de V, p. 466 et cor. 3 de V, p. 459). Puisque le caractère de π\pi est un élément non nul de L2(G♯)∩ϱG(π)L^2(G^{\sharp})\cap \boldsymbol{\varrho }_G(\pi ), c’est une base de cet espace.

Proposition 9 03EK

La famille (χπ)π∈G^(\chi_{\pi})_{\pi\in\widehat{G}} des caractères des représentations unitaires irréductibles de G est une base orthonormale de L2(G♯)L^2(G^{\sharp}).

D’après le théorème de Peter–Weyl (th. 1 de V, p. 462), le sous-espace fermé L2(G♯)L^2(G^{\sharp}) de L2(G)L^2(G) formé des éléments invariants de la représentation unitaire g↦ϱG(g,g)g\mapsto \boldsymbol{\varrho }_G(g, g) de G est la somme hilbertienne des sous-espaces L2(G♯)∩ϱG(π)L^2(G^{\sharp})\cap \boldsymbol{\varrho }_G(\pi ) pour π∈G^\pi \in \widehat{G}. La proposition résulte donc du lemme précédent et du cor. 3 de V, p. 459.

Corollaire 1 03EL

L’espace vectoriel Θ(G♯)\Theta (G^{\sharp}) est dense dans C(G♯)\mathscr{C}(G^{\sharp}) et dans L2(G♯)L^2(G^{\sharp}).

La seconde assertion résulte de la prop. 9. Pour ce qui est de la première assertion, considérons la représentation linéaire ϱ\varrho de G sur l’espace de Banach C(G)\mathscr{C}(G) définie par

ϱ(g)f(x)=f(g−1xg) \varrho (g)f(x) =f(g^{-1}xg)

pour tout f∈C(G)f\in \mathscr{C}(G) et tout x∈Gx\in G. C’est une représentation continue et isométrique et C(G♯)\mathscr{C}(G^{\sharp}) est l’espace des éléments invariants de cette représentation. Le projecteur continu p=ϱ(1)p=\varrho (1) de C(G)\mathscr{C}(G) a donc pour image C(G♯)\mathscr{C}(G^{\sharp}) (cor. 3 de V, p. 466) ; il est de norme ⩽1\leqslant 1.

Soit f∈C(G♯)f\in \mathscr{C}(G^{\sharp}) et soit ε>0\varepsilon >0. Il existe f~∈Θ(G)\widetilde{f}\in \Theta (G) telle que ∥f−f~∥⩽ε\|f-\widetilde{f}\|\leqslant \varepsilon (prop. 4 de V, p. 462), et on a alors ∥f−p(f~)∥=∥p(f−f~)∥⩽ε\|f-p(\widetilde{f})\|=\|p(f-\widetilde{f})\|\leqslant \varepsilon; comme p(f~)∈C(G♯)p(\widetilde{f})\in \mathscr{C}(G^{\sharp}), on conclut que Θ(G♯)\Theta (G^{\sharp}) est dense dans C(G♯)\mathscr{C}(G^{\sharp}).

On note R(G) l’anneau de Grothendieck des représentations continues de G dans des espaces vectoriels complexes séparés de dimension finie (cf. LIE, IX, p. 70 et A, VIII, p. 182, appliqué à la classe additive des représentations continues de G dans des espaces vectoriels complexes séparés de dimension finie, vues comme C\mathbf{C}[G]-modules). Puisque toute représentation linéaire continue de G dans un espace vectoriel topologique séparé de dimension finie est semi-simple (prop. 1 de V, p. 457), le groupe abélien R(G) est libre et les classes de représentations unitaires irréductibles π∈G^\pi \in \widehat{G} en forment une base (A, VIII, p. 186, prop. 7).

Corollaire 2 03EM

a) La famille des caractères des représentations irréductibles de G est une base de Θ(G♯)\Theta (G^{\sharp});

b) L’application u:R(G)⊗ZC→Θ(G♯)u: R(G)\otimes_{\mathbf{Z}}\mathbf{C}\rightarrow \Theta (G^{\sharp}) telle que u(π⊗1)=χπu(\pi \otimes 1) =\chi_{\pi} pour tout π∈G^\pi \in \widehat{G} est un isomorphisme d’algèbres sur C\mathbf{C}.

La première assertion résulte de la proposition 9 et du corollaire 1.

Puisque les classes des représentations π∈G^\pi \in \widehat{G} forment une base du Z\mathbf{Z}-module libre R(G), l’application uu est bien définie. C’est un morphisme de C\mathbf{C}-algèbres, et c’est un isomorphisme d’après a).

Corollaire 3 03EN

Soit H un groupe topologique localement compact tel que G est un sous-groupe compact de H. Soit ϱ\varrho une représentation unitaire de H dans un espace hilbertien E. Si la composante π\pi-isotypique de la restriction de ϱ\varrho à G est de dimension finie pour tout π∈G^\pi \in \widehat{G}, alors la représentation ϱ\varrho de H est semi-simple et toute représentation unitaire irréductible de H est de multiplicité finie dans ϱ\varrho.

Notons σ\sigma la restriction de ϱ\varrho au sous-groupe compact G de H. Soit π\pi une représentation irréductible de G. L’endomorphisme σ(χπ)∈L(E)\sigma (\chi_{\pi})\in \mathscr{L}(E) est de rang fini, puisque son image est la composante π‾\overline{\pi}-isotypique de σ\sigma (cor. 2 de V, p. 465) et que celle-ci est de dimension finie par hypothèse. Par conséquent, l’endomorphisme σ(f)\sigma (f) est de rang fini pour tout f∈Θ(G♯)f\in \Theta (G^{\sharp}) et est compact pour tout f∈C(G♯)f\in \mathscr{C}(G^{\sharp}) (cor. 1 de V, p. 468 et cor. de la prop. 2 de III, p. 4).

Notons jj l’injection canonique de G dans H. C’est une application continue qui est ν\nu-propre pour toute mesure ν\nu sur G (INT, V, p. 69, § 6, no1^o1, remarque 1). Soit B\mathfrak{B} le filtre des voisinages compacts de l’élément ee dans G. Pour tout V∈BV\in \mathfrak{B}, il existe une fonction centrale continue positive fVf_V sur G à support contenu dans V dont l’intégrale sur G vaut 1. Notons βV\beta_V la mesure image j(fV⋅μ)j(f_V\cdot \mu); c’est une mesure positive à support compact sur H telle que ϱ(βV)=σ(fV)\varrho (\beta_V) =\sigma (f_V) (INT, V, p. 71, § 6, no2^o2, th. 1). D’après ce qui précède, la base de filtre sur Mc(H)\mathscr{M}_c(H) image de B\mathfrak{B} par l’application V↦βVV\mapsto \beta_V vérifie les conditions de la proposition 2 de V, p. 402 et l’assertion en résulte.

Corollaire 4 (Critère d’équirépartition de Weyl)

Soit M un ensemble de mesures positives centrales sur G tel que ν(G)=1\nu (G) = 1 pour tout ν∈M\nu \in M. Soit F\mathfrak{F} un filtre sur M. Pour que le filtre F\mathfrak{F} converge vaguement vers la mesure μ♯\mu^{\sharp} sur G♯G^{\sharp}, il faut et il suffit que, pour toute représentation unitaire irréductible non triviale π\pi, on ait

limν,F∫Gχπ(x)dν(x)=0_{\nu ,\mathfrak{F}}\int_G\chi_{\pi}(x)d\nu (x) = 0.

Puisque ν(G♯)=1=μ♯(G♯)\nu (G^{\sharp}) = 1 =\mu^{\sharp}(G^{\sharp}) pour ν∈M\nu \in M, l’hypothèse signifie que

limν,F∫G♯χπ(x)dν(x)=∫G♯χπ(x)dμ♯(x)_{\nu ,\mathfrak{F}}\int_{G^{\sharp}}\chi_{\pi}(x)d\nu (x) =\int_{G^{\sharp}}\chi_{\pi}(x)d\mu^{\sharp}(x)

pour toute représentation π∈G^\pi \in \widehat{G}, donc elle équivaut à la condition

limν,F∫G♯f(x)dν(x)=∫G♯f(x)dμ♯(x)_{\nu ,\mathfrak{F}}\int_{G^{\sharp}}f(x)d\nu (x) =\int_{G^{\sharp}}f(x)d\mu^{\sharp}(x)

pour toute fonction f∈Θ(G♯)f\in \Theta (G^{\sharp}) par linéarité. Comme l’espace Θ(G♯)\Theta (G^{\sharp}) est dense dans C(G♯)\mathscr{C}(G^{\sharp}) (corollaire 1), l’hypothèse est donc équivalente à la convergence du filtre F\mathfrak{F} vers μ♯\mu^{\sharp} dans M(G♯)\mathscr{M}(G^{\sharp}) muni de la topologie de la convergence simple dans C\mathscr{C} (G), qui coïncide avec la topologie de la convergence vague puisque G est compact (cf. INT, III, p. 59, § 1, no9^o9).

7. La cotransformation de Fourier

On munit l’ensemble G^\widehat{G} de la topologie discrète. On note F(G^)F(\widehat{G}) l’algèbre produit des End(Eπ_{\pi}) pour π\pi appartenant à G^\widehat{G} et Fb(G^)F_b(\widehat{G}) l’algèbre stellaire produit des End(Eπ_{\pi}) (exemple 5 de I, p. 103) ; c’est l’ensemble des familles (uπ)π∈G^(u_{\pi})_{\pi\in\widehat{G}} telles que supπ∈G^∥uπ∥<+∞_{\pi\in\widehat{G}}\|u_{\pi}\|<+\infty.

On note F0(G^)F_0(\widehat{G}) la sous-algèbre stellaire fermée de Fb(G^)F_b(\widehat{G}) formée des familles (uπ)π∈G^(u_{\pi})_{\pi\in\widehat{G}} telles que ∥uπ∥\|u_{\pi}\| tend vers 0 à l’infini.

Soit ν∈M1(G)\nu \in \mathscr{M}^1(G). Pour tout π∈G^\pi \in \widehat{G}, on a ∥π(ν)∥⩽∥ν∥\|\pi (\nu )\|\leqslant \|\nu \|, donc la famille (π(ν))π∈G^(\pi (\nu ))_{\pi\in\widehat{G}} appartient à Fb(G^)F_b(\widehat{G}).

Définition 1 03EO

Pour toute mesure ν∈M1(G)\nu \in \mathscr{M}^1(G), l’élément (π(ν))π∈G^(\pi (\nu ))_{\pi\in\widehat{G}} de Fb(G^)F_b(\widehat{G}) est noté FG(ν)\mathscr{F}_G(\nu ). L’application de M1(G)\mathscr{M}^1(G) dans Fb(G^)F_b(\widehat{G}) ainsi définie est appelée la cotransformation de Fourier de G, et F‾G(ν)\overline{\mathscr{F}}_G(\nu ) est appelée la cotransformée de Fourier de la mesure ν\nu.

Pour f∈L1f\in L^1(G), on notera F‾G(f)=F‾G(f⋅μ)\overline{\mathscr{F}}_G(f) =\overline{\mathscr{F}}_G(f\cdot \mu).

Pour toute représentation π∈G^\pi \in \widehat{G}, l’application ν↦π(ν)\nu \mapsto \pi (\nu ) est un morphisme unifère d’algèbres de Banach involutives de M1(G)\mathscr{M}^1(G) dans End(Eπ_{\pi}) (lemme 1 de V, p. 401). La cotransformation de Fourier est donc un morphisme unifère d’algèbres de Banach involutives de M1(G)\mathscr{M}^1(G) dans Fb(G^)F_b(\widehat{G}).

8. La transformation de Fourier

On garde les notations du numéro précédent.

Soit π∈G^\pi \in \widehat{G}. On munit l’espace vectoriel End(Eπ_{\pi}) de la structure d’espace hilbertien dont le produit scalaire est donné par

⟨u1∣u2⟩=\langle u_1|u_2\rangle = dim(π\pi)Tr(u1∗u2u^*_1u_2) == dim(π\pi)Tr(u2u1∗u_2u^*_1)

pour u1,u2u_1,u_2 dans End(Eπ_{\pi}) ((cf. EVT, V, p. 52, th. 1).

On note ∥u∥2\|u\|_2 = √⟨u∣u⟩‾\surd\overline{\langle u|u\rangle} la norme d’un élément uu de End(Eπ_{\pi}) pour π∈G^\pi \in \widehat{G}. Pour tout g∈Gg\in G, on a ∥π(g)∥2=\|\pi (g)\|_2= dim(π\pi ) puisque π(g)\pi (g) est unitaire.

La norme notée ici ∥u∥2\|u\|_2 diffère par un facteur dim(π\pi ) de la norme définie dans EVT, V, p. 52 sur l’espace des applications de Hilbert– Schmidt de EπE_{\pi}.

Lemme 4 03EP

Soit π\pi une représentation irréductible de G. L’application f↦π(f)f\mapsto \pi (f) définit par passage aux sous-espaces un isomorphisme isométrique de ϱG(π‾)\boldsymbol{\varrho }_G(\overline{\pi}) dans End(Eπ_{\pi}).

Posons επ(g,h)u=π(g)∘u∘π(h−1)\varepsilon_{\pi}(g, h)u=\pi (g)\circ u\circ \pi (h^{-1}) pour tout (g,h)∈G×G(g, h)\in G\times G et pour tout u∈u\in End(Eπ_{\pi}). L’application επ\varepsilon_{\pi} est une représentation continue de G×GG\times G dans End(Eπ_{\pi}). Elle est unitaire. En effet, puisque π\pi elle-même est unitaire, il vient

∥επ(g,h)u∥22=\|\varepsilon_{\pi}(g, h)u\|^2_2= dim(π\pi ) Tr((π(g)uπ(h−1))∗π(g)uπ(h−1))((\pi (g)u\pi (h^{-1}))^*\pi (g)u\pi (h^{-1}))

= dim(π\pi ) Tr(π(h)u∗uπ(h)−1\pi (h)u^*u\pi (h)^{-1}) == dim(π\pi ) Tr(u∗uu^*u) =∥u∥22=\|u\|^2_2 pour tout (g,h)∈G×G(g, h)\in G\times G et tout u∈u\in End(Eπ_{\pi}).

L’application Ψ définie par f↦π(f)f\mapsto \pi (f) est un (G×(G\times G)-morphisme de ϱG(π‾)\boldsymbol{\varrho }_G(\overline{\pi}) dans End(Eπ_{\pi}), puisque

π(ϱG(g,h)f)=∫Gf(g−1xh)π(x)dμ(x)=π(g)π(f)π(h−1) \pi (\boldsymbol{\varrho }_G(g, h)f) =\int_Gf(g^{-1}xh)\pi (x)d\mu(x) =\pi (g)\pi (f)\pi (h^{-1})

pour tout (g,h)∈G×G(g, h)\in G\times G et tout f∈ϱG(π‾)f\in \boldsymbol{\varrho }_G(\overline{\pi}). Puisque ϱG(π‾)\boldsymbol{\varrho }_G(\overline{\pi}) est une représentation irréductible (th. 1, a) de V, p. 462), il existe λ∈C∗\lambda \in \mathbf{C}^* tel que l’application λΨ\lambda \Psi est nulle ou isométrique (cor. 5, a) de V, p. 388).

Soit f=f= dim(π\pi )χ‾π∈ϱG(π‾)\overline{\chi}_{\pi}\in \boldsymbol{\varrho }_G(\overline{\pi}). Il vient π(f)=1Eπ\pi (f) = 1_{E_{\pi}} (cor. 2 de V, p. 465), d’où ∥π(f)∥2=\|\pi (f)\|_2= dim(π\pi ) =∥f∥=\|f\| (cor. 3 de V, p. 459). Par conséquent, l’application Ψ est isométrique. Comme ϱG(π‾)\boldsymbol{\varrho }_G(\overline{\pi}) et End(Eπ_{\pi}) sont de même dimension, Ψ est un isomorphisme isométrique.

On note F2(G^)F^2(\widehat{G}) la somme hilbertienne des espaces hilbertiens End(Eπ_{\pi}). La norme d’un élément x∈F2(G^)x\in F^2(\widehat{G}) est encore notée ∥x∥2\|x\|_2.

Dans LIE, IX, p. 79, cet espace est noté L2(G^)L^2(\widehat{G}), notation que nous préférons éviter ici pour ne pas créer de confusion avec l’espace ℓ2(G^)\ell^2(\widehat{G}).

Soit (uπ)(u_{\pi}) un élément de F2(G^)F^2(\widehat{G}). Puisque

π∈G^∑π∈G^∥uπ∥22=∑π∈G^^{\pi\in\widehat{G}}\sum_{\pi\in\widehat{G}}\|u_{\pi}\|^2_2=\sum_{\pi\in\widehat{G}} dim(π\pi ) Tr(uπ∗uπu^*_{\pi}u_{\pi})<+∞<+\infty

et que ∥uπ∥2⩽\|u_{\pi}\|^2\leqslant Tr(uπ∗uπu^*_{\pi}u_{\pi}) ((cf. EVT, V, p. 52, formule (33)), la norme dans L(Eπ)\mathscr{L}(E_{\pi}) de l’endomorphisme uπu_{\pi} tend vers 0 à l’infini. On peut donc identifier F2(G^)F^2(\widehat{G}) à un sous-espace de F0(G^)F_0(\widehat{G}).

Soient π∈G^\pi \in \widehat{G} et u∈u\in End(Eπ_{\pi}). On note Fπ(u)\mathscr{F}_{\pi}(u) la fonction sur G définie par Fπ(u)(g)=⟨π(g)∣u⟩=\mathscr{F}_{\pi}(u)(g) =\langle \pi (g)|u\rangle = dim(π\pi)Tr(π(g)∗u\pi (g)^*u) pour tout g∈Gg\in G. C’est une fonction continue sur G. Si G est un groupe de Lie réel compact, alors la fonction Fπ(u)\mathscr{F}_{\pi}(u) est analytique sur G (LIE, III, § 8, no1^o1, th. 1).

Puisque G est compact, on peut identifier L2(G)L^2(G) à un sous-espace de L1(G)L^1(G).

Théorème 2 03EQ

La cotransformation de Fourier de G induit par passage aux sous-espaces un isomorphisme isométrique de L2(G)L^2(G) sur F2(G^)F^2(\widehat{G}). Son inverse FG\mathscr{F}_G associe à un élément (uπ)π∈G^(u_{\pi})_{\pi\in\widehat{G}} de F2(G^)F^2(\widehat{G}) la somme de la série

∑π∈G^Fπ(uπ) \sum_{\pi\in\widehat{G}}\mathscr{F}_{\pi}(u_{\pi})

qui converge dans L2(G)L^2(G).

D’après le théorème de Peter–Weyl (th. 1 de V, p. 462), l’espace hilbertien L2(G)L^2(G) est la somme hilbertienne des espaces ϱG(π‾)\boldsymbol{\varrho }_G(\overline{\pi}) pour π∈G^\pi \in \widehat{G}. Pour tout π∈G^\pi \in \widehat{G}, l’application linéaire f↦π(f)f\mapsto \pi (f) de ϱG(π‾)\boldsymbol{\varrho }_G(\overline{\pi}) dans End(Eπ_{\pi}) est un isomorphisme isométrique (lemme 4). Par conséquent, la restriction à L2(G)L^2(G) de la cotransformation de Fourier définit un isomorphisme isométrique de L2(G)L^2(G) sur F2(G^)F^2(\widehat{G}).

Soit f∈L2(G)f\in L^2(G). Soit π∈G^\pi \in \widehat{G} et soit fπ‾∈C(G)f_{\overline{\pi}}\in \mathscr{C}(G) la projection orthogonale de ff sur ϱG(π‾)\boldsymbol{\varrho }_G(\overline{\pi}) (th. 1 de V, p. 462). Cet espace étant la composante π‾\overline{\pi}-isotypique de δG\boldsymbol{\delta }_G (cor. 4 de V, p. 463), on a fπ‾=f_{\overline{\pi}}= dim(π\pi )δG(χπ)(f)\boldsymbol{\delta }_G(\chi_{\pi})(f) d’après le cor. 2 de V, p. 465. Pour tout x∈Gx\in G, il vient

fπ‾(x)=f_{\overline{\pi}}(x) = dim(π\pi )∫Gχπ(g)(δG(g)f)(x)dμ(g)\int_G\chi_{\pi}(g)(\boldsymbol{\delta }_G(g)f)(x)d\mu(g)

= dim(π\pi )∫Gχπ(g)f(xg)dμ(g)\int_G\chi_{\pi}(g)f(xg)d\mu(g)

= dim(π\pi )∫Gχπ(x−1y)f(y)dμ(y)\int_G\chi_{\pi}(x^{-1}y)f(y)d\mu(y)

= dim(π\pi)Tr(π(x−1)π(f)\pi (x^{-1})\pi (f)) =⟨π(x)∣π(f)⟩=\langle \pi (x)|\pi (f)\rangle,

c’est-à-dire fπ‾=Fπ(π(f))f_{\overline{\pi}}=\mathscr{F}_{\pi}(\pi (f)).

Comme ff est la somme dans L2(G)L^2(G) de la famille (fπ‾)(f_{\overline{\pi}}) d’après le théorème de Peter–Weyl, on obtient

f=∑π∈G^Fπ(π(f)) f=\sum_{\pi\in\widehat{G}}\mathscr{F}_{\pi}(\pi (f))

où la série converge dans L2(G)L^2(G). Cela démontre le théorème.

Définition 2 03ER

L’isomorphisme isométrique FG\mathscr{F}_G de F2(G^)F^2(\widehat{G}) sur L2(G)L^2(G) inverse de l’isomorphisme induit par la cotransformation de Fourier est appelé la transformation de Fourier de G. L’image d’un élément de F2(G^)F^2(\widehat{G}) est appelé sa transformée de Fourier.

Remarque 1 03ES

La transformée de Fourier de (uπ)π∈G^∈F2(G^)(u_{\pi})_{\pi\in\widehat{G}}\in F^2(\widehat{G}) est donc la classe dans L2(G)L^2(G) de la série

g↦∑π∈G^⟨π(g)∣uπ⟩=∑π∈G^g\mapsto \sum_{\pi\in\widehat{G}}\langle \pi (g)|u_{\pi}\rangle =\sum_{\pi\in\widehat{G}} dim(π\pi)Tr(uπ∘π(g)−1u_{\pi}\circ \pi (g)^{-1}).

Remarque 2 03ET

Soit f∈L2(G)f\in L^2(G). On a alors la formule de Plancherel

∥f∥2=∥F‾G(f)∥2=∑π∈G^∥π(f)∥2 \|f\|^2=\|\overline{\mathscr{F}}_G(f)\|^2=\sum_{\pi\in\widehat{G}}\|\pi (f)\|^2

De plus, d’après le théorème 2,f,f est la somme dans L2(G)L^2(G) de la famille (fπ)π∈G^(f_{\pi})_{\pi\in\widehat{G}} où

fπ(x)=Fπ(π(f))(x) f_{\pi}(x) =\mathscr{F}_{\pi}(\pi (f))(x)

=⟨π(x)∣π(f)⟩==\langle \pi (x)|\pi (f)\rangle = dim(π\pi )∫Gf(g)χπ(x−1g)dμ(g)\int_Gf(g)\chi_{\pi}(x^{-1}g)d\mu(g)

pour tout x∈Gx\in G et toute π∈G^\pi \in \widehat{G}.

Supposons que G est commutatif. Puisque les représentations irréductibles de G sont de dimension 1 (cor. 7 de V, p. 390) et que le groupe dual G^\widehat{G} est discret (prop. 18 de II, p. 233), les algèbres Fb(G^)F_b(\widehat{G}) et F0(G^)F_0(\widehat{G}) s’identifient, respectivement, à l’algèbre Cb(G^)\mathscr{C}_b(\widehat{G}) des fonctions continues bornées sur G^\widehat{G} et à l’algèbre C0(G^)\mathscr{C}_0(\widehat{G}) des fonctions continues tendant vers 0 à l’infini sur G^\widehat{G}. Comme G est compact, la mesure de Haar sur G^\widehat{G} duale de μ\mu est la mesure de comptage μ^\widehat{\mu} (prop. 18 de II, p. 233). La somme hilbertienne F2(G^)F^2(\widehat{G}) des espaces End(Eπ_{\pi}) pour π∈G^\pi \in \widehat{G} s’identifie à l’espace hilbertien L2(G^,μ^)L^2(\widehat{G},\widehat{\mu}).

Soit ν∈M1(G)\nu \in \mathscr{M}^1(G). Alors, pour tout caractère unitaire χ∈G^\chi \in \widehat{G}, on a

χ(ν)=∫Gχν \chi (\nu ) =\int_G\chi \nu

ce qui démontre que la cotransformation de Fourier définie ci-dessus coïncide avec la cotransformation de Fourier de G définie dans II, p. 206.

Tout f∈L2(G)f\in \mathscr{L}^2(G) est intégrable et la formule ∥F‾G(f)∥2=∥f∥\|\overline{\mathscr{F}}_G(f)\|_2=\|f\| est la formule de Plancherel (II, p. 215, théorème 1).

Proposition 10 03EU

La cotransformation de Fourier est un morphisme injectif d’algèbres de Banach involutives de M1(G)\mathscr{M}^1(G) dans Fb(G^)F_b(\widehat{G}) qui envoie L1(G)L^1(G) dans F0(G^)F_0(\widehat{G}).

Comme G est compact, l’espace C(G)\mathscr{C}(G) est inclus et dense dans L1(G)\mathscr{L}^1(G) et L2(G)\mathscr{L}^2(G).

Soit ν∈M1(G)\nu \in \mathscr{M}^1(G) telle que F‾G(ν)=0\overline{\mathscr{F}}_G(\nu ) = 0. Pour toute fonction ff continue sur G, on a alors F‾G(ν∗f)=0\overline{\mathscr{F}}_G(\nu *f) = 0. Or ν∗f\nu *f appartient à C(G)\mathscr{C}(G) (INT, VIII, p. 152, § 4, no2^o2, prop. 3). Comme, d’après le théorème 2, la cotransformation de Fourier est injective sur L2L^2(G), et a fortiori, sur l’espace C\mathscr{C} (G), on a ν∗f=0\nu *f= 0 pour f∈C(G)f\in \mathscr{C}(G). En particulier, il vient

∫Gf(x)dν(x)=(ν∗fˇ)(e)=0 \int_Gf(x)d\nu (x) = (\nu *\check{f})(e) = 0

pour toute fonction f∈C(G)f\in \mathscr{C}(G) (INT, VIII, loc. cit.), donc la mesure ν\nu est nulle.

L’image de C(G)\mathscr{C}(G) par la cotransformation de Fourier est contenue dans F2(G^)F^2(\widehat{G}), et a fortiori dans F0(G^)F_0(\widehat{G}). Puisque F0(G^)F_0(\widehat{G}) est fermé dans Fb(G^)F_b(\widehat{G}) et que C(G)\mathscr{C}(G) est dense dans L1L^1(G), l’image de L1(G)L^1(G) par la cotransformation de Fourier est également contenue dans F0(G^)F_0(\widehat{G}).

Proposition 11 03EV

a) Soit u=(uπ)π∈G^u= (u_{\pi})_{\pi\in\widehat{G}} un élément de F(G^)F(\widehat{G}). Si la famille (Fπ(uπ))π∈G^(\mathscr{F}_{\pi}(u_{\pi}))_{\pi\in\widehat{G}} est uniformément sommable dans C(G)\mathscr{C}(G), alors sa somme ff est une fonction continue sur G dont la cotransformée de Fourier est uu;

b) Soit f∈L1(G)f\in L^1(G). Si la famille (Fπ(π(f)))π∈G(\mathscr{F}_{\pi}(\pi (f)))_{\pi\in G} est uniformément sommable dans C(G)\mathscr{C}(G), alors sa somme est une fonc^\widehat{c}tion continue sur G dont la classe dans L1(G)L^1(G) est égale à ff.

Démontrons l’assertion a). Puisque G est compact, la somme ff de la famille (Fπ(uπ))(\mathscr{F}_{\pi}(u_{\pi})) appartient à L2(G)L^2(G) et la série

∑π∈G^Fπ(uπ) \sum_{\pi\in\widehat{G}}\mathscr{F}_{\pi}(u_{\pi})

converge dans L2(G)L^2(G) vers ff (INT, IV, p. 127, § 3, no3^o3, prop. 4). On a donc FG((uπ)π)=f\mathscr{F}_G((u_{\pi})_{\pi}) =f dans L2L^2(G), d’où (uπ)π∈G^=F‾G(f)(u_{\pi})_{\pi\in\widehat{G}}=\overline{\mathscr{F}}_G(f) (théorème 2).

Démontrons l’assertion b). On peut appliquer l’assertion a) à la famille (π(f))π∈G(\pi (f))_{\pi\in G}. La somme gg de la famille (Fπ(π(f)))π∈G(\mathscr{F}_{\pi}(\pi (f)))_{\pi\in G} est une fonction continue, donc appartenant à L2L^2(G), telle que FG(g)=(π(f))π∈G\mathscr{F}_G(g) = (\pi (f))_{\pi\in G}. Puisque FG\mathscr{F}_G est injective sur L2L^2(G), on a f=gf=g dans L2L^2(G), donc dans L1(G)L^1(G).

L’algèbre C(G^)\mathscr{C}(\widehat{G}) des fonctions à valeurs complexes sur G^\widehat{G} s’identifie au centre de l’algèbre F(G^)F(\widehat{G}) par l’application qui à f:G^→Cf:\widehat{G}\rightarrow \mathbf{C} associe l’élément central (f(π)1Eπ)π∈G^(f(\pi )1_{E_{\pi}})_{\pi\in\widehat{G}} de F(G^)F(\widehat{G}). Notons M1(G♯)\mathscr{M}^1(G^{\sharp}) l’espace des mesures bornées centrales sur G. C’est un sous-espace fermé de l’algèbre de Banach M1(G)\mathscr{M}^1(G). Pour toute mesure ν∈M1(G♯)\nu \in \mathscr{M}^1(G^{\sharp}) et toute représentation π∈G^\pi \in \widehat{G}, on a π(ν)∈\pi (\nu )\in EndG(Eπ)_G(E_{\pi}) donc π(ν)\pi (\nu ) est un multiple de l’application identique de EπE_{\pi} d’après le lemme de Schur (prop. 6 de V, p. 386). La restriction de la cotransformation de Fourier à M1(G♯)\mathscr{M}^1(G^{\sharp}) s’identifie donc à un morphisme unifère d’algèbres de Banach involutives de M1(G♯)\mathscr{M}^1(G^{\sharp}) dans C(G^)\mathscr{C}(\widehat{G}). Ce morphisme est injectif ; l’image de L1(G♯)L^1(G^{\sharp}) est contenue dans Cb(G^)\mathscr{C}_b(\widehat{G}) et sa restriction à L2(G♯)L^2(G^{\sharp}) est un isomorphisme isométrique sur L2(G^,μ^)L^2(\widehat{G},\widehat{\mu}).

9. Indicateur de Frobenius–Schur et alternative de Larsen

Rappelons (LIE, VIII, §7, no6^o6, déf. 2) qu’une représentation irréductible de G dans un espace vectoriel complexe E de dimension finie est dite de type orthogonal (resp. de type symplectique) s’il existe une forme bilinéaire symétrique non nulle sur E invariante par G (resp. s’il existe une forme bilinéaire alternée non nulle sur E invariante par G). Elle est dite de type complexe s’il n’existe pas de forme bilinéaire non nulle sur E invariante par G.

Lorsqu’une représentation irréductible dans E est de type orthogonal (resp. symplectique), l’espace des formes bilinéaires symétriques (resp. alternées) G-invariantes sur E est de dimension 1 et toute forme bilinéaire G-invariante non nulle sur E est séparante.

Une représentation de type orthogonal est parfois dite de type réel, et une représentation de type symplectique est parfois dite de type quaternionien (cf. LIE, IX, App. II).

Soit π\pi une représentation irréductible de G dans un espace vectoriel complexe E. Les trois possibilités ci-dessus sont distinguées par la valeur de la quantité

FS(π\pi ) =∫Gχπ(g2)dμ(g)=\int_G\chi_{\pi}(g^2)d\mu(g),

qui est appelée indicateur de Frobenius–Schur de π\pi. On a en effet

1 si π\pi est de type orthogonal,

FS(π\pi ) =−1=-1 si π\pi est de type symplectique,

0 si π\pi est de type complexe.

(LIE, IX, App. 2, p. 103, prop. 3 et p. 105, prop. 4).

Lorsque G est un groupe de Lie, on peut calculer FS(π\pi ) à l’aide de la prop. 1 de LIE, IX, p. 69.

Définition 3 03EW

Soit ϱ\varrho une représentation unitaire de dimension finie de G dans un espace hilbertien E. Soit kk un entier positif. On appelle moment absolu d’ordre 2k2k de ϱ\varrho, et on note M2k(ϱ)M_{2k}(\varrho ), la dimension du sous-espace des éléments G-invariants dans la représentation ϱ‾⊗k⊗ϱ⊗k\overline{\varrho}^{\otimes k}\otimes \varrho^{\otimes k}.

Théorème 3 (Alternative de Larsen) 03EX

Supposons que G est infini. Soit π\pi une représentation unitaire fidèle de G dans un espace hilbertien E de dimension finie ⩾2\geqslant 2.

a) Supposons que le groupe dérivé de G est infini. On a M4(π)⩾2M_4(\pi )\geqslant 2 avec égalité si et seulement si G contient SU(E)\mathbf{S}\mathbf{U}(E);

b) Supposons que dim(E) ⩾3\geqslant 3, que π\pi est de type orthogonal ou symplectique, et que dim(E) ≠4\not = 4 si π\pi est de type orthogonal. Alors M4(π)⩾3M_4(\pi )\geqslant 3 avec égalité si et seulement si l’algèbre de Lie complexifiée de G est égale à l’algèbre de Lie d’une forme bilinéaire séparante G-invariante sur E. C’est le cas si et seulement si la composante neutre G0G_0 de G est un sous-groupe compact maximal du groupe des automorphismes d’une telle forme bilinéaire.

Nous utiliserons dans la démonstration les lemmes suivants.

Lemme 5 03EY

Soit π\pi une représentation unitaire de G dans un espace hilbertien E de dimension finie. Soient (ϱi)i∈I(\varrho_i)_{i\in I} une famille de représentations unitaires non nulles de G et (ni)i∈I(n_i)_{i\in I} une famille d’entiers ⩾1\geqslant 1 tels que la représentation π‾⊗π\overline{\pi}\otimes \pi de G (resp. la représentation π⊗π\pi \otimes \pi ) soit isomorphe à la somme directe ⨁i∈Iϱini\bigoplus_{i\in I}\varrho^{n_i}_i. Alors on a

M4(π)⩾∑i∈Ini2 M_4(\pi )\geqslant \sum_{i\in I}n^2_i

avec égalité si et seulement si les représentations ϱi\varrho_i sont irréductibles et deux à deux non isomorphes.

Notons χi\chi_i le caractère de ϱi\varrho_i pour i∈Ii\in I. On a

∣χπ∣2=χπ‾⊗π=∑i∈Iniχi|\chi_{\pi}|^2=\chi_{\overline{\pi}\otimes\pi}=\sum_{i\in I}n_i\chi_i, (resp. χπ2=χπ⊗π=∑i∈Iniχi\chi^2_{\pi}=\chi_{\pi\otimes\pi}=\sum_{i\in I}n_i\chi_i).

D’après la définition et le cor. 3 de V, p. 466, il vient

M4(π)=∫G∣χπ∣4dμ M_4(\pi ) =\int_G|\chi_{\pi}|^4d\mu

d’où, dans les deux cas, la formule

M4(π)=∑i,jninj∫Gχiχ‾jdμ=∑i,jninjM_4(\pi ) =\sum_{i,j}n_in_j\int_G\chi_i\overline{\chi}_jd\mu=\sum_{i,j}n_in_j dim HomG(ϱi,ϱj)_G(\varrho_i, \varrho_j)

(cor. 4, b) de V, p. 459). Soit i∈Ii\in I. Comme la représentation ϱi\varrho_i n’est pas nulle, l’espace HomG(ϱi,ϱi)_G(\varrho_i, \varrho_i) n’est pas nul, et on en déduit la minoration

M4(π)⩾∑i∈Ini2 M_4(\pi )\geqslant \sum_{i\in I}n^2_i

De plus, puisque ni⩾n_i\geqslant 1, il y a égalité si et seulement si on a dim HomG(ϱi,ϱj)=0_G(\varrho_i, \varrho_j) = 0 si i≠ji\not =j et dim HomG(ϱi,ϱi)=1_G(\varrho_i, \varrho_i) = 1 pour tout ii. La seconde condition est valide si et seulement si les représentations ϱi\varrho_i sont irréductibles (loc. cit.). La première est alors satisfaite si et seulement si les représentations ϱi\varrho_i sont deux à deux non isomorphes, d’après le lemme de Schur (V, p. 387, cor. 2).

Si E est un module sur un anneau commutatif A, on appellera carré symétrique (resp. carré extérieur) de E le A-module S2(E)\mathsf{S}^2(E) (resp. ∧2E\wedge^2E).

Lemme 6 03EZ

Soit qq une forme bilinéaire séparante sur un espace vectoriel complexe E de dimension finie ⩾3\geqslant 3.

a) Si qq est symétrique, alors la représentation adjointe de l’algèbre de Lie orthogonale so(q)\mathfrak{s}\mathfrak{o}(q) est isomorphe au carré extérieur ∧2E\wedge^2E de la représentation naturelle so(q)→gl(E)\mathfrak{s}\mathfrak{o}(q)\rightarrow \mathfrak{g}\mathfrak{l}(E);

b) Si qq est alternée, alors la représentation adjointe de l’algèbre de Lie symplectique sp(q)\mathfrak{s}\mathfrak{p}(q) est isomorphe au carré symétrique S2(E)\mathsf{S}^2(E) de la représentation naturelle sp(q)→gl(E)\mathfrak{s}\mathfrak{p}(q)\rightarrow \mathfrak{g}\mathfrak{l}(E).

Munissons C\mathbf{C} de l’automorphisme involutif identique. La forme bilinéaire qq est alors ε\varepsilon-hermitienne (A, IX, § 3, no1^o1, déf. 1) avec ε=1\varepsilon = 1 dans le cas a) et ε=−1\varepsilon =-1 dans le cas b). Pour tout u∈u\in End(E), on note tu^tu l’adjoint de uu par rapport à qq. On a donc q(x,u(y))=q(tu(x),y)q(x, u(y)) =q(^tu(x), y) pour tout (x,y)∈E×E(x, y)\in E\times E. Notons vv l’unique automorphisme de E⊗EE\otimes E tel que v(x⊗y)=y⊗xv(x\otimes y) =y\otimes x pour tout (x,y)∈E2(x, y)\in E^2.

Il existe une unique application linéaire ww de E⊗EE\otimes E dans End(E) telle que w(a⊗b)w(a\otimes b) est l’application linéaire définie par x↦q(a,x)bx\mapsto q(a, x)b pour tout (a,b,x)∈E3(a, b, x)\in E^3. L’application ww est un isomorphisme. Pour tout s∈E⊗Es\in E\otimes E, on a

t(w(s))=εw(v(s))(3) t(w(s)) =\varepsilon w(v(s)) \tag{3}

En effet, pour tous (x,y)(x, y) et (a,b)(a, b) dans E×EE\times E, il vient

q(x,w(a⊗b)y)=q(a,y)q(x,b)=εq(b,x)q(a,y)=q(εw(b⊗a)x,y) q(x, w(a\otimes b)y) =q(a, y)q(x, b) =\varepsilon q(b, x)q(a, y) =q(\varepsilon w(b\otimes a)x, y)

Notons enfin x↦x∗x\mapsto x^* l’isomorphisme de E sur E′E' déduit de qq, c’est-àdire tel que ⟨x∗,y⟩=q(x,y)\langle x^*, y\rangle =q(x, y) pour tout (x,y)∈E2(x, y)\in E^2.

Ces notations étant établies, notons H le groupe orthogonal (resp. symplectique) de qq. C’est un sous-groupe de Lie de GL(E)\mathbf{G}\mathbf{L}(E) dont l’algèbre de Lie h\mathfrak{h} est le sous-espace de End(E) constitué des u∈u\in End(E) tels que tu=−u^tu=-u (LIE, III, p. 146, cor. 1). Comme la forme qq est H-invariante, il vient

⟨(ga)∗,b⟩=q(ga,b)=⟨a,g−1b⟩ \langle (ga)^*, b\rangle =q(ga, b) =\langle a, g^{-1}b\rangle

pour tout g∈Hg\in H et tout (a,b)∈E×E(a, b)\in E\times E.

Munissons End(E) de la représentation adjointe Ad de H. L’application linéaire ww est un morphisme de représentations de H : en effet, pour tout g∈Hg\in H et tout (a,b,x)∈E3(a, b, x)\in E^3, on a

w(g(a⊗b))(x)=⟨(ga)∗,x⟩gb=⟨a,g−1x⟩gb w(g(a\otimes b))(x) =\langle (ga)^*, x\rangle gb=\langle a, g^{-1}x\rangle gb

=g(⟨a,g−1x⟩b)==g(\langle a, g^{-1}x\rangle b) = Ad(gg)(w(a⊗b))x(w(a\otimes b))x,

d’où la conclusion par linéarité.

Comme vv est également un morphisme de représentations de H, il en est de même de l’application linéaire θ=w−εw∘v\theta =w-\varepsilon w\circ v; celle-ci est donc un morphisme de h\mathfrak{h}-modules.

Notons F ⊂E⊗E\subset E\otimes E le sous-espace des éléments s∈E⊗Es\in E\otimes E tels que v(s)=−εsv(s) =-\varepsilon s. Si ε=−1\varepsilon =-1, la restriction à F de l’application canonique de E⊗EE\otimes E dans le carré symétrique de E est un isomorphisme de C\mathbf{C}-espaces vectoriels (A, III, p. 72) ; si ε=1\varepsilon = 1, la restriction à F de l’application canonique de E⊗EE\otimes E dans le carré extérieur de E est un isomorphisme de C\mathbf{C}-espaces vectoriels (loc. cit., p. 82).

L’image de F par θ\theta est contenue dans h:\mathfrak{h}: en effet, pour tout s∈Fs\in F, la formule (3) implique

tθ(s)=tw(s)−εtw(v(s))=εw(v(s))−w(s)=−θ(s) ^t\theta (s) =^tw(s)-\varepsilon^tw(v(s)) =\varepsilon w(v(s))-w(s) =-\theta (s)

Par définition de F, la restriction de l’application θ\theta à F coïncide avec celle de 2w2w et l’application linéaire θ\theta est donc injective sur F. Puisque dim(F) = dim(h\mathfrak{h}) (A, III, p. 75, th. 1 et p. 87, cor. 1 et LIE, VIII, p. 192 et p. 201), on conclut que θ\theta induit par passage aux sous-espaces un isomorphisme de h\mathfrak{h}-modules de F dans h\mathfrak{h}, d’où le lemme.

Lemme 7 03F0

Soit H2H_2 un groupe de Lie réel et soit H1H_1 un sous-groupe fermé de H2H_2. L’algèbre de Lie complexifiée de H1H_1 s’identifie à une sous-représentation de la représentation adjointe de H1H_1 sur l’algèbre de Lie complexifiée de H2H_2.

En effet, la restriction à H1H_1 de la représentation adjointe de H2H_2 sur son algèbre de Lie s’identifie à la représentation adjointe de H1H_1.

Lemme 8 03F1

Soit E un espace hilbertien complexe de dimension finie nn.

a) Les groupes SU(E)\mathbf{S}\mathbf{U}(E) et U(E)\mathbf{U}(E) sont connexes ;

b) Le groupe dérivé de SU(E)\mathbf{S}\mathbf{U}(E) est égal à SU(E)\mathbf{S}\mathbf{U}(E);

c) Le groupe dérivé de U(E)\mathbf{U}(E) est égal à SU(E)\mathbf{S}\mathbf{U}(E).

On peut supposer que n⩾1n\geqslant 1 et que E=CnE =\mathbf{C}^n.

Soit A le sous-groupe de U(E)\mathbf{U}(E) formé des matrices diagonales ; il est homéomorphe à Un\mathbf{U}^n, et donc connexe (TG, VI, p. 11, cor. 2 et I, p. 83, prop. 8). Son intersection avec SU(E)\mathbf{S}\mathbf{U}(E) est homéomorphe à Un−1\mathbf{U}^{n-1}, donc est également connexe.

D’après le th. 1 de IV, p. 149, le groupe U(E)\mathbf{U}(E) (resp. SU(E)\mathbf{S}\mathbf{U}(E)) est la réunion des sous-ensembles connexes gAg−1gAg^{-1} pour g∈Gg\in G (resp. des sous-ensembles connexes g(A∩SU(E))g−1g(A\cap \mathbf{S}\mathbf{U}(E))g^{-1}); comme l’élément neutre appartient à chacun de ces ensembles, l’espace U(E)\mathbf{U}(E) (resp. SU(E)\mathbf{S}\mathbf{U}(E)) est connexe (TG, I, p. 81, prop. 2).

Démontrons b). L’assertion est vraie lorsque n=1n= 1, puisque SU(E)\mathbf{S}\mathbf{U}(E) est alors réduit à l’élément neutre. Supposons donc que n⩾2n\geqslant 2. L’algèbre de Lie de SU(E)\mathbf{S}\mathbf{U}(E) est alors simple (LIE, IX, p. 20, § 3, no4^o4) donc le groupe dérivé de SU(E)\mathbf{S}\mathbf{U}(E) est d’indice fini dans SU(E)\mathbf{S}\mathbf{U}(E). On en déduit le résultat puisque SU(E)\mathbf{S}\mathbf{U}(E) est connexe d’après a).

L’assertion c) résulte de b) puisque le groupe dérivé de U(E)\mathbf{U}(E) est contenu dans SU(E)\mathbf{S}\mathbf{U}(E).

Démontrons maintenant le théorème 3. Notons nn la dimension de l’espace hilbertien E. Comme la représentation π\pi est fidèle, on peut supposer que G est un sous-groupe compact de U(E)\mathbf{U}(E). Le groupe G est fermé dans le groupe de Lie réel U\mathbf{U}(E), donc est un groupe de Lie réel compact (LIE, III, §8, no2^o2, th. 2). Par hypothèse, G est infini, donc de dimension ⩾1\geqslant 1. Soit g\mathfrak{g} son algèbre de Lie ; elle est non nulle.

Démontrons a). Supposons que le groupe dérivé D(G) est infini. On a la décomposition G-invariante End(E) =C1E⊕sl(E)=\mathbf{C}1_E\oplus \mathfrak{s}\mathfrak{l}(E). Les représentations de G sur C1E\mathbf{C}1_E et sur sl(E)\mathfrak{s}\mathfrak{l}(E) ne sont pas isomorphes, puisque dim sl(E)⩾2\mathfrak{s}\mathfrak{l}(E)\geqslant 2. D’après le lemme 5, on a donc M4(π)⩾2M_4(\pi )\geqslant 2 avec égalité si et seulement si la représentation de G dans sl(E)\mathfrak{s}\mathfrak{l}(E) est irréductible. Or, le groupe dérivé de G est contenu dans SL\mathbf{S}\mathbf{L}(E), et la complexification de l’algèbre de Lie de D(G) s’identifie donc à un sous-espace de sl\mathfrak{s}\mathfrak{l}(E), qui est une sous-représentation de la représentation de G dans sl(E)\mathfrak{s}\mathfrak{l}(E) (lemme 7). Cette sous-représentation n’est pas nulle, puisque D(G) est infini. On a donc M4(π)=2M_4(\pi ) = 2 si et seulement si (Dg)(C)=sl(E)(\mathscr{D}\mathfrak{g})_{(\mathbf{C})}=\mathfrak{s}\mathfrak{l}(E). Puisque D(G) est contenu dans SU\mathbf{S}\mathbf{U}(E), et puisque SU(E)=D(SU(E))\mathbf{S}\mathbf{U}(E) = D(\mathbf{S}\mathbf{U}(E)) (lemme 8), cette condition équivaut à SU(E)⊂G\mathbf{S}\mathbf{U}(E)\subset G.

Pour la démonstration de l’assertion b), on reprend les notations de LIE, VIII, §13, no^o 2–4.

Supposons que π\pi est de type symplectique et que dim(E) ⩾3\geqslant 3. Soit qq une forme bilinéaire alternée non nulle G-invariante sur E ; elle est séparante (LIE, IX, p. 103, App. 2, prop. 3) et G est un sous-groupe compact du groupe symplectique Sp(q)\mathbf{S}\mathbf{p}(q). Notons q∗∈∧2Eq^*\in \wedge^2E l’élément auquel la forme alternée qq s’identifie. L’algèbre de Lie complexifiée g(C)\mathfrak{g}_{(\mathbf{C})} de G est contenue dans sp(q)\mathfrak{s}\mathfrak{p}(q). Or, puisque dim(E) ⩾3\geqslant 3, la représentation de sp(q)\mathfrak{s}\mathfrak{p}(q) dans E⊗EE\otimes E admet la décomposition en somme directe

E⊗E=S2(E)⊕∧2E=S2(E)⊕E2⊕Cq∗ E\otimes E =\mathsf{S}^2(E)\oplus \wedge^2E =\mathsf{S}^2(E)\oplus E_2\oplus \mathbf{C}q^*

où E2E_2 est la seconde représentation fondamentale de sp(q)\mathfrak{s}\mathfrak{p}(q) (LIE, VIII, p. 202, §13, no3^o3, (IV)). Les représentations E2E_2 et Cq∗\mathbf{C}q^* de sp(q)\mathfrak{s}\mathfrak{p}(q) sont irréductibles (loc. cit.) et la représentation S2(E)\mathsf{S}^2(E) est non nulle.

D’après le lemme 5, on a donc M4(π)⩾3M_4(\pi )\geqslant 3 avec égalité si et seulement si les représentations de G dans S2\mathsf{S}^2(E), E2E_2 et Cq∗\mathbf{C}q^* sont irréductibles et deux à deux non isomorphes.

Supposons que M4(π)=3M_4(\pi ) = 3. Comme la représentation S2(E)\mathsf{S}^2(E) s’identifie à la représentation adjointe de sp(q)\mathfrak{s}\mathfrak{p}(q) (lemme 6), elle contient comme sous-représentation la complexification de la représentation adjointe de G (lemme 7). On a donc g(C)=sp(q)\mathfrak{g}_{(\mathbf{C})}=\mathfrak{s}\mathfrak{p}(q).

Réciproquement, supposons que g(C)=sp(q)\mathfrak{g}_{(\mathbf{C})}=\mathfrak{s}\mathfrak{p}(q). La représentation adjointe de sp(q)\mathfrak{s}\mathfrak{p}(q) et la représentation E2E_2 de sp(q)\mathfrak{s}\mathfrak{p}(q) sont irréductibles, de dimensions n(n+1)/2n(n+ 1)/2 et n(n−1)/2−1n(n-1)/2-1 respectivement (LIE, VIII, p. 202, §13, no3^o3, (IV)), qui sont différentes et ⩾2\geqslant 2 puisque n⩾3n\geqslant 3, d’où M4(π)=3M_4(\pi ) = 3.

Finalement, supposons que π\pi est de type réel et que dim(E) ⩾3\geqslant 3 et dim(E) ≠4\not = 4. Soit qq une forme bilinéaire symétrique non nulle, G-invariante sur E ; elle est séparante (LIE, IX, p. 103, App. 2, prop. 3) et G est un sous-groupe compact du groupe orthogonal O(q)\mathbf{O}(q). Notons q∗∈S2(E)q^*\in \mathsf{S}^2(E) l’élément auquel qq s’identifie.

L’algèbre de Lie complexifiée g(C)\mathfrak{g}_{(\mathbf{C})} de G est contenue dans so(q)\mathfrak{s}\mathfrak{o}(q). La représentation de so(q)\mathfrak{s}\mathfrak{o}(q) dans E⊗EE\otimes E admet la décomposition en somme directe

E⊗E=∧2E⊕S2(E)=∧2E⊕S02(E)⊕Cq∗ E\otimes E =\wedge^2E\oplus \mathsf{S}^2(E) =\wedge^2E\oplus \mathsf{S}^2_0(E)\oplus \mathbf{C}q^*

où S02(E)\mathsf{S}^2_0(E) est l’orthogonal de q∗q^* dans S2(E)\mathsf{S}^2(E). Ces représentations sont de dimension au moins 2 puisque dim(E) ⩾3\geqslant 3. D’après le lemme 5, on a M4(π)⩾3M_4(\pi )\geqslant 3 avec égalité si et seulement si les représentations de G dans ∧2E\wedge^2E et S02(E)\mathsf{S}^2_0(E) sont irréductibles et non isomorphes.

Supposons que M4(π)=3M_4(\pi ) = 3. Comme la représentation ∧2E\wedge^2E s’identifie à la représentation adjointe de so(q)\mathfrak{s}\mathfrak{o}(q) (lemme 6), elle contient comme sous-représentation la complexification de la représentation adjointe de G (lemme 7). La condition M4(π)=3M_4(\pi ) = 3 implique donc que g(C)=so(q)\mathfrak{g}_{(\mathbf{C})}=\mathfrak{s}\mathfrak{o}(q).

Réciproquement, supposons que g(C)=so(q)\mathfrak{g}_{(\mathbf{C})}=\mathfrak{s}\mathfrak{o}(q). La représentation adjointe de so(q)\mathfrak{s}\mathfrak{o}(q) est irréductible, puisque dim(E) ≠4\not = 4 (LIE, VIII, § 13, p. 193, (I) et p. 206, (I)), et de dimension n(n−1)/2n(n-1)/2. La représentation S02(E)\mathsf{S}^2_0(E) de so(q)\mathfrak{s}\mathfrak{o}(q) a comme plus grand poids 2ϖ12\varpi_1. En comparant sa dimension avec celle de la représentation irréductible de so(q)\mathfrak{s}\mathfrak{o}(q) de plus grand poids 2ϖ12\varpi_1, calculée par la formule de Weyl (cf. LIE, VIII, §9, no2^o2, th. 2 et LIE, VI, planches II et IV), on vérifie que S02(E)\mathsf{S}^2_0(E) est irréductible. On conclut donc que M4(π)=3M_4(\pi ) = 3 si g(C)=so(q)\mathfrak{g}_{(\mathbf{C})}=\mathfrak{s}\mathfrak{o}(q).

Remarque 1 03F2

La condition « G est infini » est nécessaire dans le théorème 3 (exercice 9 de V, p. 507).

Remarque 2 03F3

Soit n∈Nn\in \mathbf{N}. Pour toute représentation unitaire ϱ\varrho d’un groupe compact dans un espace hilbertien de dimension nn, on a M4(ϱ)⩽n2M_4(\varrho )\leqslant n^2; l’égalité est possible (exercice 15 de V, p. 508).

Remarque 3 03F4

On peut démontrer (cf. R. Guralnick et P.H. Tiep, Decomposition of small tensor powers and Larsen’s conjecture, Representation Theory 9 (2005), 138–208) que la condition que G est infini peut être omise si l’on suppose que E est de dimension ⩾7\geqslant 7 et si l’on remplace l’hypothèse M4(π)=2M_4(\pi ) = 2 (resp. M4(π)=3M_4(\pi ) = 3) par M8(π)=24M_8(\pi ) = 24 (resp. M8(π)=105M_8(\pi ) = 105).

Exercices

See the exercises for § 4.

Transcribed from the printed volume. Not translated.