§ 4. Représentations des groupes compacts
Dans ce paragraphe, tous les espaces vectoriels topologiques considérés sont complexes, sauf mention explicite du contraire.
On fixe un groupe topologique compact G, dont on note l’élément neutre. Le groupe G est unimodulaire (INT, VII, p. 20, § 1, n, cor. de la prop. 3). On note la mesure de Haar normalisée sur G (c’est-à-dire telle que ) et pour , on note (resp. ) l’espace (resp. l’espace ). Les convolutions seront toujours considérées relativement à la mesure . Soit . On identifie à un sous-espace de (G), ce qui est loisible puisque le support de est égal à G.
Pour toute représentation irréductible unitaire , on note l’espace de .
1. Semi-simplicité des représentations de dimension finie
On rappelle (INT, VII, p. 71, § 3, n, lemme 1) que pour toute représentation continue de G dans un espace hilbertien E, il existe une forme hermitienne positive non dégénérée sur E telle que la structure d’espace vectoriel topologique de E définie par est identique à la structure initiale de E, et telle que est une représentation unitaire de G dans l’espace hilbertien E muni du produit scalaire .
Proposition 1 03DN
Soit une représentation linéaire de dimension finie de G dans un espace vectoriel topologique séparé E. Il existe un produit scalaire sur E tel que soit une représentation unitaire dans l’espace hilbertien E muni de . En particulier, est semi-simple.
Puisque E est de dimension finie, il existe une structure d’espace hilbertien sur E. Le résultat en découle en appliquant la remarque précédente et le corollaire 2 de V, p. 392.
Remarque 03DO
On verra plus loin (cor. 4 de V, p. 466) que toute représentation unitaire de G est semi-simple.
Corollaire 03DP
Soient et des représentations de dimension finie de G. Les représentations et sont isomorphes si et seulement si leurs caractères sont égaux.
Cela résulte de la proposition et du corollaire 3 de V, p. 392.
2. Représentations irréductibles
Lemme 1 03DQ
Toute représentation unitaire irréductible de G est de carré intégrable.
En effet, les coefficients matriciels d’une représentation unitaire irréductible sont continus et bornés, et sont donc de carré intégrable sur G, puisque G est compact.
Proposition 2 03DR
Soit une représentation unitaire irréductible de G dans un espace hilbertien E. La dimension de E est finie et égale au degré formel de .
La représentation étant de carré intégrable (lemme 1), son degré formel relativement à est défini (déf. 4 de V, p. 423) ; c’est un nombre réel strictement positif. Soit une famille finie orthonormale dans E. Soit un élément de E de norme 1 (il en existe puisque E est non nul). Pour , on a
(prop. 8 de V, p. 424). Sommons cette formule sur . On obtient
Card(I)
d’après l’inégalité de Bessel (EVT, V, p. 21, prop. 4). Donc le cardinal de I est majoré par . Cela entraîne que la dimension de E est finie.
On peut alors appliquer ce qui précède à une base orthonormale de E. On obtient, d’après EVT, V, p. 22, prop. 5,
dim(E)
ce qui conclut la preuve.
En particulier, il est donc loisible de parler du caractère d’une représentation unitaire irréductible de G. C’est une fonction continue sur G.
Corollaire 1 03DS
Soit une représentation unitaire irréductible de G dans un espace hilbertien E. Le caractère de est un élément hermitien de l’algèbre involutive .
Soit . Puisque G est unimodulaire, on a Tr(), d’où Tr() puisque est une représentation unitaire.
Corollaire 2 03DT
a) Soit une représentation unitaire irréductible de G dans un espace hilbertien E. On a
1
dim(E)
pour tout ;
b) Soit resp. une représentation unitaire irréductible de G dans un espace hilbertien resp. . Si et ne sont pas isomorphes, on a
pour tout .
Cela découle aussitôt de la prop. 8 de V, p. 424 et de la prop. 9 de V, p. 424, compte tenu du lemme 1 et de la formule dim(E) (prop. 2).
Corollaire 3 03DU
Soient et des représentations irréductibles de G. Dans l’espace hilbertien , on a si et sont isomorphes et sinon. Autrement dit, la famille des caractères des classes est une famille orthonormale dans .
Cela résulte de la proposition 1 de V, p. 457 et du corollaire 2 en notant que pour toute base orthonormale de l’espace d’une représentation unitaire de dimension finie de G, et pour tout , on a la formule
Corollaire 4 03DV
a) Soit une représentation continue de dimension finie de G. On a
dim(Hom) dim(Hom).
b) Soient et des représentations continues de dimension finie de G. On a
dim(Hom) dim(Hom).
c) Une représentation continue de dimension finie de G est irréductible si et seulement si .
Puisque est semi-simple, elle est isomorphe à la somme directe de ses composantes -isotypiques pour . Notant la multiplicité de dans (déf. 10 de V, p. 398), on a alors
L’assertion a) résulte donc du fait que
dim Hom dim Hom
(formule (1) de V, p. 377 et cor. 2 de V, p. 387).
Par bilinéarité et orthonormalité des caractères, l’assertion a) implique que
dim(Hom) dim(Hom), et d’autre part on a des isomorphismes canoniques
Hom Hom
Hom
(formule (1) de V, p. 377) d’où il résulte que
dim(Hom) ,
d’où l’assertion b). L’assertion c) résulte également de a) et du lemme de Schur (prop. 6 de V, p. 386).
Corollaire 5 03DW
Soient et des représentations unitaires irréductibles de G. On a si n’est pas isomorphe à , et est la multiplication par dim().
Le caractère de est une fonction centrale continue sur G donc l’application linéaire = est définie et appartient à l’espace Hom. C’est une homothétie d’après le lemme de Schur (prop. 6 de V, p. 386) dont la trace est
Tr() Tr
D’après les relations d’orthogonalité, la trace de est donc nulle si n’est pas isomorphe à , et égale à 1 sinon. L’assertion en résulte.
Remarque 03DX
Lorsque G est fini, la relation d’orthogonalité de Schur (resp. la formule d’orthogonalité des caractères) coïncide avec celle de A, VIII, p. 399 (resp. celle de A, VIII, p. 400, prop. 4). Par contre, la « seconde relation d’orthogonalité » des caractères des groupes finis (A, VIII, p. 402, formule (32)) n’a pas d’analogue exact lorsque G est compact.
Pour G fini, le cas particulier de la seconde formule d’orthogonalité correspondant à la classe de conjugaison de est la formule
Card G1 dim( ) 10 sisinon qui s’interprète aussi comme le calcul du caractère de la représentation régulière de G, et qui est équivalente à la formule Tr() pour toute fonction de G dans .
Soit G de nouveau un groupe compact quelconque. Pour toute fonction (G), l’endomorphisme de coïncide avec l’endomorphisme , et il est de trace finie (lemme 4 de V, p. 407 et corollaire 2 de III, p. 33). D’après loc. cit. et le th. 2 de IV, p. 177, on a également
Tr() .
Proposition 3 03DY
Supposons que où et sont des groupes compacts. L’application de dans qui à associe la classe de est une bijection.
D’après le cor. 6 de V, p. 389, l’application est bien définie.
Soient et des éléments de . Soit . La composante -isotypique de la restriction de à est égale à si et est nulle dans le cas contraire (lemme 8 de V, p. 384). Ainsi, la représentation unitaire détermine à isomorphisme près ; de même, elle détermine , ce qui démontre que est injective.
Démontrons que est surjective. Soit une représentation unitaire irréductible de dans un espace hilbertien E. Elle est de dimension finie (prop. 2). Soit une représentation unitaire irréductible de dans un espace hilbertien telle que la restriction de à contient une sous-représentation isomorphe à (lemme 3 de V, p. 379). Notons F = Hom. C’est un espace vectoriel non nul de dimension finie. Pour et , soit l’application linéaire de dans E définie par . Puisque et commutent dans G, l’application appartient à l’espace F. L’application est une représentation linéaire de dans l’espace F ; elle est continue. Comme F n’est pas réduit à 0, il existe une sous-représentation irréductible de (lemme 3 de V, p. 379). Soit l’espace de . L’application linéaire telle que pour et est alors un G-morphisme non nul de dans ; comme les représentations et sont irréductibles et de dimension finie, le morphisme est un isomorphisme (lemme 2 de V, p. 378).
Cette proposition est à comparer avec le th. 1 de A, VIII, p. 208.
3. Le théorème de Peter–Weyl
On rappelle qu’on note Θ(G) l’espace des coefficients matriciels des représentations unitaires de dimension finie de G. L’espace Θ(G) est une sous-algèbre unifère de stable par la conjugaison complexe (prop. 5 de V, p. 386).
Pour , on note le sous-espace de engendré par les coefficients matriciels de . On l’identifie à un sous-espace de .
L’espace Θ(G) coïncide avec la somme des espaces pour (en effet, tout élément de Θ(G) est somme de coefficients matriciels de représentations irréductibles de G puisque les représentations de dimension finie de G sont semi-simples d’après la prop. 1 de V, p. 457). De plus, cette somme est directe puisque, d’après le cor. 2 de V, p. 458, les espaces sont deux à deux orthogonaux.
Proposition 4 03DZ
L’espace Θ(G) est dense dans et dans .
La sous-algèbre unifère Θ(G) de est stable par conjugaison. Elle coïncide avec la sous-algèbre Υ(G) par la prop. 2 de V, p. 457, donc elle sépare les points de G (cor. du th. 4 de V, p. 454). Par conséquent, elle est dense dans d’après TG, X, p. 40, cor. 2, et a fortiori, elle est dense dans l’espace cf. INT, IV, p. 155, §4, n, prop. 13).
Rappelons que la représentation unitaire birégulière de G est la représentation de dans telle que .
Proposition 5 03E0
Soit . L’espace est une sous-représentation de qui est isomorphe à . En particulier, c’est une représentation irréductible de .
D’après la prop. 7 de V, p. 422 (appliquée avec ), l’espace est une sous-représentation de et l’application linéaire de dans qui associe à le coefficient matriciel est un G)-isomorphisme de dans . La sous-représentation est donc irréductible (prop. 3 de V, p. 461).
Théorème 1 (Peter–Weyl) 03E1
Soit G un groupe topologique compact. La représentation birégulière de G est la somme hilbertienne des sous-représentations pour .
Les espaces sont deux à deux orthogonaux ; ce sont des sous-représentations irréductibles de la représentation birégulière de G (prop. 5) qui sont deux à deux non isomorphes (prop. 3 de V, p. 461). Le théorème résulte alors du fait que la somme Θ(G) des espaces pour parcourant est dense dans (prop. 4).
Corollaire 1 03E2
Pour tout , la sous-représentation est la composante -isotypique de .
Soit F la composante )-isotypique de . L’espace F contient (prop. 5). De plus, pour tout différent de , l’intersection de F et est nulle (prop. 3 de V, p. 461). On en déduit que en appliquant le théorème.
Corollaire 2 03E3
Soient et des représentations irréductibles non isomorphes de G. La composante -isotypique de est nulle.
Corollaire 3 03E4
La représentation régulière droite (resp. gauche) de G est isomorphe à la somme hilbertienne
dim( ).
D’après le théorème et la proposition 5, la restriction de la représentation birégulière de G au sous-groupe est isomorphe à la somme hilbertienne des restrictions à H des représentations pour . Celles-ci sont isomorphes à la somme directe de dim( ) copies de (lemme 8 de V, p. 384). Cela implique le résultat pour la représentation régulière droite, et le cas de la représentation régulière gauche est similaire.
Corollaire 4 03E5
Soit . La composante -isotypique de (resp. la composante -isotypique de ) est égale à .
L’argument est similaire à celui du corollaire précédent, en considérant comme sous-représentation de (resp. de ).
Remarque 1 03E6
Si G est fini, ces énoncés correspondent aux résultats de A, VIII, p. 398, remarque.
Remarque 2 03E7
Supposons que G est commutatif. L’ensemble s’identifie au groupe dual de G (V, p. 393, remarque). Pour tout , l’espace de est le sous-espace de dimension 1 de engendré par . Le théorème 1 pour G est donc alors équivalent au cor. du th. 1 de II, p. 215.
Remarque 3 03E8
S’il existe un entier tel que G est un sous-groupe compact de , la représentation identique de G dans suffit à séparer les points de G, et on peut donc alors démontrer directement la proposition 4, puis le théorème de Peter–Weyl, sans faire appel au théorème de Gelfand–Raikov.
Remarque 4 03E9
Le théorème de Peter–Weyl implique en particulier que l’homomorphisme continu naturel de G dans est injectif.
4. Coefficients matriciels et fonctions G-finies
Proposition 6 03EA
Les sous-espaces suivants de sont égaux :
a) L’espace Θ(G) ;
b) La somme directe algébrique des sous-espaces de ;
c) L’espace des vecteurs G-finis (cf. V, p. 376) de ;
d) L’espace des vecteurs G-finis de ;
e) L’espace des vecteurs -finis de .
En particulier, tout vecteur G-fini de ou appartient à .
Notons (resp. ) l’espace défini par la condition a) (resp. b), c), d), e)). On a déjà remarqué que .
On a car est une sous-représentation de dimension finie de pour tout . Réciproquement, soit un vecteur G-fini de . Le sous-espace engendré par les fonctions pour est une sous-représentation de dimension finie de . Elle est égale à la somme directe de ses composantes -isotypiques pour (prop. 1 de V, p. 457). D’après le cor. 4 de V, p. 463, cela implique que est contenu dans la somme des espaces , donc .
Par un raisonnement analogue, on obtient , et comme est une sous-représentation de , on établit de même que .
Corollaire 03EB
Soit un sous-espace vectoriel de dimension finie définissant une sous-représentation de resp. de , de . Alors E est contenu dans .
En effet, tout élément de E est un vecteur G-fini de la représentation .
5. Représentations dans un espace séparé quasi-complet
Proposition 7 03EC
Soit une représentation continue de G dans un espace localement convexe séparé et quasi-complet E. La somme des sous-représentations de dimension finie de E est dense dans E.
Soit et soit U un voisinage ouvert de . L’ensemble des mesures telles que est ouvert dans pour la topologie de la convergence compacte (cf. n de V, p. 400). Il contient , donc il contient une mesure de la forme où (INT, VIII, p. 171, § 4, n, prop. 19) et, par conséquent, il contient une mesure de la forme où est une fonction G-finie (prop. 6 de V, p. 464 et prop. 4 de V, p. 462).
La sous-représentation F de engendrée par est de dimension finie. Soit l’image de l’application linéaire de F dans E. L’espace est de dimension finie, et il contient l’élément de U. Puisque pour tout et tout (formule (1) de V, p. 406), l’espace est une sous-représentation de qui rencontre U. La proposition est démontrée.
Corollaire 1 03ED
Soit une représentation continue irréductible de G dans un espace localement convexe séparé quasi-complet E. L’espace E est de dimension finie.
Corollaire 2 03EE
Soit une représentation continue de G dans un espace localement convexe séparé quasi-complet E et soit une représentation continue irréductible de G.
a) Le G-morphisme dim( ) de E dans E est un projecteur continu de E dont l’image est la composante -isotypique de ;
b) Si est une représentation unitaire, alors le projecteur est l’orthoprojecteur de E d’image .
Démontrons a). L’application linéaire dim( ) est bien définie, puisque E est quasi-complet et que G est compact (V, p. 401). C’est un élément de Hom puisque le caractère de est une fonction centrale continue sur G.
Soient une sous-représentation de dimension finie de E et F son espace. L’application induit, par passage aux sous-espaces, l’endomorphisme (dim ) de F. Cet endomorphisme est donc nul si n’est pas isomorphe à , et est l’application identique de F sinon (en effet, c’est le cas si est irréductible d’après le cor. 5 de V, p. 460, et le cas général s’en déduit puisque est semi-simple d’après la prop. 1 de V, p. 457).
Finalement, puisque la somme des sous-représentations de dimension finie de E est dense dans E (prop. 7) et que est continu, on conclut que est un projecteur dont l’image est la composante -isotypique de . Si E est hilbertien, le projecteur est hermitien d’après le cor. 1 de V, p. 458 donc c’est un orthoprojecteur (lemme 3, (ii) de I, p. 133).
Corollaire 3 03EF
Soit une représentation continue de G dans un espace localement convexe séparé quasi-complet E. L’endomorphisme
de E est un projecteur de E dont l’image est l’espace des vecteurs invariants dans E. En particulier, si E est de dimension finie, alors
dim(E) .
La première assertion est le cas particulier du corollaire précédent lorsque est la représentation triviale de dimension 1 de G. La seconde en résulte puisque la dimension de est la trace de l’orthoprojecteur sur , c’est-à-dire
dim(E) Tr.
En particulier, lorsque E est de dimension finie, il existe un vecteur dans E tel que pour tout si et seulement si
Corollaire 4 03EG
Soit une représentation unitaire de G dans un espace hilbertien E. L’espace E est la somme hilbertienne des composantes -isotypiques pour . En particulier, la représentation est semi-simple.
Les composantes isotypiques de correspondant à des représentations irréductibles non isomorphes de G sont orthogonales (prop. 8 de V, p. 394). Puisque toute représentation unitaire de dimension finie de G est semi-simple (prop. 1 de V, p. 457), la somme des composantes isotypiques pour est dense dans E (prop. 7). Le corollaire en résulte.
6. Caractères et classes de conjugaison
Soit une représentation unitaire de G dans un espace hilbertien E de dimension finie. Le caractère de vérifie dim(E). Soit une base orthonormale de E ; le caractère est la somme des coefficients matriciels diagonaux de . En particulier, le caractère de est une fonction G-finie, et si est irréductible, alors .
On a les formules suivantes
(cf. A, VIII, p. 388–389).
Proposition 8 03EH
On a
(1) pour tous appartenant à ,
(2) dim( ) pour tout appartenant à .
Soient et des représentations irréductibles de G. On a
dim( ) dim( )
(lemme 4 de V, p. 407). La fonction dim( ) est la projection orthogonale de sur la composante -isotypique de (cor. 2 de V, p. 465), c’est-à-dire sur (cor. 4 de V, p. 463). Comme appartient à , le résultat découle du théorème 1 de V, p. 462.
Lemme 2 03EI
Le graphe de la relation d’équivalence « et et est conjugué à » dans G est fermé.
En effet, ce graphe est l’image de l’application continue de l’espace compact dans lui-même définie par .
On note l’espace des classes de conjugaison de G muni de la topologie quotient ; c’est un espace compact d’après le lemme 2 et TG, I, p. 78, prop. 8. Soit la projection canonique. L’application de dans définie par identifie l’algèbre stellaire à la sous-algèbre stellaire de formée des fonctions centrales continues.
Les mesures sur s’identifient aux mesures centrales sur G (V, p. 402, déf. 1).
La forme linéaire sur définie par est alors une mesure positive de masse 1 sur , qui est notée . Pour tout , on note (resp. ) l’espace (resp. ). On identifie à l’adhérence de dans ; en particulier, c’est un sous-espace fermé de .
On note aussi l’espace des coefficients matriciels centraux de G. C’est une sous-algèbre involutive unifère de .
Lorsque G est un groupe de Lie, l’espace est également noté ZΘ(G) dans LIE, IX, p. 71.
Lemme 3 03EJ
Soit une représentation unitaire irréductible de G. L’espace vectoriel est de dimension un et engendré par le caractère de .
Considérons la représentation unitaire de G dans l’espace définie par . Puisque la représentation unitaire de est isomorphe à (prop. 5 de V, p. 462), son caractère est donné par
pour tout . L’espace est le sous-espace des éléments invariants de cette représentation, et sa dimension est égale à
(cor. 3 de V, p. 466 et cor. 3 de V, p. 459). Puisque le caractère de est un élément non nul de , c’est une base de cet espace.
Proposition 9 03EK
La famille des caractères des représentations unitaires irréductibles de G est une base orthonormale de .
D’après le théorème de Peter–Weyl (th. 1 de V, p. 462), le sous-espace fermé de formé des éléments invariants de la représentation unitaire de G est la somme hilbertienne des sous-espaces pour . La proposition résulte donc du lemme précédent et du cor. 3 de V, p. 459.
Corollaire 1 03EL
L’espace vectoriel est dense dans et dans .
La seconde assertion résulte de la prop. 9. Pour ce qui est de la première assertion, considérons la représentation linéaire de G sur l’espace de Banach définie par
pour tout et tout . C’est une représentation continue et isométrique et est l’espace des éléments invariants de cette représentation. Le projecteur continu de a donc pour image (cor. 3 de V, p. 466) ; il est de norme .
Soit et soit . Il existe telle que (prop. 4 de V, p. 462), et on a alors ; comme , on conclut que est dense dans .
On note R(G) l’anneau de Grothendieck des représentations continues de G dans des espaces vectoriels complexes séparés de dimension finie (cf. LIE, IX, p. 70 et A, VIII, p. 182, appliqué à la classe additive des représentations continues de G dans des espaces vectoriels complexes séparés de dimension finie, vues comme [G]-modules). Puisque toute représentation linéaire continue de G dans un espace vectoriel topologique séparé de dimension finie est semi-simple (prop. 1 de V, p. 457), le groupe abélien R(G) est libre et les classes de représentations unitaires irréductibles en forment une base (A, VIII, p. 186, prop. 7).
Corollaire 2 03EM
a) La famille des caractères des représentations irréductibles de G est une base de ;
b) L’application telle que pour tout est un isomorphisme d’algèbres sur .
La première assertion résulte de la proposition 9 et du corollaire 1.
Puisque les classes des représentations forment une base du -module libre R(G), l’application est bien définie. C’est un morphisme de -algèbres, et c’est un isomorphisme d’après a).
Corollaire 3 03EN
Soit H un groupe topologique localement compact tel que G est un sous-groupe compact de H. Soit une représentation unitaire de H dans un espace hilbertien E. Si la composante -isotypique de la restriction de à G est de dimension finie pour tout , alors la représentation de H est semi-simple et toute représentation unitaire irréductible de H est de multiplicité finie dans .
Notons la restriction de au sous-groupe compact G de H. Soit une représentation irréductible de G. L’endomorphisme est de rang fini, puisque son image est la composante -isotypique de (cor. 2 de V, p. 465) et que celle-ci est de dimension finie par hypothèse. Par conséquent, l’endomorphisme est de rang fini pour tout et est compact pour tout (cor. 1 de V, p. 468 et cor. de la prop. 2 de III, p. 4).
Notons l’injection canonique de G dans H. C’est une application continue qui est -propre pour toute mesure sur G (INT, V, p. 69, § 6, n, remarque 1). Soit le filtre des voisinages compacts de l’élément dans G. Pour tout , il existe une fonction centrale continue positive sur G à support contenu dans V dont l’intégrale sur G vaut 1. Notons la mesure image ; c’est une mesure positive à support compact sur H telle que (INT, V, p. 71, § 6, n, th. 1). D’après ce qui précède, la base de filtre sur image de par l’application vérifie les conditions de la proposition 2 de V, p. 402 et l’assertion en résulte.
Corollaire 4 (Critère d’équirépartition de Weyl)
Soit M un ensemble de mesures positives centrales sur G tel que pour tout . Soit un filtre sur M. Pour que le filtre converge vaguement vers la mesure sur , il faut et il suffit que, pour toute représentation unitaire irréductible non triviale , on ait
lim.
Puisque pour , l’hypothèse signifie que
lim
pour toute représentation , donc elle équivaut à la condition
lim
pour toute fonction par linéarité. Comme l’espace est dense dans (corollaire 1), l’hypothèse est donc équivalente à la convergence du filtre vers dans muni de la topologie de la convergence simple dans (G), qui coïncide avec la topologie de la convergence vague puisque G est compact (cf. INT, III, p. 59, § 1, n).
7. La cotransformation de Fourier
On munit l’ensemble de la topologie discrète. On note l’algèbre produit des End(E) pour appartenant à et l’algèbre stellaire produit des End(E) (exemple 5 de I, p. 103) ; c’est l’ensemble des familles telles que sup.
On note la sous-algèbre stellaire fermée de formée des familles telles que tend vers 0 à l’infini.
Soit . Pour tout , on a , donc la famille appartient à .
Définition 1 03EO
Pour toute mesure , l’élément de est noté . L’application de dans ainsi définie est appelée la cotransformation de Fourier de G, et est appelée la cotransformée de Fourier de la mesure .
Pour (G), on notera .
Pour toute représentation , l’application est un morphisme unifère d’algèbres de Banach involutives de dans End(E) (lemme 1 de V, p. 401). La cotransformation de Fourier est donc un morphisme unifère d’algèbres de Banach involutives de dans .
8. La transformation de Fourier
On garde les notations du numéro précédent.
Soit . On munit l’espace vectoriel End(E) de la structure d’espace hilbertien dont le produit scalaire est donné par
dim()Tr() dim()Tr()
pour dans End(E) cf. EVT, V, p. 52, th. 1).
On note = la norme d’un élément de End(E) pour . Pour tout , on a dim( ) puisque est unitaire.
La norme notée ici diffère par un facteur dim( ) de la norme définie dans EVT, V, p. 52 sur l’espace des applications de Hilbert– Schmidt de .
Lemme 4 03EP
Soit une représentation irréductible de G. L’application définit par passage aux sous-espaces un isomorphisme isométrique de dans End(E).
Posons pour tout et pour tout End(E). L’application est une représentation continue de dans End(E). Elle est unitaire. En effet, puisque elle-même est unitaire, il vient
dim( ) Tr
= dim( ) Tr() dim( ) Tr() pour tout et tout End(E).
L’application Ψ définie par est un G)-morphisme de dans End(E), puisque
pour tout et tout . Puisque est une représentation irréductible (th. 1, a) de V, p. 462), il existe tel que l’application est nulle ou isométrique (cor. 5, a) de V, p. 388).
Soit dim( ). Il vient (cor. 2 de V, p. 465), d’où dim( ) (cor. 3 de V, p. 459). Par conséquent, l’application Ψ est isométrique. Comme et End(E) sont de même dimension, Ψ est un isomorphisme isométrique.
On note la somme hilbertienne des espaces hilbertiens End(E). La norme d’un élément est encore notée .
Dans LIE, IX, p. 79, cet espace est noté , notation que nous préférons éviter ici pour ne pas créer de confusion avec l’espace .
Soit un élément de . Puisque
dim( ) Tr()
et que Tr() cf. EVT, V, p. 52, formule (33)), la norme dans de l’endomorphisme tend vers 0 à l’infini. On peut donc identifier à un sous-espace de .
Soient et End(E). On note la fonction sur G définie par dim()Tr() pour tout . C’est une fonction continue sur G. Si G est un groupe de Lie réel compact, alors la fonction est analytique sur G (LIE, III, § 8, n, th. 1).
Puisque G est compact, on peut identifier à un sous-espace de .
Théorème 2 03EQ
La cotransformation de Fourier de G induit par passage aux sous-espaces un isomorphisme isométrique de sur . Son inverse associe à un élément de la somme de la série
qui converge dans .
D’après le théorème de Peter–Weyl (th. 1 de V, p. 462), l’espace hilbertien est la somme hilbertienne des espaces pour . Pour tout , l’application linéaire de dans End(E) est un isomorphisme isométrique (lemme 4). Par conséquent, la restriction à de la cotransformation de Fourier définit un isomorphisme isométrique de sur .
Soit . Soit et soit la projection orthogonale de sur (th. 1 de V, p. 462). Cet espace étant la composante -isotypique de (cor. 4 de V, p. 463), on a dim( ) d’après le cor. 2 de V, p. 465. Pour tout , il vient
dim( )
= dim( )
= dim( )
= dim()Tr() ,
c’est-à-dire .
Comme est la somme dans de la famille d’après le théorème de Peter–Weyl, on obtient
où la série converge dans . Cela démontre le théorème.
Définition 2 03ER
L’isomorphisme isométrique de sur inverse de l’isomorphisme induit par la cotransformation de Fourier est appelé la transformation de Fourier de G. L’image d’un élément de est appelé sa transformée de Fourier.
Remarque 2 03ET
Soit . On a alors la formule de Plancherel
De plus, d’après le théorème 2 est la somme dans de la famille où
dim( )
pour tout et toute .
Supposons que G est commutatif. Puisque les représentations irréductibles de G sont de dimension 1 (cor. 7 de V, p. 390) et que le groupe dual est discret (prop. 18 de II, p. 233), les algèbres et s’identifient, respectivement, à l’algèbre des fonctions continues bornées sur et à l’algèbre des fonctions continues tendant vers 0 à l’infini sur . Comme G est compact, la mesure de Haar sur duale de est la mesure de comptage (prop. 18 de II, p. 233). La somme hilbertienne des espaces End(E) pour s’identifie à l’espace hilbertien .
Soit . Alors, pour tout caractère unitaire , on a
ce qui démontre que la cotransformation de Fourier définie ci-dessus coïncide avec la cotransformation de Fourier de G définie dans II, p. 206.
Tout est intégrable et la formule est la formule de Plancherel (II, p. 215, théorème 1).
Proposition 10 03EU
La cotransformation de Fourier est un morphisme injectif d’algèbres de Banach involutives de dans qui envoie dans .
Comme G est compact, l’espace est inclus et dense dans et .
Soit telle que . Pour toute fonction continue sur G, on a alors . Or appartient à (INT, VIII, p. 152, § 4, n, prop. 3). Comme, d’après le théorème 2, la cotransformation de Fourier est injective sur (G), et a fortiori, sur l’espace (G), on a pour . En particulier, il vient
pour toute fonction (INT, VIII, loc. cit.), donc la mesure est nulle.
L’image de par la cotransformation de Fourier est contenue dans , et a fortiori dans . Puisque est fermé dans et que est dense dans (G), l’image de par la cotransformation de Fourier est également contenue dans .
Proposition 11 03EV
a) Soit un élément de . Si la famille est uniformément sommable dans , alors sa somme est une fonction continue sur G dont la cotransformée de Fourier est ;
b) Soit . Si la famille est uniformément sommable dans , alors sa somme est une fontion continue sur G dont la classe dans est égale à .
Démontrons l’assertion a). Puisque G est compact, la somme de la famille appartient à et la série
converge dans vers (INT, IV, p. 127, § 3, n, prop. 4). On a donc dans (G), d’où (théorème 2).
Démontrons l’assertion b). On peut appliquer l’assertion a) à la famille . La somme de la famille est une fonction continue, donc appartenant à (G), telle que . Puisque est injective sur (G), on a dans (G), donc dans .
L’algèbre des fonctions à valeurs complexes sur s’identifie au centre de l’algèbre par l’application qui à associe l’élément central de . Notons l’espace des mesures bornées centrales sur G. C’est un sous-espace fermé de l’algèbre de Banach . Pour toute mesure et toute représentation , on a End donc est un multiple de l’application identique de d’après le lemme de Schur (prop. 6 de V, p. 386). La restriction de la cotransformation de Fourier à s’identifie donc à un morphisme unifère d’algèbres de Banach involutives de dans . Ce morphisme est injectif ; l’image de est contenue dans et sa restriction à est un isomorphisme isométrique sur .
9. Indicateur de Frobenius–Schur et alternative de Larsen
Rappelons (LIE, VIII, §7, n, déf. 2) qu’une représentation irréductible de G dans un espace vectoriel complexe E de dimension finie est dite de type orthogonal (resp. de type symplectique) s’il existe une forme bilinéaire symétrique non nulle sur E invariante par G (resp. s’il existe une forme bilinéaire alternée non nulle sur E invariante par G). Elle est dite de type complexe s’il n’existe pas de forme bilinéaire non nulle sur E invariante par G.
Lorsqu’une représentation irréductible dans E est de type orthogonal (resp. symplectique), l’espace des formes bilinéaires symétriques (resp. alternées) G-invariantes sur E est de dimension 1 et toute forme bilinéaire G-invariante non nulle sur E est séparante.
Une représentation de type orthogonal est parfois dite de type réel, et une représentation de type symplectique est parfois dite de type quaternionien (cf. LIE, IX, App. II).
Soit une représentation irréductible de G dans un espace vectoriel complexe E. Les trois possibilités ci-dessus sont distinguées par la valeur de la quantité
FS( ) ,
qui est appelée indicateur de Frobenius–Schur de . On a en effet
1 si est de type orthogonal,
FS( ) si est de type symplectique,
0 si est de type complexe.
(LIE, IX, App. 2, p. 103, prop. 3 et p. 105, prop. 4).
Lorsque G est un groupe de Lie, on peut calculer FS( ) à l’aide de la prop. 1 de LIE, IX, p. 69.
Définition 3 03EW
Soit une représentation unitaire de dimension finie de G dans un espace hilbertien E. Soit un entier positif. On appelle moment absolu d’ordre de , et on note , la dimension du sous-espace des éléments G-invariants dans la représentation .
Théorème 3 (Alternative de Larsen) 03EX
Supposons que G est infini. Soit une représentation unitaire fidèle de G dans un espace hilbertien E de dimension finie .
a) Supposons que le groupe dérivé de G est infini. On a avec égalité si et seulement si G contient ;
b) Supposons que dim(E) , que est de type orthogonal ou symplectique, et que dim(E) si est de type orthogonal. Alors avec égalité si et seulement si l’algèbre de Lie complexifiée de G est égale à l’algèbre de Lie d’une forme bilinéaire séparante G-invariante sur E. C’est le cas si et seulement si la composante neutre de G est un sous-groupe compact maximal du groupe des automorphismes d’une telle forme bilinéaire.
Nous utiliserons dans la démonstration les lemmes suivants.
Lemme 5 03EY
Soit une représentation unitaire de G dans un espace hilbertien E de dimension finie. Soient une famille de représentations unitaires non nulles de G et une famille d’entiers tels que la représentation de G (resp. la représentation ) soit isomorphe à la somme directe . Alors on a
avec égalité si et seulement si les représentations sont irréductibles et deux à deux non isomorphes.
Notons le caractère de pour . On a
, (resp. ).
D’après la définition et le cor. 3 de V, p. 466, il vient
d’où, dans les deux cas, la formule
dim Hom
(cor. 4, b) de V, p. 459). Soit . Comme la représentation n’est pas nulle, l’espace Hom n’est pas nul, et on en déduit la minoration
De plus, puisque 1, il y a égalité si et seulement si on a dim Hom si et dim Hom pour tout . La seconde condition est valide si et seulement si les représentations sont irréductibles (loc. cit.). La première est alors satisfaite si et seulement si les représentations sont deux à deux non isomorphes, d’après le lemme de Schur (V, p. 387, cor. 2).
Si E est un module sur un anneau commutatif A, on appellera carré symétrique (resp. carré extérieur) de E le A-module (resp. ).
Lemme 6 03EZ
Soit une forme bilinéaire séparante sur un espace vectoriel complexe E de dimension finie .
a) Si est symétrique, alors la représentation adjointe de l’algèbre de Lie orthogonale est isomorphe au carré extérieur de la représentation naturelle ;
b) Si est alternée, alors la représentation adjointe de l’algèbre de Lie symplectique est isomorphe au carré symétrique de la représentation naturelle .
Munissons de l’automorphisme involutif identique. La forme bilinéaire est alors -hermitienne (A, IX, § 3, n, déf. 1) avec dans le cas a) et dans le cas b). Pour tout End(E), on note l’adjoint de par rapport à . On a donc pour tout . Notons l’unique automorphisme de tel que pour tout .
Il existe une unique application linéaire de dans End(E) telle que est l’application linéaire définie par pour tout . L’application est un isomorphisme. Pour tout , on a
En effet, pour tous et dans , il vient
Notons enfin l’isomorphisme de E sur déduit de , c’est-àdire tel que pour tout .
Ces notations étant établies, notons H le groupe orthogonal (resp. symplectique) de . C’est un sous-groupe de Lie de dont l’algèbre de Lie est le sous-espace de End(E) constitué des End(E) tels que (LIE, III, p. 146, cor. 1). Comme la forme est H-invariante, il vient
pour tout et tout .
Munissons End(E) de la représentation adjointe Ad de H. L’application linéaire est un morphisme de représentations de H : en effet, pour tout et tout , on a
Ad(),
d’où la conclusion par linéarité.
Comme est également un morphisme de représentations de H, il en est de même de l’application linéaire ; celle-ci est donc un morphisme de -modules.
Notons F le sous-espace des éléments tels que . Si , la restriction à F de l’application canonique de dans le carré symétrique de E est un isomorphisme de -espaces vectoriels (A, III, p. 72) ; si , la restriction à F de l’application canonique de dans le carré extérieur de E est un isomorphisme de -espaces vectoriels (loc. cit., p. 82).
L’image de F par est contenue dans en effet, pour tout , la formule (3) implique
Par définition de F, la restriction de l’application à F coïncide avec celle de et l’application linéaire est donc injective sur F. Puisque dim(F) = dim() (A, III, p. 75, th. 1 et p. 87, cor. 1 et LIE, VIII, p. 192 et p. 201), on conclut que induit par passage aux sous-espaces un isomorphisme de -modules de F dans , d’où le lemme.
Lemme 7 03F0
Soit un groupe de Lie réel et soit un sous-groupe fermé de . L’algèbre de Lie complexifiée de s’identifie à une sous-représentation de la représentation adjointe de sur l’algèbre de Lie complexifiée de .
En effet, la restriction à de la représentation adjointe de sur son algèbre de Lie s’identifie à la représentation adjointe de .
Lemme 8 03F1
Soit E un espace hilbertien complexe de dimension finie .
a) Les groupes et sont connexes ;
b) Le groupe dérivé de est égal à ;
c) Le groupe dérivé de est égal à .
On peut supposer que et que .
Soit A le sous-groupe de formé des matrices diagonales ; il est homéomorphe à , et donc connexe (TG, VI, p. 11, cor. 2 et I, p. 83, prop. 8). Son intersection avec est homéomorphe à , donc est également connexe.
D’après le th. 1 de IV, p. 149, le groupe (resp. ) est la réunion des sous-ensembles connexes pour (resp. des sous-ensembles connexes ); comme l’élément neutre appartient à chacun de ces ensembles, l’espace (resp. ) est connexe (TG, I, p. 81, prop. 2).
Démontrons b). L’assertion est vraie lorsque , puisque est alors réduit à l’élément neutre. Supposons donc que . L’algèbre de Lie de est alors simple (LIE, IX, p. 20, § 3, n) donc le groupe dérivé de est d’indice fini dans . On en déduit le résultat puisque est connexe d’après a).
L’assertion c) résulte de b) puisque le groupe dérivé de est contenu dans .
Démontrons maintenant le théorème 3. Notons la dimension de l’espace hilbertien E. Comme la représentation est fidèle, on peut supposer que G est un sous-groupe compact de . Le groupe G est fermé dans le groupe de Lie réel (E), donc est un groupe de Lie réel compact (LIE, III, §8, n, th. 2). Par hypothèse, G est infini, donc de dimension . Soit son algèbre de Lie ; elle est non nulle.
Démontrons a). Supposons que le groupe dérivé D(G) est infini. On a la décomposition G-invariante End(E) . Les représentations de G sur et sur ne sont pas isomorphes, puisque dim . D’après le lemme 5, on a donc avec égalité si et seulement si la représentation de G dans est irréductible. Or, le groupe dérivé de G est contenu dans (E), et la complexification de l’algèbre de Lie de D(G) s’identifie donc à un sous-espace de (E), qui est une sous-représentation de la représentation de G dans (lemme 7). Cette sous-représentation n’est pas nulle, puisque D(G) est infini. On a donc si et seulement si . Puisque D(G) est contenu dans (E), et puisque (lemme 8), cette condition équivaut à .
Pour la démonstration de l’assertion b), on reprend les notations de LIE, VIII, §13, n 2–4.
Supposons que est de type symplectique et que dim(E) . Soit une forme bilinéaire alternée non nulle G-invariante sur E ; elle est séparante (LIE, IX, p. 103, App. 2, prop. 3) et G est un sous-groupe compact du groupe symplectique . Notons l’élément auquel la forme alternée s’identifie. L’algèbre de Lie complexifiée de G est contenue dans . Or, puisque dim(E) , la représentation de dans admet la décomposition en somme directe
où est la seconde représentation fondamentale de (LIE, VIII, p. 202, §13, n, (IV)). Les représentations et de sont irréductibles (loc. cit.) et la représentation est non nulle.
D’après le lemme 5, on a donc avec égalité si et seulement si les représentations de G dans (E), et sont irréductibles et deux à deux non isomorphes.
Supposons que . Comme la représentation s’identifie à la représentation adjointe de (lemme 6), elle contient comme sous-représentation la complexification de la représentation adjointe de G (lemme 7). On a donc .
Réciproquement, supposons que . La représentation adjointe de et la représentation de sont irréductibles, de dimensions et respectivement (LIE, VIII, p. 202, §13, n, (IV)), qui sont différentes et puisque , d’où .
Finalement, supposons que est de type réel et que dim(E) et dim(E) . Soit une forme bilinéaire symétrique non nulle, G-invariante sur E ; elle est séparante (LIE, IX, p. 103, App. 2, prop. 3) et G est un sous-groupe compact du groupe orthogonal . Notons l’élément auquel s’identifie.
L’algèbre de Lie complexifiée de G est contenue dans . La représentation de dans admet la décomposition en somme directe
où est l’orthogonal de dans . Ces représentations sont de dimension au moins 2 puisque dim(E) . D’après le lemme 5, on a avec égalité si et seulement si les représentations de G dans et sont irréductibles et non isomorphes.
Supposons que . Comme la représentation s’identifie à la représentation adjointe de (lemme 6), elle contient comme sous-représentation la complexification de la représentation adjointe de G (lemme 7). La condition implique donc que .
Réciproquement, supposons que . La représentation adjointe de est irréductible, puisque dim(E) (LIE, VIII, § 13, p. 193, (I) et p. 206, (I)), et de dimension . La représentation de a comme plus grand poids . En comparant sa dimension avec celle de la représentation irréductible de de plus grand poids , calculée par la formule de Weyl (cf. LIE, VIII, §9, n, th. 2 et LIE, VI, planches II et IV), on vérifie que est irréductible. On conclut donc que si .
Remarque 1 03F2
La condition « G est infini » est nécessaire dans le théorème 3 (exercice 9 de V, p. 507).
Remarque 2 03F3
Soit . Pour toute représentation unitaire d’un groupe compact dans un espace hilbertien de dimension , on a ; l’égalité est possible (exercice 15 de V, p. 508).
Remarque 3 03F4
On peut démontrer (cf. R. Guralnick et P.H. Tiep, Decomposition of small tensor powers and Larsen’s conjecture, Representation Theory 9 (2005), 138–208) que la condition que G est infini peut être omise si l’on suppose que E est de dimension et si l’on remplace l’hypothèse (resp. ) par (resp. ).
Exercices
See the exercises for § 4.