Exercice 8, § 2

On suppose que G est un groupe localement compact unimodulaire. Soit Γ un sous-groupe discret de G tel que l’espace quotient $X = \Gamma \backslash G$ est compact. Soit $\mu$ une mesure de Haar sur G et $\beta$ la mesure de comptage sur Γ ; on note $\widetilde{\mu}=\mu/\beta$.

Soit $\varrho$ la représentation unitaire de G sur $L^2(X,\widetilde{\mu})$ définie dans l’exemple 3 de V, p. 404.

Pour $\gamma \in \Gamma$, on note $\Gamma_{\gamma}$ (resp. $G_{\gamma}$) le centralisateur de $\gamma$ dans Γ (resp. G). a) Le groupe $G_{\gamma}$ est unimodulaire.

b) Soit $\varphi \in \mathscr{K}(G)$. Pour toute représentation unitaire Γ-automorphe $\pi$, l’endomorphisme $\pi (\varphi )$ est de trace finie.

c) On a

Tr($\varrho (\varphi )$) $=\sum_{\pi\in\widehat{G}}m_{\pi}(\varrho )$ Tr($\pi (\varphi )$)

où $m_{\pi}(\varrho )$ est la multiplicité de $\pi$ dans $\varrho$ (« côté spectral de la formule des traces »).

d) Soit $\Gamma^{\sharp}$ l’ensemble des classes de conjugaison de Γ. Pour $\gamma \in \Gamma^{\sharp}$, on note $\beta_{\gamma}$ la mesure de comptage sur $\Gamma_{\gamma}$. On a

Tr($\varrho (\varphi )$) $=\sum\int\varphi (x^{-1}\gamma x)d(\mu/\beta_{\gamma})(x)$.

$\gamma \in \Gamma$

e) On fixe une mesure de Haar $\mu_{\gamma}$ sur $G_{\gamma}$ pour tout $\gamma \in \Gamma$. On a

Tr($\varrho (\varphi )$) $=\sum\int\int\varphi (x^{-1}y^{-1}\gamma yx)d(\mu_{\gamma}/\beta_{\gamma})(y)d(\mu/\mu_{\gamma})(x)$.

$\in^{\sharp}G_{\gamma}\backslash G\Gamma_{\gamma}\backslash G_{\gamma}$ $\gamma$ Γ

f) Pour tout $\gamma \in \Gamma$, la mesure quotient $\mu_{\gamma}/\beta_{\gamma}$ de $\Gamma_{\gamma}\backslash G_{\gamma}$ est finie. g) On a

Tr($\varrho (\varphi )$) $=\sum(\mu_{\gamma}/\beta_{\gamma})(\Gamma_{\gamma}\backslash G_{\gamma})\int\varphi (x^{-1}\gamma x)d(\mu/\mu_{\gamma})(x)$

$\in^{\sharp}G_{\gamma}\backslash G$ $\gamma$ Γ

(« côté géométrique de la formule des traces » ; la formule exprimant l’égalité de cette expression avec celle obtenue dans la question c) est appelée « formule des traces » pour les représentations Γ-automorphes).

h) Posons $G =\mathbf{R}$ et $\Gamma =\mathbf{Z}$. Vérifier que la formule des traces est équivalente dans ce cas à la formule de Poisson (cf. II, p. 239).