CMAP
Rechercher
Accueil du site > Equipes_Fr_En_It > Théorie du signal et de l’apprentissage
Traitement du signal
Responsable : Stéphane Mallat, Professeur à l’Ecole Polytechnique
Chercheurs confirmés
Emmanuel Bacry, Chargé de recherche CNRS
Antonin Chambolle, Chargé de recherche CNRS
Stéphane Mallat, Professeur à l’École Polytechnique
Stéphanie Allassonnière, Professeur Chargée de Cours
Doctorants encadrés au laboratoire
Guoshen Yu (directeur Stéphane Mallat)
Mise en disponibilité
Stéphane Mallat : depuis Septembre 2004, Stéphane Mallat est en disponibilité et est directeur général de la société ``Let It Wave’’ qui valorise des travaux de recherche effectués au CMAP.
Activités de recherche
L’utilisation de mathématiques de haut niveau en traitement du signal et pour l’apprentissage est une tendance nouvelle rendue nécessaire par la quantité et la complexité croissantes d’informations aujourd’hui disponibles, qui génèrent un besoin d’automatisation des méthodes d’analyse, de traitement de l’information et de la prise de décisions.
Les applications les plus classiques concernent l’analyse et la transformation d’informations sonores et d’images, mais des problèmes similaires sont posés par d’autres signaux tels que des enregistrements de séries financières ou des données atmosphériques.
L’information ainsi traitée peut ensuite servir à la réalisation d’une tâche qu’il s’agit d’optimiser.
La transformée en ondelettes est un exemple d’outil mathématique sophistiqué qui a eu un impact important en traitement du signal. Malgré l’importance des applications et le grand nombre d’ingénieurs en traitement du signal, il n’y a encore que peu de chercheurs qui travaillent en mathématiques appliquées sur le traitement du signal. Le groupe créé en 1995 a donc notamment pour but de regrouper et de former des chercheurs de bon niveau en mathématiques, ayant une très bonne connaissance des applications en traitement de l’information et sachant bien manipuler les outils algorithmiques et informatiques.
Les domaines mathématiques concernés par ce type de recherche sont l’analyse harmonique, l’étude de processus aléatoires et d’estimateurs statistiques, la théorie de l’approximation, la stabilisation de problèmes inverses, l’analyse d’objets fractals et la géométrie. Outre l’aspect mathématique, chaque projet de recherche débouche sur un important travail algorithmique pour l’optimisation des calculs ainsi que sur une implémentation informatique structurée permettant la distribution sur l’Internet des logiciels développés par l’équipe.
Multifractals et Processus stochastiques
Les processus stochastiques autosimilaires ont un cadre théorique mathématique bien défini. Ainsi, les browniens fractionnaires forment une des classes les plus utilisées pour la modélisation de processus monofractals. Malheureusement, rares sont les applications où les signaux mis en jeu sont effectivement monofractals. Souvent, ils présentent des propriétés de multifractalité. Il y a encore 3 ans, il n’existait aucun cadre théorique pour les processus ``multifractals’’ ou encore ``multisimilaires’’, c’est-à-dire de processus vérifiant des propriétés d’invariance d’échelle tout en faisant intervenir un continuum d’exposant de fractalité. Il y a moins de 3 ans, E. Bacry a démontré (en collaboration avec J.-F. Muzy et parallèlement à un travail de Barral et Mandelbrot) que de tels processus existent bien.
Il apparaît clairement que ces processus ouvrent de très nombreux horizons tant à un niveau théorique qu’à un niveau applicatif. Ils forment à ce jour la seule classe de processus (à incréments) stationnaires, invariants d’échelle et multifractals. E. Bacry travaille sur les différents problèmes qu’ils peuvent poser, problèmes tant théoriques (propriétés de régularité, caractérisation du spectre de singularité) que numériques (estimation des paramètres, méthode de Monte Carlo). Ces derniers résultats sont en cours de rédaction et devraient paraître dans plusieurs articles courant 2006, articles co-écrits par E. Bacry, A. Kozhemyak et J.-F. Muzy. Ces auteurs ont notamment montré qu’un estimateur de type GMM peut être efficacement utilisé.
Nous travaillons aussi sur des extensions de ces processus, extensions importantes pour diverses applications (processus multivariés, avec d’autres lois de distributions).
E. Bacry et A. Kozhemyak, ont utilisé (en collaboration avec J.-F. Muzy) les modèles de processus multifractals décrits précédemment pour modéliser les variations des séries chronologiques financières. Ils ont montré que ces processus ont de nombreux avantages par rapport aux autres modèles couramment utilisés en finance : ils sont à incréments stationnaires, peuvent être vus comme des processus limites de marches aléatoires (d’où un caractère causal), rendent compte parfaitement des propriétés multifractales des séries financières (sans faire intervenir de rapport d’échelle particulier) ainsi que de la structure complexe de corrélations des incréments aux différentes échelles.
Ces processus permettent avec 3 paramètres uniquement (une fois la loi infiniment divisible choisie) de rendre compte de très nombreuses propriétés statistiques de séries financières très diverses.
E. Bacry et A. Kozhemyak s’intéressent au problème de prédiction de volatilité historique et de valeur à risque. De nombreux modèles existent déjà et sont couramment utilisés. Cependant des travaux numériques sur de très grandes quantités de données (réalisés par plusieurs équipes internationales) ont montré qu’aucune de ces méthodes ne surpasse les autres de façon systématique.
Des tests extensifs ont été réalisés sur des données du CAC40. Les résultats qui ont été obtenus (article en cours d’écriture) montrent que les modèles MRW semblent surpasser assez nettement toutes les autres méthodes. De plus, l’utilisation de données hautes fréquences semblent améliorer sensiblement ces prédictions. Ceci est rendu possible, car les MRW permettent une modélisation des cours multi-échelles. Contrairement à la plupart des autres modèles, les MRW ne se calent pas sur une unique échelle de temps.
E. Bacry et A. Kozhemyak se sont intéressés aussi (en collaboration avec J.-F. Muzy) au problème de l’estimation de l’exposant de décroissance des queues de distributions de ces modèles. En effet, en finance, de nombreux travaux semblent prouver que les moments d’ordre 3 ou 4 explosent. Le modèle MRW quant à lui prédit une explosion à l’ordre 30 ! Dans un article récent, ces auteurs ont montré que les estimateurs utilisés couramment sont extrêmement instables et ont besoin d’une quantité faramineuse de données pour atteindre le régime asymptotique. Quantité qui n’est pas accessible en finance. Les estimateurs ainsi obtenus sont a priori très fortement biaisés.
Compression et Estimation en Bandelettes
Un problème central de la théorie de l’approximation est la dégradation de la précision asymptotique des procédures d’approximation pour des fonctions discontinues f(x) où x est une variable multidimensionelle. Cela est dû principalement au fait que les procédures d’approximation n’utilisent pas la régularité géométrique du support singulier de f. Cette question est centrale en traitement d’images, où les bases orthogonales utilisées jusqu’à maintenant sont séparables et ne s’adaptent donc pas à la géométrie des contours de l’image.
Suite aux travaux de E. Le Pennec et S. Mallat, C. Dossal a étudié au cours de sa thèse la construction d’estimateurs qui utilisent la régularité géométrique des images pour le débruitage et la déconvolution. Il a démontré que des estimateurs pénalisés dans des bases de bandelettes permettent d’obtenir un risque dont la décroissance asymptotique atteint la borne minimax pour des fonctions ayant des singularités le long de courbes régulières par morceaux. Une application à la tomographie pour l’imagerie médicale a été étudiée.
Au cours de sa thèse, G. Peyré a développé, sous la direction de S. Mallat, de nouvelles bases de bandelettes qui sont orthonormales et dont les fonctions de bases sont régulières. L’approche de G. Peyré repose sur une géométrie multiéchelle construite sur les coefficients d’une base orthonormale d’ondelettes. G. Peyré a démontré que ces nouvelles bases de bandelettes permettent d’obtenir des approximations non-linéaires de fonctions géométriquement régulières, avec une décroissance asymptotique de l’erreur d’approximation qui est optimale. Il a développé un algorithme de compression d’image dans des bases de bandelettes qui a nettement de meilleures performances qu’un algorithme de compression dans une base d’ondelettes. Par ailleurs, ces nouvelles bases de bandelettes lui ont permis de mettre en place un algorithme de synthèse de textures.
Avec J.-F. Aujol, A. Chambolle a étudié des problèmes de décomposition d’images, suivant une approche relativement simple et efficace suggérée par Y. Meyer : l’idée est de séparer un signal f en deux composantes u+v en résolvant un problème d’inf-convolution $min_u+v=f A(u)+B(v)$. Ici, A et B vont être des normes aux caractéristiques très différentes : A va être petite sur des signaux ``réguliers’’ (variation totale, semi-norme $H^1$)tandis que B sera petite sur des signaux oscillants (ce qui est le cas si B est la duale de la variation totale, ou semi-norme $H^1$...). Dans un premier travail avec G. Aubert et L. Blanc-Féraud, ils ont développé un algorithme et utilisé ces principes pour faire de la séparation image-bruit ou image-texture. Ensuite, ils ont étudié un peu plus systématiquement les propriétés de certaines normes duales de normes régularisantes. Ils ont aussi proposé une technique de séparation en trois composantes (régulière, texture, bruit) basée sur le même genre d’idée.
Algorithmes pour la restauration d’image
A. Chambolle a étudié les liens entre les méthodes de minimisation de la variation totale et les problèmes de segmentation binaire. En montrant que chaque ensemble de niveau d’un signal qui minimise la variation totale (plus un terme de rappel convexe) résout un problème de segmentation binaire (dont il est presque toujours solution unique), il a établi le lien entre divers algorithmes, et mis au point un algorithme de minimisation de la variation totale très rapide basé sur une succession de minimisations binaires, résolues par des techniques de flot maximal. J. Darbon et M. Sigelle, à Télécom-Paris, sont arrivés aux mêmes conclusions par une approche assez différente (probabiliste). Une collaboration sur ces thèmes a commencé, dans le but, notamment, de comprendre si ceci peut s’appliquer aux images vectorielles (p.ex., couleur). Ces recherches sont financées en partie par l’ACI ``Multim’’ (Traitement des images multidimensionnelles).
Apprentissage par renforcement
Le développement des technologies d’information rend disponible des quantités croissantes de données qu’il faut sélectionner, traiter et à partir desquelles il s’agit de prendre des décisions adéquates. Aussi il apparaît important de développer des méthodes adaptatives pour la prise de décision en milieu complexe et incertain.
Rémi Munos travaille sur l’apprentissage par renforcement, domaine récent qui fait l’objet d’un intérêt croissant dans les communautés Automatique et Intelligence Artificielle. Son attrait est de pouvoir ``apprendre’’ à générer des séquences de décisions afin de réaliser une tâche, sans que celle-ci soit explicitement programmée, mais seulement à partir de l’observation des échecs ou succès résultant des prises de décision passées.
Les applications potentielles sont nombreuses (robotique, finance mathématique, planification de trajectoires, ordonnancement ou optimisation de tâches séquentielles, ...). Au cours de sa thèse et de ses années postdoctorales, Rémi Munos a développé, pour le cas de variables continues, des algorithmes simples à implémenter et dont la convergence est assurée.
Il reste beaucoup à faire tant sur le plan théorique que numérique. Trois approches sont actuellement approfondies : les méthodes de discrétisation adaptatives des équations de Hamilton-Jacobi-Bellman (avec utilisation de grilles ``économes’’ comme les grilles aléatoires), les méthodes d’approximation de la fonction valeur (par exemple avec des réseaux neuronaux ou des approximations par bandelettes, détaillées plus bas), et enfin les méthodes de recherche directe de stratégies dans des espaces de fonctions paramétrées.
Géométrie des sons
La perception de sons fait inclure une notion de géométrie au travers des ``mouvements’’ musicaux, ``d’accélération’’, etc. Cette géométrie apparaît dans le plan temps-fréquence sous forme d’évolution temporelle des structures temps-fréquence. Définir une transformée mathématique qui capture ce type de géométrie est au centre de la recherche effectuée par L. Borel sous la direction d’E. Bacry et de S. Mallat. Cette transformée repose sur un principe de groupements successifs et multiéchelles auxquels sont associées des transformées orthogonales en ``bandelettes’’. Ces bases de bandelettes du plan temps-fréquence sont étudiées pour la suppression de bruits dans des enregistrements musicaux.
Apprentissage d’un contrôleur paramétré
Rémi Munos approfondit actuellement des méthodes de recherche directe de contrôleurs paramétrés pour le contrôle optimal stochastique. Ces techniques offrent de nombreux avantages, parmi lesquels la possibilité de traiter des problèmes de dimensionnalité élevée (car elles ne nécessitent pas la résolution des équations de HJB), la possibilité d’être combinées à des contrôleurs cablés sous-optimaux que l’on améliorera, la possibilité de traiter des processus partiellement observables. Le défi principal est la définition des classes pertinentes de fonctions paramétrées dans lesquelles chercher le contrôleur. L’idée principale est de calculer, à l’aide d’une espérance, le gradient de la fonction d’utilité (que l’on souhaite maximiser) par rapport aux paramètres du contrôleur. Un estimateur non-biaisé de ce gradient est obtenu en simulant un certain nombre de trajectoires par une méthode de Monte-Carlo. Cet estimateur est alors utilisé pour effectuer un pas d’ascension d’un algorithme de gradient stochastique, afin de converger vers un paramétrage localement optimal. Ce travail s’effectue en collaboration avec Emmanuel Gobet (du CMAP).
Les derniers résultats obtenus par E. Bacry et A. Kozhemyak sur le CAC40 semblent montrer que l’on peut supposer que les actifs du CAC40 partagent la même volatilité stochastique. Il est alors particulièrement aisé de poser le problème théorique d’optimisation d’un portefeuille constitué d’actifs du CAC40. On peut montrer que la minimisation de nombreuses mesures de risque revient à minimiser (conditionnellement au passé) la volatilité. Cette approche devrait permettre d’aborder d’un point de vue théorique et numérique deux aspects primordiaux de la gestion de portefeuille, à savoir : la prise en compte de queues épaisses dans les lois de distributions et la gestion dynamique du portefeuille.
