LIP6 1997/033
- Soutenance de thèse
Apprentissage statistique et régularisation pour la régression - C. Goutte
- 137 pages - 15/07/1997- document en - http://www.lip6.fr/lip6/reports/1997/lip6.1997.033.ps.gz - 485 Ko
- Contact : cg (at) nulleivind.imm.dtu.dk
- Ancien Thème : APA
- Mots clés : Apprentissage statistique, régularisation, généralisation, réseaux de neurones, séries chronologiques
- Directeur de la publication : Valerie.Mangin (at) nulllip6.fr
Le sujet de cette thèse est l'étude et l'utilisation de l'apprentissage statistique et de la régularisation sur des problèmes de régression. On s'intéresse plus particulièrement à l'identification de systèmes et à la modélisation de séries temporelles par des modèles linéaire d'une part et connexionnistes non-linéaires d'autre part.
Les régressions paramétriques linéaires et non-linéaire sont brièvement présentées, et les limites de la régression simple sont illustrées en utilisant le concept d'erreur de généralisation. Ainsi définis, ces problèmes sont incorrectement posés, et nécessitent donc l'utilisation de régularisation pour obtenir des solutions correctes. Ceci introduit un ou plusieurs hyper-paramètres qui contrôlent le niveau de régularisation et dont l'optimisation est effectuée en estimant l'erreur de généralisation. Plusieurs méthodes sont présentées à cet effet.
Ces développements sont utilisés pour s'attaquer à deux problèmes particuliers. Dans le premier, il s'agit de détermination des entrées nécessaires à la modélisation d'une série temporelle, par l'intermédiaire d'une méthode itérative s'appuyant sur l'estimation de la généralisation. Dans le second, on étudie une fonctionnelle de régularisation particulière qui présent l'intérêt d'effectuer un élagage des paramètres inutiles du modèle en conjonction avec son effet régularisant. Cette dernière partie utilise des estimateurs Bayésiens qui sont aussi présentés de façon générale dans la thèse.
Les régressions paramétriques linéaires et non-linéaire sont brièvement présentées, et les limites de la régression simple sont illustrées en utilisant le concept d'erreur de généralisation. Ainsi définis, ces problèmes sont incorrectement posés, et nécessitent donc l'utilisation de régularisation pour obtenir des solutions correctes. Ceci introduit un ou plusieurs hyper-paramètres qui contrôlent le niveau de régularisation et dont l'optimisation est effectuée en estimant l'erreur de généralisation. Plusieurs méthodes sont présentées à cet effet.
Ces développements sont utilisés pour s'attaquer à deux problèmes particuliers. Dans le premier, il s'agit de détermination des entrées nécessaires à la modélisation d'une série temporelle, par l'intermédiaire d'une méthode itérative s'appuyant sur l'estimation de la généralisation. Dans le second, on étudie une fonctionnelle de régularisation particulière qui présent l'intérêt d'effectuer un élagage des paramètres inutiles du modèle en conjonction avec son effet régularisant. Cette dernière partie utilise des estimateurs Bayésiens qui sont aussi présentés de façon générale dans la thèse.