Statistical learning and regularisation for regression

C. Goutte

LIP6 1997/033: THÈSE de DOCTORAT de l'UNIVERSITÉ PARIS 6 LIP6 / LIP6 research reports
137 pages - Juillet/July 1997 - Document en anglais.

PostScript : 473 Ko /Kb

Contact : par mail / e-mail

Thème/Team: Apprentissage et Acquisition de Connaissances

Titre français : Apprentissage statistique et régularisation pour la régression
Titre anglais : Statistical learning and regularisation for regression

Résumé : Le sujet de cette thèse est l'étude et l'utilisation de l'apprentissage statistique et de la régularisation sur des problèmes de régression. On s'intéresse plus particulièrement à l'identification de systèmes et à la modélisation de séries temporelles par des modèles linéaire d'une part et connexionnistes non-linéaires d'autre part.
Les régressions paramétriques linéaires et non-linéaire sont brièvement présentées, et les limites de la régression simple sont illustrées en utilisant le concept d'erreur de généralisation. Ainsi définis, ces problèmes sont incorrectement posés, et nécessitent donc l'utilisation de régularisation pour obtenir des solutions correctes. Ceci introduit un ou plusieurs hyper-paramètres qui contrôlent le niveau de régularisation et dont l'optimisation est effectuée en estimant l'erreur de généralisation. Plusieurs méthodes sont présentées à cet effet.
Ces développements sont utilisés pour s'attaquer à deux problèmes particuliers. Dans le premier, il s'agit de détermination des entrées nécessaires à la modélisation d'une série temporelle, par l'intermédiaire d'une méthode itérative s'appuyant sur l'estimation de la généralisation. Dans le second, on étudie une fonctionnelle de régularisation particulière qui présent l'intérêt d'effectuer un élagage des paramètres inutiles du modèle en conjonction avec son effet régularisant. Cette dernière partie utilise des estimateurs Bayésiens qui sont aussi présentés de façon générale dans la thèse.

Abstract : This thesis deals with the use of statistical learning and regularisation on regression problems, with a focus on time series modelling and system identification. Both linear models and non-linear neural networks are considered as particular modelling techniques.
Linear and non-linear parametric regression are briefly introduced and their limit is shown using the bias-variance decomposition of the generalisation error. We then show that as such, those problems are ill-posed, and thus need to be regularised. Regularisation introduces a number of hyper-parameters, the setting of which is performed by estimating generalisation error. Several such methods are evoked in the course of this work.
The use of these theoretical aspects is targeted towards two particular problems. First an iterative method relying on generalisation error to extract the relevant delays from time series data is presented. Then a particular regularisation functional is studied, that provides pruning of unnecessary parameters as well as a regularising effect. This last part uses Bayesian estimators, and a brief presentation of those estimators is also given in the thesis.

Mots-clés : Apprentissage statistique, régularisation, généralisation, réseaux de neurones, séries chronologiques

Key-words : Statistical learning, regularisation, generalisation, neural networks, time series

Publications internes LIP6 1997 / LIP6 research reports 1997

Responsable Éditorial / Editor
webmaster@lip6.fr