École printanière PNSDC/MITACS sur les algorithmes d’apprentissage: perspectives statisticienne et informaticienne

La recherche en apprentissage a une longue histoire d’enrichissement mutuel d’idées provenant de la statistique et de l’informatique. Les algorithmes basés sur les arbres développés dans les années 80 (motivés d’un point de vue statistique par CART et d’un point de vue apprentissage machine via C4.5), les modèles graphiques (les modèles log-linéaires en statistique et les réseaux probabilistes [ou bayésiens] en informatique) et l’importance de l’apprentissage machine dans le très populaire livre de statistique «Elements of Statistical Learning: Data Mining, Inference and Prediction» de Hastie, Tibshirani et Friedman, sont tous des exemples de cet enrichissement mutuel. Nous souhaitons continuer cette riche tradition mutuellement bénéfique en organisant une école enseignée et dirigée par des chercheurs de l’apprentissage statistique et machine.

La semaine débutera par une introduction d’une journée aux concepts clés de l’apprentissage statistique et machine. Ce sera une opportunité pour souligner (et contraster) les philosophies sous-jacentes aux deux disciplines. Par exemple, les statisticiens mettent l’accent sur les modèles probabilistes pour l’apprentissage et des techniques pour quantifier la variation dans les modèles estimés résultant de la variation dans les échantillons d’apprentissage. Pour les spécialistes de l’apprentissage machine, l’algorithme est le modèle et l’accent est mis sur le développement de méthodes flexibles mais interprétables dans des contextes d’apprentissage offrant des défis importants (la vision informatique, le langage naturel).

Suite à cette introduction, plusieurs sujets spécifiques seront discutés en détail. Les sujets pourraient être originaires d’une des deux disciplines, mais ils contiendront tous une contribution significative de chaque domaine. Les réseaux de neurones seront d’abord couverts. Ces modèles flexibles, développés dans un contexte d’apprentissage machine, ont été utilisés dans une grande variété de contextes par des chercheurs de plusieurs domaines. Ceux-ci incluent des approches statistiques (par exemple, des méthodes bayésiennes) et plusieurs approches d’apprentissage machine (telles que des mélanges d’experts dans les réseaux de neurones). Puis, nous allons couvrir la segmentation à base de modèles, une famille de méthodes non supervisées pour identifier de nouvelles grappes non identifiés jusqu’à maintenant via des mélanges de modèles probabilistes.

Lors de la quatrième journée, on abordera les machines à vecteurs de support, une technique de l’apprentissage machine qui a soulevé beaucoup d’intérêt ces dernières années dans plusieurs disciplines diverses, telles que l’apprentissage et l’intelligence artificielle, la recherche opérationnelle, le génie et la statistique. C’est une technique méconnue de la plupart des statisticiens malgré de grandes prétentions de performance extraordinaire de la part de ses défenseurs. Des présentations par des statisticiens et des chercheurs en apprentissage machine avec de l’expérience dans ce domaine porteront sur les idées de base, ainsi que sur les promesses et les pièges à éviter dans leur utilisation. L’école se terminera le cinquième jour alors qu’on abordera l’apprentissage de variétés, en particulier sa relation avec l’apprentissage semi-supervisé. Les méthodes basées sur les variétés sont de plus en plus populaires auprès des spécialistes de l’apprentissage machine. Elles tentent d’identifier des sous-espaces non linéaires (surfaces) dans un espace multi-dimensionnel à plusieurs dimensions tels que les données sont toutes proches de cette surface. On fera brièvement des liens avec des méthodes de variétés moins récentes telles que les surfaces principales et les «self-organizing maps». Il existe également des liens avec les méthodes à noyau qui sont à la base des machines à vecteurs de support discutées précédemment.