Formation

Alain Celisse  (SAMM, Université Paris 1), Python

1- Dimension reduction is back...:

• A new look at PCA (unsupervised approach)
• Extracting meaning components in a supervised context
  • Partial Least squares (PLS)
  • Canonical Correlation Analysis (CCA)

2- Beyond quantitative data:

• Introducing qualitative data (categorical, ordinal,...)
• Correpondance Analysis (CA)
• Multiple Correpondance Analysis (MCA)
• Factor Analysis of Mixed Data (FAMD)

3- Clustering from dissimilarity measures:

• Similarity and dissimilarity with examples
• Classical transformations
• How to design a similarity measure?
• K-Means, K-medoids, and Kernelized K-means
• Hierarchical clustering and Spectral clustering

4- Change-point detection:

• Introduction with examples
• Interpretation as a clustering problem
• Single change-point detection in the mean
• Connection with the two-sample test and limitations
• Multiple change-points detection
• The dynamic programming algorithm
• The Binary segmentation algorithm

- Fusion LASSO

Joseph Rynkiewicz (SAMM, Université Paris 1), Python

Le deep learning est une technique de machine learning qui a commencé à s'imposer dans la reconnaissance d'images.

Etat de l'art en :

• Reconnaissance/segmentation/génération d'images.
• Traitement automatisé du langage naturel (classification de phrase, résumé, chatbot etc..)

On étudiera les trois grandes familles de réseaux utilisés actuellement :

• Les réseaux convolutifs.
• Les réseaux récurrents.
• Les transformers.

On étudiera les propriétés théoriques des techniques de sélection de modèles (inégalités oracles du hold-out).

Les applications pratiques de ce cours se feront en Tensorflow et Pytorch.

Joseph Rynkiewicz (SAMM, Université Paris 1), R

Ce cours est consacré aux modèles linéaires généralisés et à leurs généralisations. Une grande partie de ce cours traite des modèles catégoriels, où les variables à expliquer sont qualitatives plutôt que quantitatives. Certaines extensions seront aussi étudiées telles que les modèles paramétriques non-linéaires et les modèles de durées. La connaissance de logiciels de statistique sera demandée car le contrôle des connaissances s'articulera autour d'exercices et aussi de projets sur des données réelles.

Plan du cours :

Modèles logistiques :

• Données binaires
• Modèles logit probit et autres.

Modèles polytomiques :

• Données nominales
• Données ordinales
• Modèles hiérarchiques

Modèles log-linéaires :

• Dépendance et indépendance conditionnelle.
• Modèles à deux et trois facteurs
• Modèles graphiques

Réseaux Bayésiens

• Variable de confusion
• Factorisation markovienne
• Critère de la porte arrière

Modèles de durées :

• Définition et exemples
• Modèles à hasard proportionnel
• Modèles à durée accélérée

Bibliographie :

 * A. AGRESTI, An Introduction to Categorical Data Analysis. John Wiley & Sons, Inc., New York, 1996.
 * X. GUYON, Statistique et économétrie - Du modèle linéaire aux modèles non-linéaire, Ellipse, 2001
 * P. McCULLAGH, J.A. NELDER, Generalized Linear Models, Chapman & Hall, 2nd ed., 1989
 * S. LAURITZEN, Graphical Models. The Clarendon Press, Oxford University Press, New York, 1996.

Shuyan Liu (SAMM, Université Paris 1), R

1. Outils graphiques : QQ plots et Excess plots
2. Lois à queues lourdes et lois des valeurs extrêmes : TCL généralisé, convergence du maximum, simulation par la transformée inverse
3.  Estimateur de Hill : construction, propriétés, réduction du biais
4. Etude des cas : vitesses maximales journalières du vent, intervention du réassureur pour le traité excess-of-loss

Référence : Statistics of Extremes : Theory and Applications, Jan Beirlant, Johan Segers, Yuri Goegebeur, Jef L. Teugels

Lien des supports de cours : https://cours.univ-paris1.fr/course/view.php?id=21625

Alice Le Brigant (SAMM, Université Paris 1), Python

Résumé : Méthodes géométriques pour l’analyse de données
Ce cours porte sur la réduction de dimension et l’analyse multivariée. L’objectif est de réduire le nombre de variables présentes dans les données, nombre qui est précisément ce qu’on appelle dimension. Pour ce faire, on cherche des dépendances entre les variables (analyse multivariée) et on en déduit de nouvelles variables, moins nombreuses, qui conservent certaines propriétés géométriques des variables initiales.
Nous partirons de l’ACP, qui s’applique à des variables quantitatives que l’on suppose reliées par des relations de dépendance linéaire, pour explorer ensuite des méthodes
qui s’appliquent à des variables qualitatives, qui tiennent compte de variables cibles ou qui s’attaquent à détecter des relations non linéaires. Enfin, nous terminerons par
une initiation à l’analyse de données non linéaires par des méthodes géométriques : quand la dépendance non linéaire entre les variables ne doit pas être apprise, mais est
connue à l’avance. On verra dans ce cadre comment traiter des données sphériques ou certaines données matricielles, pour la reconnaissance d’image notamment. Le
cours sera illustré par des TP en Python.

Plan du cours :

1. Motivation : les données en grande dimension
2. ACP : réduction de dimension et analyse multivariée
3. Analyse multivariée en présence de variables qualitatives (AFC, ACM, AFDM)
4. Réduction de dimension en présence de variables cibles (ACC, PLS)
5. Réduction de dimension non linéaire : manifold learning (MDS, Isomap, LLE)
6. Analyse de données non linéaires

Bibliographie :

• Wang, Geometric Structure of High-dimensional Data and Dimensionality Reduction, 2012.
• Pennec, Sommer, Fletcher, Riemannian Geometric Statistics in Medical Image Analysis, 2019.

William Kengne (Université de Cergy)

Nous vivons aujourd'hui dans un monde inonde des données. D'après une étude d'IBM (2016), plus de 2.5 quintillions (i.e. 2.5*1030) de bytes de données sont générées chaque jour dans le monde et 90 % des données disponibles dans le monde (a l'époque) auraient été créées au cours des deux dernières années. Malheureusement, beaucoup de ces informations (données) ne peuvent être utilisées par les humains ; soit parce que les méthodes d'exploitation vont au-delà des procédures standard, ou parce que les outils et technologies disponibles sont inappropriés. La quête permanente des solutions pour la gestion, l'exploitation, le traitement, de ces données volumineuses, hétérogènes et provenant de

sources très variées a permis le développement d'une nouvelle discipline, la data science ("nouveau" métier : data scientist) dont le Big Data est une spécialité. Il s'agit dans ce cours d'étudier l'écosystème, les stratégies, les outils et les technologies du Big Data.

Plan du cours :

• Chapitre 1 : Ecosystème du Big Data : Web 2.0 et 3.0, Les acteurs du Big Data, Les services de traitement du Big Data, les utilisateurs des solutions Big Data.
• Chapitre 2 : Outils et technologies du Big Data : Système de gestion et traitements distribués, Hadoop, Paradigme MapReduce, Les algorithmes machine learning.
• Chapitre 3 : Web scraping : Expressions régulières, BeautifulSoup, Google search, utilisation API.
• Chapitre 4 : Apache Spark : Conguration , PySpark, MapReduce, MLlib.
• Chapitre 5 : Initiation a Google Cloud Platform : Cloud Computing, Compute Engine, comptes de facturation, Configurer et démarrer une instance de VM, Machine learning sur Google Cloud.

References :

[1] Bill, C. and Matei, Z. Spark : The denitive guide : Big data processing made simple. O'Reilly Media, Inc., (2018). [
2] Dasgupta, Nataraj Practical Big Data Analytics : Hands-on techniques to implement enterprise analytics and machine learning using Hadoop, Spark, NoSQL and R. Packt Publishing, (2018).
[3] Erl, T., Khattak, W. and Buhler, P. Big Data Fundamentals : Concepts, Drivers & Techniques. Prentice Hall Press, (2016).
[4] Folly, K. A. et Thourot, P. Big data : Opportunité ou menace pour l'assurance ? Revue Banque, (2016).
[5] Geewax, John J. Google Cloud Platform in Action. Simon and Schuster, (2018).
[6] Holden, K., Andy, K., Patrick, W. and Matei, Z. Learning spark : lightning-fast big data analysis. O'Reilly Media, Inc., (2015).
[7] Lakshmanan, V. Data Science on the Google Cloud Platform. O'Reilly Media, Inc., (2022).
[8] Mohanty, H., Bhuyan, P. and Chenthati, D. Big Data : A Primer. Springer, (2015).
[9] Tandon, A., Ryza, S., Laserson, U., Owen, S., and Wills, J. Advanced Analytics with PySpark : Patterns for Learning from Data at Scale Using Python and Spark. O'Reilly, (2022).
[10] Wes, M. Python for data analysis. O'Reilly, (2012).

Fabien Navarro (SAMM, Université Paris 1), R & Python

Prerequisites: familiarity with linear algebra; a working knowledge of R or Python programming; familiarity with multiple linear regression.

Aim of the course: Upon completing this course, students should be able to: select the appropriate methods; implement these statistical methods; compare leading procedures based on statistical arguments; assess the prediction performance of a learning algorithm; apply these key insights into class activities using statistical software.

Syllabus: Starting from classical notions of shrinkage and sparsity, this course will cover regularization methods that are crucial to high-dimensional statistical learning. The syllabus includes feature selection and model selection, nonlinear techniques for regression and for classification. The course will focus on methodological and algorithmic aspects, while trying to give an idea of the underlying theoretical foundations. Practical sessions will give the opportunity to apply the methods on real data sets using either R or Python. The course will alternate between lectures and practical lab sessions.

Main Subjects covered:

1. Subset Selection
2. Shrinkage Methods
3. Basis Expansions and Regularization
4. Generalized Additive Models

References: 

Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference and Prediction. Springer. (Free download).
James, G., Witten, D., Hastie, T., & Tibshirani, R. (2021). An introduction to statistical learning (Vol. 6). New York: springer. (Free download).

Yves Péchiné (Chief data officer Crédit Agricole), Pierre Bioche (Datascientist Micropole), Alexis Dubois (Datascientist Micropole), Guillaume Léorat (TelcoInsurance),  Python

Ce cours a pour objectif d'apprendre à construire un score sous Python. Réalisé par 4 intervenants dans la data depuis de nombreuses années, il se veut appliqué à des exemples concrets. A l'issue de ce cours, vous serez capables de créer un score à l'aide des Librairies Python suivant la méthodologie SEMMA (Sampling, Explore, Modify, Modeling, Assessment)

Cours 1 : Les grandes étapes de la construction d'un modèle de scoring appliquées à la lutte contre la fraude ainsi que les pièges à éviter

Cours 2&3&4 : À partir d'un jeu de données "réel", vous apprendrez à utiliser les fonctions de modélisation de Python tout en étant guidé par l'enseignant

Cours 5 : Réalisation d'un nouveau modèle sur un autre jeu de données à partir des apprentissages précédents pour consolider vos acquis

Cours 6 : Ouverture d'horizon sur les applications de la datascience et l'organisation de la data au sein des entreprises

L'évaluation du cours sera réalisée au travers d'un projet à mener par groupe de 2 ou 3 étudiants. Sur un jeu de données fourni par les enseignants, vous aurez à dérouler toutes les phases de construction d'un score. Un bonus pour le groupe qui aura le score le plus performant sur l'aire en dessous de la courbe de ROC !

Sonia Vanier (Université Paris 1 et LiX)

Objectifs du cours :

• Connaître les concepts fondamentaux et les conditions d'optimalité en optimisation linéaire et en optimisation non-linéaire.
• Comprendre et savoir interpréter le comportement des algorithmes d'optimisation.
• Développer un modèle puis une méthode d'optimisation pour la résolution d'un problème d’optimisation avec contraintes.
• Appliquer des approches d’optimisation pour améliorer les performances des techniques d’apprentissage : - Plus proches voisins - Arbres de décision - Random Forest - Réseaux de neurones - Méthodes à noyau – Clustering – Support Vector Machine - Minimisation du risque empirique.

Contenu du cours :

I. Initiation à la recherche opérationnelle : Modélisation de problèmes de décision en entreprise, modélisation de problèmes classiques en apprentissage sous forme de programmes mathématiques ou de graphes.

  1) Programmation linéaire :

• Algorithme du simplexe
• Dualité
• Méthodes de génération de colonnes
• Méthode de génération de contraintes

  2)Théorie des graphes : 

• Arbres et Chemins
• Partitionnement
• Flot et multiflot

  3) Applications aux méthodes d’apprentissage : clustering, arbres de décision, SVM, risque empirique, réseaux de neurones.

II. Optimisation déterministe : Convexité, différentiabilité, théorèmes d’existence d’un minimum.

• Méthodes de Newton
•  Méthode de descente par gradient
• Application à la résolution de systèmes linéaires
• Gradient conjugué

III)  Optimisation sous contraintes :

• Méthodes de descente et de pénalisation
• Multiplicateurs de Lagrange, point-selle et dualité
• Conditions KKT
• Analyse de convergence
• Interprétation économique

4. Optimisation stochastique :

• Recherche aléatoire par méthodes de Monte-Carlo
• Méthode de gradient stochastique
• Recuit simulé

Marion Wilthien (Decision Network), SAS

Préparation au passage de la certification Programmation SAS Base. + Présentation des autres certifications accessibles en e-learning :

• Programmation avancée (il faut déjà avoir la base)
• Statistique (descriptive, ANOVA et Régression, avec SAS/STAT)
• Machine Learning en pipeline (flux de processus) avec SAS Viya Data Viz avec SAS Visual Analytics, sur SAS Viya.