.gitignore

+.DS_Store
+sujets/*.pdf

README.md

-# M1 Données TP
+# TP de l'UE de M1 "Données : manipulation et visualisation"
 
+Le dépôt contient différents répertoires :
 
+- `data` pour les données
+- `sujet` pour les scripts ayant engendré les sujets
+
+Il sera mis au jour au cours du semestre.
+
+
+
+-----
 
 ## Getting started
 

data/airlines.csv

+"carrier";"name"
+"9E";"Endeavor Air Inc."
+"AA";"American Airlines Inc."
+"AS";"Alaska Airlines Inc."
+"B6";"JetBlue Airways"
+"DL";"Delta Air Lines Inc."
+"EV";"ExpressJet Airlines Inc."
+"F9";"Frontier Airlines Inc."
+"FL";"AirTran Airways Corporation"
+"HA";"Hawaiian Airlines Inc."
+"MQ";"Envoy Air"
+"OO";"SkyWest Airlines Inc."
+"UA";"United Air Lines Inc."
+"US";"US Airways Inc."
+"VX";"Virgin America"
+"WN";"Southwest Airlines Co."
+"YV";"Mesa Airlines Inc."

sujets/tp1.qmd

+---
+title: "TP1 : prise en main des outils et Excel"
+subtitle: "M1 MAS -- Données : manipulation et visualisation"
+author: Pierre Pudlo
+institute: Aix-Marseille Université / Faculté des Sciences
+engine: knitr
+lang: fr
+editor: 
+    render-on-save: true
+format: 
+    pdf: 
+        latex_engine: xelatex
+        toc: false
+---
+
+Ce TP est constitué de deux parties de 2h chacune environ. Il y a un élément à rendre sur Ametice à la fin du TP. Il est conseillé d'utiliser les ordinateurs sous `Windows` en salle TP. Vous pouvez utiliser vos propres ordinateurs.
+
+# Partie A : prise en main
+
+## Installation sur l'ordinateur
+
+1. Parmi les logiciels ci-dessous, lesquels sont installés et disponibles ? Que se passe-t-il quand vous les démarrer ?
+
+    SAS | RStudio | VSCode | Anaconda Navigator | Excel
+
+2. Dans **VSCode**, vérifier que les extensions suivantes sont installées :
+
+    - Jupyter, Jupyter Cell Tags, Jupyter Keymap, Jupyter Notebook Renderers
+    - Python, R, Quarto
+
+3. Avec **Anaconda Prompt** ou  un Terminal/Console, quelles sont les commandes pour :
+
+    - afficher le répertoire courant
+    - lister les fichiers dans le répertoire courant
+    - changer de répertoire
+
+4. En utilisant `conda` dans ce répertoire, lister les packages installés, ainsi que les environnements existants. Installer les packages pour faire du `git` avec `conda`.
+
+## Mise en place des TP
+
+5. Se connecter à [Etulab](https://etulab.univ-amu.fr) et créer un projet pour ce cours, nommé `MAS-Donnees-votrenom`. Ajouter un fichier `README.md` avec une description du projet.
+
+    $\implies$ vous utiliserez ce dépôt pour sauvegarder votre travail.
+
+    Cloner ce dépôt sur votre ordinateur en utilisant `git` en ligne de commande ou Github Desktop ou un autre IDE de votre choix.
+
+6. Mise en place d'un environnement de travail pour le cours
+
+    Télécharger les données du TP en utilisant `git` avec la commande ci-dessous :
+```bash
+git clone https://etulab.univ-amu.fr/pudlo.p/m1-donnees-tp.git
+```
+
+    Copier les 5 fichiers csv dans un sous-répertoire `data/` du répertoire de votre propre dépôt créé à l'étape précédente. Et ajouter le suivi de ces fichiers via un `git add`. Faites un `commit` et un `push` pour sauvegarder ces fichiers sur le dépôt distant.
+
+6. Suivant votre groupe, prenez en main un espace de travail adapté à votre langage (Python | R | SAS) :
+
+    - **Python** : Jupyter Notebook via Anaconda Navigator | VSCode : jupyter et/ou quarto
+    - **R** : RStudio | VSCode : R et/ou quarto
+    - **SAS** : SAS | VSCode : jupyter et/ou quarto (avec un noyau SAS)
+
+7. Importer le fichier `airlines.csv` dans votre langage de programmation et afficher le jeu de données. Sauvegarder le script/notebook dans votre dépôt avec un titre et quelques lignes décrivant ce que vous avez fait.
+
+    Ajouter ce fichier dans votre dépôt et faire un `commit` et un `push`.
+
+# Partie B : utilisation d'Excel
+
+## Importation des données
+
+- Créer un nouveau classeur Excel
+- Importer le fichier `airlines.csv` dans un onglet `airlines` de ce classeur :
+    - vérifier que les données sont bien importées
+    - ajouter des formats aux colonnes si besoin
+    - transformer en tableau avec entête nommé `airlines`
+
+    Ce jeu de données permet de faire le lien entre un code, et le nom d'une compagnie aérienne.
+
+- Importer le fichier `flights.csv` dans un onglet `flights` de ce classeur (voir la fin du sujet pour une description des données) :
+    - vérifier que les données sont bien importées
+    - ajouter des formats aux colonnes si besoin
+    - transformer en tableau avec entête nommé `flights`
+
+Est-ce qu'il y a des données manquantes dans la colonne `arr_delay` ? Si oui, comment sont-elles codées ? Quelle est la proportion de ces données manquantes ?
+
+## Premières manipulations sur Excel
+
+L'objectif ici est de construire un premier tableau de bord sur les retards des vols à l'arrivée.
+
+- Ajouter une colonne qui calcule la distance en kilomètres à partir de la distance en miles.
+- Avec `recherchev` ou `index`/ `equiv`, ajouter une colonne qui donne le nom de la compagnie aérienne à partir du code de la compagnie
+- Ajouter une colonne qui calcule la vitesse moyenne de l'avion en km/h. Ces données sont-elles réalistes ?
+- Dans un nouvel onglet de tableau de bord, présenter (et calculer) à partir de la table `flights` :
+    - la distance moyenne parcourue, et l'écart-type (en km)
+    - la moyenne et l'écart-type des vitesses moyennes (en km/h)
+    - la proportion de données manquantes sur le retard à l'arrivée
+    - la proportion de retards supérieurs à 10 minutes (inclus)
+    - le retard moyen en minutes, en cas de retard, ainsi que l'écart-type
+- Ajouter à cet onglet de tableau de bord un tableau croisé dynamique pour obtenir les retards moyens (en cas de retard) par compagnie (en ligne) $\times$ mois (en colonne)
+- Compléter le tableau de bord avec un tableau croisé dynamique des retards moyens (en cas de retard) par compagnie (en ligne) $\times$ aéroport de départ (en colonne : JFK, LGA et EWR)
+- Ajouter une ligne dans le tableau de bord qui indique clairement votre prénom/nom/groupe et la date de conception du tableau de bord.
+- Vous pouvez ajouter votre fichier Excel au dépôt avec un `add`, `commit` et `push`.
+
+Déposer le **fichier Excel** sur **Ametice** pour évaluation. Vous serez juger sur :
+
+- la justesse du travail fait
+    - qualité de l'import
+    - qualité de la jointure
+    - qualité des nouvelles colonnes
+    - qualité des tableaux croisés dynamique
+- la qualité de présentation et la lisibilité du tableau de bord, ainsi que l'exactitude des chiffres fournis
+
+# Annexe : Description du jeu de données `flights`
+
+Données de ponctualité pour tous les vols ayant quitté NYC (c'est-à-dire JFK, LGA ou EWR) en 2013.
+
+- `year`, `month`, `day` : Date de départ.
+
+- `dep_time`, `arr_time` : Heures de départ et d'arrivée réelles (format HHMM ou HMM), heure locale.
+
+- `sched_dep_time`, `sched_arr_time` :
+Heures de départ et d'arrivée prévues (format HHMM ou HMM), heure locale.
+
+- `dep_delay`, `arr_delay` :
+Retards au départ et à l'arrivée, en minutes. Les temps négatifs représentent des départs/arrivées en avance.
+
+- `carrier` :
+Abréviation à deux lettres de la compagnie aérienne. Utiliser les données `airlines` pour obtenir le nom.
+
+- `flight` :
+Numéro de vol.
+
+- `tailnum` :
+Numéro de queue de l'avion. Utiliser les données `planes` pour des métadonnées supplémentaires.
+
+- `origin`, `dest` :
+Origine et destination. Utiliser les données `airports` pour des métadonnées supplémentaires.
+
+- `air_time` :
+Temps passé dans les airs, en minutes.
+
+- `distance` :
+Distance entre les aéroports, en miles.
+
+- `hour`, `minute` :
+Heure de départ prévue décomposée en heures et minutes.
+
+- `time_hour` :
+Date et heure prévues du vol sous forme de date POSIXct. Avec `origin`, peut être utilisé pour joindre les données de vols aux données météorologiques.
+
+**Source**
+RITA, Bureau of transportation statistics, 
+
+[https://www.transtats.bts.gov/DL_SelectFields.asp?Table_ID=236](https://www.transtats.bts.gov/DL_SelectFields.asp?Table_ID=236)
+
+
+

sujets/tp2.qmd

+---
+title: "TP2 : manipulation de données"
+subtitle: "M1 MAS -- Données : manipulation et visualisation"
+author: Pierre Pudlo
+institute: Aix-Marseille Université / Faculté des Sciences
+engine: knitr
+lang: fr
+editor: 
+    render-on-save: true
+format: 
+    pdf: 
+        latex_engine: xelatex
+        toc: false
+---
+
+# Partie A : prise en main du logiciel/langage
+
+Prener en main un IDE qui correspond au logiciel/langage de votre parcours. Dans les salles de TP, sont installés sur les machines :
+
+- Python : Pycharm (et Spyder ?),
+- R : RStudio,
+- SAS : SAS ou SAS Studio. 
+
+Et vous disposer de VS Code en ligne sur le site de Microsoft ou EtuLab.
+
+Dans ce logiciel/langage, créer la table de données ci-dessous, en faisant attention au format des colonnes.
+
+| Nom | Prénom | Genre | Naissance | NumEtu | Parcours | Note |
+|----|----|:----:|----|----|----|----:|
+|Marmin | Arthur| H | | 01586478 | DS | 17 |
+|Reboul | Laurence | F | | 27884401 | IMSA | 14,5 |
+|Pudlo | Pierre | H | 20/09/1977 | 96364564 | MASSPOP | 20 |
+
+Sur quel bouton pouvez-vous cliquer pour visualiser le contenu de cette table ?
+
+Vérifier les commandes d'accès aux différents éléments de la table : ligne, colonne, cellule. [MASS POP :] Pourquoi ne peut-on pas faire ça sous SAS ? Quel est le type renvoyé par chacune des commandes que vous essayer ? 
+
+Comment pouvez-vous la modifier ?
+
+Que se passe-t-il si vous copiez la table et si vous modifier l'un des numéros d'étudiant ? Les deux copies sont-elles modifiées ou uniquement l'une d'entre elle ?
+
+# Partie B : retard des vols au départ des aéroports de New York City en 2013
+
+L'objectif de cette partie est de reproduire la partie B du TP1 sur le logiciel/langage de votre parcours. À partir des 4 fichiers de données, il s'agit de calculer les statistiques suivantes :
+
+- la distance moyenne parcourue, et l'écart-type (en km),
+- la moyenne et l'écart-type des vitesses moyennes (en km/h),
+- la proportion de données manquantes sur le retard à l'arrivée,
+- la proportion de retards supérieurs à 10 minutes (inclus),
+- le retard moyen en minutes, en cas de retard, ainsi que l'écart-type.
+
+Vous devez ensuite produire deux tables de moyennes des retards en minutes en cas de retard effectif par :
+
+- compagnie $\times$ mois,
+- compagnie $\times$ aéroport de départ.
+
+(OPTIONNEL : comment ferait-on pour ajouter des écart-types à ces tables ?)
+
+Vous devez pour cela utiliser des étapes parmi :
+
+- import de données et mise en forme,
+- pivot (format long vers large ou large vers long),
+- calcul de moyenne par groupe (*group by*),
+- calcul de nouvelles variables,
+- fusion / jointure avec clé.
+
+Dans un premier temps, nous vous proposons de réfléchir à la séquence des étapes et leur enchaînement. Puis ensuite, à les implémenter sur le logiciel/langage de votre parcours.
+
+
+# Partie C : étude des retards en fonction des conditions météorologiques au départ
+
+Il s'agit d'un travail réalisable seul ou en binome.
+
+On souhaite commencer à étudier le retard à l'arrivée en l'expliquant par les conditions météorologiques au départ. La source de ces données est un téléchargement ASOS depuis Iowa Environmental Mesonet, https://mesonet.agron.iastate.edu/request/download.phtml. Cette partie est de type projet exploratoire et vous laisse plus libre.
+
+La table `weather` contient les variables ci-dessous :
+
+- `origin`
+Station météorologique. Nommée `origin` pour faciliter la fusion avec les données de vols.
+
+- `year`, `month`, `day`, `hour`
+Heure de l'enregistrement.
+
+- `temp`, `dewp`
+Température et point de rosée en °F.
+
+- `humid`
+Humidité relative.
+
+- `wind_dir`, `wind_speed`, `wind_gust`
+Direction du vent (en degrés), vitesse et rafales de vent (en mph).
+
+- `precip`
+Précipitations, en pouces.
+
+- `pressure`
+Pression au niveau de la mer en millibars.
+
+- `visib`
+Visibilité en miles.
+
+- `time_hour`
+Date et heure de l'enregistrement sous forme de date POSIXct.
+
+Proposer différents pistes pour réaliser cette étude. On pourra également s'appuyer sur le retard au décollage, même si c'est le retard à l'arrivée qui nous intéresse.
+
+On rappelle que $1$ mile vaut $1,60934$ km et que la température en degré Fahrenheit est liée à la température en degré Celcius par :
+
+$$
+t_F = \frac 95 t_C + 32.
+$$
+
+
+Déposer sur Ametice un notebook (source + PDF) ou un script et un mini-rapport (1 à 2 pages, PDF), décrivant vos premiers calculs sur ce problème, et vos conclusions sur ces calculs.
\ No newline at end of file