Study Group in French

[dhoa (Dien-Hoa)]

Salut Je suis à Antibes et en train de recherche un premier job en Data Scientist

[bennnun]

Bonjour a tous !
Je serai ravi de rejoindre ce groupe.

[Xyrion (Christian Tchou)]

Yop
Chaud aussi pour rejoindre le groupe!
Il y a t’il un slack/discord ou c’est basé sur du meetup?

[Aterwyn]

Salut !
Y a-t-il des live viewers en ce moment ?

[Kaspar (Kaspar Lund)]

Bonjour a tous. ie je suis du danemark et parle francais

[cpaillard (Clément Paillard)]

Hi everyone,
I live in Tours if anyone wants to make an in person study group.

[fab237 (fabrice)]

free credits are only for those taking the course in person?

[cpaillard (Clément Paillard)]

It seems that if you sign up to GCP you will get free credit. but I’m not sure for AWS.

[fab237 (fabrice)]

On AWS you have the free tier for most services during the first year but I thought they were giving free credits to students

[PierreO (Pierre Ouannes)]

Comment voulez-vous qu’on s’organise ? Est-ce qu’on fait une conversation sur ce forum comme Jeremy l’a suggéré ?

[cpaillard (Clément Paillard)]

Oui on peut faire ça, je pense qu’il n’est pas nécessaire de reproduire le thread : Lesson 1: class discussion and resources
Nos threads pourrait se concentrer sur les questions/avancées liées à chaque leçon.

[Benoit_c (Benoit)]

Bienvenu !
Il n’y a rien d’autre que cette discussion pour le moment.

Que diriez-vous de faire un Hangout vidéo ce mercredi à 21h (heure de Paris) pour discuter du cours de cette nuit ?

[Benoit_c (Benoit)]

Pour ceux que ça intéresse j’ai créé un dataset d’avions A380 et B747 lors de la version précédente du cours :
https://github.com/trancept/deep_learning_tests/blob/master/012-Binary_Classification_747_vs_A380-essential.ipynb (Aujourd’hui l’affichage n’a pas l’air de fonctionner dans GitHub…)
Je suis ne train de le refaire avec la nouvelle version d’API.
Si ça vous intéresse je peux vous partager le dataset. Les images viennent de Google Image.

[Fast (Yvan)]

Bonjour à tous,
je suis de la région de Strasbourg.
C’est mon premier cours de fast.ai que je suis. (depuis le temps que je m’y intéresse ^^)
Je connais Python mais pas encore la librairie PyTorch.
Mon background : ingé info.

J’ai commencé à regarder la vidéo du cours.
Une bonne partie du début de la vidéo concerne la mise en place du cours en présentiel déjà 30 min. vous pouvez zapper le début ! (ça commencera à l’heure exacte pour les prochaines sessions)

Ceux sur place doivent s’organiser en groupe de 6.

Ceux suivant en live le font sur un groupe d’étude, nous par exemple qui fréquentons ce fil de discussion formons un groupe d’étude, mais j’imagine que vous pouvez vous organiser pour des projets précis.

Il est proposé de créer/utiliser un outil de collaboration quelconque. Un googlesheet ou autre. Un calendrier pour nos discussions éventuelles live serait éventuellement utile.

Que diriez-vous de faire un Hangout vidéo ce mercredi à 21h (heure de Paris) pour discuter du cours de cette nuit ?

L’horaire me va, mais je ne sais pas combien j’aurai avancé.

Je compte faire tourner sur ma propre machine, j’ai vu un tuto qui semblait pas trop long. Bien que l’option cloud payant soit tentante (mais aucune idée de combien d’heures totales de calcul on va avoir besoin ?!)

à bientôt

[Benoit_c (Benoit)]

Welcome.
Si tu as un GPU et que tu es familier d’Ubuntu c’est effectivement facile d’installer tout le système: 4 lignes à copier-coller.
Donc mieux vaut le faire en local si tu es équipé, c’est ce que je fait. Ca évite de payer pour rien, tu peux lancer des calculs plus long pour améliorer la précision des modèles et faire autant de test que tu veux sans la pression du coût.

[Matthieu (Matth D)]

Je suis OK pour le Hangout mercredi.
Je pense que je vais acheter une nouvelle machine pour travailler en local.
Ram 16Go, Intel core i7, NVIDIA GeForce GTX 1070, SSD 480 Go, tu penses que ça suffit ?

[Kaspar (Kaspar Lund)]

ok pout le hangout mercredi

[Matthieu (Matth D)]

A mon tour de me présenter:
Je suis étudiant en Ingé, j’ai donc forcément moins d’expérience que vous mais je suis bien motivé!
J’ai déjà utilisé Python et un peu utilisé Pytorch (mais souvent pour des programmes assez simples).
J’ai aussi commencé à m’intéresser aux maths appliqués qui servent dans le Deep Learning (descente de gradient, convolutions…)
Enfin je suis surtout intéressé par la partie computer vision du Deep Learning mais j’aime le reste aussi!

[pierreguillou]

Bonjour,

Avec plaisir pour échanger avec celles et ceux qui suivent le cours fastai. Voici une timeline de la vidéo de la lesson 1 d’hier (avec les liens vers les parties correspondantes dans la video).

Accueil

• (sans lien avec le DL) Discours d’accueil de Pete Baker : https://www.youtube.com/watch?v=7hX8yKCX6xM&t=1580
• (sans lien avec le DL) Discours d’accueil de David Uminsky (Director of the USF Data Institute): https://www.youtube.com/watch?v=7hX8yKCX6xM&t=1869

Jeremy Howard

• Accueil et informations générales : https://www.youtube.com/watch?v=7hX8yKCX6xM&t=1964

• Thread sur la lesson 1 dans le forum : https://www.youtube.com/watch?v=7hX8yKCX6xM&t=2415
  – Thread : https://forums.fast.ai/t/lesson-1-class-discussion-and-resources/27332
  – Docs sur le cours : http://course-v3.fast.ai/
  – Docs sur fastai en html : http://docs.fast.ai
  – Docs sur fastai dans github : https://github.com/fastai/fastai_docs
  – Docs sur fastai en jupyter notebooks : https://github.com/fastai/fastai_docs/tree/master/docs_src

• Setup de GPU en ligne : https://www.youtube.com/watch?v=7hX8yKCX6xM&t=2502
  – installer un GPU : http://course-v3.fast.ai/#using-a-gpu
  – FAQ sur le cours : https://forums.fast.ai/t/faq-and-resources-read-this-first/24987

• Début du cours : https://www.youtube.com/watch?v=7hX8yKCX6xM&t=3142
  – Jupyter notebook : https://github.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

Notebook 1
(https://github.com/fastai/course-v3/blob/master/nbs/dl1/lesson1-pets.ipynb)

• Etape 1 : importer et préparer les images (https://www.youtube.com/watch?v=7hX8yKCX6xM&t=3890)
  – création du dataset général databunch qui contient les 3 datasets train, val et test

• Etape 2 : créer le modèle (https://www.youtube.com/watch?v=7hX8yKCX6xM&t=5274)
  – création du modèle learn qui contient l’architecture du réseau neuronal et le dataset databunch (on peut y ajouter la métrique d’évaluation de l’erreur sur le val set)
  – Transfert Learning : on utilise les paramètres d’un modèle déjà entraîné à reconnaître des objets dans des images (resnet34)
  – Overfitting : pour vérifier que pendant son entraînement notre modèle ne se spécialise pas sur le train set mais apprend bien à reconnaître les caractéristiques générales des objets à détecter, on utilise un val set sur lequel on calcule l’erreur (cf. métrique ci_dessus dans le modèle learn)

• Etape 3 : entraîner le modèle avec la méthode fit_one_cycle() et non plus fit() comme dans la version précédente du cours (explication du papier de Leslie Smith dans l’article de @sgugger : The 1cycle policy)

Reprise après la pause : https://www.youtube.com/watch?v=7hX8yKCX6xM&t=6536

• Etape 4 : analyser les prévisions faites par le modèle pour comprendre son fonctionnement et éventuellement l’améliorer (https://www.youtube.com/watch?v=7hX8yKCX6xM&t=7922)
  – utilisation de l’objet interp instancié par la méthode ClassificationInterpretation.from_learner(learn)
  – 3 méthodes à utiliser sur l’objet interp :
  — plot_top_losse() pour visualiser les images sur lesquelles le modèle génère une grosse erreur (loss),
  — plot_confusion_matrix() qui affiche la Confusion Matrix,
  — most_confused() qui publie la liste des labels (classes) prédits avec le plus grand nombre d’erreurs

• Etape 5 : améliorer le modèle (https://www.youtube.com/watch?v=7hX8yKCX6xM&t=8310)
  – rechercher le meilleur Learning Rate avec la méthode lr_find() puis recorder.plot() (pour afficher la courbe loss-vs-lr)
  – utiliser alors la méthode unfreeze() sur le modèle learn afin de pouvoir entraîner toutes les couches du réseau resnet34 et pas seulement celles ajoutées à la fin du modèle afin d’avoir une architecture capable de donner une probabilité pour chacune des 37 classes… MAIS en utilisant des Learning Rate différents selon les couches via learn.fit_one_cycle(2, max_lr=slice(1e-6,1e-4)) : l’idée est que les premières couches n’ont pas besoin d’être beaucoup modifiées car elles ont été entraînées à détecter des formes géométriques simples qui se retrouvent dans toutes images.

• Etape 6 : on peut obtenir encore un meilleur résultat (une erreur plus faible) en changeant de modèle et en utilisant un modèle plus compliqué (plus profond) comme resnet50 (https://www.youtube.com/watch?v=7hX8yKCX6xM&t=9018)

[Benoit_c (Benoit)]

Merci @pierreguillou.
Je vais me présenter aussi : Je bosse depuis 20 ans dans le dev, principalement sur des projets web en tant que chef de projet technique. En ce moment je suis freelance sur du big data et j’aimerais évoluer vers des projets de Deep Learning. Le computer vision me passionne aussi mais il faut savoir que ce qui intéresse majoritairement les entreprises c’est l’analyse de données structurées (base de données d’historique de ventes par exemple), puis le NLP et en dernier lieu les images.

@Mathieu : pas facile de conseiller une machine : il faut prendre le plus gros GPU que tu puisses t’offrir, mais ça périme vite aussi alors une GTX 1070 n’est pas un mauvais choix car il y a quand même 8Go. Pour la RAM assure toi de pouvoir ajouter 16Go si besoin plus tard car 32Go peuvent être bénéfique pour le machine learning classique avec Pandas. Mais ça n’a rien d’obligatoire.
Personnellement j’ai une bête de course avec 32 cœurs, 32Go de RAM, SSD NVME et GTX1080ti. Donc pas trop dans le budget d’un étudiant…
Vu le prix du matos acheter une machine correcte comme tu le proposes est un bon choix. Rien ne t’empêche quand tu as trouvé les bons paramètres en local de louer du cloud pour faire tourner ton modèle sur des machines plus grosses.