Deep Learning na Unb (Brasília) - Parte 1 - Lição 7

[pierreguillou]

[ <<< Lição 6 ]

Lesson 7 - Resnets from scratch; U-net; Generative (adversarial) networks (04/12/2019 - UnB - Brasília)

Este tópico permite que os membros do Grupo de IA da UnB (Brasília) estudem coletivamente (em reuniões presenciais e on-line) a lição 7 (parte 1) do curso fastai , mas de um jeito aberto para ajudar também pelas questões, respostas e pelos recursos publicados todos os leitores em português interessados em DL.

Lesson Resources

• Detailed lesson notes - thanks to @hiromi
• Notebooks:
  • lesson7-resnet-mnist.ipynb
  • lesson7-superres-gan.ipynb
  • lesson7-superres-imagenet.ipynb
  • lesson7-superres.ipynb
  • lesson7-wgan.ipynb
  • lesson7-human-numbers.ipynb
• Lesson 7 in-class discussion thread
• Lesson 7 advanced discussion

Other Resources

• Visualizing the Loss Landscape of Neural Nets
• Convolution arithmetic paper shown in class
• Perceptual Losses for Real-Time Style Transfer and Super-Resolution
• Interview with Jeremy at Github
• ipyexperiments - handy lib from @stas that is even better than gc.collect at reclaiming your GPU memory
• Documentation improvements thread (please help us make the docs better!)

[pierreguillou]

Ementa (04/12/2019 - UnB - Brasília)

1. [ 20mn ] O que aconteceu online desde a aula precedente
   • Revisão de perguntas publicadas no fórum
   • Site do grupo
   • Novos posts
2. [ 10mn ] Pontos-chave da turma anterior
3. [ 2h30mn ] lição 7 (veja “Videos timeline”)
   • Notebooks:
     • lesson7-resnet-mnist.ipynb
     • lesson7-superres-gan.ipynb
     • lesson7-superres-imagenet.ipynb
     • lesson7-superres.ipynb
     • lesson7-wgan.ipynb
     • lesson7-human-numbers.ipynb
4. [ 0mn ] Fotos da aula

Videos timeline

• Start [0:00]
• MNIST CNN [2:04]
• Basic CNN with batch norm [11:01]
• Refactor [15:42]
• ResNet-ish [16:24]
• ResBlock Trick [20:36]
• Visualizing the Loss Landscape of Neural Nets [21:16]
• U-Net [30:16]
• Image restoration [48:31]
• parallel [53:48]
• Generative Adversarial Network [59:23]
• For what kind of problems, do you not want to use U-Net? [1:14:48]
• Wasserstein GAN [1:15:59]
• Feature Loss [1:18:37]
• Medium Resolution [1:31:45]
• What we learned in the class so far [1:36:59]
• Recurrent Neural Network (RNN) [1:38:31]
• Human numbers [1:43:11]
• Same thing with a loop [1:50:48]
• What now? [1:58:59]
• Ask Jeremy Anything [2:05:26]

Exercícios até a próxima aula

• Publique em seu blog sua compreensão:
  • o que é MNIST?
  • o que é ResNet?
  • o que é DenseNet?
  • o que é U-Net?
  • o que é deconvolução/transpose convolução/Nearest Neighbor Interprolation?
  • que tipos de Image restoration podemos fazer com o Deep Learning?
  • o que é GAN (Generative Adversarial Network)?
  • o que é Wasserstein GAN?
  • o que é Recurrent Neural Network (RNN)?
• Execute novamente seus primeiros notebooks sobre classificação de imagens com esses novos truques e tente melhorar o conteúdo de seus modelos (atualize as postagens relacionadas)
• What to do now?
  
  

[pierreguillou]

Criar um app móvel a partir de um modelo fastai

Fonte: Deploying Deep Learning Models On Web And Mobile (Apps)

[pierreguillou]

resnet

Fonte: https://github.com/hiromis/notes/blob/master/Lesson7.md#resnet-ish-1624

[pierreguillou]

U-Net

Fonte: https://github.com/hiromis/notes/blob/master/Lesson7.md#u-net-3016

[pierreguillou]

Image restoration

Fonte: https://github.com/hiromis/notes/blob/master/Lesson7.md#image-restoration-4831

[pierreguillou]

Generative Adversarial Network (GAN)

Fonte: https://github.com/hiromis/notes/blob/master/Lesson7.md#generative-adversarial-network-5923

[pierreguillou]

Feature loss

Fonte: https://github.com/hiromis/notes/blob/master/Lesson7.md#feature-loss-11837

[pierreguillou]

DeOldify

Fonte: https://github.com/jantic/DeOldify (Tutorial to use DeOldify on Google Colab)

[pierreguillou]

Recurrent Neural Network (RNN)

Fonte: https://github.com/hiromis/notes/blob/master/Lesson7.md#recurrent-neural-network-rnn-13831

[pierreguillou]

Program of fastai Deep Learning part 2

Fonte: https://github.com/hiromis/notes/blob/master/Lesson7.md#what-now-15859