Deep Learning na Unb (Brasília) - Parte 1 - Lição 2

[pierreguillou]

Ementa da turma do 30/10/2019 (lição 2: “Deeper Dive into Computer Vision”)

1. [ 10mn ] Metas da turma, novidades desde a turma anterior (site do grupo, posts, modelos treinados…), logística, foco sobre as equipes criadas e os projetos
2. [ 5mn ] Foco sobre os tópicos Share your work here ✅ e Share you work here - highlights
3. [ 10mn ] Primeira apresentação (o Osmar apresenta os seus modelos de classificação de imagens)
4. [ 10mn ] Segunda apresentação (o Hugo apresenta o seu Classificador de Obras de Arte e seu notebook, problemas resolvidos e resultados)
5. [ 10mn ] Terceira apresentação (o Ivan apresenta: Atividade 1 -Classificador de Flores)
6. [ 10mn ] Pontos-chave da turma anterior
7. [ 1h30mn ] Lição 2
8. [ 30mn ] Oficina prática
   • baixando fotos de pessoas com ou sem óculos.
   • criando um Web app a partir de um classificador (veja o guia).

Videos timeline

• [ 16:21 ] Download images using Google Images
• [ 26:49 ] Training a model (como escolher o LR com learn.recorder.plot())
• [ 29:38 ] Interpretation (compreendendo as previsões com maior loss (incorretas, mas o modelo está confiante ou aquelas em que o modelo não está confiante)) and ImageCleaner() (um aplicativo dentro do Jupyter notebook para apagar imagens mal rotuladas, sem ligação com a natureza do modelo, imagens duplicadas ou imagens com vieses)
• [ 37:36 ] Putting your model in production (use o CPU for inference)
• [ 46:06 ] Things that can go wrong
  • LR (learning rate) muito grande (explosão de perda válida) ou muito pequena (muito tempo para treinar o modelo)
  • número de épocas muito grande (overfitting) ou muito pequeno (underfitting)
• [ 1:02:05 ] Linear algebra and Matrix multiplication
• [ 1:15:06 ] Stochastic Gradient Descent (SGD) - Basics of Pytorch and Matplotlib
  • [ 1:16:08 ] Linear Regression problem
  • [ 1:17:57 ] What is a tensor? (por exemplo, uma imagem é um “rank 3 tensor”)
  • [ 1:28:36 ] Loss function
  • [ 1:39:12 ] Calculate the gradient of the loss through .backward()
  • [ 1:41:31 ] Why is there any LR at all?
  • [ 1:45:43 ] Training loop
  • [ 1:46:20 ] Animate it!
  • [ 1:48:08 ] Mini-batches
  • [ 1:49:40 ] Vocabulary
  • [ 1:54:42 ] Underfitting and Overfitting
  • [ 1:56:07 ] Regularization and Validation Set

Recursos

• Guidelines for assigning num_workers to DataLoader (“num_workers is the number of CPUs to use”, “num_workers equal 0 means that it’s the main process that will do the data loading when needed, num_workers equal 1 is the same as any n, but you’ll only have a single worker, so it might be slow”).
• ipywidgets (creation of aplications inside a Jupyter Notebook)
• Matrix Multiplication
• Deploying on:
  • Render
  • Heroku
  • Google App Engine
  • AWS Lambda
  • Amazon SageMaker
  • AWS BeanStalk
  • Microsoft Azure Functions
• Understanding PyTorch with an example: a step-by-step tutorial
• Welcome to PyTorch Tutorials
• Autograd: automatic differentiation
• Introduction to Machine Learning for Coders (fastai course)
• Computational Linear Algebra (fastai course)
• Stochastic Gradient Descent — Clearly Explained !!
• How (and why) to create a good validation set

Exercícios até a próxima aula

• Escolhendo uma meta de classificação de imagens (por exemplo, classificação de fotos de pessoas com ou sem óculos) e fazendo o download dos datasets de imagens usando o notebook lesson2-download.ipynb.
• Após treinar o classificador, usando a função ImageCleaner() do mesmo notebook para apagar imagens mal rotuladas, sem ligação com a natureza do modelo, imagens duplicadas ou imagens com vieses.
• Criando um aplicativo Web desse classificador (veja o tutorial).