Deep Learning na Unb (Brasília) - Parte 1 - Lição 2

pierreguillou · December 3, 2019, 3:08pm

Lesson 2: Deeper Dive into Computer Vision (30/10/2019 - UnB - Brasília)

Este tópico permite que os membros do Grupo de IA da UnB (Brasília) estudem coletivamente (em reuniões presenciais e on-line) a lição 2 (parte 1) do curso fastai, mas de um jeito aberto para ajudar também pelas questões, respostas e pelos recursos publicados todos os leitores em português interessados em DL.

Lesson resources

Lesson 2 official resources and updates
Lesson 2 chat
Lesson 2: further discussion
Notebooks:
- lesson2-download.ipynb
- lesson2-sgd.ipynb
Detailed lesson notes - thanks to @hiromi
Lesson notes - thanks to @PoonamV
Lesson 2 in-class discussion
Links to different parts in the video - thanks to @melonkernel

Other resources

How (and why) to create a good validation set by @rachel
There’s no such thing as “not a math person” by @rachel
Responder - a web app framework built on top of Starlette
Post about an alternative image downloader/cleaner by @cwerner
A tool for excluding irrelevant images from Google Image Search results by @melonkernel
Machine Learning is Fun - source of image/number GIF animation shown in lesson
A systematic study of the class imbalance problem in convolutional neural networks , mentioned by @jeremy as a way to solve imbalanced datasets.
Gradient descent in images
Medium article about how to put your model into production
Using the fastai Data Block API

pierreguillou · November 5, 2019, 7:39pm

Ementa da turma do 30/10/2019 (lição 2: “Deeper Dive into Computer Vision”)

[ 10mn ] Metas da turma, novidades desde a turma anterior (site do grupo, posts, modelos treinados…), logística, foco sobre as equipes criadas e os projetos
[ 5mn ] Foco sobre os tópicos Share your work here ✅ e Share you work here - highlights
[ 10mn ] Primeira apresentação (o Osmar apresenta os seus modelos de classificação de imagens)
[ 10mn ] Segunda apresentação (o Hugo apresenta o seu Classificador de Obras de Arte e seu notebook, problemas resolvidos e resultados)
[ 10mn ] Terceira apresentação (o Ivan apresenta: Atividade 1 -Classificador de Flores)
[ 10mn ] Pontos-chave da turma anterior
[ 1h30mn ] Lição 2
[ 30mn ] Oficina prática
- baixando fotos de pessoas com ou sem óculos.
- criando um Web app a partir de um classificador (veja o guia).

Videos timeline

[ 16:21 ] Download images using Google Images
[ 26:49 ] Training a model (como escolher o LR com learn.recorder.plot())
[ 29:38 ] Interpretation (compreendendo as previsões com maior loss (incorretas, mas o modelo está confiante ou aquelas em que o modelo não está confiante)) and ImageCleaner() (um aplicativo dentro do Jupyter notebook para apagar imagens mal rotuladas, sem ligação com a natureza do modelo, imagens duplicadas ou imagens com vieses)
[ 37:36 ] Putting your model in production (use o CPU for inference)
[ 46:06 ] Things that can go wrong
- LR (learning rate) muito grande (explosão de perda válida) ou muito pequena (muito tempo para treinar o modelo)
- número de épocas muito grande (overfitting) ou muito pequeno (underfitting)
[ 1:02:05 ] Linear algebra and Matrix multiplication
[ 1:15:06 ] Stochastic Gradient Descent (SGD) - Basics of Pytorch and Matplotlib
- [ 1:16:08 ] Linear Regression problem
- [ 1:17:57 ] What is a tensor? (por exemplo, uma imagem é um “rank 3 tensor”)
- [ 1:28:36 ] Loss function
- [ 1:39:12 ] Calculate the gradient of the loss through .backward()
- [ 1:41:31 ] Why is there any LR at all?
- [ 1:45:43 ] Training loop
- [ 1:46:20 ] Animate it!
- [ 1:48:08 ] Mini-batches
- [ 1:49:40 ] Vocabulary
- [ 1:54:42 ] Underfitting and Overfitting
- [ 1:56:07 ] Regularization and Validation Set

Recursos

Guidelines for assigning num_workers to DataLoader (“num_workers is the number of CPUs to use”, “num_workers equal 0 means that it’s the main process that will do the data loading when needed, num_workers equal 1 is the same as any n, but you’ll only have a single worker, so it might be slow”).
ipywidgets (creation of aplications inside a Jupyter Notebook)
Matrix Multiplication
Deploying on:
Understanding PyTorch with an example: a step-by-step tutorial
Welcome to PyTorch Tutorials
Autograd: automatic differentiation
Introduction to Machine Learning for Coders (fastai course)
Computational Linear Algebra (fastai course)
Stochastic Gradient Descent — Clearly Explained !!
How (and why) to create a good validation set

Exercícios até a próxima aula

Escolhendo uma meta de classificação de imagens (por exemplo, classificação de fotos de pessoas com ou sem óculos) e fazendo o download dos datasets de imagens usando o notebook lesson2-download.ipynb.
Após treinar o classificador, usando a função ImageCleaner() do mesmo notebook para apagar imagens mal rotuladas, sem ligação com a natureza do modelo, imagens duplicadas ou imagens com vieses.
Criando um aplicativo Web desse classificador (veja o tutorial).

pierreguillou · October 28, 2019, 10:29pm

Boa noite,

Há algumas diferenças entre o código do video da lição 2 sobre:

Interpretation [29:38]: como apagar imagens mal rotuladas, sem ligação com a natureza do modelo, imagens duplicadas ou imagens com vieses (função ImageCleaner() e não FileDeleter())
Putting your model in production [37:36]: como obter uma previsão a partir de uma imagem (não precisa de criar um databunch específico, só usando learn.predict())

Por entender bem o código atualizado, leiam e rodam o notebook lesson2-download.ipynb.

pierreguillou · October 31, 2019, 4:05pm

[ EDIT 31/10/2019 ]: havia problemas de atualização no tutorial publicado neste post. Por isso, eu publiquei meu proprio post (muito, muito) inspirado do tutorial do @weltonrodrigo (obrigado a ele).

Como criar um Web app tipo classificador usando um modelo fastai e colocá-lo no Heroku?

Há um guia por isso

github.com

piegu/glasses-or-not/blob/master/tutorial/Web_app_fastai.md

# Deploy do seu modelo fastai no Heroku (Web App)

## Agradecimento

[Texto de introdução](https://github.com/piegu/glasses-or-not/edit/master/README.md) e [tutorial](https://github.com/piegu/glasses-or-not/blob/master/tutorial/Web_app_fastai.md)...
- (muito, muito, muito) inspirado do [trabalho](https://github.com/weltonrodrigo/fastai-v3) do [Welton Rodrigo Torres Nascimento](https://github.com/weltonrodrigo) (até cópias/colas de seus textos porque não fazia sentido modificá-los)
- (muito, muito) inspirado do [trabalho](https://github.com/render-examples/fastai-v3) do [Anurag Goel](https://github.com/anurag)
- (muito) inspirado do [trabalho](https://github.com/nikhilno1/healthy-or-not/blob/master/heroku-deploy.md) do [Nikhil](https://github.com/nikhilno1)

Muito obrigado a eles!

## Colocar na Internet o seu modelo baseado em fastai 

Existem várias formas de colocar na Internet o seu modelo baseado em fastai. A página de informações do curso mostra diversas opções:

* [Render](https://course.fast.ai/deployment_render.html)
* [Google App Engine](https://course.fast.ai/deployment_google_app_engine.html)
* [AWS Lambda](https://course.fast.ai/deployment_aws_lambda.html)
* [Amazon SageMaker](https://course.fast.ai/deployment_amzn_sagemaker.html)
* [AWS BeanStalk](https://course.fast.ai/deployment_aws_beanstalk.html)

This file has been truncated. show original

Heroku não é a única opção. A lista das outras opções está aqui: https://github.com/piegu/glasses-or-not/blob/master/tutorial/Web_app_fastai.md#colocar-na-internet-o-seu-modelo-baseado-em-fastai

pierreguillou · October 29, 2019, 3:13pm

fastai v2 on the road…

pierreguillou · October 31, 2019, 10:03am

Pontos-chaves do método de aprendizado do Deep Learning através das lições do fastai

Assistir aos vídeos antes da turma… e pelos menos 2 vezes.
Ler as anotações da @hiromi.
Rodar todos os notebooks relacionados às lições (saber rodar o código - entender os princípios - antes de mergulhar no código).
(se possível) ler os tópicos oficiais relacionados às lições (por exemplo: Lesson 2 official resources and updates ✅).
Colocar questões no fórum fastai quando tiver um problema de compreensão.
A partir dos notebooks, criar seus próprios com outros datasets.
Publicar no seu blog posts sobre a sua compreensão do curso e seus modelos/aplicativos (notebooks no github).
Compartilhar links para os seus posts no site do grupo, nas redes sociais, etc.

pierreguillou · October 31, 2019, 10:16am

Para baixar um dataset de uma competição Kaggle, a gente precisa cadastrar-se no site, aceitar as regras da competição e usar a API Kaggle. No início deste notebook lição3-planeta.ipynb, há todas as informações e códigos necessários por isso. Também, o Jeremy explicou como fazer isso na versão de 2018 do curso (video).

Uma outra opção para baixar um dataset do kaggle ou de qualquer site é usar CurlWget (Chrome extension):

Ivan_Cunha · November 3, 2019, 3:58pm

Como eu defino a função de erro que o modelo irá usar? E qual função de erro é mais apropriada para dados desproporcionais?

Ivan_Cunha · November 3, 2019, 11:10pm

Eu esto recebendo esse erro no fim da criação do aplicativo. Já fiz as modificações que o programa sugere(em outras rodadas) e já usei outros templates de web app que achei online. Nenhum funcionou. Alguém sabe como resolve esse problema?

izzywho · November 4, 2019, 2:46am

Estou tendo problemas com a criação do aplicativo, não entendi como implementar o código principalmente quanto à receber uma imagem para avaliação

pierreguillou · November 4, 2019, 7:01pm

Bom dia @Ivan_Cunha.

Um objeto learner é criado pela função cnn_learner() que associa uma função de erro predefinida. Pode acessar essa função de erro por seu atributo learn.loss_func (aqui, FlattenedLoss of CrossEntropyLoss()).

Para obter mais informações sobre essa função de erro, roda doc(learn.loss_func) como na imagem seguinte:

(além disso, pode ler o doc fastai sobre as funções de erro)

Pode mudar a função de erro da forma seguinte:

learn.loss_func = new_loss_func

Pode definir new_loss_func seja simplesmente como uma função usando tensores (previsões e targets) como argumentos, seja uma instancia de uma classe de função de erro. Em 2 cases, pode usar funções/classes do fastai, do pytorch até pode criá-las.

Com dados despropocionais, pode usar por exemplo F.CrossEntropyLoss(weight=tensor_of_weight_for_each_class))

Tópicos sobre esse assunto:

Se precisar mais informações, publica seu notebook e seu dataset para entendermos melhor como ajudá-lo.

pierreguillou · November 4, 2019, 6:58pm

Boa tarde @izzywho. Qual plataforma você usou e qual guia?

pierreguillou · November 4, 2019, 6:57pm

Boa tarde @Ivan_Cunha. Com a sua captura de tela, posso entender que usou o guia para Heroku.

Pode dizer em qual etapa do guia o erro ocorre?

pierreguillou · November 4, 2019, 7:31pm

Está procurando inspiração para o seu Web App?

post no forum fastai	Web app
Guitar Classifier	https://guitars.cwerner.ai
Healthy or not	https://healthy-or-not.herokuapp.com/
Trinidad and Tobago Hummingbird Classifier	https://hummingbirds.azurewebsites.net/static/index.html
Mushroom	https://dry-bayou-64303.herokuapp.com
Cousin Recognizer
Emotion Classifier	https://fastai.mollyai.com/
American Sign Language	https://github.com/keyurparalkar/ASL-live-predictor
Your City from Space

pierreguillou · November 4, 2019, 7:32pm

Gosto da folha de estilo do Web App Mushroom

mgabriela · November 5, 2019, 10:58am

Bom dia!
Vou colocar essa dúvida em três partes porque só posso fazer upload de uma imagem por post e são muitos prints…
[1/3]
Estou tendo dificuldades para colocar o diretório quando vou configurar o jupyter notebook na minha instância do google cloud. Antes de tudo, aconteceu um erro na instalação do driver da NVIDIA. Tirei um print disso porque não sabia se tinha ou não relação.

mgabriela · November 5, 2019, 11:00am

[2/3]
Também tirei print dos erros que apareceram quando tentei colocar o diretório.

mgabriela · November 5, 2019, 11:07am

[3/3]
Tentei então abrir diretamente o jupyter pelo IP e também não deu certo

thiagodma · November 5, 2019, 5:06pm

Oi Maria! Isso foi apenas um warning que sempre aparece na instalação do driver da GPU. Não seu preocupe com esses warnings!

thiagodma · November 5, 2019, 5:10pm

Então, tem uma coisa que tem que ficar bem claro: quanto você acessa uma instância do GCP, ela não tem ligação nenhuma com seu computador. Uma instância do GCP é literalmente um outro computador então não faz sentido você colocar um caminho da sua máquina local.

Além disso, a instância vem com um sistema Linux (o debian) instalado, então você tem que especificar os diretórios de Linux dentro da instância.

Você pode fazer uploads e downloads para a sua instância apertando na engrenagem no canto superior direito da tela (lembrando que você não deve fazer upload de arquivos grandes, já que vai demorar muito). Para colocar seu dataset na instância você deve baixá-lo diretamente nela (vou fazer um post no medium explicando como fazê-lo).