Deep Learning na Unb (Brasília) - Parte 1 - Lição 6

pierreguillou · November 16, 2019, 12:16am

Lesson 6 - Foundations of Convolutional Neural Networks (27/11/2019 - UnB - Brasília)

Este tópico permite que os membros do Grupo de IA da UnB (Brasília) estudem coletivamente (em reuniões presenciais e on-line) a lição 6 (parte 1) do curso fastai , mas de um jeito aberto para ajudar também pelas questões, respostas e pelos recursos publicados todos os leitores em português interessados em DL.

Lesson Resources

Detailed lesson notes - thanks to @hiromi
Notebooks:
Lesson 6 in-class discussion thread
Lesson 6 advanced discussion
[Lesson 6 Review - slides from TWiML Study Group 3/09/2019 See slide #5 for analysis of @Jeremy’s matrix multiplication notation]TWiML_Fastai_course1v3_lesson6.pdf (531.3 KB)

Other Resources

50 Years of Test (Un)fairness: Lessons for Machine Learning
Convolutions: http://www.cs.cornell.edu/courses/cs1114/2013sp/sections/S06_convolution.pdf
Convolution Arithmetic: https://github.com/vdumoulin/conv_arithmetic/blob/master/README.md
Normalization: https://arthurdouillard.com/post/normalization/
Cross entropy loss: https://gombru.github.io/2018/05/23/cross_entropy_loss/
How CNNs work: https://brohrer.github.io/how_convolutional_neural_networks_work.html
Image processing and computer vision: https://openframeworks.cc/ofBook/chapters/image_processing_computer_vision.html
“Yes you should understand backprop”: https://medium.com/@karpathy/yes-you-should-understand-backprop-e2f06eab496b
BERT state-of-the-art language model for NLP: https://towardsdatascience.com/bert-explained-state-of-the-art-language-model-for-nlp-f8b21a9b6270
Hubel and Wiesel: https://knowingneurons.com/2014/10/29/hubel-and-wiesel-the-neural-basis-of-visual-perception/
Perception: https://grey.colorado.edu/CompCogNeuro/index.php/CCNBook/Perception
Implementing Grad-CAM in PyTorch: https://medium.com/@stepanulyanin/implementing-grad-cam-in-pytorch-ea0937c31e82

pierreguillou · November 26, 2019, 7:46pm

Ementa (27/11/2019 - UnB - Brasília)

[ 20mn ] O que aconteceu online desde a aula precedente
- Revisão de perguntas publicadas no fórum
- Site do grupo
- Novos posts
[ 15mn ] Organização da conferência de dezembro
[ 5mn ] Lista dos projetos
[ 1h40mn ] Apresentações dos aplicativos dos projetos
[ 10mn ] Pontos-chave da turma anterior
[ 30mn ] lição 6 (veja “Videos timeline”)
- Notebooks:
[ 0mn ] Fotos da aula

Videos timeline

Start [0:00]
Finishing up regularization for the Tabular Learner [9:48]
Time Series and add_datepart [13:21]
Preprocesses [16:52]
Preprocessor: Categorify [18:39]
Preprocessor: Fill Missing [20:18]
Categorical and Continuous Variables [22:23]
Reminder about Doc [25:09]
y_range [27:12]
Dropout [29:47]
Dropout and test time [34:47]
Batch Normalization [44:28]
Data augmentation [56:45]
Convolutional Neural Network [1:05:14]
Manual Convolutions [1:29:24]
Creating Heat Map [1:33:50]
Ethics and Data Science [1:49:10]

Recursos

Exercícios até a próxima aula

Publique em seu blog sua compreensão:
- da função add_datepart()?
- como criar um sub-dataset para testar o seu modelo antes de usar o dataset inteiro (dica: idx = np.random.permutation(range(n))[:2000])?
- como transformar o tipo das colunas de uma tabela pandas em um tipo categoria (dica: categorify = Categorify(small_cat_vars, small_cont_vars))?
- como lidar com os dados ausentes (dica: fill_missing = FillMissing(small_cat_vars, small_cont_vars))?
- como executar todos os pré-processamentos na criação do Databunch (dica: procs=[FillMissing, Categorify, Normalize])?
- como decidir que variáveis são de tipo categoria ou continuou?
- como na criação do Databunch transformar um dataset de classificação para regressão linear (dica: label_cls=FloatList)?
- o que é dropout? por quê usar dropout (dica: overfitting)? a gente aplica dropout nas ativações ou nos parâmetros? que papel apresentou o primeiro o dropout (dica: link)?
- o que é Batch Normalization (BN)? pode aumentar o Learning Rate usando o BN? quantos parâmetros têm de ser aprendizados por BN? quais são os 2 impactos de usar o BN no treinamento do modelo (dicas: re… e tempo m…)?
- o que é Data Augmentation (DA)? quais são os parâmetros (lista de transformações) da DA (dica: get_transforms())?
- o que é um heatmap (dica: show_heatmap())?
- o que é um modelo ConvNet? o que é uma convolução?
- como obter a arquitetura e números de parâmetros do seu modelo no fastai (dicas: learn.model e learn.summary())?
- como criar um minibatch com um item (dica: data.one_item())?
- o que é um hook no PyTorch e fastai?
Execute novamente seus primeiros notebooks sobre classificação de imagens com esses novos truques e tente melhorar o conteúdo de seus modelos (atualize as postagens relacionadas)

pierreguillou · November 26, 2019, 10:41pm

Graças à features engineering nas datas (tipo de pré-processamento) através da função add_datepart(), pode tratar muitos tipos de problemas de séries temporais como problemas tabulares regulares.

Por quê? Como o pré-processamento feito no dataset de training é aplicado para o de validação e de teste?