Deep Learning na Unb (Brasília) - Parte 1 - Lição 4

[pierreguillou]

Ementa (13/11/2019 - UnB - Brasília)

1. [ 20mn ] O que aconteceu online desde a aula precedente
   • Revisão de perguntas publicadas no fórum (como aumentar suas chances de obter uma resposta útil)
   • Lista de nomes de usuário no fórum fastai dos membros do Grupo IA da UnB
   • Site do grupo
   • Novos posts
2. [ 20mn ] Lista dos projetos e 5 pontos importantes para ter sucesso
   1. Em 2019, a gente não começa um projeto de IA a partir de zero.
   2. O ponto mais importante é a definição e a escolha de um dataset correspondente ao objetivo do projeto.
   3. Não existe uma IA geral ou quase geral. Uma IA treinada a partir de um dataset para uma tarefa particular pode fazer só isso (ie, precisa de dados iguais na produção).
   4. A verdadeira meta do projeto: apresentar um aplicativo realístico e útil que o publico misturado no auditório (técnico ou não) vai entender e gostar.
   5. O aplicativo de cada projeto tem de ser apresentado ao grupo antes da conferência para melhorar a sua apresentação (ie, treino) e verificar que dá certo.
3. [ 15mn ] Organização da conferência de dezembro (data, horário, lugar, responsável geral, responsável da logística, responsável da comunicação, mentor dos projetos = Pierre)
4. [ 10mn ] Pontos-chave da turma anterior
5. [ 30mn ] NLP da lição 4 (veja “Videos timeline”)
   • Notebooks
     • lesson3-imdb.ipynb
     • lesson4-collab.ipynb
     • lesson4-tabular.ipynb
   • Excel spreadsheets: collab_filter.xlsx
6. [ 1h25mn ] Oficinas práticas
   • Imagens (Pierre)
   • NLP (Thiago)
7. [ 0mn ] Fotos da aula

Videos timeline

• Natural Language Processing (NLP) [2:00]
• Transfer learning in NLP & Language Model [6:04]
• Wikitext 103 [8:30]
• Fine-tuning Wikitext to create a new language model [11:10]
• Review of the basic process [15:14]
• With the data block API [18:31]
• Language model [19:44]
• Training [22:29]
• Predicting with Language Model [25:43]
• Classifier [27:18]
• Tabular [33:10]
• Where does the magic number of in the learning rate come from? [33:38]
• Back to Tabular [36:41]
• Tabular examples [39:51]
• Continuous vs. Categorical [43:07]
• Processor [45:04]
• Collaborative Filtering [53:08]
• Cold start problem [58:55]
• The half way point [1:06:34]
• Collaborative filter with Microsoft Excel [1:07:25]
• Jeremy’s spreadsheet tip of the day! [1:08:37]
• Excel Solver [1:14:30]
• Embedding [1:21:41]
• Back to code [1:23:55]
• Overview of important terminology [1:31:24]

Recursos

• NLP & fastai | RNN
• NLP & fastai | Language Model
• NLP & fastai | Transfer Learning
• NLP & fastai | ULMFiT
• Lesson 12 (2019) - Advanced training techniques; ULMFiT from scratch (notes)
• NLP & fastai | Portuguese Language Model
  • Modelo de linguagem para o português (método MultiFiT)
• Pandas
  • Curso de Introdução a Análise de Dados (em português)
  • Online courses : list of tutorials about pandas

Exercícios até a próxima aula

• Definição de um modelo de linguagem