Deep Learning Brasília - Lição 6

<<< Post: Lição 5Wiki: Lesson 7 >>>

Conteúdos da lição (traduzido do wiki from @rachel )

Linha do tempo para lição 6

  • 00:00:10 Revisão dos artigos e trabalhos realizados,
    “Optimization for Deep Learning Highlights in 2017” by Sebastian Ruder,
    “Implementation of AdamW/SGDW paper in Fastai”,
    “Improving the way we work with learning rate”,
    “The Cyclical Learning Rate technique”.

  • 00:02:10 Revisão do conteúdo da lição 5 sobre filtro colaborativo com MovieLens,
    análise do modelo,
    ‘movie bias’,
    @property’,
    ‘self.models.model’,‘learn.models’,
    ‘CollabFilterModel’,
    ‘get_layer_groups(self)’,
    ‘lesson5-movielens.ipynb’.

  • 00:12:10 Jeremy: “Eu tento utilizar Numpy para tudo, exceto quando é necessário rodar na GPU, ou derivadas”.
    Pergunta: “Como transportar o modelo da GPU para CPU quando em produção?”
    "Mover o modelo para cpu com ‘m.cpu()’,
    ‘load_model(m,p)’,
    bring back to GPU with ‘m.cuda()’,
    ‘zip()’ function in Python.

  • 00:16:10 Organizar os filmes de acordo com o bias,
    pior filme de todos os tempos “Battlefield Earth” ou em português “A reconquista(2000)” com John Travolta,
    ‘key=itemgetter()jj’, ‘key=lambda’

  • 00:18:30 Interpretação de ‘Embeddings’ utilizando ‘PCA’ da biblioteca ‘sklearn.decomposition’

  • 00:24:15 Observando a competição da lição 3 “Rossman Retail/Store” com o artigo ‘Entity Embeddings of Categorical Variables’.

  • 00:41:02 “Rossman” limpeza de dados e feature engineering, utilizando uma base de teste(Test set) corretamente,
    criando as variáveis(features),
    ‘apply_cats’ ao invés de ‘train_cats’,
    ‘pred_test = m.predict(true)’,
    avaliando o resultado no Kaggle,
    Public Leaderboard vs Private Leaderboard com um ‘validation set’ ruim,
    Exemplo: Competição ‘Statoil/Iceberg’ que utiliza imagens geradas por computador como avaliação do leaderboard público.

  • 00:47:10 Um erro cometido pela equipe que conseguiu o terçeiro lugar na competição ‘Rossman Stores’

  • 00:53:20 “Como escrever algo diferente da biblioteca fast.ai”

  • PAUSA

  • 00:59:55 Entrando em detalhes sobre “Stochastic Gradient Descent” com o notebook ‘lesson6-sgd.ipynb’,
    Regressão linear com saída contínua,
    ‘a*x+b’,
    função de perda ‘y_hat’ com erro quadrático médio (Mean Squared Error)

  • 01:02:55 Implementação do gradiente descendente em PyTorch,
    ‘loss.backward()’,
    ‘.grad.data.zero_()’ na classe ‘optim.sgd’

  • 01:07:05 Gradiente descendente em Numpy

  • 01:09:15 RNNs (Recurrent Neural Networks) com o notebook ‘lesson6-rnn.ipynb’,
    post do Swiftkey sobre software de teclados que utilizam redes neurais.

  • 01:11:10 Por que utilizar RNNs?

  • 01:12:05 Explicação de uma rede neural básica com uma única camada pelo Jeremy a partir de triângulos, caixas e círculos,
    uma CNN com uma única camada escondida.

  • 01:23:25 Modelo de três caracteres, perguntas com relação a dimensão das entradas

  • 01:36:05 Test model with ‘get_next(inp)’,
    Let’s create our first RNN, why use the same weight matrices ?

  • 01:48:45 RNN com PyTorch,
    Pergunta: " What does the hidden state represents?"

  • 01:57:55 Modelo com múltiplas saídas

  • 02:05:55 Pergunta sobre tamanho da sequência vs o tamanho da batch

  • 02:09:15 Inicialização utilizando a matriz de identidade.Artigo de Geoffrey Hinton “A Simple Way to Initialize Recurrent Networks of Rectified Linear Units”

1 Like

Wiki: Lesson 6 from @rachel :slight_smile:

Fotos da terça 08/05/2018 :slight_smile:

Fotos do sábado 12/05/2018 :slight_smile:

Pandas tutorials

Seguem os links do que @ErickMFS apresentou hoje sobre Pandas:

(E os notebooks do Curso Pandas TCU: https://github.com/fernandosola/curso_pandas)

Método utilizado para vencer a competição da Porto Seguro, comentado durante a aula.

:slight_smile: