só para complementar o post do @lucasosouza, antes de postar nesta thead (lição 1), leiam por favor a thread Wiki Lesson 1 : é a thread criada pelos @jeremy e @rachel no fim do ano passado para conversar sobre a lição 1 (parte 1) entre professores, alunos do programa internacional e alunos do curso em presencial na universidade de San Francisco. é um mina de ouro
Além disso, deem uma olhada se tiverem o tempo à seção About : há 8800 pessoas registradas nesse fórum ! Que bom para obter uma resposta a qualquer dúvida
Uma correção importante: essas instruções do link que o Pierre postou estão desatualizadas. Não usem o template fastai que está disponível no paperspace.
O correto é iniciar uma máquina com o template ubuntu16, e usar esse script de configuração para configurar a máquina: http://files.fast.ai/setup/paperspace
Para quem não entende muito de linux, segue um passo-a-passo básico:
Inicialize a máquina usando a senha padrão que foi enviada no seu email ao contratar a máquina virtual
Execute o comando passwd, para já trocar a senha padrão
Execute sudo nano setup.sh para abrir um editor de text com um novo arquivo. Copie e cole o texto para esse arquivo. Aperte ctrl+x, para sair, e ao perguntar se quer salvar ou não, Y para salvar, e depois enter novamente. Isso vai criar um arquivo setup.sh.
Execute sudo chmod +x setup.sh para conceder todas as permissões nesse arquivo para o usuário atual
Execute ./setup.sh para rodar o arquivo. Irá levar uns 20 minutos a meia hora para baixar tudo e configurar a máquina
Quando terminar, rode sudo reboot para reinicializar a máquina.
segui o seu passo-a-passo e funcionou ! Obrigado (e acabei de publicar também um post para @dillon e @reshama para entender o que está falso/desatualizado no tutorial publicado).
Then, click on the small terminal image of the machine launched. The terminal will be opened and you can start using it (a bit complicated but works
Just one more point : we agree now that creating a machine through the Fast.ai Public Templates or Ubuntu 16.04 with Fast.ai Script gives the same result BUT when using the Fast.ai Public Templates, it is needed to ask the permission (read my post). Why ? Many people of the Brasilia study group wait and wait and wait a (positive) answer…
Could you solve this issue ? Many thanks.
O que isso significa ?
Até aqui, podem usar 2 possibilidades para criar uma maquina PaperSpace usando os jupyter notebooks do Fast.ai.
@pierreguillou e @lucasosouza
Encontro bloqueio de indisponibilidade, que requer explicar os motivos para criar uma instância com GPU, tanto usando o template Fast.ai, quanto usando o template Linux Ubuntu 16.01. Assim essa espera pela autorização do PaperSpace, após teste de validade do cartão de crédito com uma transação de U$ 1, parece ser inevitável.
Infelizmente, faço parte do grupo que não está recebendo resposta com autorização da Paperspace…
entendo melhor : a gente precisa pedir uma vez a “permissão” a PaperSpace para usar o serviço PaperSpace (…). Acho que encontrei a razão neste post do @dillon : spammers.
Boa tarde a todos. Tentei rodar um exemplo com um dataset de imagens de pessoas com óculos (glasses) e pessoas sem óculos(noglasses) e não obtive muito êxito. Utilizei um pequeno dataset de 15 imagens de validação e 77 imagens de treino e fiz upload na pasta no /courses/dl1/data.
Consegui realizar todos os passos, mas na hora de rodar o modelo apareceu esse erro:
@LucasNevest89, é possível executar comandos do shell no próprio Jupyter Notebook. Basta inserir um ponto de exclamação ("!") no início da linha. Portanto, podes excluir o diretório com o comando: !rm -rf .DS_Store
Na tela inicial do Jupyter Notebook é possível também abrir um terminal (no botão “New --> Other --> Terminal”).
Se tiro fotos e transfiro para o meu PC, como carrego para a pasta do Jupyter para poder rodar o image classifier nelas?
É uma pergunta muito básica: como carrego arquivos (imagens), que estão em pasta local no computador, para uma pasta virtual que o Jupyter utiliza? A propósito, ainda estou usando Crestle, mas estou tentando configurar Paperspace também.
Eu assisti novamente ao video da lição 1 (parte 1) para melhorar meu entendimento dela e tomei notas do vocabulário usado pelo @jeremy.
Vamos jogar um pouquinho ! Concorda ?
Você pode dar uma definição / uma URL / uma explicação para todos os termos e expressões a seguir?
Se sim, você entendeu perfeitamente a primeira lição!
PS: se você não quiser se testar ou se quiser checar as suas respostas, vá para o post “Deep Learning 2: Part 1 Lesson 1” do blog de @hiromi : " super travail !!! "
course Fastai
forum Fastai
GPU
CUDA
NVIDIA
Crestle / PaperSpace
jupyter notebook
Data Science
SHIFT + ENTER in a jupyter notebook
python 3
wget
exclamation mark in a cell (ex : !ls)
bash command
python variable into brackets
training set
validation set
Fastai Machine Learning course : prerequesite or not ?
image Classifier
label
keras
plt.imread
plt.imshow
python 3.6 format string
img.shape
3 dimensional array (rank 3 tensor)
Red Green Blue (RGB) pixel values between 0 and 255
kaggal competition
pre-trained model
resnet24
ImageNet competition
Convolucional Neural Network (CNN)
accuracy
train a model
3 lines of code
epoch
testing set
learning rate
loss function
cross entropy loss
validation and testing set accuracy
Fastai library
transfer learning
pytorch
tensorflow
network architecture
data augmentation
validation set dependent variable val_y
data.classes
classes
object data
object learn
the model
prediction on validation set
learn.predict()
log of the predictions : log_preds
get the predictions on validation set np.argmax(log_preds, axis=1)
get probabilities on dogs : np.exp(log_preds[:,1])
numpy
top-down, the whole game
code driven approach
world class neural network
stalelite images
structured data
NLP classifier
recommendation system
text generator
create our own architecture from scratch
donwload a pre-trained model and precompute
alphago
image classifier for fraude dectection
machine learning
Arthur Samuels, 1950s, ML father
IBM mainframe
play checkers
traditional Machine Learning
features engineering
domaine experts and specialits
algorithm (Deep Learning) :
** infinitely flexible function
** all-purpose parameters fitting
** fast and scalable
neural network, number of simple linear layers interspersed with a number of non linear layers
universal approximation theorem
Fit parameters, Gradient Descent (how good are they, find a minimum on loss function curve, local miminim)
minimum time, GPU 10 time faster than a CPU
hidden layer
increase of number of parameters by layer is a problem but increase number of layers is teh solution
DL = neural network with multiple hidden layers
Google starts using DL in 2012
Geoffrey Hinton, DL father
Andrej Karpathy
inBox by Gmail
Skype Translator
Semantic Style Transfer
cancer detection
true/false positive/negative
CNN, Convolucional Neural Network
convolucional
find edges
multiplication of pixels values by a kernel (filter)
linear operation
linear layer
non linear layer
sigmoid
Relu
element wise multiplication
michael Neslon
Stochastic Gradient Descent
derivative
small step
learning rate
combine convolution, non linearity, gradient descent
picture of what each layer learns
parameters of the kernels are learnt using gradient descent
learn.fit()
learning rate not too high, but not too low as well
choosing a learning rate
learn.lr_find()
best improvement of the loss before it gets worse
learn.shed.plot_lr()
learn.sched.plot()
mini batches
traing loss
validation loss
validation accuracy
overfitting : stop fitting your model
tab to get list of function
SHIFT + TAB (once : parameters, twice : documentation, 3 times : pops up a window with source code)
trn_tfms,val_tfms = tfms_from_model(arch, sz, aug_tfms=transforms_side_on, max_zoom=1.1)
img = open_image(PATH+fn)
im = val_tfms(img)
pred = learn.predict_array(im[None])
result = np.argmax(preds, axis=0)
print(f'The class is : {data.classes[result[0]]}')
plt.imshow(img)