[ Edição do 26/03/2018 : há 2 possibilidades para criar uma máquina no PaperSpace usando os jupyter notebooks do Fast.ai mas o passo-a-passo do @lucasosouza usando o Ubuntu 16.04 with Fast.ai Script é mais rápido porque não precisa pedir a “permissão” a PaperSpace ]
Hoje de manhã em nosso primeiro encontro, usamos o Crestle que foi bem útil.
Não criamos uma conta no PaperSpace conforme explicado nesta parte do video da lição 1 porque o processo foi alterado. Eis que o @jeremy escreveu no site fast.ai sobre isso :
You need an Nvidia GPU to complete this course, and this video shows how to set up a GPU server on a system called Paperspace. Note that the setup steps have been simplified since this video was created. You no longer need to set up the server from scratch. Instead, when prompted for a template, don’t choose ‘Ubuntu’ as shown in the video, but instead choose ‘Public Templates’ and then ‘fast.ai’. Reshama Shaikh has kindly provided written step by step instructions on the whole process.
Se puderem criar a sua conta no PaperSpace em casa antes do nosso segundo encontro, seria ótimo… e leiam bem a guia (step by step instructions on the whole process) : há um “$15 credit code”
Nota : acabei de começar a criação e no momento de escolher “Public Templates >> Select icon for fast.ai”, o PaperSpace me perguntou “why”
Segue um screenshot da minha resposta. Vamos esperar agora uma resposta positiva !
[ Edição do 26/03/2018 : há 2 possibilidades para criar uma máquina no PaperSpace usando os jupyter notebooks do Fast.ai mas o passo-a-passo do @lucasosouza usando o Ubuntu 16.04 with Fast.ai Script é mais rápido porque não precisa pedir a “permissão” a PaperSpace ]
2h depois, acabei de receber um email do PaperSpace autorizando o meu uso de um P4000 Linux machine.
Posso continuar a criação da minha conta PaperSpace dando meu cartão agora e seguindo a guia (step by step instructions on the whole process) para obter “$15 credit”
Pessoal, aproveitando o fórum, todo feedback é bem vindo! Podemos continuar usando essa thread para discutir sobre a lição 1 e a dinâmica adotada na sala.
Alguém perguntou na aula desta terça (20/03/2016) como visualizar e executar o código dos scripts python utilizados no notebooks. Segue abaixo um roteiro de como converter o arquivo do notebook (.ipynb) para script python (.py) e como realizar as modificações necessárias para executá-lo no Crastle.
Para converter o notebook para um script python, basta seguir os passos abaixo:
Na tela inicial do Jupyter, clicar no botão “>_ New Terminal” .
Alterar diretório para o diretórioodo curso: cd courses/fastai/courses/dl1
Converter notebook para script python (o script python será criado no mesmo diretório o scirpt lesson1.py) jupyter nbconvert --to script lesson1.ipynb
Alterar backend utilizado pelo matplotlib (isto é necessário, já que não é possível mostrar os gráficos executando os scripts através do terminal):
vim lesson1.py
Na tela do vim, adicionar as linhas abaixo no início do arquivo, logo após a linha # coding: utf-8, e salvar o arquivo.
import matplotlib
matplotlib.use(‘Agg’) # Este backend evita que se tente plotar gráficos no terminal
Comentar as linhas abaixo, adicionando “#” no início:
get_ipython().run_line_magic(‘reload_ext’, ‘autoreload’)
get_ipython().run_line_magic(‘autoreload’, ‘2’)
get_ipython().run_line_magic(‘matplotlib’, ‘inline’)
Executar o script com o ipython (é importante executar no ipython ao invés do python) ipython3 lesson1.py
só para complementar o post do @lucasosouza, antes de postar nesta thead (lição 1), leiam por favor a thread Wiki Lesson 1 : é a thread criada pelos @jeremy e @rachel no fim do ano passado para conversar sobre a lição 1 (parte 1) entre professores, alunos do programa internacional e alunos do curso em presencial na universidade de San Francisco. é um mina de ouro
Além disso, deem uma olhada se tiverem o tempo à seção About : há 8800 pessoas registradas nesse fórum ! Que bom para obter uma resposta a qualquer dúvida
Uma correção importante: essas instruções do link que o Pierre postou estão desatualizadas. Não usem o template fastai que está disponível no paperspace.
O correto é iniciar uma máquina com o template ubuntu16, e usar esse script de configuração para configurar a máquina: http://files.fast.ai/setup/paperspace
Para quem não entende muito de linux, segue um passo-a-passo básico:
Inicialize a máquina usando a senha padrão que foi enviada no seu email ao contratar a máquina virtual
Execute o comando passwd, para já trocar a senha padrão
Execute sudo nano setup.sh para abrir um editor de text com um novo arquivo. Copie e cole o texto para esse arquivo. Aperte ctrl+x, para sair, e ao perguntar se quer salvar ou não, Y para salvar, e depois enter novamente. Isso vai criar um arquivo setup.sh.
Execute sudo chmod +x setup.sh para conceder todas as permissões nesse arquivo para o usuário atual
Execute ./setup.sh para rodar o arquivo. Irá levar uns 20 minutos a meia hora para baixar tudo e configurar a máquina
Quando terminar, rode sudo reboot para reinicializar a máquina.
segui o seu passo-a-passo e funcionou ! Obrigado (e acabei de publicar também um post para @dillon e @reshama para entender o que está falso/desatualizado no tutorial publicado).
Then, click on the small terminal image of the machine launched. The terminal will be opened and you can start using it (a bit complicated but works
Just one more point : we agree now that creating a machine through the Fast.ai Public Templates or Ubuntu 16.04 with Fast.ai Script gives the same result BUT when using the Fast.ai Public Templates, it is needed to ask the permission (read my post). Why ? Many people of the Brasilia study group wait and wait and wait a (positive) answer…
Could you solve this issue ? Many thanks.
O que isso significa ?
Até aqui, podem usar 2 possibilidades para criar uma maquina PaperSpace usando os jupyter notebooks do Fast.ai.
@pierreguillou e @lucasosouza
Encontro bloqueio de indisponibilidade, que requer explicar os motivos para criar uma instância com GPU, tanto usando o template Fast.ai, quanto usando o template Linux Ubuntu 16.01. Assim essa espera pela autorização do PaperSpace, após teste de validade do cartão de crédito com uma transação de U$ 1, parece ser inevitável.
Infelizmente, faço parte do grupo que não está recebendo resposta com autorização da Paperspace…
entendo melhor : a gente precisa pedir uma vez a “permissão” a PaperSpace para usar o serviço PaperSpace (…). Acho que encontrei a razão neste post do @dillon : spammers.
Boa tarde a todos. Tentei rodar um exemplo com um dataset de imagens de pessoas com óculos (glasses) e pessoas sem óculos(noglasses) e não obtive muito êxito. Utilizei um pequeno dataset de 15 imagens de validação e 77 imagens de treino e fiz upload na pasta no /courses/dl1/data.
Consegui realizar todos os passos, mas na hora de rodar o modelo apareceu esse erro:
@LucasNevest89, é possível executar comandos do shell no próprio Jupyter Notebook. Basta inserir um ponto de exclamação ("!") no início da linha. Portanto, podes excluir o diretório com o comando: !rm -rf .DS_Store
Na tela inicial do Jupyter Notebook é possível também abrir um terminal (no botão “New --> Other --> Terminal”).
Se tiro fotos e transfiro para o meu PC, como carrego para a pasta do Jupyter para poder rodar o image classifier nelas?
É uma pergunta muito básica: como carrego arquivos (imagens), que estão em pasta local no computador, para uma pasta virtual que o Jupyter utiliza? A propósito, ainda estou usando Crestle, mas estou tentando configurar Paperspace também.
e seguindo a guia (
