PlaFRIM3/Curta notebook jupyter

Introduction

Cette recette permet d’exécuter des notebook jupyter sur PlaFRIM ou Curta en visualisant le résultat sur son poste (via un navigateur).

Principe :

• le notebook s’exécute sur un noeud PlaFRIM/Curta
• un ou deux tunnels réseau (via SSH) mis bout à bout permettent d’accéder au port du notebook
  • sur PlaFRIM3 (option1), on peut utiliser deux tunnels pour ne pas avoir à se reconnecter
  • sur Curta, il faudra obligatoirement lancer un deuxième ssh pour mettre en place une redirection sur le noeud alloué

Détails techniques :
Le choix du port PPPP permet d’éviter les conflits entre utilisateurs (sur une même machine, un port donné ne peut être affecté qu’à un seul utilisateur).

Préliminaires

• Choisissez un nombre PPPP (numéro de port réseau) entre 2000 et 65000. Vous devrez remplacer PPPP par le numero choisi dans les lignes qui suivent.
• PlaFRIM3 (option1) :
  • sur votre poste de travail, modifiez le paragraphe concernant votre connexion PlaFRIM3 dans votre fichier $HOME/.ssh/config :
    • ajouter à la fin de ce paragraphe la ligne :
      LocalForward 127.0.0.1:8888 127.0.0.1:PPPP
  • ou lancez un ssh avec l’option -L8888:127.0.0.1:PPPP

Session notebook

• sur PlaFRIM3 (option1) : (allocation d’un cœur pour 1heure)
  salloc  --time=1:0:0
ssh `srun hostname` -L127.0.0.1:PPPP:127.0.0.1:8888
  • Dans cette nouvelle session ssh sur le nœuds alloué :
    module load language/python-keras/3.6.9
jupyter notebook --ip=127.0.0.1 --port=8888
• sur Curta ou PlaFRIM3 (option2) : (allocation d’un cœur pour 1heure, 0minute, et 0 seconde)
  srun  --time=1:0:0 jupyter notebook --ip=0.0.0.0 --port=PPPP

  noter le nom du nœud nXXX

  • relancer un nouveau ssh depuis votre poste avec l’option -L8888:nXXX:PPPP

Sur votre poste de travail, vous pouvez maintenant lancer un navigateur en ciblant un URL utilisant le port 8888 (http://localhost:8888/...)

Notes

D’autres versions de python sont disponibles sur PlaFRIM3 ou Curta. Vous pouvez tenter de les utiliser en installant (si besoin) jupyter dans votre environnement :

Veillez à bien contrôler la version python que vous utilisez en faisant par exemple :

Sur curta, il peut être utile de charger le module « python-default/3 » pour que la commande « python » utilise en réalité le « python3 » disponible

Pour être sûr d’utiliser le « pip » de la bonne version python, on préféra faire :