IMB > cellule > Moyens de calcul et de stockage

PlaFRIM3 - Divers

 Chercher un module

Pour cherche un module qui contient le motif "nom" faire :
module avail |& grep -i nom

Exemple : chercher tous les modules gcc :
module avail |& grep -i gcc

 S’assurer qu’un programme tourne bien sur plusieurs cœurs

Un petit changement dans les paramètres slurm peu rapidement avoir des conséquences importantes sur les conditions réelle d’exécution de votre job. Il est bon de vérifier régulièrement que tout se passe bien comme vous le souhaitez. Soit de façon systématique, avec la possibilité de garder une trace, soit de façon interactive ponctuelle :

  • en ligne de commande / batch : lancez votre calcul via la commande /usr/bin/time --verbose qui affichera le taux de CPU moyen utilisé. 100% = 1 coeur, 200% = 2 coeurs, etc.. :
    • /usr/bin/time --verbose mon_programme ... mes_parametres...
    • avec srun : srun ...parametres_srun... /usr/bin/time --verbose mon_programme ... mes_parametres...
    • Pour en savoir plus : /usr/bin/time --help ou man time
  • de façon interactive sur un job en cours :
    • se connecter sur le nœud de calcul.
      • ex via ssh (plafrim) : ssh mirielXXX
      • ex via srun (plafrim ou curta) : srun --pty --jobid JOBID /bin/bash -i
    • lancer la commande top pour observer le % CPU (100%= 1 coeur, 200% = 2 coeurs, ...)
    • appuyez sur "1" pour afficher l’occupation des coeurs
    • appuyez sur "q" pour quitter
    • man top pour en savoir plus

 Connaître son utilisation et quota /lustre

[lfacq@devel11 ~]$ lfs quota -u $USER /lustre
Disk quotas for user lfacq (uid 10288):
    Filesystem  kbytes   quota   limit   grace   files   quota   limit   grace
       /lustre 552835140       0 1000000000       - 7072977       0       0       -
  • kbytes : espace utilisé ("*" signale un dépassement de quota)
  • limit : espace max autorisé

 Accéder aux sauvegardes de /home

Les sauvegardes se trouvent dans le répertoire /home/.snapshot

 Recette pour se connecter avec Putty depuis un système Windows

 !! à valider !!

il faut utiliser pageant pour déclarer la clef de l'utilisateur et pour la charger

Ensuite dans putty :
session : mettre hostname plafrim port 22
connections :
- dans date indiquer le login dans auto-login username
- dans proxy : sélectionner local, mettre ssh.plafrim.fr  dans proxy hostname avec le port 22, dans telnet command or proxy command : plink %user@%proxyhost -P %proxyport -nc %host:%port
- dans ssh : dans auth cocher attempt authentication with pageant et allow agent forwarding et sélectionner la clef de l'utilisateur

 github & gitlab depuis PlaRFRIM

Les accès réseau sont très filtrés en sortie de PlaFRIM. Certains sites ont des IPs qui changent très souvent ou de multiples IPs. C’est le cas de gitlab.com et de github.com .

Pour pouvoir utiliser de façon fiable les dépôts de ces sites, il faut ajouter ceci dans votre $HOME/.ssh/config :

#####  git clone git@gitlab.com ....
Host gitlab.com
Hostname altssh.gitlab.com
User git
Port 443

#####  git clone git@github.com ....
Host github.com
Hostname ssh.github.com
User git
Port 443

Cela revient à figer l’adresse qui sera utilisée, en prenant celle qui est autorisée en sortie de PlaFRIM.