IMB > cellule > Calcul et Développement > PlaFRIM2 (Archives)

PlaFRIM2 - Divers (archives)

S’assurer qu’un programme tourne bien sur plusieurs cœurs

en ligne de commande / batch : lancez votre calcul via la commande /usr/bin/time --verbose qui affichera le taux de CPU moyen utilisé. 100% = 1 coeur, 200% = 2 coeurs, etc.. :
- /usr/bin/time --verbose mon_programme ... mes_parametres...
- avec srun : srun ...parametres_srun... /usr/bin/time --verbose mon_programme ... mes_parametres...
- Pour en savoir plus : /usr/bin/time --help ou man time
de façon interactive sur un job en cours :
- se connecter sur le nœud de calcul.
  - ex via ssh (plafrim) : ssh mirielXXX
  - ex via srun (plafrim ou curta) : srun --pty --jobid JOBID /bin/bash -i
- lancer la commande top pour observer le % CPU (100%= 1 coeur, 200% = 2 coeurs, ...)
- appuyez sur "1" pour afficher l’occupation des coeurs
- appuyez sur "q" pour quitter
- man top pour en savoir plus

Connaître son utilisation et quota /lustre

[lfacq@devel11 ~]$ lfs quota -u $USER /lustre

Disk quotas for user lfacq (uid 10288):

     Filesystem  kbytes   quota   limit   grace   files   quota   limit   grace

        /lustre 552835140       0 1000000000       - 7072977       0       0       -

kbytes : espace utilisé ("*" signale un dépassement de quota)
limit : espace max autorisé

Accéder aux sauvegardes de /home

Les sauvegardes se trouvent dans le répertoire /home/.snapshot

Recette pour se connecter avec Putty depuis un système Windows

!! à valider !!

il faut utiliser pageant pour déclarer la clef de l'utilisateur et pour la charger



Ensuite dans putty :

session : mettre hostname plafrim port 22

connections : 

- dans date indiquer le login dans auto-login username

- dans proxy : sélectionner local, mettre ssh.plafrim.fr  dans proxy hostname avec le port 22, dans telnet command or proxy command : plink %user@%proxyhost -P %proxyport -nc %host:%port

- dans ssh : dans auth cocher attempt authentication with pageant et allow agent forwarding et sélectionner la clef de l'utilisateur

Utiliser des miriels hautes et/ou basses

[rouge]Les miriels hautes et basses ont, par défaut, des interfaces de communication rapides incompatibles[/rouge] : omnipath (OPA) et infiniband (IB).

Si vous souhaitez faire du MPI vous avez 2 possibilités :

ne pas mélanger les noeuds
- ajoutez la contrainte suivante dans vos options Slurm :
  -C '[MirielOPA|MirielIB]'
utiliser l’option pour forcer l’infiniband ("psm" dans la terminologie Intel)
- avec Intel MPI :
  export OMPI_MCA_mtl=psm

Exemple : pas de mélange hautes/basses, démarrer dès que 4 noeuds sont disponibles :
srun/sbatch ... -N 4 -C '[MirielOPA|MirielIB]' ...
Exemple : 3 d’un type et 3 d’un autre :
srun/sbatch ... -N 6 -C '[MirielIB*3&MirielOPA*3]' ...
Exemple : 3 d’un type et 3 d’un autre et pas miriel012 :
srun/sbatch ... -N 6 -x miriel012 -C '[MirielIB*3&MirielOPA*3]' ...

Utiliser les dépôts gitlab.com et github.com depuis PlaFRIM

Les accès réseau sont très filtrés en sortie de PlaFRIM. Certains sites ont des IPs qui changent très souvent ou de multiples IPs. C’est le cas de gitlab.com et de github.com .

Pour pouvoir utiliser de façon fiable les dépôts de ces sites, il faut ajouter ceci dans votre $HOME/.ssh/config :

##### git clone git@gitlab.com .... Host gitlab.com Hostname altssh.gitlab.com User git Port 443 ##### git clone git@github.com .... Host github.com Hostname ssh.github.com User git Port 443

PlaFRIM2 - Divers (archives)

Institut de Mathématiques de Bordeaux UMR 5251