IMB > cellule > Calcul et Développement > PlaFRIM2 (Archives)

de PlaFRIM2 à PlaFRIM3 - changements et nouveautés

Nouveautés PlaFRIM3

(à compléter/corriger en fonction de la mise en place effective de PlaFRIM3)

40 nouveaux nœuds généralistes bora :
- 192Go de mémoire (contre 128Go pour les miriels)
- 36 cœurs par nœud (contre 24 pour les miriels)
plus besoin de charger le module slurm
plus de partitions/queues, mais utilisation des features associées aux nœuds pour les sélectionner. Tous les nœuds sont maintenant dans une même partition par défaut baptisée routage. L’option ’-C’ (contrainte) remplace ’-p’ (partition) (voir ci-dessous les explications)
suggestion : se créer un alias (à mettre dans votre fichier .bashrc) pour afficher facilement les features/types de nœuds disponibles :
alias sfeatures=' sinfo -o "%30N %10c %10m %60f %10G" '

[lfacq@devel03 ~]$ sfeatures 

NODELIST                       CPUS       MEMORY     AVAIL_FEATURES                                               GRES      

miriel[001-043]                24         96395+     miriel,intel,haswell,omnipath,infinipath                     (null)    

visu01                         20         128000     visu                                                         (null)    

bora[001-040]                  36         191667+    bora,intel,cascadelake,omnipath                              (null)    

sirocco[01-05]                 24         128524     sirocco,intel,haswell,mellanox,nvidia,tesla,k40m             (null)    

sirocco[07-13]                 24         257664+    sirocco,intel,broadwell,omnipath,nvidia,tesla,p100           (null)    

arm01                          224        195671     arm,cavium,thunderx2                                         (null)    

brise                          96         1031753    brise,intel,broadwell,bigmem                                 (null)    

kona[01-04]                    64         96406+     kona,intel,knightslanding,knl                                (null)    

miriel[044-088]                24         64141+     miriel,intel,haswell,infinipath                              (null)    

sirocco[14-16]                 32         385352+    sirocco,intel,skylake,omnipath,nvidia,tesla,v100             (null)    

sirocco17                      32         1031505    sirocco,intel,skylake,omnipath,nvidia,tesla,v100,bigmem      (null)    

souris                         192        2997010    souris,sgi,ivybridge,bigmem                                  (null)

Problème pour se connecter - problème de clef

La clef SSH du serveur qui sert de point d’entrée sur PlaFRIM a changé. SSH refuse de se connecter tant que cette clef n’est pas mise à jour sur votre ordinateur.
Il faut editer le fichier .ssh/known_hosts de votre ordinateur pour supprimer l’ancienne clef et forcer ainsi SSH à apprendre la nouvelle.
Quand vous essayez de vous connecter, SSH peut vous proposer une commande qui ressemble à ceci (la fin de la ligne - le nom sous lequel est connu le point d’entrée plafrim - change en fonction de votre configuration) :
ssh-keygen -f "~/.ssh/known_hosts" -R "plafrim-ext"
Il suffit alors de copier coller cette ligne.
Sinon, le message d’erreur vous indique la ligne à effacer dans votre fichier .ssh/known_hosts de la façon suivante : .ssh/known_hosts:NuméroLigne

Comment adapter ses batchs existants ?

Il convient principalement de supprimer l’option ’-p’ (choix de la partition) pour la remplacer par l’option ’-C’ définissant une contrainte sélectionnant des features (voir ci dessus l’alias sfeatures). ex : -C miriel

Soumettre un job sur les miriels (ex : utilisation des anciennes partitions defq, court, longq, special

Pour sélectionner des nœuds miriel, il suffit d’utiliser la contrainte ’miriel’ avec l’option -C miriel. Exemple :
srun/sbatch/salloc ... -N4 -C miriel

Pour utiliser les nouveaux nœuds : -C bora

Utiliser les modules plafirm2 sur plafrim3

[rouge]Sans aucune garantie que cela fonctionne ![/rouge]

Il suffit de concaténer les valeurs des variables d’environnement MODULEPATH de PlaFRIM3 et PlaFRIM2.

A l’instant de l’écriture de cet article, cela donne ceci :

# garder l'ancienne valeur

export PLAFRIM3_MODULEPATH=$MODULEPATH

#

export MODULEPATH=/cm/shared/modules/generic/modulefiles:/cm/shared/modules/intel/skylake/modulefiles:/cm/shared/dev/modules/generic/modulefiles:/cm/local/modulefiles:/cm/shared/modulefiles:/cm/shared/dev/modulefiles

# 

# pour revenir en arriere : 

export MODULEPATH=$PLAFRIM3_MODULEPATH

Autre façon dynamique de faire cela en allant chercher la valeur de la variable dans PlaFRIM2 :

export MODULEPATH=$MODULEPATH:`ssh plafrim2 echo \$MODULEPATH |& grep modulefiles`