Scheduler - Revision history

Catherine Biscarat: /* Jobs surnuméraires / jobs de test (MaJ 26-feb-2016, C. biscarat) */

2016-02-26T13:14:17Z

Jobs surnuméraires / jobs de test (MaJ 26-feb-2016, C. biscarat)

← Version précédente		Version du 15:14, 26 février 2016
Ligne 31:		Ligne 31:
	NODEMEMOVERCOMMITFACTOR 1.33 # Ce paramètre permet d'utiliser plus de mémoires (RAM+swap) que disponible. Cela évite de toujours devoir avoir SWAP = 2*RAM.		NODEMEMOVERCOMMITFACTOR 1.33 # Ce paramètre permet d'utiliser plus de mémoires (RAM+swap) que disponible. Cela évite de toujours devoir avoir SWAP = 2*RAM.

	=== Jobs surnuméraires / jobs de test (MaJ 26-feb-2016, C. biscarat) ~~===~~		=== Jobs surnuméraires / jobs de test ===
			(MaJ 26-feb-2016, C. biscarat)
	Les jobs de tests des VO sont envoyes non plus avec la VO ops mais dans le flot des jobs courants des VO. Il peut ainsi arriver qu'un job de test reste en queue car tous les slots de la ferme sont deja pris et le test echoue. Pour eviter cette situation, il faut definir des slots surnuméraires dans MAUI pour l'utilisateur avec lequel la VO envoie ses tests - atls dans le cas de ATLAS.		Les jobs de tests des VO sont envoyes non plus avec la VO ops mais dans le flot des jobs courants des VO. Il peut ainsi arriver qu'un job de test reste en queue car tous les slots de la ferme sont deja pris et le test echoue. Pour eviter cette situation, il faut definir des slots surnuméraires dans MAUI pour l'utilisateur avec lequel la VO envoie ses tests - atls dans le cas de ATLAS.

Catherine Biscarat: /* TORQUE / Maui */

2016-02-26T13:04:20Z

TORQUE / Maui

@@ Ligne 30: / Ligne 30: @@
   # Job priority parameters
   NODEMEMOVERCOMMITFACTOR  1.33 # Ce paramètre permet d'utiliser plus de mémoires (RAM+swap) que disponible. Cela évite de toujours devoir avoir SWAP = 2*RAM.
 === Liens externes ===

Pansanel: /* Configuration */

2013-05-31T14:11:07Z

Configuration

← Version précédente		Version du 16:11, 31 mai 2013
Ligne 18:		Ligne 18:

	=== Configuration ===		=== Configuration ===

			Les variables suivantes sont ajoutées ou modifiées dans le fichier /var/spool/maui/maui.cfg afin d'améliorer la stabilité de Maui (les valeurs sont celles du site de l'IRFU, merci à Frédéric) :
			CLIENTTIMEOUT 00:02:00 # Temps que le client peut attendre une réponse du serveur. Augmenter cette valeur permet d'éviter les timeouts showq
			JOBAGGREGATIONTIME 00:00:30 # Temps minimum que Maui va attendre lorsqu'il reçoit un job avant de traiter cet évènement (0 par défaut).
			RESDEPTH 128 # Nombre de réservation max par machine (24 par défaut, insuffisant pour les nouvelles machines à 32 cpu)
			RMPOLLINTERVAL 00:01:30 # Temps entre deux rafraîchissements du resource manager. Augmenter cette durée permet de faire baisser la charge sur Maui.

			# Resource manager parameters
			RMCFG[base] TYPE=PBS TIMEOUT=60 # Timeout lors de l'interfaction entre le scheduler et le resource manager

			# Job priority parameters
			NODEMEMOVERCOMMITFACTOR 1.33 # Ce paramètre permet d'utiliser plus de mémoires (RAM+swap) que disponible. Cela évite de toujours devoir avoir SWAP = 2*RAM.

	=== Liens externes ===		=== Liens externes ===

Pansanel: /* SLURM */

2013-05-31T07:56:06Z

SLURM

← Version précédente		Version du 09:56, 31 mai 2013
Ligne 30:		Ligne 30:
	* Gérer le démarrage, l'exécution et la surveillance des tâches de calcul		* Gérer le démarrage, l'exécution et la surveillance des tâches de calcul
	* Arbitrer l'accès aux ressources en gérant les priorités des jobs dans la queue		* Arbitrer l'accès aux ressources en gérant les priorités des jobs dans la queue

			Le logiciel SLURM sera supporté par la version EMI-3 du CREAM CE.

	=== Liens externes ===		=== Liens externes ===

Pansanel at 07:55, 31 mai 2013

2013-05-31T07:55:04Z

← Version précédente		Version du 09:55, 31 mai 2013
Ligne 1:		Ligne 1:
	Les logiciels d'ordonnancement et de traitement des tâches sont essentiels dans le fonctionnement d'un site de grille. Ils permettent à la fois :		Les logiciels d'ordonnancement et de traitement des tâches sont essentiels dans le fonctionnement d'un site de grille. Ils permettent à la fois :
	* de gérer l'accès aux ressources de calcul (allocation des ressources, gestion de la file d'attente, ...) ;		* De gérer l'accès aux ressources de calcul (allocation des ressources, gestion de la file d'attente, ...)
	* d'exécuter et de suivre les tâches sur les nœuds de calcul.		* D'exécuter et de suivre les tâches sur les nœuds de calcul.

	L'objectif de cette page est de fournir des informations et des ''recettes de cuisine'' pour configurer au mieux ces logiciels.		L'objectif de cette page est de fournir des informations et des ''recettes de cuisine'' pour configurer au mieux ces logiciels.

Pansanel: /* SLURM */

2013-05-31T07:54:49Z

SLURM

← Version précédente		Version du 09:54, 31 mai 2013
Ligne 29:		Ligne 29:
	* Allouer l'accès aux ressources (noeuds de calcul) aux tâches des utilisateurs pour un temps donné		* Allouer l'accès aux ressources (noeuds de calcul) aux tâches des utilisateurs pour un temps donné
	* Gérer le démarrage, l'exécution et la surveillance des tâches de calcul		* Gérer le démarrage, l'exécution et la surveillance des tâches de calcul
	* Arbitrer l'accès aux ressources en gérant les priorités des jobs dans la queue.		* Arbitrer l'accès aux ressources en gérant les priorités des jobs dans la queue

	=== Liens externes ===		=== Liens externes ===
	* [https://wiki.italiangrid.it/twiki/bin/view/CREAM/CREAMConfigurationForSLURM SLURM et EMI-3]		* [https://wiki.italiangrid.it/twiki/bin/view/CREAM/CREAMConfigurationForSLURM SLURM et EMI-3]
	* [https://www.llnl.gov/linux/slurm Site officiel de SLURM]		* [https://www.llnl.gov/linux/slurm Site officiel de SLURM]est
	* [https://computing.llnl.gov/linux/slurm/documentation.html Documentation SLURM]		* [https://computing.llnl.gov/linux/slurm/documentation.html Documentation SLURM]

Pansanel: /* TORQUE / Maui */

2013-05-31T07:54:35Z

TORQUE / Maui

← Version précédente		Version du 09:54, 31 mai 2013
Ligne 15:		Ligne 15:
	* SL6 / EMI-2 -> http://emisoft.web.cern.ch/emisoft/dist/EMI/2/sl6/x86_64/third-party/		* SL6 / EMI-2 -> http://emisoft.web.cern.ch/emisoft/dist/EMI/2/sl6/x86_64/third-party/

	~~Le couple~~ TORQUE / Maui ~~est utilisé~~ par de nombreux sites de grille.		Les logiciels TORQUE / Maui sont utilisés par de nombreux sites de grille.

	=== Configuration ===		=== Configuration ===

Pansanel: Created page with "Les logiciels d'ordonnancement et de traitement des tâches sont essentiels dans le fonctionnement d'un site de grille. Ils permettent à la fois : * de gérer l'accès aux re..."

2013-05-31T07:53:43Z

Created page with "Les logiciels d'ordonnancement et de traitement des tâches sont essentiels dans le fonctionnement d'un site de grille. Ils permettent à la fois : * de gérer l'accès aux re..."

Nouvelle page

Les logiciels d'ordonnancement et de traitement des tâches sont essentiels dans le fonctionnement d'un site de grille. Ils permettent à la fois :
* de gérer l'accès aux ressources de calcul (allocation des ressources, gestion de la file d'attente, ...) ;
* d'exécuter et de suivre les tâches sur les nœuds de calcul.

L'objectif de cette page est de fournir des informations et des ''recettes de cuisine'' pour configurer au mieux ces logiciels.

== TORQUE / Maui ==

'''TORQUE''' est un gestionnaire de ressources Open Source pour exécuter et contrôler des tâches réparties sur des nœuds de calcul. Les paquets RPM du logiciel TORQUE sont disponibles dans les dépôts EPEL :
* SL5 -> http://dl.fedoraproject.org/pub/epel/5/x86_64/repoview/torque.html
* SL6 -> http://dl.fedoraproject.org/pub/epel/6/x86_64/repoview/torque.html

Le logiciel '''Maui Cluster Scheduler''' est une solution Open Source d'ordonnancement de tâches pour cluster et supercalculateur. Il possède de nombreuses options de configuration et permet de mettre en place différents types de polices d'ordonnancement et de fairshare. Le paquet RPM du logiciel Maui est disponible dans les dépôts EMI :
* SL5 / EMI-2 -> http://emisoft.web.cern.ch/emisoft/dist/EMI/2/sl5/x86_64/third-party/
* SL6 / EMI-2 -> http://emisoft.web.cern.ch/emisoft/dist/EMI/2/sl6/x86_64/third-party/

Le couple TORQUE / Maui est utilisé par de nombreux sites de grille.

=== Configuration ===

=== Liens externes ===
* [http://www.eu-emi.eu/emi-2-matterhorn-products/-/asset_publisher/B4Rk/content/torque-server-config-1 Torque et EMI-2]
* [http://www.clusterresources.com/torquedocs21/ Documentation TORQUE]
* [http://docs.adaptivecomputing.com/maui/mauiadmin.php Documentation Maui]

== SLURM ==

'''Simple Linux Utility for Resource Management''' (SLURM) est une solution d'ordonnancement de tâches utilisé par de nombreux supercalculateurs du TOP 500. Ses trois rôles sont :
* Allouer l'accès aux ressources (noeuds de calcul) aux tâches des utilisateurs pour un temps donné
* Gérer le démarrage, l'exécution et la surveillance des tâches de calcul
* Arbitrer l'accès aux ressources en gérant les priorités des jobs dans la queue.

=== Liens externes ===
* [https://wiki.italiangrid.it/twiki/bin/view/CREAM/CREAMConfigurationForSLURM SLURM et EMI-3]
* [https://www.llnl.gov/linux/slurm Site officiel de SLURM]
* [https://computing.llnl.gov/linux/slurm/documentation.html Documentation SLURM]