Difference between revisions of "Draft of the scientific programm"
(→<span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul) |
(→<span style="color:#FF0000;">Les centres d’analyses) |
||
(11 intermediate revisions by 4 users not shown) | |||
Ligne 1: | Ligne 1: | ||
− | D. | + | D.ation modèles de cP. 31/01/2007 |
==== Objectifs ==== | ==== Objectifs ==== | ||
LCG-France organise son 2ème colloque à Clermont-Ferrand les 14 et 15 mars 2007. Ces journées sont destinées à tous les acteurs de la grille de calcul au LHC (gestionnaires de site et utilisateurs) de l'IN2P3 et du Dapnia. Elles ont pour objectifs d’offrir un lieu d’échange et de communication sur les actions, les idées et les expériences en cours dans la mise en place du calcul pour le LHC dans le cadre du projet LCG. | LCG-France organise son 2ème colloque à Clermont-Ferrand les 14 et 15 mars 2007. Ces journées sont destinées à tous les acteurs de la grille de calcul au LHC (gestionnaires de site et utilisateurs) de l'IN2P3 et du Dapnia. Elles ont pour objectifs d’offrir un lieu d’échange et de communication sur les actions, les idées et les expériences en cours dans la mise en place du calcul pour le LHC dans le cadre du projet LCG. | ||
− | ''' Programme Scientifique version | + | ''' Programme Scientifique version 2 (9/2/07)''' |
− | <span style="color:#0000F0;"> 14 mars matin ( | + | <span style="color:#0000F0;"> 14 mars matin (3h30) 9h-10h45 11H15-13h pause 10h45-11h15 |
− | ==== <span style="color:#FF0000;"> | + | ==== <span style="color:#FF0000;"> 9h-9h05 Welcome ==== |
==== <span style="color:#FF0000;"> Etat des lieux pour le calcul au LHC en France==== | ==== <span style="color:#FF0000;"> Etat des lieux pour le calcul au LHC en France==== | ||
Ligne 14: | Ligne 14: | ||
''<span style="color:#006600;">Coordination : Ghita Rahal,CC-IN2P3; Dominique Pallin, LPC-Clermont '' | ''<span style="color:#006600;">Coordination : Ghita Rahal,CC-IN2P3; Dominique Pallin, LPC-Clermont '' | ||
− | * 09: | + | * 09:05-09:15 -Infrastructure globale de grille en France et ressources associées F Malek |
− | * 09: | + | * 09:20-09:50 -mise en place de La grille francaise : T1 F Hernandez |
− | * | + | * 09:55-10:20 -mise en place de La grille francaise: T2 etT3 F Chollet |
− | + | ||
− | + | * 10:25-10:45 & 11h15-13:00 -Présentation de l'état du calcul dans les expériences: | |
− | |||
− | |||
− | * 10: | ||
*** Les modèles de calcul des expériences (overview) | *** Les modèles de calcul des expériences (overview) | ||
*** Quelle participation dans la mise en place du calcul (en france)? | *** Quelle participation dans la mise en place du calcul (en france)? | ||
Ligne 29: | Ligne 26: | ||
*** Difficultés, les points à améliorer… | *** Difficultés, les points à améliorer… | ||
* | * | ||
− | * 10: | + | * 10:25-11:45 -ALICE Y schutz |
− | * | + | * 10:45-11h15 ----------------- Pause --------------------------- |
− | * 11: | + | * 11:15-11:35 -ATLAS E Lancon |
− | * 11: | + | * 11:40-12:00 -CMS C Charlot |
− | * 12: | + | * 12:05-12:25 -LHCb A Tsaregorodtsev |
* 12:30-13:00 -discussion/tour de table sur l'ensemble de la session | * 12:30-13:00 -discussion/tour de table sur l'ensemble de la session | ||
*** la grille francaise, sa mise en place et son utilisation, Du point de vue des sites, des collaborations LHC et des utilisateurs | *** la grille francaise, sa mise en place et son utilisation, Du point de vue des sites, des collaborations LHC et des utilisateurs | ||
Ligne 50: | Ligne 47: | ||
<span style="color:#990000;">-les actions des utilisateurs -> les conséquences au niveau des sites | <span style="color:#990000;">-les actions des utilisateurs -> les conséquences au niveau des sites | ||
− | + | <span style="color:#006600;">Coordination : Christine Leroy, Dapnia-Saclay; Pierre Girard, Ingénieur, CC-IN2P3 | |
* le fonctionnement d'un site de la grille : | * le fonctionnement d'un site de la grille : | ||
− | + | du déploiement du middleware à la gestion de sa production, en passant par les procédures qu'il doit suivre, comme la déclaration de "scheduled downtime", l'utilisation des outils officiels de monitoring (SAM, GSTAT, etc) et leurs conséquences (disparition partielle ou complète de la production, etc), sécurité,etc. | |
* la gestion de jobs grilles : | * la gestion de jobs grilles : | ||
Ligne 109: | Ligne 106: | ||
<P> | <P> | ||
<B>17:15 "Fonctionnement d’un site"? (45', 3 intervenants ?)</B> | <B>17:15 "Fonctionnement d’un site"? (45', 3 intervenants ?)</B> | ||
− | < | + | <OL> |
<LI>Suivi de jobs(15', David Bouvet) | <LI>Suivi de jobs(15', David Bouvet) | ||
<UL> | <UL> | ||
Ligne 130: | Ligne 127: | ||
<LI>la gestion des priorités sur les jobs</LI> | <LI>la gestion des priorités sur les jobs</LI> | ||
</UL> | </UL> | ||
− | <LI> | + | </LI> |
</OL> | </OL> | ||
</P> | </P> | ||
Ligne 153: | Ligne 150: | ||
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs | <span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs | ||
− | ''<span style="color:#006600;">Coordination : Lionel Schwarz, | + | ''<span style="color:#006600;">Coordination : Lionel Schwarz (CC), Stéphane Jézequel(LAPP, Atlas) '' |
+ | |||
+ | * Transferts massifs de données | ||
+ | Dans cette partie, l'objectif est de comprendre l'utilisation de FTS et | ||
+ | les outils de mouvement de fichiers (Phedex, DDM...) ce qui fonctionne, | ||
+ | ce qui ne fonctionne pas. Il serait bon de rappeler le trajet des différentes | ||
+ | donnees et lesquelles sont sous la responsabilite de quel site. | ||
+ | Egalement, l'organisation en T2-T3, nuages... des donnees des | ||
+ | expériences. Il faudrait obtenir des chiffres au niveau des debits | ||
+ | prevus entre T1-T2. | ||
+ | ** Point sur l'infrastructure réseau et logicielle (FTS, SRM) des sites (5') - L. Schwarz | ||
+ | ** Transferts massifs Alice (10') | ||
+ | ** Transferts massifs Atlas (10') | ||
+ | ** Transferts massifs CMS (10') | ||
+ | ** Transferts massifs LHCb (10') | ||
+ | ** Discussion (15') | ||
− | * | + | * Accès aux données |
− | * | + | Cette partie est consacrée à la problématique de l'accès aux données par |
− | * | + | les jobs. Quel protocole est envisagé? Accès local/à distance? |
+ | Debit prévu, nombre de jobs? Problème des données utilisateur? Cohabitation | ||
+ | transfert des données/accès pour l'analyse. Téléchargement de données... | ||
+ | ** Modèle d'accès aux données de LHCb (10') | ||
+ | ** Modèle d'accès aux données de CMS (10') | ||
+ | ** Modèle d'accès aux données de Atlas (10') | ||
+ | ** Modèle d'accès aux données de Alice (10') | ||
+ | ** Discussion (30') | ||
Ligne 164: | Ligne 183: | ||
==== <span style="color:#FF0000;">Les centres d’analyses ==== | ==== <span style="color:#FF0000;">Les centres d’analyses ==== | ||
− | <span style="color:#990000;"> | + | <span style="color:#990000;">Quels sont les outils d'analyse? L'analyse sera t elle distribuee sur la grille ou centralisee dans des fermes dediees? Quels logiciels utiliser? Comment se situent les Tier2 et Tier3 ? |
− | ''<span style="color:#006600;">Coordination : Eric Lancon,Dapnia-Saclay ; Claude Charlot | + | ''<span style="color:#006600;">Coordination : Eric Lancon,Dapnia-Saclay ; Claude Charlot LLR; Frédéric Derue LPNHE '' |
* mise en place | * mise en place |
Latest revision as of 12:01, 2 mars 2007
D.ation modèles de cP. 31/01/2007
Sommaire
Objectifs
LCG-France organise son 2ème colloque à Clermont-Ferrand les 14 et 15 mars 2007. Ces journées sont destinées à tous les acteurs de la grille de calcul au LHC (gestionnaires de site et utilisateurs) de l'IN2P3 et du Dapnia. Elles ont pour objectifs d’offrir un lieu d’échange et de communication sur les actions, les idées et les expériences en cours dans la mise en place du calcul pour le LHC dans le cadre du projet LCG.
Programme Scientifique version 2 (9/2/07)
14 mars matin (3h30) 9h-10h45 11H15-13h pause 10h45-11h15
9h-9h05 Welcome
Etat des lieux pour le calcul au LHC en France
Coordination : Ghita Rahal,CC-IN2P3; Dominique Pallin, LPC-Clermont
- 09:05-09:15 -Infrastructure globale de grille en France et ressources associées F Malek
- 09:20-09:50 -mise en place de La grille francaise : T1 F Hernandez
- 09:55-10:20 -mise en place de La grille francaise: T2 etT3 F Chollet
- 10:25-10:45 & 11h15-13:00 -Présentation de l'état du calcul dans les expériences:
- Les modèles de calcul des expériences (overview)
- Quelle participation dans la mise en place du calcul (en france)?
- Adéquation entre les infrastructures/ressources et les besoins.
- Etat de la production des données de simulation
- Etat d'avancement par rapport à l'objectif de la prise de données de fin 2007.
- Difficultés, les points à améliorer…
- 10:25-11:45 -ALICE Y schutz
- 10:45-11h15 ----------------- Pause ---------------------------
- 11:15-11:35 -ATLAS E Lancon
- 11:40-12:00 -CMS C Charlot
- 12:05-12:25 -LHCb A Tsaregorodtsev
- 12:30-13:00 -discussion/tour de table sur l'ensemble de la session
- la grille francaise, sa mise en place et son utilisation, Du point de vue des sites, des collaborations LHC et des utilisateurs
14 mars après-midi (3h) 14h45-16h15 16H45-18h15 pause 16h15-16h45
Gestion et exploitation des grilles de calcul
Couvrir 2 aspects complémentaires :
-les actions des sites -> les conséquences au niveau des utilisateurs
-les actions des utilisateurs -> les conséquences au niveau des sites
Coordination : Christine Leroy, Dapnia-Saclay; Pierre Girard, Ingénieur, CC-IN2P3
- le fonctionnement d'un site de la grille :
du déploiement du middleware à la gestion de sa production, en passant par les procédures qu'il doit suivre, comme la déclaration de "scheduled downtime", l'utilisation des outils officiels de monitoring (SAM, GSTAT, etc) et leurs conséquences (disparition partielle ou complète de la production, etc), sécurité,etc.
- la gestion de jobs grilles :
de la façon dont ils sont soumis par les utilisateurs à la façon dont ils sont traités par les sites (dont la mise au point des formules de rank pour l'élection d'un site de soumission, le manque d'attractivité d'un site pour les jobs ou l'inverse, la gestion des priorités sur les jobs, des jobs pilotes, exécuteurs, etc.)
A- Sous-session "Gestion des jobs grille"
Dans cette première sous-session, il est demandé à chaque VO d'apporter des clarifications concernant les points suivants :
- Méthode(s) de distribution des jobs sur les sites :
- utilisation ou non d'un RB ?
- utilisation ou non des informations publiées ?
- Critère d'élection d'un site ? etc.
- Organisation de la production
- qui fait quoi, qui soumet quoi, les rôles, les histoires de priorité...
- une production française ou pas
- Système de monitoring pour les jobs ? Si oui, utilisable ou pas par les sites ? Quel est son principe de fonctionnement, etc.
- gestion des proxy
- Méthode d'installation des softs (+ desinstallation)
- comment un nouvel OS est validé et l'information transmise
- Amélioration attendue et perspectives pour la gestion des jobs
14:45 Introduction (5', Christine/Pierre) 14:50 Spécificités d'Alice (10', Artem ?) 15:00 Spécificités d'Atlas (10', Jérôme Schwi? Stéphane ? Karim ?) 15:10 Spécificités de Cms (10', Claude ? Artem ?) 15:20 Spécificités de Lhcb (10', Andrei ou Sabine?) 15:30 Discussions (45')
B- Sous-Session "Fonctionnement des sites"
16:45 "Exploitation globale de la grille" (20' + 10', Hélène C.)
- Interaction entre outils de gestion de l'exploitation et la production
- Comment les utilisateurs peuvent accéder aux informations
- les outils d'exploitation (GOC DB, SAM, GSTAT, MonALISA et le CIC Portal)
- L'accounting
- Comment mesurer l’efficacite d’un site (utilisationCPU/CPU; resource disponible/resource indisponible ;jobs plantes/ jobs/reussis)
17:15 "Fonctionnement d’un site"? (45', 3 intervenants ?)
- Suivi de jobs(15', David Bouvet)
- Est-ce qu'on peut retracer un job qui a planté pour savoir ce qu'il a utilisé comme ressources et pourquoi il a planté?
- Est-ce qu'on peut s'assurer qu'un job qui a bien tourné, a tourné avec les bonnes librairies (Y'a-t-il des vérifications par les sites?)
- Detection de jobs qui se plantent instantanement car probleme sur un WN ?
- Gestion des pannes(15',?)
- Monitoring local, avez-vous un moyen de verifier « l’integrite » des WN ? Place disque disponible sur chaque WN
- Le scheduling et le tuning (15', Michel Jouvin)
- Peut on mixer job d’analyse et job de simulation sur les WNs (pour optimiser IO et CPU) ?
- Le manque d'attractivité d'un site pour les jobs ou l'inverse => état des lieux et amélioration en vue côté mw if any
- la gestion des priorités sur les jobs
17:45 "Gestion de l'infrastructure d'un site" (30',Pierre-Louis, Clermont)
Mise en place d’un site
L’exemple du T2 du LPC Clermont-Ferrand. Visite du site possible durant les 2 jours par petits groupes
- Salle machine (réseau électrique, climatisation,…)
- Choix matériel
- Sécurité
- Les difficultés rencontrées
15 mars matin (3h30) 9h-10h45 11H15-13h pause 10h45-11h15
Gestion des données grilles
Du point de vue des sites, des collaborations LHC et des utilisateurs
Coordination : Lionel Schwarz (CC), Stéphane Jézequel(LAPP, Atlas)
- Transferts massifs de données
Dans cette partie, l'objectif est de comprendre l'utilisation de FTS et les outils de mouvement de fichiers (Phedex, DDM...) ce qui fonctionne, ce qui ne fonctionne pas. Il serait bon de rappeler le trajet des différentes donnees et lesquelles sont sous la responsabilite de quel site. Egalement, l'organisation en T2-T3, nuages... des donnees des expériences. Il faudrait obtenir des chiffres au niveau des debits prevus entre T1-T2.
- Point sur l'infrastructure réseau et logicielle (FTS, SRM) des sites (5') - L. Schwarz
- Transferts massifs Alice (10')
- Transferts massifs Atlas (10')
- Transferts massifs CMS (10')
- Transferts massifs LHCb (10')
- Discussion (15')
- Accès aux données
Cette partie est consacrée à la problématique de l'accès aux données par les jobs. Quel protocole est envisagé? Accès local/à distance? Debit prévu, nombre de jobs? Problème des données utilisateur? Cohabitation transfert des données/accès pour l'analyse. Téléchargement de données...
- Modèle d'accès aux données de LHCb (10')
- Modèle d'accès aux données de CMS (10')
- Modèle d'accès aux données de Atlas (10')
- Modèle d'accès aux données de Alice (10')
- Discussion (30')
15 mars après-midi (2h40) 14h15-15h45 16H05-17h15 pause 15h45-16h05
Les centres d’analyses
Quels sont les outils d'analyse? L'analyse sera t elle distribuee sur la grille ou centralisee dans des fermes dediees? Quels logiciels utiliser? Comment se situent les Tier2 et Tier3 ?
Coordination : Eric Lancon,Dapnia-Saclay ; Claude Charlot LLR; Frédéric Derue LPNHE
- mise en place
- les contours
- les logiciels d’analyses (Ganga,..)
- Coordination avec les T3s ? mise en commun de ressources ?