Difference between revisions of "Draft of the scientific programm"

Un article de lcgwiki.
Jump to: navigation, search
(<span style="color:#FF0000;"> Etat des lieux pour le calcul au LHC en France)
(<span style="color:#FF0000;">Les centres d’analyses)
 
(24 intermediate revisions by 5 users not shown)
Ligne 1: Ligne 1:
D.P. ,F.M. 7/12/2006
+
D.ation modèles de cP. 31/01/2007
 
==== Objectifs ====
 
==== Objectifs ====
 
LCG-France organise son 2ème colloque à Clermont-Ferrand les 14 et 15 mars 2007. Ces journées sont destinées à tous les acteurs de la grille de calcul au LHC (gestionnaires de site et utilisateurs) de l'IN2P3 et du Dapnia. Elles ont pour objectifs d’offrir un lieu d’échange et de communication  sur les actions, les idées et les expériences en cours dans la mise en place  du  calcul pour le LHC dans le cadre du projet LCG.
 
LCG-France organise son 2ème colloque à Clermont-Ferrand les 14 et 15 mars 2007. Ces journées sont destinées à tous les acteurs de la grille de calcul au LHC (gestionnaires de site et utilisateurs) de l'IN2P3 et du Dapnia. Elles ont pour objectifs d’offrir un lieu d’échange et de communication  sur les actions, les idées et les expériences en cours dans la mise en place  du  calcul pour le LHC dans le cadre du projet LCG.
  
  
''' Programme Scientifique version 1 (7/12/06)'''
+
''' Programme Scientifique version 2 (9/2/07)'''
  
<span style="color:#0000F0;">  14 mars matin (3h9h30-11h 11H30-13h  pause 11h-11h30
+
<span style="color:#0000F0;">  14 mars matin (3h309h-10h45 11H15-13h  pause 10h45-11h15
 +
 
 +
==== <span style="color:#FF0000;"> 9h-9h05 Welcome ====
  
 
==== <span style="color:#FF0000;"> Etat des lieux pour le calcul au LHC en France====
 
==== <span style="color:#FF0000;"> Etat des lieux pour le calcul au LHC en France====
Ligne 12: Ligne 14:
 
''<span style="color:#006600;">Coordination : Ghita Rahal,CC-IN2P3; Dominique Pallin, LPC-Clermont  ''
 
''<span style="color:#006600;">Coordination : Ghita Rahal,CC-IN2P3; Dominique Pallin, LPC-Clermont  ''
  
* 9:30-10:00 -Infrastructure globale de grille en France et ressources associées
+
*       09:05-09:15 -Infrastructure globale de grille en France et ressources associées F Malek
**20min+10min de discussion:Fayrouz Malek?
+
*      09:20-09:50 -mise en place de La grille francaise : T1      F Hernandez
*      10:00-10:30 -Présentation des sites (T1 et sites associés,T2 etT3) + T2 étrangers associés
+
*       09:55-10:20 -mise en place de La grille francaise: T2 etT3  F Chollet  
**20 min+10min de discussion: Dominique Boutigny, Frédérique Chollet?
+
 
* 10:30-11:00 -La grille:  
+
*      10:25-10:45 & 11h15-13:00 -Présentation de l'état du calcul dans les expériences:
**20min+10min discussion: Fabio Hernandez?
+
***      Les modèles de calcul des expériences (overview)
***Son évolution  en vue  des données LHC 2009-2010
+
***      Quelle participation dans la mise en place du calcul (en france)?
***Les difficultés rencontrées;
+
***    Adéquation entre les infrastructures/ressources et les besoins.
*      ----------------------------  Pause ---------------------------
 
*      11:30-12:50 -Présentation de l'état du calcul dans les expériences:
 
**20 min par expérience+10 min de discussion:Eric Lançon, Schultz, Tzagarodiev, Claude Charlot ?
 
***      Les modèles de calcul des expériences  
 
***      Qui est impliqué dans la mise en place du calcul?
 
***    Adéquation entre les infrastructure/ressources et les besoins.
 
 
***      Etat de la production des données de simulation
 
***      Etat de la production des données de simulation
 
***    Etat d'avancement par rapport à l'objectif de la prise de données de fin 2007.  
 
***    Etat d'avancement par rapport à l'objectif de la prise de données de fin 2007.  
 
***    Difficultés, les points à améliorer…
 
***    Difficultés, les points à améliorer…
 +
*
 +
* 10:25-11:45  -ALICE  Y schutz
 +
*      10:45-11h15 -----------------  Pause ---------------------------
 +
* 11:15-11:35  -ATLAS  E Lancon
 +
* 11:40-12:00  -CMS C Charlot
 +
* 12:05-12:25  -LHCb A Tsaregorodtsev
 +
* 12:30-13:00  -discussion/tour de table sur l'ensemble de la session
 +
*** la grille francaise, sa mise en place et son utilisation, Du point de vue des sites, des collaborations LHC et des utilisateurs
 +
 
*
 
*
  
Ligne 42: Ligne 47:
 
<span style="color:#990000;">-les actions des utilisateurs -> les conséquences au niveau des sites  
 
<span style="color:#990000;">-les actions des utilisateurs -> les conséquences au niveau des sites  
  
''<span style="color:#006600;">Coordination : Christine Leroy, Dapnia-Saclay; Pierre Girard, Ingénieur, CC-IN2P3''
+
<span style="color:#006600;">Coordination : Christine Leroy, Dapnia-Saclay; Pierre Girard, Ingénieur, CC-IN2P3
  
 
* le fonctionnement d'un site de la grille :
 
* le fonctionnement d'un site de la grille :
Ligne 49: Ligne 54:
 
* la gestion de jobs grilles :  
 
* la gestion de jobs grilles :  
 
de la façon dont ils sont soumis par les utilisateurs à la façon dont ils sont traités par les sites (dont la mise au point des formules de rank pour l'élection d'un site de soumission, le manque d'attractivité d'un site pour les jobs ou l'inverse, la gestion des priorités sur les jobs, des jobs pilotes, exécuteurs, etc.)
 
de la façon dont ils sont soumis par les utilisateurs à la façon dont ils sont traités par les sites (dont la mise au point des formules de rank pour l'élection d'un site de soumission, le manque d'attractivité d'un site pour les jobs ou l'inverse, la gestion des priorités sur les jobs, des jobs pilotes, exécuteurs, etc.)
 +
 +
 +
<B>A- Sous-session "Gestion des jobs grille"</B>
 +
 +
Dans cette première sous-session, il est demandé à chaque VO d'apporter des clarifications concernant les points suivants :
 +
<P>
 +
<OL>
 +
<LI>Méthode(s) de distribution des jobs sur les sites :
 +
  <UL>
 +
  <LI>utilisation ou non d'un RB ?</LI>
 +
  <LI>utilisation ou non des informations publiées ?</LI>
 +
  <LI>Critère d'élection d'un site ? etc.</LI>
 +
  </UL>
 +
</LI>
 +
<LI>Organisation de la production
 +
  <UL>
 +
  <LI>qui fait quoi, qui soumet quoi, les rôles, les histoires de priorité...</LI>
 +
  <LI>une production française ou pas</LI>
 +
  <LI>Système de monitoring pour les jobs ? Si oui, utilisable ou pas par les sites ? Quel est son principe de fonctionnement, etc.</LI>
 +
  <LI>gestion des proxy</LI>
 +
  <LI>Méthode d'installation des softs (+ desinstallation)</LI>
 +
  <LI>comment un nouvel OS est validé et l'information transmise</LI>
 +
 +
  </UL>
 +
</LI>
 +
<LI>Amélioration attendue et perspectives pour la gestion des jobs</LI>
 +
</OL>
 +
</P>
 +
 +
  14:45 Introduction (5', Christine/Pierre)
 +
  14:50 Spécificités d'Alice (10', Artem ?)
 +
  15:00 Spécificités d'Atlas (10', Jérôme Schwi? Stéphane ? Karim ?)
 +
  15:10 Spécificités de Cms (10', Claude ? Artem ?)
 +
  15:20 Spécificités de Lhcb (10', Andrei ou Sabine?)
 +
  15:30 Discussions (45')
 +
 +
 +
<B>B- Sous-Session "Fonctionnement des sites" </B>
 +
 +
<P>
 +
  <B>16:45 "Exploitation globale de la grille" (20' + 10', Hélène C.)</B>
 +
  <UL>
 +
    <LI>Interaction entre outils de gestion de l'exploitation et la production</LI>
 +
    <LI>Comment les utilisateurs peuvent accéder aux informations</LI>
 +
    <LI>les outils d'exploitation (GOC DB, SAM, GSTAT, MonALISA et le CIC Portal)</LI>
 +
    <LI>L'accounting</LI>
 +
    <LI>Comment mesurer l’efficacite d’un site (utilisationCPU/CPU; resource disponible/resource indisponible ;jobs plantes/ jobs/reussis)</LI>
 +
  </UL>
 +
</P>
 +
 +
<P>
 +
  <B>17:15 "Fonctionnement d’un site"? (45', 3 intervenants ?)</B>
 +
  <OL>
 +
    <LI>Suivi de jobs(15', David Bouvet)
 +
    <UL>
 +
      <LI>Est-ce qu'on peut retracer un job qui a planté pour savoir ce qu'il a utilisé comme ressources et pourquoi il a planté?</LI>
 +
      <LI>Est-ce qu'on peut s'assurer qu'un job qui a bien tourné, a tourné avec les bonnes librairies (Y'a-t-il des vérifications par les sites?)</LI>
 +
      <LI>Detection  de jobs qui se plantent instantanement car probleme sur un WN ?</LI>
 +
    </UL>
 +
    </LI>
 +
 +
    <LI>Gestion des pannes(15',?)
 +
    <UL>
 +
      <LI>Monitoring local, avez-vous un moyen de verifier « l’integrite » des WN ? Place disque disponible sur chaque WN</LI>
 +
    </UL>
 +
    </LI>
 +
 +
    <LI>Le scheduling et le tuning (15', Michel Jouvin)
 +
    <UL>
 +
      <LI>Peut on mixer job d’analyse et job de simulation sur les WNs (pour optimiser IO et CPU) ?</LI>
 +
      <LI>Le manque d'attractivité d'un site pour les jobs ou l'inverse => état des lieux et amélioration en vue côté mw if any</LI>
 +
      <LI>la gestion des priorités sur les jobs</LI>
 +
    </UL>
 +
    </LI>
 +
  </OL>
 +
</P>
 +
 +
<P>
 +
  <B>17:45 "Gestion de l'infrastructure d'un site" (30',Pierre-Louis, Clermont)</B>
 +
</P>
  
 
==== <span style="color:#FF0000;"> Mise en place d’un site  ====
 
==== <span style="color:#FF0000;"> Mise en place d’un site  ====
Ligne 65: Ligne 150:
 
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs
 
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs
  
''<span style="color:#006600;">Coordination : Lionel Schwarz, CC-IN2P3 ? ;  Representant ALICE, LHCb? ''
+
''<span style="color:#006600;">Coordination : Lionel Schwarz (CC), Stéphane Jézequel(LAPP, Atlas) ''
 +
 
 +
* Transferts massifs de données
 +
Dans cette partie, l'objectif est de comprendre l'utilisation de FTS et
 +
les outils de mouvement de fichiers (Phedex, DDM...) ce qui fonctionne,
 +
ce qui ne fonctionne pas. Il serait bon de rappeler le trajet des différentes
 +
donnees et lesquelles sont sous la responsabilite de quel site.
 +
Egalement, l'organisation en T2-T3, nuages... des donnees des
 +
expériences. Il faudrait obtenir des chiffres au niveau des debits
 +
prevus entre T1-T2.
 +
** Point sur l'infrastructure réseau et logicielle (FTS, SRM) des sites (5') - L. Schwarz
 +
** Transferts massifs Alice (10')
 +
** Transferts massifs Atlas (10')
 +
** Transferts massifs CMS (10')
 +
** Transferts massifs LHCb (10')
 +
** Discussion (15')
  
* Réseaux, trafic
+
* Accès aux données
* Transfert des données SRM, FTS,…
+
Cette partie est consacrée à la problématique de l'accès aux données par
* Stockage ?
+
les jobs. Quel protocole est envisagé? Accès local/à distance?
 +
Debit prévu, nombre de jobs? Problème des données utilisateur? Cohabitation
 +
transfert des données/accès pour l'analyse. Téléchargement de données...
 +
** Modèle d'accès aux données de LHCb (10')
 +
** Modèle d'accès aux données de CMS (10')
 +
** Modèle d'accès aux données de Atlas (10')
 +
** Modèle d'accès aux données de Alice (10')
 +
** Discussion (30')
  
  
Ligne 76: Ligne 183:
  
 
==== <span style="color:#FF0000;">Les centres d’analyses ====  
 
==== <span style="color:#FF0000;">Les centres d’analyses ====  
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs
+
<span style="color:#990000;">Quels sont les outils d'analyse? L'analyse sera t elle distribuee sur la grille ou centralisee dans des fermes dediees? Quels logiciels utiliser? Comment se situent les Tier2 et Tier3 ?
  
''<span style="color:#006600;">Coordination : Eric Lancon,Dapnia-Saclay ; Claude Charlot ? ''
+
''<span style="color:#006600;">Coordination : Eric Lancon,Dapnia-Saclay ; Claude Charlot LLR; Frédéric Derue LPNHE ''
 
                
 
                
 
* mise en place
 
* mise en place
Ligne 85: Ligne 192:
 
* Coordination avec les T3s ? mise en commun de ressources ?
 
* Coordination avec les T3s ? mise en commun de ressources ?
  
==== <span style="color:#FF0000;">Grille de Recherche : Grid5000 ? ====
+
==== <span style="color:#FF0000;"> Conclusions  F Malek ====
  
 
*
 
*

Latest revision as of 12:01, 2 mars 2007

D.ation modèles de cP. 31/01/2007

Objectifs

LCG-France organise son 2ème colloque à Clermont-Ferrand les 14 et 15 mars 2007. Ces journées sont destinées à tous les acteurs de la grille de calcul au LHC (gestionnaires de site et utilisateurs) de l'IN2P3 et du Dapnia. Elles ont pour objectifs d’offrir un lieu d’échange et de communication sur les actions, les idées et les expériences en cours dans la mise en place du calcul pour le LHC dans le cadre du projet LCG.


Programme Scientifique version 2 (9/2/07)

14 mars matin (3h30) 9h-10h45 11H15-13h pause 10h45-11h15

9h-9h05 Welcome

Etat des lieux pour le calcul au LHC en France

Coordination : Ghita Rahal,CC-IN2P3; Dominique Pallin, LPC-Clermont

  • 09:05-09:15 -Infrastructure globale de grille en France et ressources associées F Malek
  • 09:20-09:50 -mise en place de La grille francaise : T1 F Hernandez
  • 09:55-10:20 -mise en place de La grille francaise: T2 etT3 F Chollet
  • 10:25-10:45 & 11h15-13:00 -Présentation de l'état du calcul dans les expériences:
      • Les modèles de calcul des expériences (overview)
      • Quelle participation dans la mise en place du calcul (en france)?
      • Adéquation entre les infrastructures/ressources et les besoins.
      • Etat de la production des données de simulation
      • Etat d'avancement par rapport à l'objectif de la prise de données de fin 2007.
      • Difficultés, les points à améliorer…
  • 10:25-11:45 -ALICE Y schutz
  • 10:45-11h15 ----------------- Pause ---------------------------
  • 11:15-11:35 -ATLAS E Lancon
  • 11:40-12:00 -CMS C Charlot
  • 12:05-12:25 -LHCb A Tsaregorodtsev
  • 12:30-13:00 -discussion/tour de table sur l'ensemble de la session
      • la grille francaise, sa mise en place et son utilisation, Du point de vue des sites, des collaborations LHC et des utilisateurs


14 mars après-midi (3h) 14h45-16h15 16H45-18h15 pause 16h15-16h45

Gestion et exploitation des grilles de calcul

Couvrir 2 aspects complémentaires :

-les actions des sites -> les conséquences au niveau des utilisateurs

-les actions des utilisateurs -> les conséquences au niveau des sites

Coordination : Christine Leroy, Dapnia-Saclay; Pierre Girard, Ingénieur, CC-IN2P3

  • le fonctionnement d'un site de la grille :

du déploiement du middleware à la gestion de sa production, en passant par les procédures qu'il doit suivre, comme la déclaration de "scheduled downtime", l'utilisation des outils officiels de monitoring (SAM, GSTAT, etc) et leurs conséquences (disparition partielle ou complète de la production, etc), sécurité,etc.

  • la gestion de jobs grilles :

de la façon dont ils sont soumis par les utilisateurs à la façon dont ils sont traités par les sites (dont la mise au point des formules de rank pour l'élection d'un site de soumission, le manque d'attractivité d'un site pour les jobs ou l'inverse, la gestion des priorités sur les jobs, des jobs pilotes, exécuteurs, etc.)


A- Sous-session "Gestion des jobs grille"

Dans cette première sous-session, il est demandé à chaque VO d'apporter des clarifications concernant les points suivants :

  1. Méthode(s) de distribution des jobs sur les sites :
    • utilisation ou non d'un RB ?
    • utilisation ou non des informations publiées ?
    • Critère d'élection d'un site ? etc.
  2. Organisation de la production
    • qui fait quoi, qui soumet quoi, les rôles, les histoires de priorité...
    • une production française ou pas
    • Système de monitoring pour les jobs ? Si oui, utilisable ou pas par les sites ? Quel est son principe de fonctionnement, etc.
    • gestion des proxy
    • Méthode d'installation des softs (+ desinstallation)
    • comment un nouvel OS est validé et l'information transmise
  3. Amélioration attendue et perspectives pour la gestion des jobs

 14:45 Introduction (5', Christine/Pierre)
 14:50 Spécificités d'Alice (10', Artem ?)
 15:00 Spécificités d'Atlas (10', Jérôme Schwi? Stéphane ? Karim ?)
 15:10 Spécificités de Cms (10', Claude ? Artem ?)
 15:20 Spécificités de Lhcb (10', Andrei ou Sabine?)
 15:30 Discussions (45')


B- Sous-Session "Fonctionnement des sites"

16:45 "Exploitation globale de la grille" (20' + 10', Hélène C.)

  • Interaction entre outils de gestion de l'exploitation et la production
  • Comment les utilisateurs peuvent accéder aux informations
  • les outils d'exploitation (GOC DB, SAM, GSTAT, MonALISA et le CIC Portal)
  • L'accounting
  • Comment mesurer l’efficacite d’un site (utilisationCPU/CPU; resource disponible/resource indisponible ;jobs plantes/ jobs/reussis)

17:15 "Fonctionnement d’un site"? (45', 3 intervenants ?)

  1. Suivi de jobs(15', David Bouvet)
    • Est-ce qu'on peut retracer un job qui a planté pour savoir ce qu'il a utilisé comme ressources et pourquoi il a planté?
    • Est-ce qu'on peut s'assurer qu'un job qui a bien tourné, a tourné avec les bonnes librairies (Y'a-t-il des vérifications par les sites?)
    • Detection de jobs qui se plantent instantanement car probleme sur un WN ?
  2. Gestion des pannes(15',?)
    • Monitoring local, avez-vous un moyen de verifier « l’integrite » des WN ? Place disque disponible sur chaque WN
  3. Le scheduling et le tuning (15', Michel Jouvin)
    • Peut on mixer job d’analyse et job de simulation sur les WNs (pour optimiser IO et CPU) ?
    • Le manque d'attractivité d'un site pour les jobs ou l'inverse => état des lieux et amélioration en vue côté mw if any
    • la gestion des priorités sur les jobs

17:45 "Gestion de l'infrastructure d'un site" (30',Pierre-Louis, Clermont)

Mise en place d’un site

L’exemple du T2 du LPC Clermont-Ferrand. Visite du site possible durant les 2 jours par petits groupes

  • Salle machine (réseau électrique, climatisation,…)
  • Choix matériel
  • Sécurité
  • Les difficultés rencontrées


15 mars matin (3h30) 9h-10h45 11H15-13h pause 10h45-11h15

Gestion des données grilles

Du point de vue des sites, des collaborations LHC et des utilisateurs

Coordination : Lionel Schwarz (CC), Stéphane Jézequel(LAPP, Atlas)

  • Transferts massifs de données

Dans cette partie, l'objectif est de comprendre l'utilisation de FTS et les outils de mouvement de fichiers (Phedex, DDM...) ce qui fonctionne, ce qui ne fonctionne pas. Il serait bon de rappeler le trajet des différentes donnees et lesquelles sont sous la responsabilite de quel site. Egalement, l'organisation en T2-T3, nuages... des donnees des expériences. Il faudrait obtenir des chiffres au niveau des debits prevus entre T1-T2.

    • Point sur l'infrastructure réseau et logicielle (FTS, SRM) des sites (5') - L. Schwarz
    • Transferts massifs Alice (10')
    • Transferts massifs Atlas (10')
    • Transferts massifs CMS (10')
    • Transferts massifs LHCb (10')
    • Discussion (15')
  • Accès aux données

Cette partie est consacrée à la problématique de l'accès aux données par les jobs. Quel protocole est envisagé? Accès local/à distance? Debit prévu, nombre de jobs? Problème des données utilisateur? Cohabitation transfert des données/accès pour l'analyse. Téléchargement de données...

    • Modèle d'accès aux données de LHCb (10')
    • Modèle d'accès aux données de CMS (10')
    • Modèle d'accès aux données de Atlas (10')
    • Modèle d'accès aux données de Alice (10')
    • Discussion (30')


15 mars après-midi (2h40) 14h15-15h45 16H05-17h15 pause 15h45-16h05

Les centres d’analyses

Quels sont les outils d'analyse? L'analyse sera t elle distribuee sur la grille ou centralisee dans des fermes dediees? Quels logiciels utiliser? Comment se situent les Tier2 et Tier3 ?

Coordination : Eric Lancon,Dapnia-Saclay ; Claude Charlot LLR; Frédéric Derue LPNHE

  • mise en place
  • les contours
  • les logiciels d’analyses (Ganga,..)
  • Coordination avec les T3s ? mise en commun de ressources ?

Conclusions F Malek