http://lcg.in2p3.fr/wiki/api.php?action=feedcontributions&user=Pgirard&feedformat=atomlcgwiki - Contributions [en]2024-03-29T10:24:51ZContributionsMediaWiki 1.31.0http://lcg.in2p3.fr/wiki/index.php?title=TEG&diff=6279TEG2011-11-10T11:39:04Z<p>Pgirard: /* Storage Management */</p>
<hr />
<div>== Introduction ==<br />
<br />
WLCG has created a number of '''Technical Evolution Groups''' to guide the technical development of the project. As the future of the WLCG Grid infrastructure will be first discussed in those groups, it is important for LCG-France to be part of those discussions. The different groups, their contact channels and area of work are presented on this page.<br />
<br />
<br />
== INDICO Category : https://indico.cern.ch/categoryDisplay.py?categId=3753 ==<br />
<br />
== WLCG Technology Evolution Groups ==<br />
<br />
==== Operations & Tools ====<br />
<br />
* LCG-France members: Frédérique Chollet<br />
<br />
* '''Chairs : Maria Girone (CERN), Jeff Templon (Nikhef)'''<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGTEGOperations<br />
* Egroup mailing list : [https://e-groups.cern.ch/e-groups/Egroup.do?egroupName=wlcg-teg-operations wlcg-teg-operations_at_CERN] <br />
* Agendas : https://indico.cern.ch/categoryDisplay.py?categId=3770<br />
* Main deliverables: <br />
** a document describing the current situation <br />
** and a strategy document to setup the plans for the next two or five years<br />
* '''Site Input welcome (contribution deadline is 11th Nov.)''' : see https://twiki.cern.ch/twiki/bin/view/LCG/WLCGTegOperationsWG3WG5<br />
* Subgroups :<br />
** WG1 : Monitoring & Metrics<br />
** WG2: Support tools + Underlying Services+ WLCG ops<br />
** WG3 : Operational requirements on middleware<br />
** WG4 : Application software management, deployment and configuration<br />
** WG5 : Middleware distribution management, deployment and configuration<br />
<br />
==== Data Management ====<br />
<br />
* LCG-France members:<br />
<br />
*''' Chairs: Brian Bockelman (CMS, OSG), Graeme Stewart (ATLAS)'''<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGTEGDataManagement<br />
* Egroup mailing list : [https://e-groups.cern.ch/e-groups/Egroup.do?egroupName=wlcg-teg-data-management wlcg-teg-data-management_at_CERN]<br />
* Scope :<br />
** Review demonstrators from 2010<br />
** Data placement (policy-based or dynamic)<br />
** Data transfer management<br />
** Transfer and WAN access protocols<br />
** Management od name spaces and catalogues<br />
** Understanding security requirements/needs<br />
<br />
==== Storage Management ====<br />
<br />
* LCG-France members: Yannick Patois, Yvan Calas, Loïc Tortay<br />
<br />
*''' Chairs: Daniele Bonacorsi (CMS), Wahid Bhimji (Edinburgh)'''<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGTEGStorage<br />
* Egroup mailing list : [https://e-groups.cern.ch/e-groups/Egroup.do?egroupName=wlcg-teg-storage wlcg-teg-storage_at_CERN]<br />
* Scope :<br />
** Experiment IO/usage patterns(and so performance requirements for storage)<br />
** Requirements on future storage systems<br />
** Separation of archives and disk pools/caches<br />
** Storage system interfaces to Grid(SRM status?)<br />
** Filesystems/protocols (standards?)<br />
** Security/access controls<br />
** as site-‐run services: storage management, performance measurements, monitoring, etc<br />
<br />
==== Databases ====<br />
<br />
* LCG-France members:<br />
<br />
* '''Chairs: Dario Barberis (ATLAS), Dave Dykstra (OSG)'''<br />
* Egroup mailing list : [https://e-groups.cern.ch/e-groups/Egroup.do?egroupName=wlcg-teg-data-management wlcg-teg-data-management_at_CERN] <br />
* Agendas : https://indico.cern.ch/categoryDisplay.py?categId=3754<br />
* Main Topics:<br />
** NOSQL vs Oracle, MySQL, etc<br />
** Frontier, squids, vs 3D/Streams, GoldenGate, DataGuard etc<br />
** CORAL, COOL<br />
** What is framework for deploying new applications that need a DB? <br />
*''' Next...''' Workshop on 7-9 November 2011 : https://indico.cern.ch/conferenceDisplay.py?confId=158091<br />
<br />
==== Workload Management ====<br />
<br />
* LCG-France members:<br />
<br />
* '''Chairs: Davide Salomoni (CNAF), Torre Wenaus (ATLAS)'''<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WorkloadManagementTechnicalEvolution<br />
* Topics :<br />
** Pilots & Frameworks<br />
** Resource allocations & management<br />
** Security models<br />
** New computing models<br />
* Agendas: https://indico.cern.ch/categoryDisplay.py?categId=3768 '''NEXT... Meeting Nov. 3-4'''<br />
<br />
==== Security ====<br />
<br />
* LCG-France members:<br />
<br />
* '''Chairs : Romain Wartel (CERN), Steffen Schreiner (ALICE)'''<br />
* Egroup mailing list : [https://e-groups.cern.ch/e-groups/Egroup.do?egroupName=wlcg-security-teg wlcg-security-teg_at_CERN]<br />
* wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGSecurityTEG<br />
* Scope : 5 different subtasks<br />
** WLCG risk assessment/analysis<br />
** AAI (Authentication and Authorization Infrastructure) on worker nodes<br />
** AAI on storage systems</div>Pgirardhttp://lcg.in2p3.fr/wiki/index.php?title=French_Sites:Xmas&diff=3263French Sites:Xmas2007-12-21T09:03:56Z<p>Pgirard: /* EGEE sites */</p>
<hr />
<div>'''2007-2008 Planning over Christmas for the french sites <span style="color:#F00000;"> Best wishes for 2008 !'''<br><br />
Contact our favorite ROC : <span style="color:#0000F0;">grid-roc@cc.in2p3.fr</span> <br><br />
Broadcast/publish informations from the CIC portal : <br />
https://cic.in2p3.fr/index.php?section=rc&page=broadcast<br />
<br />
== Tier-1 ==<br />
* CC-IN2P3 will be running as usual, except that there will be a minimal support on 24/12, 31/12 and 01/01.<br />
* ROC support will be organized as follows : <br />
* on december 24th and 31rst only by grid-roc@cc.in2p3.fr<br />
* december 26-28,<br />
mailto: grid-roc@cc.in2p3.fr<br />
on phone : Pierre-Emmanuel Brinette<br />
* on January 2 :<br />
mailto: grid-roc@cc.in2p3.fr<br />
on phone : Hélène Cordier<br />
<br />
== Tiers-2 ==<br />
* GRIF : All ressources for site GRIF will be available during Christmas period. The support for these sites will be minimal from 22/12/2007 at 9h00(GMT) until 03/01/2008 at 9h00(GMT)<br />
<br />
* LAPP Annecy : All ressources for sites IN2P3-LAPP will be available during Christmas period (from 22/12/2007 to 07/01/2008) with a minimal support.<br />
<br />
* LPC Clermont : All ressources for sites IN2P3-LPC and AUVERGRID will be avaible normaly during Christmas period. The support for these sites will be minimal from 22/12/2007 at (GMT) until 07/01/2008 at 9h00(GMT)<br />
<br />
* Subatech : All resources for site IN2P3-SUBATECH are available with minimal support between 24/12/2007 and 01/01/2008 included.<br />
<br />
* IN2P3-CC-T2 : As IN2P3-CC (T1), all resources will be available from IN2P3-CC-T2 from 24/12/2007 to 02/01/2008.<br />
<br />
== Tiers-3 ==<br />
* CPPM : All ressources for site CPPM will be available during Christmas period (from 22/12/2007 to 07/01/2008) with a minimal support.<br />
* IPHC (IRES)<br />
* IPNL : All ressources for site IPNL will be available during Christmas period (from 22/12/2007 to 03/01/2008) with a minimal support.<br />
== EGEE sites ==<br />
* IPSL-IPGP : SE available, CE opened only to dteam and ops VOs (1 WN only) 21/12/07 (incl) to 02/08 (excl). No support to be expected.<br />
<br />
* CGG-LCG2 : site will be running at risk (no support to be expected some days). Both Ahmed and Gérard will be at the office from december 26th to december 28th, and from january 2nd.</div>Pgirardhttp://lcg.in2p3.fr/wiki/index.php?title=French_Sites:Xmas&diff=3245French Sites:Xmas2007-12-18T14:47:28Z<p>Pgirard: </p>
<hr />
<div>__NOTOC__<br />
== 2007-2008 Planning over Christmas for the french sites ==<br />
<br />
Contact our favorite ROC : <span style="color:#0000F0;">grid-roc@cc.in2p3.fr</span> <br><br />
Broadcast/publish informations from the CIC portal : <br />
https://cic.in2p3.fr/index.php?section=rc&page=broadcast<br />
<br />
== Tier-1 ==<br />
* CC-IN2P3 will be running as usual, except that there will be a minimal support on 24/12 and on 31/12.<br />
<br />
== Tiers-2 ==<br />
* GRIF :<br />
<br />
* LAPP Annecy :<br />
All ressources for sites IN2P3-LAPP will be available during Christmas period (from 22/12/2007 to 07/01/2008) with a minimal support.<br />
<br />
* LPC Clermont :<br />
All ressources for sites IN2P3-LPC and AUVERGRID will be avaible normaly during Christmas period. The support for these sites will be minimal from 22/12/2007 at (GMT) until 07/01/2008 at 9h00(GMT)<br />
<br />
* Subatech : <br />
All resources for site IN2P3-SUBATECH are available with minimal support between 24/12/2007 and 01/01/2008 included.<br />
<br />
* IN2P3-CC-T2 :<br />
As IN2P3-CC (T1), all resources will be available from IN2P3-CC-T2 from 24/12/2007 to 02/01/2008.<br />
<br />
== Tiers-3 ==<br />
* CPPM : All ressources for site CPPM will be available during Christmas period (from 22/12/2007 to 07/01/2008) with a minimal support.<br />
*</div>Pgirardhttp://lcg.in2p3.fr/wiki/index.php?title=French_Sites:Xmas&diff=3244French Sites:Xmas2007-12-18T14:27:58Z<p>Pgirard: /* Tiers-2 */</p>
<hr />
<div>__NOTOC__<br />
== 2007-2008 Planning over Christmas for the french sites ==<br />
<br />
Contact our favorite ROC : <span style="color:#0000F0;">grid-roc@cc.in2p3.fr</span> <br><br />
Broadcast/publish informations from the CIC portal : <br />
https://cic.in2p3.fr/index.php?section=rc&page=broadcast<br />
<br />
== Tier-1 ==<br />
* CC-IN2P3 will be running as usual.<br />
== Tiers-2 ==<br />
* GRIF :<br />
<br />
* LAPP Annecy :<br />
All ressources for sites IN2P3-LAPP will be available during Christmas period (from 22/12/2007 to 07/01/2008) with a minimal support.<br />
<br />
* LPC Clermont :<br />
All ressources for sites IN2P3-LPC and AUVERGRID will be avaible normaly during Christmas period. The support for these sites will be minimal from 22/12/2007 at (GMT) until 07/01/2008 at 9h00(GMT)<br />
<br />
* Subatech : <br />
All resources for site IN2P3-SUBATECH are available with minimal support between 24/12/2007 and 01/01/2008 included.<br />
<br />
* IN2P3-CC-T2 :<br />
As IN2P3-CC (T1), all resources will be available from IN2P3-CC-T2 from 24/12/2007 to 02/01/2008.<br />
<br />
== Tiers-3 ==<br />
* CPPM : All ressources for site CPPM will be available during Christmas period (from 22/12/2007 to 07/01/2008) with a minimal support.<br />
*</div>Pgirardhttp://lcg.in2p3.fr/wiki/index.php?title=Draft_of_the_scientific_programm&diff=2765Draft of the scientific programm2007-02-09T10:22:08Z<p>Pgirard: /* <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul */</p>
<hr />
<div>D.P. 31/01/2007<br />
==== Objectifs ====<br />
LCG-France organise son 2ème colloque à Clermont-Ferrand les 14 et 15 mars 2007. Ces journées sont destinées à tous les acteurs de la grille de calcul au LHC (gestionnaires de site et utilisateurs) de l'IN2P3 et du Dapnia. Elles ont pour objectifs d’offrir un lieu d’échange et de communication sur les actions, les idées et les expériences en cours dans la mise en place du calcul pour le LHC dans le cadre du projet LCG.<br />
<br />
<br />
''' Programme Scientifique version 1 (7/12/06)'''<br />
<br />
<span style="color:#0000F0;"> 14 mars matin (3h) 9h30-11h 11H30-13h pause 11h-11h30<br />
<br />
==== <span style="color:#FF0000;"> 9h30-9h35 Welcome ====<br />
<br />
==== <span style="color:#FF0000;"> Etat des lieux pour le calcul au LHC en France====<br />
<br />
''<span style="color:#006600;">Coordination : Ghita Rahal,CC-IN2P3; Dominique Pallin, LPC-Clermont ''<br />
<br />
* 09:35-09:45 -Infrastructure globale de grille en France et ressources associées F Malek<br />
* 09:45-10:00 -Présentation des sites (T1 et sites associés) D Boutigny<br />
* 10:00-10:20 -Présentation des sites (T2 etT3, T2 étrangers associés) F Chollet<br />
* 10:20-10:40 -mise en place de La grille francaise: F Hernandez<br />
***Les difficultés rencontrées;<br />
***adéquation modèles de calcul - infrastructure/ressources (du point de vue des sites)<br />
***Son évolution en vue des données LHC 2009-2010<br />
* 10:40-11:00 & 11h30-13:00 -Présentation de l'état du calcul dans les expériences:<br />
*** Les modèles de calcul des expériences (overview)<br />
*** Quelle participation dans la mise en place du calcul (en france)?<br />
*** Adéquation entre les infrastructures/ressources et les besoins.<br />
*** Etat de la production des données de simulation<br />
*** Etat d'avancement par rapport à l'objectif de la prise de données de fin 2007. <br />
*** Difficultés, les points à améliorer…<br />
*<br />
* 10:40-11:00 -ALICE Y schutz<br />
* 11:00-11h30 ----------------- Pause ---------------------------<br />
* 11:30-11:50 -ATLAS E Lancon <br />
* 11:50-12:10 -CMS C Charlot ?<br />
* 12:10-12:30 -LHCb A Tsaregorodtsev ?<br />
* 12:30-13:00 -discussion/tour de table sur l'ensemble de la session<br />
*** la grille francaise, sa mise en place et son utilisation, Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
* <br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 14 mars après-midi (3h) 14h45-16h15 16H45-18h15 pause 16h15-16h45<br />
<br />
==== <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul ==== <br />
<span style="color:#990000;">Couvrir 2 aspects complémentaires : <br />
<br />
<span style="color:#990000;">-les actions des sites -> les conséquences au niveau des utilisateurs<br />
<br />
<span style="color:#990000;">-les actions des utilisateurs -> les conséquences au niveau des sites <br />
<br />
<span style="color:#006600;">Coordination : Christine Leroy, Dapnia-Saclay; Pierre Girard, Ingénieur, CC-IN2P3<br />
<br />
* le fonctionnement d'un site de la grille :<br />
du déploiement du middleware à la gestion de sa production, en passant par les procédures qu'il doit suivre, comme la déclaration de "scheduled downtime", l'utilisation des outils officiels de monitoring (SAM, GSTAT, etc) et leurs conséquences (disparition partielle ou complète de la production, etc), sécurité,etc.<br />
<br />
* la gestion de jobs grilles : <br />
de la façon dont ils sont soumis par les utilisateurs à la façon dont ils sont traités par les sites (dont la mise au point des formules de rank pour l'élection d'un site de soumission, le manque d'attractivité d'un site pour les jobs ou l'inverse, la gestion des priorités sur les jobs, des jobs pilotes, exécuteurs, etc.)<br />
<br />
<br />
<B>A- Sous-session "Gestion des jobs grille"</B><br />
<br />
Dans cette première sous-session, il est demandé à chaque VO d'apporter des clarifications concernant les points suivants :<br />
<P><br />
<OL><br />
<LI>Méthode(s) de distribution des jobs sur les sites :<br />
<UL><br />
<LI>utilisation ou non d'un RB ?</LI><br />
<LI>utilisation ou non des informations publiées ?</LI><br />
<LI>Critère d'élection d'un site ? etc.</LI><br />
</UL><br />
</LI><br />
<LI>Organisation de la production<br />
<UL><br />
<LI>qui fait quoi, qui soumet quoi, les rôles, les histoires de priorité...</LI><br />
<LI>une production française ou pas</LI><br />
<LI>Système de monitoring pour les jobs ? Si oui, utilisable ou pas par les sites ? Quel est son principe de fonctionnement, etc.</LI><br />
<LI>gestion des proxy</LI><br />
<LI>Méthode d'installation des softs (+ desinstallation)</LI><br />
<LI>comment un nouvel OS est validé et l'information transmise</LI><br />
<br />
</UL><br />
</LI><br />
<LI>Amélioration attendue et perspectives pour la gestion des jobs</LI><br />
</OL><br />
</P><br />
<br />
14:45 Introduction (5', Christine/Pierre)<br />
14:50 Spécificités d'Alice (10', Artem ?)<br />
15:00 Spécificités d'Atlas (10', Jérôme Schwi? Stéphane ? Karim ?)<br />
15:10 Spécificités de Cms (10', Claude ? Artem ?)<br />
15:20 Spécificités de Lhcb (10', Andrei ou Sabine?)<br />
15:30 Discussions (45')<br />
<br />
<br />
<B>B- Sous-Session "Fonctionnement des sites" </B><br />
<br />
<P><br />
<B>16:45 "Exploitation globale de la grille" (20' + 10', Hélène C.)</B><br />
<UL><br />
<LI>Interaction entre outils de gestion de l'exploitation et la production</LI><br />
<LI>Comment les utilisateurs peuvent accéder aux informations</LI><br />
<LI>les outils d'exploitation (GOC DB, SAM, GSTAT, MonALISA et le CIC Portal)</LI><br />
<LI>L'accounting</LI> <br />
<LI>Comment mesurer l’efficacite d’un site (utilisationCPU/CPU; resource disponible/resource indisponible ;jobs plantes/ jobs/reussis)</LI><br />
</UL><br />
</P><br />
<br />
<P> <br />
<B>17:15 "Fonctionnement d’un site"? (45', 3 intervenants ?)</B><br />
<OL><br />
<LI>Suivi de jobs(15', David Bouvet)<br />
<UL><br />
<LI>Est-ce qu'on peut retracer un job qui a planté pour savoir ce qu'il a utilisé comme ressources et pourquoi il a planté?</LI><br />
<LI>Est-ce qu'on peut s'assurer qu'un job qui a bien tourné, a tourné avec les bonnes librairies (Y'a-t-il des vérifications par les sites?)</LI><br />
<LI>Detection de jobs qui se plantent instantanement car probleme sur un WN ?</LI><br />
</UL><br />
</LI><br />
<br />
<LI>Gestion des pannes(15',?)<br />
<UL><br />
<LI>Monitoring local, avez-vous un moyen de verifier « l’integrite » des WN ? Place disque disponible sur chaque WN</LI><br />
</UL><br />
</LI><br />
<br />
<LI>Le scheduling et le tuning (15', Michel Jouvin)<br />
<UL><br />
<LI>Peut on mixer job d’analyse et job de simulation sur les WNs (pour optimiser IO et CPU) ?</LI><br />
<LI>Le manque d'attractivité d'un site pour les jobs ou l'inverse => état des lieux et amélioration en vue côté mw if any</LI><br />
<LI>la gestion des priorités sur les jobs</LI><br />
</UL><br />
</LI><br />
</OL><br />
</P><br />
<br />
<P><br />
<B>17:45 "Gestion de l'infrastructure d'un site" (30',Pierre-Louis, Clermont)</B><br />
</P><br />
<br />
==== <span style="color:#FF0000;"> Mise en place d’un site ====<br />
<span style="color:#990000;">L’exemple du T2 du LPC Clermont-Ferrand. Visite du site possible durant les 2 jours par petits groupes<br />
<br />
* Salle machine (réseau électrique, climatisation,…)<br />
* Choix matériel<br />
* Sécurité<br />
* Les difficultés rencontrées<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars matin (3h30) 9h-10h45 11H15-13h pause 10h45-11h15<br />
<br />
==== <span style="color:#FF0000;"> Gestion des données grilles ====<br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Lionel Schwarz, CC-IN2P3 ? ; Representant ALICE, LHCb? ''<br />
<br />
* Réseaux, trafic<br />
* Transfert des données SRM, FTS,…<br />
* Stockage ?<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars après-midi (2h40) 14h15-15h45 16H05-17h15 pause 15h45-16h05<br />
<br />
==== <span style="color:#FF0000;">Les centres d’analyses ==== <br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Eric Lancon,Dapnia-Saclay ; Claude Charlot ? ''<br />
<br />
* mise en place<br />
* les contours<br />
* les logiciels d’analyses (Ganga,..)<br />
* Coordination avec les T3s ? mise en commun de ressources ?<br />
<br />
==== <span style="color:#FF0000;"> Conclusions F Malek ====<br />
<br />
*</div>Pgirardhttp://lcg.in2p3.fr/wiki/index.php?title=Draft_of_the_scientific_programm&diff=2764Draft of the scientific programm2007-02-09T10:21:29Z<p>Pgirard: /* <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul */</p>
<hr />
<div>D.P. 31/01/2007<br />
==== Objectifs ====<br />
LCG-France organise son 2ème colloque à Clermont-Ferrand les 14 et 15 mars 2007. Ces journées sont destinées à tous les acteurs de la grille de calcul au LHC (gestionnaires de site et utilisateurs) de l'IN2P3 et du Dapnia. Elles ont pour objectifs d’offrir un lieu d’échange et de communication sur les actions, les idées et les expériences en cours dans la mise en place du calcul pour le LHC dans le cadre du projet LCG.<br />
<br />
<br />
''' Programme Scientifique version 1 (7/12/06)'''<br />
<br />
<span style="color:#0000F0;"> 14 mars matin (3h) 9h30-11h 11H30-13h pause 11h-11h30<br />
<br />
==== <span style="color:#FF0000;"> 9h30-9h35 Welcome ====<br />
<br />
==== <span style="color:#FF0000;"> Etat des lieux pour le calcul au LHC en France====<br />
<br />
''<span style="color:#006600;">Coordination : Ghita Rahal,CC-IN2P3; Dominique Pallin, LPC-Clermont ''<br />
<br />
* 09:35-09:45 -Infrastructure globale de grille en France et ressources associées F Malek<br />
* 09:45-10:00 -Présentation des sites (T1 et sites associés) D Boutigny<br />
* 10:00-10:20 -Présentation des sites (T2 etT3, T2 étrangers associés) F Chollet<br />
* 10:20-10:40 -mise en place de La grille francaise: F Hernandez<br />
***Les difficultés rencontrées;<br />
***adéquation modèles de calcul - infrastructure/ressources (du point de vue des sites)<br />
***Son évolution en vue des données LHC 2009-2010<br />
* 10:40-11:00 & 11h30-13:00 -Présentation de l'état du calcul dans les expériences:<br />
*** Les modèles de calcul des expériences (overview)<br />
*** Quelle participation dans la mise en place du calcul (en france)?<br />
*** Adéquation entre les infrastructures/ressources et les besoins.<br />
*** Etat de la production des données de simulation<br />
*** Etat d'avancement par rapport à l'objectif de la prise de données de fin 2007. <br />
*** Difficultés, les points à améliorer…<br />
*<br />
* 10:40-11:00 -ALICE Y schutz<br />
* 11:00-11h30 ----------------- Pause ---------------------------<br />
* 11:30-11:50 -ATLAS E Lancon <br />
* 11:50-12:10 -CMS C Charlot ?<br />
* 12:10-12:30 -LHCb A Tsaregorodtsev ?<br />
* 12:30-13:00 -discussion/tour de table sur l'ensemble de la session<br />
*** la grille francaise, sa mise en place et son utilisation, Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
* <br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 14 mars après-midi (3h) 14h45-16h15 16H45-18h15 pause 16h15-16h45<br />
<br />
==== <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul ==== <br />
<span style="color:#990000;">Couvrir 2 aspects complémentaires : <br />
<br />
<span style="color:#990000;">-les actions des sites -> les conséquences au niveau des utilisateurs<br />
<br />
<span style="color:#990000;">-les actions des utilisateurs -> les conséquences au niveau des sites <br />
<br />
<span style="color:#006600;">Coordination : Christine Leroy, Dapnia-Saclay; Pierre Girard, Ingénieur, CC-IN2P3<br />
<br />
* le fonctionnement d'un site de la grille :<br />
du déploiement du middleware à la gestion de sa production, en passant par les procédures qu'il doit suivre, comme la déclaration de "scheduled downtime", l'utilisation des outils officiels de monitoring (SAM, GSTAT, etc) et leurs conséquences (disparition partielle ou complète de la production, etc), sécurité,etc.<br />
<br />
* la gestion de jobs grilles : <br />
de la façon dont ils sont soumis par les utilisateurs à la façon dont ils sont traités par les sites (dont la mise au point des formules de rank pour l'élection d'un site de soumission, le manque d'attractivité d'un site pour les jobs ou l'inverse, la gestion des priorités sur les jobs, des jobs pilotes, exécuteurs, etc.)<br />
<br />
<br />
<B>A- Sous-session "Gestion des jobs grille"</B><br />
<br />
Dans cette première sous-session, il est demandé à chaque VO d'apporter des clarifications concernant les points suivants :<br />
<P><br />
<OL><br />
<LI>Méthode(s) de distribution des jobs sur les sites :<br />
<UL><br />
<LI>utilisation ou non d'un RB ?</LI><br />
<LI>utilisation ou non des informations publiées ?</LI><br />
<LI>Critère d'élection d'un site ? etc.</LI><br />
</UL><br />
</LI><br />
<LI>Organisation de la production<br />
<UL><br />
<LI>qui fait quoi, qui soumet quoi, les rôles, les histoires de priorité...</LI><br />
<LI>une production française ou pas</LI><br />
<LI>Système de monitoring pour les jobs ? Si oui, utilisable ou pas par les sites ? Quel est son principe de fonctionnement, etc.</LI><br />
<LI>gestion des proxy</LI><br />
<LI>Méthode d'installation des softs (+ desinstallation)</LI><br />
<LI>comment un nouvel OS est validé et l'information transmise</LI><br />
<br />
</UL><br />
</LI><br />
<LI>Amélioration attendue et perspectives pour la gestion des jobs</LI><br />
</OL><br />
</P><br />
<br />
14:45 Introduction (5', Christine/Pierre)<br />
14:50 Spécificités d'Alice (10', Artem ?)<br />
15:00 Spécificités d'Atlas (10', Jérôme Schwi? Stéphane ? Karim ?)<br />
15:10 Spécificités de Cms (10', Claude ? Artem ?)<br />
15:20 Spécificités de Lhcb (10', Andrei ou Sabine?)<br />
15:30 Discussions (45')<br />
<br />
<br />
<B>B- Sous-Session "Fonctionnement des sites" </B><br />
<br />
<P><br />
<B>16:45 "Exploitation globale de la grille" (20' + 10', Hélène C.)</B><br />
<UL><br />
<LI>Interaction entre outils de gestion de l'exploitation et la production</LI><br />
<LI>Comment les utilisateurs peuvent accéder aux informations</LI><br />
<LI>les outils d'exploitation (GOC DB, SAM, GSTAT, MonALISA et le CIC Portal)</LI><br />
<LI>L'accounting</LI> <br />
<LI>Comment mesurer l’efficacite d’un site (utilisationCPU/CPU; resource disponible/resource indisponible ;jobs plantes/ jobs/reussis)</LI><br />
</UL><br />
</P><br />
<br />
<P> <br />
<B>17:15 "Fonctionnement d’un site"? (45', 3 intervenants ?)</B><br />
<UL><br />
<LI>Suivi de jobs(15', David Bouvet)<br />
<UL><br />
<LI>Est-ce qu'on peut retracer un job qui a planté pour savoir ce qu'il a utilisé comme ressources et pourquoi il a planté?</LI><br />
<LI>Est-ce qu'on peut s'assurer qu'un job qui a bien tourné, a tourné avec les bonnes librairies (Y'a-t-il des vérifications par les sites?)</LI><br />
<LI>Detection de jobs qui se plantent instantanement car probleme sur un WN ?</LI><br />
</UL><br />
</LI><br />
<br />
<LI>Gestion des pannes(15',?)<br />
<UL><br />
<LI>Monitoring local, avez-vous un moyen de verifier « l’integrite » des WN ? Place disque disponible sur chaque WN</LI><br />
</UL><br />
</LI><br />
<br />
<LI>Le scheduling et le tuning (15', Michel Jouvin)<br />
<UL><br />
<LI>Peut on mixer job d’analyse et job de simulation sur les WNs (pour optimiser IO et CPU) ?</LI><br />
<LI>Le manque d'attractivité d'un site pour les jobs ou l'inverse => état des lieux et amélioration en vue côté mw if any</LI><br />
<LI>la gestion des priorités sur les jobs</LI><br />
</UL><br />
</LI><br />
</UL><br />
</P><br />
<br />
<P><br />
<B>17:45 "Gestion de l'infrastructure d'un site" (30',Pierre-Louis, Clermont)</B><br />
</P><br />
<br />
==== <span style="color:#FF0000;"> Mise en place d’un site ====<br />
<span style="color:#990000;">L’exemple du T2 du LPC Clermont-Ferrand. Visite du site possible durant les 2 jours par petits groupes<br />
<br />
* Salle machine (réseau électrique, climatisation,…)<br />
* Choix matériel<br />
* Sécurité<br />
* Les difficultés rencontrées<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars matin (3h30) 9h-10h45 11H15-13h pause 10h45-11h15<br />
<br />
==== <span style="color:#FF0000;"> Gestion des données grilles ====<br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Lionel Schwarz, CC-IN2P3 ? ; Representant ALICE, LHCb? ''<br />
<br />
* Réseaux, trafic<br />
* Transfert des données SRM, FTS,…<br />
* Stockage ?<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars après-midi (2h40) 14h15-15h45 16H05-17h15 pause 15h45-16h05<br />
<br />
==== <span style="color:#FF0000;">Les centres d’analyses ==== <br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Eric Lancon,Dapnia-Saclay ; Claude Charlot ? ''<br />
<br />
* mise en place<br />
* les contours<br />
* les logiciels d’analyses (Ganga,..)<br />
* Coordination avec les T3s ? mise en commun de ressources ?<br />
<br />
==== <span style="color:#FF0000;"> Conclusions F Malek ====<br />
<br />
*</div>Pgirardhttp://lcg.in2p3.fr/wiki/index.php?title=Draft_of_the_scientific_programm&diff=2763Draft of the scientific programm2007-02-09T10:19:04Z<p>Pgirard: /* <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul */</p>
<hr />
<div>D.P. 31/01/2007<br />
==== Objectifs ====<br />
LCG-France organise son 2ème colloque à Clermont-Ferrand les 14 et 15 mars 2007. Ces journées sont destinées à tous les acteurs de la grille de calcul au LHC (gestionnaires de site et utilisateurs) de l'IN2P3 et du Dapnia. Elles ont pour objectifs d’offrir un lieu d’échange et de communication sur les actions, les idées et les expériences en cours dans la mise en place du calcul pour le LHC dans le cadre du projet LCG.<br />
<br />
<br />
''' Programme Scientifique version 1 (7/12/06)'''<br />
<br />
<span style="color:#0000F0;"> 14 mars matin (3h) 9h30-11h 11H30-13h pause 11h-11h30<br />
<br />
==== <span style="color:#FF0000;"> 9h30-9h35 Welcome ====<br />
<br />
==== <span style="color:#FF0000;"> Etat des lieux pour le calcul au LHC en France====<br />
<br />
''<span style="color:#006600;">Coordination : Ghita Rahal,CC-IN2P3; Dominique Pallin, LPC-Clermont ''<br />
<br />
* 09:35-09:45 -Infrastructure globale de grille en France et ressources associées F Malek<br />
* 09:45-10:00 -Présentation des sites (T1 et sites associés) D Boutigny<br />
* 10:00-10:20 -Présentation des sites (T2 etT3, T2 étrangers associés) F Chollet<br />
* 10:20-10:40 -mise en place de La grille francaise: F Hernandez<br />
***Les difficultés rencontrées;<br />
***adéquation modèles de calcul - infrastructure/ressources (du point de vue des sites)<br />
***Son évolution en vue des données LHC 2009-2010<br />
* 10:40-11:00 & 11h30-13:00 -Présentation de l'état du calcul dans les expériences:<br />
*** Les modèles de calcul des expériences (overview)<br />
*** Quelle participation dans la mise en place du calcul (en france)?<br />
*** Adéquation entre les infrastructures/ressources et les besoins.<br />
*** Etat de la production des données de simulation<br />
*** Etat d'avancement par rapport à l'objectif de la prise de données de fin 2007. <br />
*** Difficultés, les points à améliorer…<br />
*<br />
* 10:40-11:00 -ALICE Y schutz<br />
* 11:00-11h30 ----------------- Pause ---------------------------<br />
* 11:30-11:50 -ATLAS E Lancon <br />
* 11:50-12:10 -CMS C Charlot ?<br />
* 12:10-12:30 -LHCb A Tsaregorodtsev ?<br />
* 12:30-13:00 -discussion/tour de table sur l'ensemble de la session<br />
*** la grille francaise, sa mise en place et son utilisation, Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
* <br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 14 mars après-midi (3h) 14h45-16h15 16H45-18h15 pause 16h15-16h45<br />
<br />
==== <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul ==== <br />
<span style="color:#990000;">Couvrir 2 aspects complémentaires : <br />
<br />
<span style="color:#990000;">-les actions des sites -> les conséquences au niveau des utilisateurs<br />
<br />
<span style="color:#990000;">-les actions des utilisateurs -> les conséquences au niveau des sites <br />
<br />
<span style="color:#006600;">Coordination : Christine Leroy, Dapnia-Saclay; Pierre Girard, Ingénieur, CC-IN2P3<br />
<br />
* le fonctionnement d'un site de la grille :<br />
du déploiement du middleware à la gestion de sa production, en passant par les procédures qu'il doit suivre, comme la déclaration de "scheduled downtime", l'utilisation des outils officiels de monitoring (SAM, GSTAT, etc) et leurs conséquences (disparition partielle ou complète de la production, etc), sécurité,etc.<br />
<br />
* la gestion de jobs grilles : <br />
de la façon dont ils sont soumis par les utilisateurs à la façon dont ils sont traités par les sites (dont la mise au point des formules de rank pour l'élection d'un site de soumission, le manque d'attractivité d'un site pour les jobs ou l'inverse, la gestion des priorités sur les jobs, des jobs pilotes, exécuteurs, etc.)<br />
<br />
<br />
<B>A- Sous-session "Gestion des jobs grille"</B><br />
<br />
Dans cette première sous-session, il est demandé à chaque VO d'apporter des clarifications concernant les points suivants :<br />
<P><br />
<OL><br />
<LI>Méthode(s) de distribution des jobs sur les sites :<br />
<UL><br />
<LI>utilisation ou non d'un RB ?</LI><br />
<LI>utilisation ou non des informations publiées ?</LI><br />
<LI>Critère d'élection d'un site ? etc.</LI><br />
</UL><br />
</LI><br />
<LI>Organisation de la production<br />
<UL><br />
<LI>qui fait quoi, qui soumet quoi, les rôles, les histoires de priorité...</LI><br />
<LI>une production française ou pas</LI><br />
<LI>Système de monitoring pour les jobs ? Si oui, utilisable ou pas par les sites ? Quel est son principe de fonctionnement, etc.</LI><br />
<LI>gestion des proxy</LI><br />
<LI>Méthode d'installation des softs (+ desinstallation)</LI><br />
<LI>comment un nouvel OS est validé et l'information transmise</LI><br />
<br />
</UL><br />
</LI><br />
<LI>Amélioration attendue et perspectives pour la gestion des jobs</LI><br />
</OL><br />
</P><br />
<br />
14:45 Introduction (5', Christine/Pierre)<br />
14:50 Spécificités d'Alice (10', Artem ?)<br />
15:00 Spécificités d'Atlas (10', Jérôme Schwi? Stéphane ? Karim ?)<br />
15:10 Spécificités de Cms (10', Claude ? Artem ?)<br />
15:20 Spécificités de Lhcb (10', Andrei ou Sabine?)<br />
15:30 Discussions (45')<br />
<br />
<br />
<B>B- Sous-Session "Fonctionnement des sites" </B><br />
<br />
<P><br />
<B>16:45 "Exploitation globale de la grille" (20' + 10', Hélène C.)</B><br />
<UL><br />
<LI>Interaction entre outils de gestion de l'exploitation et la production</LI><br />
<LI>Comment les utilisateurs peuvent accéder aux informations</LI><br />
<LI>les outils d'exploitation (GOC DB, SAM, GSTAT, MonALISA et le CIC Portal)</LI><br />
<LI>L'accounting</LI> <br />
<LI>Comment mesurer l’efficacite d’un site (utilisationCPU/CPU; resource disponible/resource indisponible ;jobs plantes/ jobs/reussis)</LI><br />
</UL><br />
</P><br />
<br />
<P> <br />
<B>17:15 "Fonctionnement d’un site"? (45', 3 intervenants ?)</B><br />
<0L><br />
<LI>Suivi de jobs(15', David Bouvet)<br />
<UL><br />
<LI>Est-ce qu'on peut retracer un job qui a planté pour savoir ce qu'il a utilisé comme ressources et pourquoi il a planté?</LI><br />
<LI>Est-ce qu'on peut s'assurer qu'un job qui a bien tourné, a tourné avec les bonnes librairies (Y'a-t-il des vérifications par les sites?)</LI><br />
<LI>Detection de jobs qui se plantent instantanement car probleme sur un WN ?</LI><br />
</UL><br />
</LI><br />
<br />
<LI>Gestion des pannes(15',?)<br />
<UL><br />
<LI>Monitoring local, avez-vous un moyen de verifier « l’integrite » des WN ? Place disque disponible sur chaque WN</LI><br />
</UL><br />
</LI><br />
<br />
<LI>Le scheduling et le tuning (15', Michel Jouvin)<br />
<UL><br />
<LI>Peut on mixer job d’analyse et job de simulation sur les WNs (pour optimiser IO et CPU) ?</LI><br />
<LI>Le manque d'attractivité d'un site pour les jobs ou l'inverse => état des lieux et amélioration en vue côté mw if any</LI><br />
<LI>la gestion des priorités sur les jobs</LI><br />
</UL><br />
</LI><br />
</OL><br />
</P><br />
<br />
<P><br />
<B>17:45 "Gestion de l'infrastructure d'un site" (30',Pierre-Louis, Clermont)</B><br />
</P><br />
<br />
==== <span style="color:#FF0000;"> Mise en place d’un site ====<br />
<span style="color:#990000;">L’exemple du T2 du LPC Clermont-Ferrand. Visite du site possible durant les 2 jours par petits groupes<br />
<br />
* Salle machine (réseau électrique, climatisation,…)<br />
* Choix matériel<br />
* Sécurité<br />
* Les difficultés rencontrées<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars matin (3h30) 9h-10h45 11H15-13h pause 10h45-11h15<br />
<br />
==== <span style="color:#FF0000;"> Gestion des données grilles ====<br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Lionel Schwarz, CC-IN2P3 ? ; Representant ALICE, LHCb? ''<br />
<br />
* Réseaux, trafic<br />
* Transfert des données SRM, FTS,…<br />
* Stockage ?<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars après-midi (2h40) 14h15-15h45 16H05-17h15 pause 15h45-16h05<br />
<br />
==== <span style="color:#FF0000;">Les centres d’analyses ==== <br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Eric Lancon,Dapnia-Saclay ; Claude Charlot ? ''<br />
<br />
* mise en place<br />
* les contours<br />
* les logiciels d’analyses (Ganga,..)<br />
* Coordination avec les T3s ? mise en commun de ressources ?<br />
<br />
==== <span style="color:#FF0000;"> Conclusions F Malek ====<br />
<br />
*</div>Pgirardhttp://lcg.in2p3.fr/wiki/index.php?title=Draft_of_the_scientific_programm&diff=2762Draft of the scientific programm2007-02-09T10:18:09Z<p>Pgirard: /* <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul */</p>
<hr />
<div>D.P. 31/01/2007<br />
==== Objectifs ====<br />
LCG-France organise son 2ème colloque à Clermont-Ferrand les 14 et 15 mars 2007. Ces journées sont destinées à tous les acteurs de la grille de calcul au LHC (gestionnaires de site et utilisateurs) de l'IN2P3 et du Dapnia. Elles ont pour objectifs d’offrir un lieu d’échange et de communication sur les actions, les idées et les expériences en cours dans la mise en place du calcul pour le LHC dans le cadre du projet LCG.<br />
<br />
<br />
''' Programme Scientifique version 1 (7/12/06)'''<br />
<br />
<span style="color:#0000F0;"> 14 mars matin (3h) 9h30-11h 11H30-13h pause 11h-11h30<br />
<br />
==== <span style="color:#FF0000;"> 9h30-9h35 Welcome ====<br />
<br />
==== <span style="color:#FF0000;"> Etat des lieux pour le calcul au LHC en France====<br />
<br />
''<span style="color:#006600;">Coordination : Ghita Rahal,CC-IN2P3; Dominique Pallin, LPC-Clermont ''<br />
<br />
* 09:35-09:45 -Infrastructure globale de grille en France et ressources associées F Malek<br />
* 09:45-10:00 -Présentation des sites (T1 et sites associés) D Boutigny<br />
* 10:00-10:20 -Présentation des sites (T2 etT3, T2 étrangers associés) F Chollet<br />
* 10:20-10:40 -mise en place de La grille francaise: F Hernandez<br />
***Les difficultés rencontrées;<br />
***adéquation modèles de calcul - infrastructure/ressources (du point de vue des sites)<br />
***Son évolution en vue des données LHC 2009-2010<br />
* 10:40-11:00 & 11h30-13:00 -Présentation de l'état du calcul dans les expériences:<br />
*** Les modèles de calcul des expériences (overview)<br />
*** Quelle participation dans la mise en place du calcul (en france)?<br />
*** Adéquation entre les infrastructures/ressources et les besoins.<br />
*** Etat de la production des données de simulation<br />
*** Etat d'avancement par rapport à l'objectif de la prise de données de fin 2007. <br />
*** Difficultés, les points à améliorer…<br />
*<br />
* 10:40-11:00 -ALICE Y schutz<br />
* 11:00-11h30 ----------------- Pause ---------------------------<br />
* 11:30-11:50 -ATLAS E Lancon <br />
* 11:50-12:10 -CMS C Charlot ?<br />
* 12:10-12:30 -LHCb A Tsaregorodtsev ?<br />
* 12:30-13:00 -discussion/tour de table sur l'ensemble de la session<br />
*** la grille francaise, sa mise en place et son utilisation, Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
* <br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 14 mars après-midi (3h) 14h45-16h15 16H45-18h15 pause 16h15-16h45<br />
<br />
==== <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul ==== <br />
<span style="color:#990000;">Couvrir 2 aspects complémentaires : <br />
<br />
<span style="color:#990000;">-les actions des sites -> les conséquences au niveau des utilisateurs<br />
<br />
<span style="color:#990000;">-les actions des utilisateurs -> les conséquences au niveau des sites <br />
<br />
<span style="color:#006600;">Coordination : Christine Leroy, Dapnia-Saclay; Pierre Girard, Ingénieur, CC-IN2P3<br />
<br />
* le fonctionnement d'un site de la grille :<br />
du déploiement du middleware à la gestion de sa production, en passant par les procédures qu'il doit suivre, comme la déclaration de "scheduled downtime", l'utilisation des outils officiels de monitoring (SAM, GSTAT, etc) et leurs conséquences (disparition partielle ou complète de la production, etc), sécurité,etc.<br />
<br />
* la gestion de jobs grilles : <br />
de la façon dont ils sont soumis par les utilisateurs à la façon dont ils sont traités par les sites (dont la mise au point des formules de rank pour l'élection d'un site de soumission, le manque d'attractivité d'un site pour les jobs ou l'inverse, la gestion des priorités sur les jobs, des jobs pilotes, exécuteurs, etc.)<br />
<br />
<br />
<B>A- Sous-session "Gestion des jobs grille"</B><br />
<br />
Dans cette première sous-session, il est demandé à chaque VO d'apporter des clarifications concernant les points suivants :<br />
<P><br />
<OL><br />
<LI>Méthode(s) de distribution des jobs sur les sites :<br />
<UL><br />
<LI>utilisation ou non d'un RB ?</LI><br />
<LI>utilisation ou non des informations publiées ?</LI><br />
<LI>Critère d'élection d'un site ? etc.</LI><br />
</UL><br />
</LI><br />
<LI>Organisation de la production<br />
<UL><br />
<LI>qui fait quoi, qui soumet quoi, les rôles, les histoires de priorité...</LI><br />
<LI>une production française ou pas</LI><br />
<LI>Système de monitoring pour les jobs ? Si oui, utilisable ou pas par les sites ? Quel est son principe de fonctionnement, etc.</LI><br />
<LI>gestion des proxy</LI><br />
<LI>Méthode d'installation des softs (+ desinstallation)</LI><br />
<LI>comment un nouvel OS est validé et l'information transmise</LI><br />
<br />
</UL><br />
</LI><br />
<LI>Amélioration attendue et perspectives pour la gestion des jobs</LI><br />
</OL><br />
</P><br />
<br />
14:45 Introduction (5', Christine/Pierre)<br />
14:50 Spécificités d'Alice (10', Artem ?)<br />
15:00 Spécificités d'Atlas (10', Jérôme Schwi? Stéphane ? Karim ?)<br />
15:10 Spécificités de Cms (10', Claude ? Artem ?)<br />
15:20 Spécificités de Lhcb (10', Andrei ou Sabine?)<br />
15:30 Discussions (45')<br />
<br />
<br />
<B>B- Sous-Session "Fonctionnement des sites" </B><br />
<br />
<P><br />
<B>16:45 "Exploitation globale de la grille" (20' + 10', Hélène C.)</B><br />
<UL><br />
<LI>Interaction entre outils de gestion de l'exploitation et la production</LI><br />
<LI>Comment les utilisateurs peuvent accéder aux informations</LI><br />
<LI>les outils d'exploitation (GOC DB, SAM, GSTAT, MonALISA et le CIC Portal)</LI><br />
<LI>L'accounting</LI> <br />
<LI>Comment mesurer l’efficacite d’un site (utilisationCPU/CPU; resource disponible/resource indisponible ;jobs plantes/ jobs/reussis)</LI><br />
</UL><br />
</P><br />
<br />
<P> <br />
<B>17:15 "Fonctionnement d’un site"? (45', 3 intervenants ?)</B><br />
<0L><br />
<LI>Suivi de jobs(15', David Bouvet)<br />
<UL><br />
<LI>Est-ce qu'on peut retracer un job qui a planté pour savoir ce qu'il a utilisé comme ressources et pourquoi il a planté?</LI><br />
<LI>Est-ce qu'on peut s'assurer qu'un job qui a bien tourné, a tourné avec les bonnes librairies (Y'a-t-il des vérifications par les sites?)</LI><br />
<LI>Detection de jobs qui se plantent instantanement car probleme sur un WN ?</LI><br />
</UL><br />
</LI><br />
<br />
<LI>Gestion des pannes(15',?)<br />
<UL><br />
<LI>Monitoring local, avez-vous un moyen de verifier « l’integrite » des WN ? Place disque disponible sur chaque WN</LI><br />
</UL><br />
</LI><br />
<br />
<LI>Le scheduling et le tuning (15', Michel Jouvin)<br />
<UL><br />
<LI>Peut on mixer job d’analyse et job de simulation sur les WNs (pour optimiser IO et CPU) ?</LI><br />
<LI>Le manque d'attractivité d'un site pour les jobs ou l'inverse => état des lieux et amélioration en vue côté mw if any</LI><br />
<LI>la gestion des priorités sur les jobs</LI><br />
</UL><br />
</LI><br />
</OL><br />
</P><br />
<br />
<P><br />
<B>17:45 "Gestion de l'infrastructure d'un site" (30',Pierre-Louis, Clermont)</B><br />
</P><br />
<br />
==== <span style="color:#FF0000;"> Mise en place d’un site ====<br />
<span style="color:#990000;">L’exemple du T2 du LPC Clermont-Ferrand. Visite du site possible durant les 2 jours par petits groupes<br />
<br />
* Salle machine (réseau électrique, climatisation,…)<br />
* Choix matériel<br />
* Sécurité<br />
* Les difficultés rencontrées<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars matin (3h30) 9h-10h45 11H15-13h pause 10h45-11h15<br />
<br />
==== <span style="color:#FF0000;"> Gestion des données grilles ====<br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Lionel Schwarz, CC-IN2P3 ? ; Representant ALICE, LHCb? ''<br />
<br />
* Réseaux, trafic<br />
* Transfert des données SRM, FTS,…<br />
* Stockage ?<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars après-midi (2h40) 14h15-15h45 16H05-17h15 pause 15h45-16h05<br />
<br />
==== <span style="color:#FF0000;">Les centres d’analyses ==== <br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Eric Lancon,Dapnia-Saclay ; Claude Charlot ? ''<br />
<br />
* mise en place<br />
* les contours<br />
* les logiciels d’analyses (Ganga,..)<br />
* Coordination avec les T3s ? mise en commun de ressources ?<br />
<br />
==== <span style="color:#FF0000;"> Conclusions F Malek ====<br />
<br />
*</div>Pgirardhttp://lcg.in2p3.fr/wiki/index.php?title=Draft_of_the_scientific_programm&diff=2761Draft of the scientific programm2007-02-09T10:15:07Z<p>Pgirard: /* <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul */</p>
<hr />
<div>D.P. 31/01/2007<br />
==== Objectifs ====<br />
LCG-France organise son 2ème colloque à Clermont-Ferrand les 14 et 15 mars 2007. Ces journées sont destinées à tous les acteurs de la grille de calcul au LHC (gestionnaires de site et utilisateurs) de l'IN2P3 et du Dapnia. Elles ont pour objectifs d’offrir un lieu d’échange et de communication sur les actions, les idées et les expériences en cours dans la mise en place du calcul pour le LHC dans le cadre du projet LCG.<br />
<br />
<br />
''' Programme Scientifique version 1 (7/12/06)'''<br />
<br />
<span style="color:#0000F0;"> 14 mars matin (3h) 9h30-11h 11H30-13h pause 11h-11h30<br />
<br />
==== <span style="color:#FF0000;"> 9h30-9h35 Welcome ====<br />
<br />
==== <span style="color:#FF0000;"> Etat des lieux pour le calcul au LHC en France====<br />
<br />
''<span style="color:#006600;">Coordination : Ghita Rahal,CC-IN2P3; Dominique Pallin, LPC-Clermont ''<br />
<br />
* 09:35-09:45 -Infrastructure globale de grille en France et ressources associées F Malek<br />
* 09:45-10:00 -Présentation des sites (T1 et sites associés) D Boutigny<br />
* 10:00-10:20 -Présentation des sites (T2 etT3, T2 étrangers associés) F Chollet<br />
* 10:20-10:40 -mise en place de La grille francaise: F Hernandez<br />
***Les difficultés rencontrées;<br />
***adéquation modèles de calcul - infrastructure/ressources (du point de vue des sites)<br />
***Son évolution en vue des données LHC 2009-2010<br />
* 10:40-11:00 & 11h30-13:00 -Présentation de l'état du calcul dans les expériences:<br />
*** Les modèles de calcul des expériences (overview)<br />
*** Quelle participation dans la mise en place du calcul (en france)?<br />
*** Adéquation entre les infrastructures/ressources et les besoins.<br />
*** Etat de la production des données de simulation<br />
*** Etat d'avancement par rapport à l'objectif de la prise de données de fin 2007. <br />
*** Difficultés, les points à améliorer…<br />
*<br />
* 10:40-11:00 -ALICE Y schutz<br />
* 11:00-11h30 ----------------- Pause ---------------------------<br />
* 11:30-11:50 -ATLAS E Lancon <br />
* 11:50-12:10 -CMS C Charlot ?<br />
* 12:10-12:30 -LHCb A Tsaregorodtsev ?<br />
* 12:30-13:00 -discussion/tour de table sur l'ensemble de la session<br />
*** la grille francaise, sa mise en place et son utilisation, Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
* <br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 14 mars après-midi (3h) 14h45-16h15 16H45-18h15 pause 16h15-16h45<br />
<br />
==== <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul ==== <br />
<span style="color:#990000;">Couvrir 2 aspects complémentaires : <br />
<br />
<span style="color:#990000;">-les actions des sites -> les conséquences au niveau des utilisateurs<br />
<br />
<span style="color:#990000;">-les actions des utilisateurs -> les conséquences au niveau des sites <br />
<br />
''<span style="color:#006600;">Coordination : Christine Leroy, Dapnia-Saclay; Pierre Girard, Ingénieur, CC-IN2P3''<br />
<br />
* le fonctionnement d'un site de la grille :<br />
du déploiement du middleware à la gestion de sa production, en passant par les procédures qu'il doit suivre, comme la déclaration de "scheduled downtime", l'utilisation des outils officiels de monitoring (SAM, GSTAT, etc) et leurs conséquences (disparition partielle ou complète de la production, etc), sécurité,etc.<br />
<br />
* la gestion de jobs grilles : <br />
de la façon dont ils sont soumis par les utilisateurs à la façon dont ils sont traités par les sites (dont la mise au point des formules de rank pour l'élection d'un site de soumission, le manque d'attractivité d'un site pour les jobs ou l'inverse, la gestion des priorités sur les jobs, des jobs pilotes, exécuteurs, etc.)<br />
<br />
<br />
<B>A- Sous-session "Gestion des jobs grille"</B><br />
<br />
Dans cette première sous-session, il est demandé à chaque VO d'apporter des clarifications concernant les points suivants :<br />
<P><br />
<OL><br />
<LI>Méthode(s) de distribution des jobs sur les sites :<br />
<UL><br />
<LI>utilisation ou non d'un RB ?</LI><br />
<LI>utilisation ou non des informations publiées ?</LI><br />
<LI>Critère d'élection d'un site ? etc.</LI><br />
</UL><br />
</LI><br />
<LI>Organisation de la production<br />
<UL><br />
<LI>qui fait quoi, qui soumet quoi, les rôles, les histoires de priorité...</LI><br />
<LI>une production française ou pas</LI><br />
<LI>Système de monitoring pour les jobs ? Si oui, utilisable ou pas par les sites ? Quel est son principe de fonctionnement, etc.</LI><br />
<LI>gestion des proxy</LI><br />
<LI>Méthode d'installation des softs (+ desinstallation)</LI><br />
<LI>comment un nouvel OS est validé et l'information transmise</LI><br />
<br />
</UL><br />
</LI><br />
<LI>Amélioration attendue et perspectives pour la gestion des jobs</LI><br />
</OL><br />
</P><br />
<br />
14:45 Introduction (5', Christine/Pierre)<br />
14:50 Spécificités d'Alice (10', Artem ?)<br />
15:00 Spécificités d'Atlas (10', Jérôme Schwi? Stéphane ? Karim ?)<br />
15:10 Spécificités de Cms (10', Claude ? Artem ?)<br />
15:20 Spécificités de Lhcb (10', Andrei ou Sabine?)<br />
15:30 Discussions (45')<br />
<br />
<br />
<B>B- Sous-Session "Fonctionnement des sites" </B><br />
<br />
<P><br />
<B>16:45 "Exploitation globale de la grille" (20' + 10', Hélène C.)</B><br />
<UL><br />
<LI>Interaction entre outils de gestion de l'exploitation et la production</LI><br />
<LI>Comment les utilisateurs peuvent accéder aux informations</LI><br />
<LI>les outils d'exploitation (GOC DB, SAM, GSTAT, MonALISA et le CIC Portal)</LI><br />
<LI>L'accounting</LI> <br />
<LI>Comment mesurer l’efficacite d’un site (utilisationCPU/CPU; resource disponible/resource indisponible ;jobs plantes/ jobs/reussis)</LI><br />
</UL><br />
</P><br />
<br />
<P> <br />
<B>17:15 "Fonctionnement d’un site"? (45', 3 intervenants ?)</B><br />
<0L><br />
<LI>Suivi de jobs(15', David Bouvet)<br />
<UL><br />
<LI>Est-ce qu'on peut retracer un job qui a planté pour savoir ce qu'il a utilisé comme ressources et pourquoi il a planté?</LI><br />
<LI>Est-ce qu'on peut s'assurer qu'un job qui a bien tourné, a tourné avec les bonnes librairies (Y'a-t-il des vérifications par les sites?)</LI><br />
<LI>Detection de jobs qui se plantent instantanement car probleme sur un WN ?</LI><br />
</UL><br />
</LI><br />
<br />
<LI>Gestion des pannes(15',?)<br />
<UL><br />
<LI>Monitoring local, avez-vous un moyen de verifier « l’integrite » des WN ? Place disque disponible sur chaque WN</LI><br />
</UL><br />
</LI><br />
<br />
<LI>Le scheduling et le tuning (15', Michel Jouvin)<br />
<UL><br />
<LI>Peut on mixer job d’analyse et job de simulation sur les WNs (pour optimiser IO et CPU) ?</LI><br />
<LI>Le manque d'attractivité d'un site pour les jobs ou l'inverse => état des lieux et amélioration en vue côté mw if any</LI><br />
<LI>la gestion des priorités sur les jobs</LI><br />
</UL><br />
</LI><br />
</OL><br />
</P><br />
<br />
<P><br />
<B>17:45 "Gestion de l'infrastructure d'un site" (30',Pierre-Louis, Clermont)</B><br />
</P><br />
<br />
==== <span style="color:#FF0000;"> Mise en place d’un site ====<br />
<span style="color:#990000;">L’exemple du T2 du LPC Clermont-Ferrand. Visite du site possible durant les 2 jours par petits groupes<br />
<br />
* Salle machine (réseau électrique, climatisation,…)<br />
* Choix matériel<br />
* Sécurité<br />
* Les difficultés rencontrées<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars matin (3h30) 9h-10h45 11H15-13h pause 10h45-11h15<br />
<br />
==== <span style="color:#FF0000;"> Gestion des données grilles ====<br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Lionel Schwarz, CC-IN2P3 ? ; Representant ALICE, LHCb? ''<br />
<br />
* Réseaux, trafic<br />
* Transfert des données SRM, FTS,…<br />
* Stockage ?<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars après-midi (2h40) 14h15-15h45 16H05-17h15 pause 15h45-16h05<br />
<br />
==== <span style="color:#FF0000;">Les centres d’analyses ==== <br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Eric Lancon,Dapnia-Saclay ; Claude Charlot ? ''<br />
<br />
* mise en place<br />
* les contours<br />
* les logiciels d’analyses (Ganga,..)<br />
* Coordination avec les T3s ? mise en commun de ressources ?<br />
<br />
==== <span style="color:#FF0000;"> Conclusions F Malek ====<br />
<br />
*</div>Pgirardhttp://lcg.in2p3.fr/wiki/index.php?title=Draft_of_the_scientific_programm&diff=2760Draft of the scientific programm2007-02-09T10:12:43Z<p>Pgirard: /* <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul */</p>
<hr />
<div>D.P. 31/01/2007<br />
==== Objectifs ====<br />
LCG-France organise son 2ème colloque à Clermont-Ferrand les 14 et 15 mars 2007. Ces journées sont destinées à tous les acteurs de la grille de calcul au LHC (gestionnaires de site et utilisateurs) de l'IN2P3 et du Dapnia. Elles ont pour objectifs d’offrir un lieu d’échange et de communication sur les actions, les idées et les expériences en cours dans la mise en place du calcul pour le LHC dans le cadre du projet LCG.<br />
<br />
<br />
''' Programme Scientifique version 1 (7/12/06)'''<br />
<br />
<span style="color:#0000F0;"> 14 mars matin (3h) 9h30-11h 11H30-13h pause 11h-11h30<br />
<br />
==== <span style="color:#FF0000;"> 9h30-9h35 Welcome ====<br />
<br />
==== <span style="color:#FF0000;"> Etat des lieux pour le calcul au LHC en France====<br />
<br />
''<span style="color:#006600;">Coordination : Ghita Rahal,CC-IN2P3; Dominique Pallin, LPC-Clermont ''<br />
<br />
* 09:35-09:45 -Infrastructure globale de grille en France et ressources associées F Malek<br />
* 09:45-10:00 -Présentation des sites (T1 et sites associés) D Boutigny<br />
* 10:00-10:20 -Présentation des sites (T2 etT3, T2 étrangers associés) F Chollet<br />
* 10:20-10:40 -mise en place de La grille francaise: F Hernandez<br />
***Les difficultés rencontrées;<br />
***adéquation modèles de calcul - infrastructure/ressources (du point de vue des sites)<br />
***Son évolution en vue des données LHC 2009-2010<br />
* 10:40-11:00 & 11h30-13:00 -Présentation de l'état du calcul dans les expériences:<br />
*** Les modèles de calcul des expériences (overview)<br />
*** Quelle participation dans la mise en place du calcul (en france)?<br />
*** Adéquation entre les infrastructures/ressources et les besoins.<br />
*** Etat de la production des données de simulation<br />
*** Etat d'avancement par rapport à l'objectif de la prise de données de fin 2007. <br />
*** Difficultés, les points à améliorer…<br />
*<br />
* 10:40-11:00 -ALICE Y schutz<br />
* 11:00-11h30 ----------------- Pause ---------------------------<br />
* 11:30-11:50 -ATLAS E Lancon <br />
* 11:50-12:10 -CMS C Charlot ?<br />
* 12:10-12:30 -LHCb A Tsaregorodtsev ?<br />
* 12:30-13:00 -discussion/tour de table sur l'ensemble de la session<br />
*** la grille francaise, sa mise en place et son utilisation, Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
* <br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 14 mars après-midi (3h) 14h45-16h15 16H45-18h15 pause 16h15-16h45<br />
<br />
==== <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul ==== <br />
<span style="color:#990000;">Couvrir 2 aspects complémentaires : <br />
<br />
<span style="color:#990000;">-les actions des sites -> les conséquences au niveau des utilisateurs<br />
<br />
<span style="color:#990000;">-les actions des utilisateurs -> les conséquences au niveau des sites <br />
<br />
''<span style="color:#006600;">Coordination : Christine Leroy, Dapnia-Saclay; Pierre Girard, Ingénieur, CC-IN2P3''<br />
<br />
* le fonctionnement d'un site de la grille :<br />
du déploiement du middleware à la gestion de sa production, en passant par les procédures qu'il doit suivre, comme la déclaration de "scheduled downtime", l'utilisation des outils officiels de monitoring (SAM, GSTAT, etc) et leurs conséquences (disparition partielle ou complète de la production, etc), sécurité,etc.<br />
<br />
* la gestion de jobs grilles : <br />
de la façon dont ils sont soumis par les utilisateurs à la façon dont ils sont traités par les sites (dont la mise au point des formules de rank pour l'élection d'un site de soumission, le manque d'attractivité d'un site pour les jobs ou l'inverse, la gestion des priorités sur les jobs, des jobs pilotes, exécuteurs, etc.)<br />
<br />
<br />
<B>A- Sous-session "Gestion des jobs grille"</B><br />
<br />
Dans cette première sous-session, il est demandé à chaque VO d'apporter des clarifications concernant les points suivants :<br />
<P><br />
<OL><br />
<LI>Méthode(s) de distribution des jobs sur les sites :<br />
<UL><br />
<LI>utilisation ou non d'un RB ?</LI><br />
<LI>utilisation ou non des informations publiées ?</LI><br />
<LI>Critère d'élection d'un site ? etc.</LI><br />
</UL><br />
</LI><br />
<LI>Organisation de la production<br />
<UL><br />
<LI>qui fait quoi, qui soumet quoi, les rôles, les histoires de priorité...</LI><br />
<LI>une production française ou pas</LI><br />
<LI>Système de monitoring pour les jobs ? Si oui, utilisable ou pas par les sites ? Quel est son principe de fonctionnement, etc.</LI><br />
<LI>gestion des proxy</LI><br />
<LI>Méthode d'installation des softs (+ desinstallation)</LI><br />
<LI>comment un nouvel OS est validé et l'information transmise</LI><br />
<br />
</UL><br />
</LI><br />
<LI>Amélioration attendue et perspectives pour la gestion des jobs</LI><br />
</OL><br />
</P><br />
<br />
14:45 Introduction (5', Christine/Pierre)<br />
14:50 Spécificités d'Alice (10', Artem ?)<br />
15:00 Spécificités d'Atlas (10', Jérôme Schwi? Stéphane ? Karim ?)<br />
15:10 Spécificités de Cms (10', Claude ? Artem ?)<br />
15:20 Spécificités de Lhcb (10', Andrei ou Sabine?)<br />
15:30 Discussions (45')<br />
<br />
<br />
<B>B- Sous-Session "Fonctionnement des sites" </B><br />
<br />
<P><br />
<B>16:45 "Exploitation globale de la grille" (20' + 10', Hélène C.)</B><br />
<UL><br />
<LI>Interaction entre outils de gestion de l'exploitation et la production</LI><br />
<LI>Comment les utilisateurs peuvent accéder aux informations</LI><br />
<LI>les outils d'exploitation (GOC DB, SAM, GSTAT, MonALISA et le CIC Portal)</LI><br />
<LI>L'accounting</LI> <br />
<LI>Comment mesurer l’efficacite d’un site (utilisationCPU/CPU; resource disponible/resource indisponible ;jobs plantes/ jobs/reussis)</LI><br />
</UL><br />
</P><br />
<br />
<P> <br />
<B>17:15 "Fonctionnement d’un site"? (45', 3 intervenants ?)</B><br />
<0L><br />
<LI>Suivi de jobs(15', David Bouvet)<br />
<UL><br />
<LI>Est-ce qu'on peut retracer un job qui a planté pour savoir ce qu'il a utilisé comme ressources et pourquoi il a planté?</LI><br />
<LI>Est-ce qu'on peut s'assurer qu'un job qui a bien tourné, a tourné avec les bonnes librairies (Y'a-t-il des vérifications par les sites?)</LI><br />
<LI>Detection de jobs qui se plantent instantanement car probleme sur un WN ?</LI><br />
</UL><br />
</LI><br />
<br />
<LI>Gestion des pannes(15',?)<br />
<UL><br />
<LI>Monitoring local, avez-vous un moyen de verifier « l’integrite » des WN ? Place disque disponible sur chaque WN</LI><br />
</UL><br />
</LI><br />
<br />
<LI>Le scheduling et le tuning (15', Michel Jouvin)<br />
<UL><br />
<LI>Peut on mixer job d’analyse et job de simulation sur les WNs (pour optimiser IO et CPU) ?</LI><br />
<LI>Le manque d'attractivité d'un site pour les jobs ou l'inverse => état des lieux et amélioration en vue côté mw if any</LI><br />
<LI>la gestion des priorités sur les jobs</LI><br />
</UL><br />
<LI><br />
</OL><br />
</P><br />
<br />
<P><br />
<B>17:45 "Gestion de l'infrastructure d'un site" (30',Pierre-Louis, Clermont)</B><br />
</P><br />
<br />
==== <span style="color:#FF0000;"> Mise en place d’un site ====<br />
<span style="color:#990000;">L’exemple du T2 du LPC Clermont-Ferrand. Visite du site possible durant les 2 jours par petits groupes<br />
<br />
* Salle machine (réseau électrique, climatisation,…)<br />
* Choix matériel<br />
* Sécurité<br />
* Les difficultés rencontrées<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars matin (3h30) 9h-10h45 11H15-13h pause 10h45-11h15<br />
<br />
==== <span style="color:#FF0000;"> Gestion des données grilles ====<br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Lionel Schwarz, CC-IN2P3 ? ; Representant ALICE, LHCb? ''<br />
<br />
* Réseaux, trafic<br />
* Transfert des données SRM, FTS,…<br />
* Stockage ?<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars après-midi (2h40) 14h15-15h45 16H05-17h15 pause 15h45-16h05<br />
<br />
==== <span style="color:#FF0000;">Les centres d’analyses ==== <br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Eric Lancon,Dapnia-Saclay ; Claude Charlot ? ''<br />
<br />
* mise en place<br />
* les contours<br />
* les logiciels d’analyses (Ganga,..)<br />
* Coordination avec les T3s ? mise en commun de ressources ?<br />
<br />
==== <span style="color:#FF0000;"> Conclusions F Malek ====<br />
<br />
*</div>Pgirardhttp://lcg.in2p3.fr/wiki/index.php?title=Draft_of_the_scientific_programm&diff=2759Draft of the scientific programm2007-02-09T10:11:08Z<p>Pgirard: /* <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul */</p>
<hr />
<div>D.P. 31/01/2007<br />
==== Objectifs ====<br />
LCG-France organise son 2ème colloque à Clermont-Ferrand les 14 et 15 mars 2007. Ces journées sont destinées à tous les acteurs de la grille de calcul au LHC (gestionnaires de site et utilisateurs) de l'IN2P3 et du Dapnia. Elles ont pour objectifs d’offrir un lieu d’échange et de communication sur les actions, les idées et les expériences en cours dans la mise en place du calcul pour le LHC dans le cadre du projet LCG.<br />
<br />
<br />
''' Programme Scientifique version 1 (7/12/06)'''<br />
<br />
<span style="color:#0000F0;"> 14 mars matin (3h) 9h30-11h 11H30-13h pause 11h-11h30<br />
<br />
==== <span style="color:#FF0000;"> 9h30-9h35 Welcome ====<br />
<br />
==== <span style="color:#FF0000;"> Etat des lieux pour le calcul au LHC en France====<br />
<br />
''<span style="color:#006600;">Coordination : Ghita Rahal,CC-IN2P3; Dominique Pallin, LPC-Clermont ''<br />
<br />
* 09:35-09:45 -Infrastructure globale de grille en France et ressources associées F Malek<br />
* 09:45-10:00 -Présentation des sites (T1 et sites associés) D Boutigny<br />
* 10:00-10:20 -Présentation des sites (T2 etT3, T2 étrangers associés) F Chollet<br />
* 10:20-10:40 -mise en place de La grille francaise: F Hernandez<br />
***Les difficultés rencontrées;<br />
***adéquation modèles de calcul - infrastructure/ressources (du point de vue des sites)<br />
***Son évolution en vue des données LHC 2009-2010<br />
* 10:40-11:00 & 11h30-13:00 -Présentation de l'état du calcul dans les expériences:<br />
*** Les modèles de calcul des expériences (overview)<br />
*** Quelle participation dans la mise en place du calcul (en france)?<br />
*** Adéquation entre les infrastructures/ressources et les besoins.<br />
*** Etat de la production des données de simulation<br />
*** Etat d'avancement par rapport à l'objectif de la prise de données de fin 2007. <br />
*** Difficultés, les points à améliorer…<br />
*<br />
* 10:40-11:00 -ALICE Y schutz<br />
* 11:00-11h30 ----------------- Pause ---------------------------<br />
* 11:30-11:50 -ATLAS E Lancon <br />
* 11:50-12:10 -CMS C Charlot ?<br />
* 12:10-12:30 -LHCb A Tsaregorodtsev ?<br />
* 12:30-13:00 -discussion/tour de table sur l'ensemble de la session<br />
*** la grille francaise, sa mise en place et son utilisation, Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
* <br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 14 mars après-midi (3h) 14h45-16h15 16H45-18h15 pause 16h15-16h45<br />
<br />
==== <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul ==== <br />
<span style="color:#990000;">Couvrir 2 aspects complémentaires : <br />
<br />
<span style="color:#990000;">-les actions des sites -> les conséquences au niveau des utilisateurs<br />
<br />
<span style="color:#990000;">-les actions des utilisateurs -> les conséquences au niveau des sites <br />
<br />
''<span style="color:#006600;">Coordination : Christine Leroy, Dapnia-Saclay; Pierre Girard, Ingénieur, CC-IN2P3''<br />
<br />
* le fonctionnement d'un site de la grille :<br />
du déploiement du middleware à la gestion de sa production, en passant par les procédures qu'il doit suivre, comme la déclaration de "scheduled downtime", l'utilisation des outils officiels de monitoring (SAM, GSTAT, etc) et leurs conséquences (disparition partielle ou complète de la production, etc), sécurité,etc.<br />
<br />
* la gestion de jobs grilles : <br />
de la façon dont ils sont soumis par les utilisateurs à la façon dont ils sont traités par les sites (dont la mise au point des formules de rank pour l'élection d'un site de soumission, le manque d'attractivité d'un site pour les jobs ou l'inverse, la gestion des priorités sur les jobs, des jobs pilotes, exécuteurs, etc.)<br />
<br />
<br />
<B>A- Sous-session "Gestion des jobs grille"</B><br />
<br />
Dans cette première sous-session, il est demandé à chaque VO d'apporter des clarifications concernant les points suivants :<br />
<P><br />
<OL><br />
<LI>Méthode(s) de distribution des jobs sur les sites :<br />
<UL><br />
<LI>utilisation ou non d'un RB ?</LI><br />
<LI>utilisation ou non des informations publiées ?</LI><br />
<LI>Critère d'élection d'un site ? etc.</LI><br />
</UL><br />
</LI><br />
<LI>Organisation de la production<br />
<UL><br />
<LI>qui fait quoi, qui soumet quoi, les rôles, les histoires de priorité...</LI><br />
<LI>une production française ou pas</LI><br />
<LI>Système de monitoring pour les jobs ? Si oui, utilisable ou pas par les sites ? Quel est son principe de fonctionnement, etc.</LI><br />
<LI>gestion des proxy</LI><br />
<LI>Méthode d'installation des softs (+ desinstallation)</LI><br />
<LI>comment un nouvel OS est validé et l'information transmise</LI><br />
<br />
</UL><br />
</LI><br />
<LI>Amélioration attendue et perspectives pour la gestion des jobs</LI><br />
</OL><br />
</P><br />
<br />
14:45 Introduction (5', Christine/Pierre)<br />
14:50 Spécificités d'Alice (10', Artem ?)<br />
15:00 Spécificités d'Atlas (10', Jérôme Schwi? Stéphane ? Karim ?)<br />
15:10 Spécificités de Cms (10', Claude ? Artem ?)<br />
15:20 Spécificités de Lhcb (10', Andrei ou Sabine?)<br />
15:30 Discussions (45')<br />
<br />
<br />
<B>B- Sous-Session "Fonctionnement des sites" </B><br />
<br />
<P><br />
<B>16:45 "Exploitation globale de la grille" (20' + 10'', Hélène C.)</B><br />
<UL><br />
<LI>Interaction entre outils de gestion de l'exploitation et la production</LI><br />
<LI>Comment les utilisateurs peuvent accéder aux informations</LI><br />
<LI>les outils d'exploitation (GOC DB, SAM, GSTAT, MonALISA et le CIC Portal)</LI><br />
<LI>L'accounting</LI> <br />
<LI>Comment mesurer l’efficacite d’un site (utilisationCPU/CPU; resource disponible/resource indisponible ;jobs plantes/ jobs/reussis)</LI><br />
</UL><br />
</P><br />
<br />
<P> <br />
<B>17:15 "Fonctionnement d’un site"? (45', 3 intervenants ?)</B><br />
<0L><br />
<LI>Suivi de jobs(15', David Bouvet)<br />
<UL><br />
<LI>Est-ce qu'on peut retracer un job qui a planté pour savoir ce qu'il a utilisé comme ressources et pourquoi il a planté?</LI><br />
<LI>Est-ce qu'on peut s'assurer qu'un job qui a bien tourné, a tourné avec les bonnes librairies (Y'a-t-il des vérifications par les sites?)</LI><br />
<LI>Detection de jobs qui se plantent instantanement car probleme sur un WN ?</LI><br />
</UL><br />
</LI><br />
<br />
<LI>Gestion des pannes(15',?)<br />
<UL><br />
<LI>Monitoring local, avez-vous un moyen de verifier « l’integrite » des WN ? Place disque disponible sur chaque WN</LI><br />
</UL><br />
</LI><br />
<br />
<LI>Le scheduling et le tuning (15', Michel Jouvin)<br />
<UL><br />
<LI>Peut on mixer job d’analyse et job de simulation sur les WNs (pour optimiser IO et CPU) ?</LI><br />
<LI>Le manque d'attractivité d'un site pour les jobs ou l'inverse => état des lieux et amélioration en vue côté mw if any</LI><br />
<LI>la gestion des priorités sur les jobs</LI><br />
</UL><br />
<LI><br />
</OL><br />
</P><br />
<br />
<P><br />
<B>17:45 "Gestion de l'infrastructure d'un site" (30',Pierre-Louis, Clermont)</B><br />
</P><br />
<br />
==== <span style="color:#FF0000;"> Mise en place d’un site ====<br />
<span style="color:#990000;">L’exemple du T2 du LPC Clermont-Ferrand. Visite du site possible durant les 2 jours par petits groupes<br />
<br />
* Salle machine (réseau électrique, climatisation,…)<br />
* Choix matériel<br />
* Sécurité<br />
* Les difficultés rencontrées<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars matin (3h30) 9h-10h45 11H15-13h pause 10h45-11h15<br />
<br />
==== <span style="color:#FF0000;"> Gestion des données grilles ====<br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Lionel Schwarz, CC-IN2P3 ? ; Representant ALICE, LHCb? ''<br />
<br />
* Réseaux, trafic<br />
* Transfert des données SRM, FTS,…<br />
* Stockage ?<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars après-midi (2h40) 14h15-15h45 16H05-17h15 pause 15h45-16h05<br />
<br />
==== <span style="color:#FF0000;">Les centres d’analyses ==== <br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Eric Lancon,Dapnia-Saclay ; Claude Charlot ? ''<br />
<br />
* mise en place<br />
* les contours<br />
* les logiciels d’analyses (Ganga,..)<br />
* Coordination avec les T3s ? mise en commun de ressources ?<br />
<br />
==== <span style="color:#FF0000;"> Conclusions F Malek ====<br />
<br />
*</div>Pgirardhttp://lcg.in2p3.fr/wiki/index.php?title=Draft_of_the_scientific_programm&diff=2758Draft of the scientific programm2007-02-09T10:04:37Z<p>Pgirard: /* <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul */</p>
<hr />
<div>D.P. 31/01/2007<br />
==== Objectifs ====<br />
LCG-France organise son 2ème colloque à Clermont-Ferrand les 14 et 15 mars 2007. Ces journées sont destinées à tous les acteurs de la grille de calcul au LHC (gestionnaires de site et utilisateurs) de l'IN2P3 et du Dapnia. Elles ont pour objectifs d’offrir un lieu d’échange et de communication sur les actions, les idées et les expériences en cours dans la mise en place du calcul pour le LHC dans le cadre du projet LCG.<br />
<br />
<br />
''' Programme Scientifique version 1 (7/12/06)'''<br />
<br />
<span style="color:#0000F0;"> 14 mars matin (3h) 9h30-11h 11H30-13h pause 11h-11h30<br />
<br />
==== <span style="color:#FF0000;"> 9h30-9h35 Welcome ====<br />
<br />
==== <span style="color:#FF0000;"> Etat des lieux pour le calcul au LHC en France====<br />
<br />
''<span style="color:#006600;">Coordination : Ghita Rahal,CC-IN2P3; Dominique Pallin, LPC-Clermont ''<br />
<br />
* 09:35-09:45 -Infrastructure globale de grille en France et ressources associées F Malek<br />
* 09:45-10:00 -Présentation des sites (T1 et sites associés) D Boutigny<br />
* 10:00-10:20 -Présentation des sites (T2 etT3, T2 étrangers associés) F Chollet<br />
* 10:20-10:40 -mise en place de La grille francaise: F Hernandez<br />
***Les difficultés rencontrées;<br />
***adéquation modèles de calcul - infrastructure/ressources (du point de vue des sites)<br />
***Son évolution en vue des données LHC 2009-2010<br />
* 10:40-11:00 & 11h30-13:00 -Présentation de l'état du calcul dans les expériences:<br />
*** Les modèles de calcul des expériences (overview)<br />
*** Quelle participation dans la mise en place du calcul (en france)?<br />
*** Adéquation entre les infrastructures/ressources et les besoins.<br />
*** Etat de la production des données de simulation<br />
*** Etat d'avancement par rapport à l'objectif de la prise de données de fin 2007. <br />
*** Difficultés, les points à améliorer…<br />
*<br />
* 10:40-11:00 -ALICE Y schutz<br />
* 11:00-11h30 ----------------- Pause ---------------------------<br />
* 11:30-11:50 -ATLAS E Lancon <br />
* 11:50-12:10 -CMS C Charlot ?<br />
* 12:10-12:30 -LHCb A Tsaregorodtsev ?<br />
* 12:30-13:00 -discussion/tour de table sur l'ensemble de la session<br />
*** la grille francaise, sa mise en place et son utilisation, Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
* <br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 14 mars après-midi (3h) 14h45-16h15 16H45-18h15 pause 16h15-16h45<br />
<br />
==== <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul ==== <br />
<span style="color:#990000;">Couvrir 2 aspects complémentaires : <br />
<br />
<span style="color:#990000;">-les actions des sites -> les conséquences au niveau des utilisateurs<br />
<br />
<span style="color:#990000;">-les actions des utilisateurs -> les conséquences au niveau des sites <br />
<br />
''<span style="color:#006600;">Coordination : Christine Leroy, Dapnia-Saclay; Pierre Girard, Ingénieur, CC-IN2P3''<br />
<br />
* le fonctionnement d'un site de la grille :<br />
du déploiement du middleware à la gestion de sa production, en passant par les procédures qu'il doit suivre, comme la déclaration de "scheduled downtime", l'utilisation des outils officiels de monitoring (SAM, GSTAT, etc) et leurs conséquences (disparition partielle ou complète de la production, etc), sécurité,etc.<br />
<br />
* la gestion de jobs grilles : <br />
de la façon dont ils sont soumis par les utilisateurs à la façon dont ils sont traités par les sites (dont la mise au point des formules de rank pour l'élection d'un site de soumission, le manque d'attractivité d'un site pour les jobs ou l'inverse, la gestion des priorités sur les jobs, des jobs pilotes, exécuteurs, etc.)<br />
<br />
<br />
<B>A- Sous-session "Gestion des jobs grille"</B><br />
<br />
Dans cette première sous-session, il est demandé à chaque VO d'apporter des clarifications concernant les points suivants :<br />
<P><br />
<OL><br />
<LI>Méthode(s) de distribution des jobs sur les sites :<br />
<UL><br />
<LI>utilisation ou non d'un RB ?</LI><br />
<LI>utilisation ou non des informations publiées ?</LI><br />
<LI>Critère d'élection d'un site ? etc.</LI><br />
</UL><br />
</LI><br />
<LI>Organisation de la production<br />
<UL><br />
<LI>qui fait quoi, qui soumet quoi, les rôles, les histoires de priorité...</LI><br />
<LI>une production française ou pas</LI><br />
<LI>Système de monitoring pour les jobs ? Si oui, utilisable ou pas par les sites ? Quel est son principe de fonctionnement, etc.</LI><br />
<LI>gestion des proxy</LI><br />
<LI>Méthode d'installation des softs (+ desinstallation)</LI><br />
<LI>comment un nouvel OS est validé et l'information transmise</LI><br />
<br />
</UL><br />
</LI><br />
<LI>Amélioration attendue et perspectives pour la gestion des jobs</LI><br />
</OL><br />
</P><br />
<br />
14:45 Introduction (5')<br />
14:50 Alice (10', Artem ?)<br />
15:00 Atlas (10', Jérôme Schwi? Stéphane ? Karim ?)<br />
15:10 Cms (10', Claude ? Artem ?)<br />
15:20 Lhcb (10', Andrei ou Sabine?)<br />
15:30 Discussions (45')<br />
<br />
<br />
<B>B- Sous-Session "Fonctionnement des sites" </B><br />
<P><br />
<B>16:45 "Exploitation globale de la grille" (20' + 10'', Hélène C.)</B><br />
<br />
<UL><br />
<LI>Interaction entre outils de gestion de l'exploitation et la production</LI><br />
<LI>Comment les utilisateurs peuvent accéder aux informations</LI><br />
<LI>les outils d'exploitation (GOC DB, SAM, GSTAT, MonALISA et le CIC Portal)</LI><br />
<LI>L'accounting</LI> <br />
<LI>Comment mesurer l’efficacite d’un site (utilisationCPU/CPU; resource disponible/resource indisponible ;jobs plantes/ jobs/reussis)</LI><br />
</UL><br />
</P><br />
<P> <br />
<B>17:15 "Fonctionnement d’un site"? (45', 3 intervenants ?)</B><br />
<br />
<0L><br />
<LI>Suivi de jobs(15', David Bouvet)<br />
<UL><br />
<LI>Est-ce qu'on peut retracer un job qui a planté pour savoir ce qu'il a utilisé comme ressources et pourquoi il a planté?</LI><br />
<LI>Est-ce qu'on peut s'assurer qu'un job qui a bien tourné, a tourné avec les bonnes librairies (Y'a-t-il des vérifications par les sites?)</LI><br />
<LI>Detection de jobs qui se plantent instantanement car probleme sur un WN ?</LI><br />
</UL><br />
</LI><br />
<br />
<LI>Gestion des pannes(15',?)<br />
<UL><br />
<LI>Monitoring local, avez-vous un moyen de verifier « l’integrite » des WN ? Place disque disponible sur chaque WN</LI><br />
</UL><br />
</LI><br />
<br />
<LI>Le scheduling et le tuning (15', Michel Jouvin)<br />
<UL><br />
<LI>Peut on mixer job d’analyse et job de simulation sur les WNs (pour optimiser IO et CPU) ?</LI><br />
<LI>Le manque d'attractivité d'un site pour les jobs ou l'inverse => état des lieux et amélioration en vue côté mw if any</LI><br />
<LI>la gestion des priorités sur les jobs</LI><br />
</UL><br />
<LI><br />
</OL><br />
</P><br />
<br />
<P><br />
<B>17:45 "Gestion de l'infrastructure d'un site" (30',Pierre-Louis, Clermont)</B><br />
</P><br />
<br />
==== <span style="color:#FF0000;"> Mise en place d’un site ====<br />
<span style="color:#990000;">L’exemple du T2 du LPC Clermont-Ferrand. Visite du site possible durant les 2 jours par petits groupes<br />
<br />
* Salle machine (réseau électrique, climatisation,…)<br />
* Choix matériel<br />
* Sécurité<br />
* Les difficultés rencontrées<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars matin (3h30) 9h-10h45 11H15-13h pause 10h45-11h15<br />
<br />
==== <span style="color:#FF0000;"> Gestion des données grilles ====<br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Lionel Schwarz, CC-IN2P3 ? ; Representant ALICE, LHCb? ''<br />
<br />
* Réseaux, trafic<br />
* Transfert des données SRM, FTS,…<br />
* Stockage ?<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars après-midi (2h40) 14h15-15h45 16H05-17h15 pause 15h45-16h05<br />
<br />
==== <span style="color:#FF0000;">Les centres d’analyses ==== <br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Eric Lancon,Dapnia-Saclay ; Claude Charlot ? ''<br />
<br />
* mise en place<br />
* les contours<br />
* les logiciels d’analyses (Ganga,..)<br />
* Coordination avec les T3s ? mise en commun de ressources ?<br />
<br />
==== <span style="color:#FF0000;"> Conclusions F Malek ====<br />
<br />
*</div>Pgirardhttp://lcg.in2p3.fr/wiki/index.php?title=Draft_of_the_scientific_programm&diff=2757Draft of the scientific programm2007-02-09T10:00:42Z<p>Pgirard: /* <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul */</p>
<hr />
<div>D.P. 31/01/2007<br />
==== Objectifs ====<br />
LCG-France organise son 2ème colloque à Clermont-Ferrand les 14 et 15 mars 2007. Ces journées sont destinées à tous les acteurs de la grille de calcul au LHC (gestionnaires de site et utilisateurs) de l'IN2P3 et du Dapnia. Elles ont pour objectifs d’offrir un lieu d’échange et de communication sur les actions, les idées et les expériences en cours dans la mise en place du calcul pour le LHC dans le cadre du projet LCG.<br />
<br />
<br />
''' Programme Scientifique version 1 (7/12/06)'''<br />
<br />
<span style="color:#0000F0;"> 14 mars matin (3h) 9h30-11h 11H30-13h pause 11h-11h30<br />
<br />
==== <span style="color:#FF0000;"> 9h30-9h35 Welcome ====<br />
<br />
==== <span style="color:#FF0000;"> Etat des lieux pour le calcul au LHC en France====<br />
<br />
''<span style="color:#006600;">Coordination : Ghita Rahal,CC-IN2P3; Dominique Pallin, LPC-Clermont ''<br />
<br />
* 09:35-09:45 -Infrastructure globale de grille en France et ressources associées F Malek<br />
* 09:45-10:00 -Présentation des sites (T1 et sites associés) D Boutigny<br />
* 10:00-10:20 -Présentation des sites (T2 etT3, T2 étrangers associés) F Chollet<br />
* 10:20-10:40 -mise en place de La grille francaise: F Hernandez<br />
***Les difficultés rencontrées;<br />
***adéquation modèles de calcul - infrastructure/ressources (du point de vue des sites)<br />
***Son évolution en vue des données LHC 2009-2010<br />
* 10:40-11:00 & 11h30-13:00 -Présentation de l'état du calcul dans les expériences:<br />
*** Les modèles de calcul des expériences (overview)<br />
*** Quelle participation dans la mise en place du calcul (en france)?<br />
*** Adéquation entre les infrastructures/ressources et les besoins.<br />
*** Etat de la production des données de simulation<br />
*** Etat d'avancement par rapport à l'objectif de la prise de données de fin 2007. <br />
*** Difficultés, les points à améliorer…<br />
*<br />
* 10:40-11:00 -ALICE Y schutz<br />
* 11:00-11h30 ----------------- Pause ---------------------------<br />
* 11:30-11:50 -ATLAS E Lancon <br />
* 11:50-12:10 -CMS C Charlot ?<br />
* 12:10-12:30 -LHCb A Tsaregorodtsev ?<br />
* 12:30-13:00 -discussion/tour de table sur l'ensemble de la session<br />
*** la grille francaise, sa mise en place et son utilisation, Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
* <br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 14 mars après-midi (3h) 14h45-16h15 16H45-18h15 pause 16h15-16h45<br />
<br />
==== <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul ==== <br />
<span style="color:#990000;">Couvrir 2 aspects complémentaires : <br />
<br />
<span style="color:#990000;">-les actions des sites -> les conséquences au niveau des utilisateurs<br />
<br />
<span style="color:#990000;">-les actions des utilisateurs -> les conséquences au niveau des sites <br />
<br />
''<span style="color:#006600;">Coordination : Christine Leroy, Dapnia-Saclay; Pierre Girard, Ingénieur, CC-IN2P3''<br />
<br />
* le fonctionnement d'un site de la grille :<br />
du déploiement du middleware à la gestion de sa production, en passant par les procédures qu'il doit suivre, comme la déclaration de "scheduled downtime", l'utilisation des outils officiels de monitoring (SAM, GSTAT, etc) et leurs conséquences (disparition partielle ou complète de la production, etc), sécurité,etc.<br />
<br />
* la gestion de jobs grilles : <br />
de la façon dont ils sont soumis par les utilisateurs à la façon dont ils sont traités par les sites (dont la mise au point des formules de rank pour l'élection d'un site de soumission, le manque d'attractivité d'un site pour les jobs ou l'inverse, la gestion des priorités sur les jobs, des jobs pilotes, exécuteurs, etc.)<br />
<br />
<br />
<B>A- Sous-session "Gestion des jobs grille"</B><br />
<br />
<P><br />
Dans cette première sous-session, il est demandé à chaque VO d'apporter des clarifications concernant les points suivants :<br />
<OL><br />
<LI>Méthode(s) de distribution des jobs sur les sites :<br />
<UL><br />
<LI>utilisation ou non d'un RB ?</LI><br />
<LI>utilisation ou non des informations publiées ?</LI><br />
<LI>Critère d'élection d'un site ? etc.</LI><br />
</UL><br />
</LI><br />
<LI>Organisation de la production<br />
<UL><br />
<LI>qui fait quoi, qui soumet quoi, les rôles, les histoires de priorité...</LI><br />
<LI>une production française ou pas</LI><br />
<LI>Système de monitoring pour les jobs ? Si oui, utilisable ou pas par les sites ? Quel est son principe de fonctionnement, etc.</LI><br />
<LI>gestion des proxy</LI><br />
<LI>Méthode d'installation des softs (+ desinstallation)</LI><br />
<LI>comment un nouvel OS est validé et l'information transmise</LI><br />
<br />
</UL><br />
</LI><br />
<LI>Amélioration attendue et perspectives pour la gestion des jobs</LI><br />
</OL><br />
</P><br />
<br />
14:45 Introduction (5')<br />
14:50 Alice (10', Artem ?)<br />
15:00 Atlas (10', Jérôme Schwi? Stéphane ? Karim ?)<br />
15:10 Cms (10', Claude ? Artem ?)<br />
15:20 Lhcb (10', Andrei ou Sabine?)<br />
15:30 Discussions (45')<br />
<br />
<br />
<B>B- Sous-Session "Fonctionnement des sites" </B><br />
<P><br />
<B>16:45 "Exploitation globale de la grille" (20' + 10'', Hélène C.)</B><br />
<br />
<UL><br />
<LI>Interaction entre outils de gestion de l'exploitation et la production</LI><br />
<LI>Comment les utilisateurs peuvent accéder aux informations</LI><br />
<LI>les outils d'exploitation (GOC DB, SAM, GSTAT, MonALISA et le CIC Portal)</LI><br />
<LI>L'accounting</LI> <br />
<LI>Comment mesurer l’efficacite d’un site (utilisationCPU/CPU; resource disponible/resource indisponible ;jobs plantes/ jobs/reussis)</LI><br />
</UL><br />
<br />
<B>17:15 "Fonctionnement d’un site"? (45', 3 intervenants ?) </B> <br />
<br />
<0L><br />
<br />
<LI>Suivi de jobs(15', David Bouvet)<br />
<UL><br />
<LI>Est-ce qu'on peut retracer un job qui a planté pour savoir ce qu'il a utilisé comme ressources et pourquoi il a planté?</LI><br />
<LI>Est-ce qu'on peut s'assurer qu'un job qui a bien tourné, a tourné avec les bonnes librairies (Y'a-t-il des vérifications par les sites?)</LI><br />
<LI>Detection de jobs qui se plantent instantanement car probleme sur un WN ?</LI><br />
</UL><br />
</LI><br />
<br />
<LI>Gestion des pannes(15',?)<br />
<UL><br />
<LI>Monitoring local, avez-vous un moyen de verifier « l’integrite » des WN ? Place disque disponible sur chaque WN</LI><br />
</UL><br />
</LI><br />
<br />
<LI>Le scheduling et le tuning (15', Michel Jouvin)<br />
<UL><br />
<LI>Peut on mixer job d’analyse et job de simulation sur les WNs (pour optimiser IO et CPU) ?</LI><br />
<LI>Le manque d'attractivité d'un site pour les jobs ou l'inverse => état des lieux et amélioration en vue côté mw if any</LI><br />
<LI>la gestion des priorités sur les jobs</LI><br />
</UL><br />
<LI><br />
<br />
</OL><br />
</P><br />
<br />
<B>17:45 "Gestion de l'infrastructure d'un site" (30',Pierre-Louis, Clermont)</B><br />
<br />
==== <span style="color:#FF0000;"> Mise en place d’un site ====<br />
<span style="color:#990000;">L’exemple du T2 du LPC Clermont-Ferrand. Visite du site possible durant les 2 jours par petits groupes<br />
<br />
* Salle machine (réseau électrique, climatisation,…)<br />
* Choix matériel<br />
* Sécurité<br />
* Les difficultés rencontrées<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars matin (3h30) 9h-10h45 11H15-13h pause 10h45-11h15<br />
<br />
==== <span style="color:#FF0000;"> Gestion des données grilles ====<br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Lionel Schwarz, CC-IN2P3 ? ; Representant ALICE, LHCb? ''<br />
<br />
* Réseaux, trafic<br />
* Transfert des données SRM, FTS,…<br />
* Stockage ?<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars après-midi (2h40) 14h15-15h45 16H05-17h15 pause 15h45-16h05<br />
<br />
==== <span style="color:#FF0000;">Les centres d’analyses ==== <br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Eric Lancon,Dapnia-Saclay ; Claude Charlot ? ''<br />
<br />
* mise en place<br />
* les contours<br />
* les logiciels d’analyses (Ganga,..)<br />
* Coordination avec les T3s ? mise en commun de ressources ?<br />
<br />
==== <span style="color:#FF0000;"> Conclusions F Malek ====<br />
<br />
*</div>Pgirardhttp://lcg.in2p3.fr/wiki/index.php?title=Draft_of_the_scientific_programm&diff=2756Draft of the scientific programm2007-02-09T09:59:06Z<p>Pgirard: /* <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul */</p>
<hr />
<div>D.P. 31/01/2007<br />
==== Objectifs ====<br />
LCG-France organise son 2ème colloque à Clermont-Ferrand les 14 et 15 mars 2007. Ces journées sont destinées à tous les acteurs de la grille de calcul au LHC (gestionnaires de site et utilisateurs) de l'IN2P3 et du Dapnia. Elles ont pour objectifs d’offrir un lieu d’échange et de communication sur les actions, les idées et les expériences en cours dans la mise en place du calcul pour le LHC dans le cadre du projet LCG.<br />
<br />
<br />
''' Programme Scientifique version 1 (7/12/06)'''<br />
<br />
<span style="color:#0000F0;"> 14 mars matin (3h) 9h30-11h 11H30-13h pause 11h-11h30<br />
<br />
==== <span style="color:#FF0000;"> 9h30-9h35 Welcome ====<br />
<br />
==== <span style="color:#FF0000;"> Etat des lieux pour le calcul au LHC en France====<br />
<br />
''<span style="color:#006600;">Coordination : Ghita Rahal,CC-IN2P3; Dominique Pallin, LPC-Clermont ''<br />
<br />
* 09:35-09:45 -Infrastructure globale de grille en France et ressources associées F Malek<br />
* 09:45-10:00 -Présentation des sites (T1 et sites associés) D Boutigny<br />
* 10:00-10:20 -Présentation des sites (T2 etT3, T2 étrangers associés) F Chollet<br />
* 10:20-10:40 -mise en place de La grille francaise: F Hernandez<br />
***Les difficultés rencontrées;<br />
***adéquation modèles de calcul - infrastructure/ressources (du point de vue des sites)<br />
***Son évolution en vue des données LHC 2009-2010<br />
* 10:40-11:00 & 11h30-13:00 -Présentation de l'état du calcul dans les expériences:<br />
*** Les modèles de calcul des expériences (overview)<br />
*** Quelle participation dans la mise en place du calcul (en france)?<br />
*** Adéquation entre les infrastructures/ressources et les besoins.<br />
*** Etat de la production des données de simulation<br />
*** Etat d'avancement par rapport à l'objectif de la prise de données de fin 2007. <br />
*** Difficultés, les points à améliorer…<br />
*<br />
* 10:40-11:00 -ALICE Y schutz<br />
* 11:00-11h30 ----------------- Pause ---------------------------<br />
* 11:30-11:50 -ATLAS E Lancon <br />
* 11:50-12:10 -CMS C Charlot ?<br />
* 12:10-12:30 -LHCb A Tsaregorodtsev ?<br />
* 12:30-13:00 -discussion/tour de table sur l'ensemble de la session<br />
*** la grille francaise, sa mise en place et son utilisation, Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
* <br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 14 mars après-midi (3h) 14h45-16h15 16H45-18h15 pause 16h15-16h45<br />
<br />
==== <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul ==== <br />
<span style="color:#990000;">Couvrir 2 aspects complémentaires : <br />
<br />
<span style="color:#990000;">-les actions des sites -> les conséquences au niveau des utilisateurs<br />
<br />
<span style="color:#990000;">-les actions des utilisateurs -> les conséquences au niveau des sites <br />
<br />
''<span style="color:#006600;">Coordination : Christine Leroy, Dapnia-Saclay; Pierre Girard, Ingénieur, CC-IN2P3''<br />
<br />
* le fonctionnement d'un site de la grille :<br />
du déploiement du middleware à la gestion de sa production, en passant par les procédures qu'il doit suivre, comme la déclaration de "scheduled downtime", l'utilisation des outils officiels de monitoring (SAM, GSTAT, etc) et leurs conséquences (disparition partielle ou complète de la production, etc), sécurité,etc.<br />
<br />
* la gestion de jobs grilles : <br />
de la façon dont ils sont soumis par les utilisateurs à la façon dont ils sont traités par les sites (dont la mise au point des formules de rank pour l'élection d'un site de soumission, le manque d'attractivité d'un site pour les jobs ou l'inverse, la gestion des priorités sur les jobs, des jobs pilotes, exécuteurs, etc.)<br />
<br />
<br />
<B>A- Sous-session "Gestion des jobs grille"</B><br />
<br />
<P><br />
Dans cette première sous-session, il est demandé à chaque VO d'apporter des clarifications concernant les points suivants :<br />
<OL><br />
<LI>Méthode(s) de distribution des jobs sur les sites :<br />
<UL><br />
<LI>utilisation ou non d'un RB ?</LI><br />
<LI>utilisation ou non des informations publiées ?</LI><br />
<LI>Critère d'élection d'un site ? etc.</LI><br />
</UL><br />
</LI><br />
<LI>Organisation de la production<br />
<UL><br />
<LI>qui fait quoi, qui soumet quoi, les rôles, les histoires de priorité...</LI><br />
<LI>une production française ou pas</LI><br />
<LI>Système de monitoring pour les jobs ? Si oui, utilisable ou pas par les sites ? Quel est son principe de fonctionnement, etc.</LI><br />
<LI>gestion des proxy</LI><br />
<LI>Méthode d'installation des softs (+ desinstallation)</LI><br />
<LI>comment un nouvel OS est validé et l'information transmise</LI><br />
<br />
</UL><br />
</LI><br />
<LI>Amélioration attendue et perspectives pour la gestion des jobs</LI><br />
</OL><br />
</P><br />
<br />
14:45 Introduction (5')<br />
14:50 Alice (10', Artem ?)<br />
15:00 Atlas (10', Jérôme Schwi? Stéphane ? Karim ?)<br />
15:10 Cms (10', Claude ? Artem ?)<br />
15:20 Lhcb (10', Andrei ou Sabine?)<br />
15:30 Discussions (45')<br />
<br />
<br />
<B>B- Sous-Session "Fonctionnement des sites" </B><br />
<P><br />
<B>16:45 "Exploitation globale de la grille" (20' + 10'', Hélène C.)</B><br />
<br />
<UL><br />
<LI>Interaction entre outils de gestion de l'exploitation et la production</LI><br />
<LI>Comment les utilisateurs peuvent accéder aux informations</LI><br />
<LI>les outils d'exploitation (GOC DB, SAM, GSTAT, MonALISA et le CIC Portal)</LI><br />
<LI>L'accounting</LI> <br />
<LI>Comment mesurer l’efficacite d’un site (utilisationCPU/CPU; resource disponible/resource indisponible ;jobs plantes/ jobs/reussis)</LI><br />
</UL><br />
<br />
<B>17:15 "Fonctionnement d’un site"? (45', 3 intervenants ?) </B> <br />
<br />
<0L><br />
<br />
<LI>Suivi de jobs(15', David Bouvet)</B><br />
<UL><br />
<LI>Est-ce qu'on peut retracer un job qui a planté pour savoir ce qu'il a utilisé comme ressources et pourquoi il a planté?</LI><br />
<LI>Est-ce qu'on peut s'assurer qu'un job qui a bien tourné, a tourné avec les bonnes librairies (Y'a-t-il des vérifications par les sites?)</LI><br />
<LI>Detection de jobs qui se plantent instantanement car probleme sur un WN ?</LI><br />
</UL><br />
</LI><br />
<br />
<LI>Gestion des pannes(15',?)<br />
<UL><br />
<LI>Monitoring local, avez-vous un moyen de verifier « l’integrite » des WN ? Place disque disponible sur chaque WN</LI><br />
</UL><br />
</LI><br />
<br />
<LI>Le scheduling et le tuning (15', Michel Jouvin)<br />
<UL><br />
<LI>Peut on mixer job d’analyse et job de simulation sur les WNs (pour optimiser IO et CPU) ?</LI><br />
<LI>Le manque d'attractivité d'un site pour les jobs ou l'inverse => état des lieux et amélioration en vue côté mw if any</LI><br />
<LI>la gestion des priorités sur les jobs</LI><br />
</UL><br />
<LI><br />
<br />
</OL><br />
</P><br />
<br />
<B>17:45 "Gestion de l'infrastructure d'un site" (30',Pierre-Louis, Clermont)</B><br />
<br />
==== <span style="color:#FF0000;"> Mise en place d’un site ====<br />
<span style="color:#990000;">L’exemple du T2 du LPC Clermont-Ferrand. Visite du site possible durant les 2 jours par petits groupes<br />
<br />
* Salle machine (réseau électrique, climatisation,…)<br />
* Choix matériel<br />
* Sécurité<br />
* Les difficultés rencontrées<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars matin (3h30) 9h-10h45 11H15-13h pause 10h45-11h15<br />
<br />
==== <span style="color:#FF0000;"> Gestion des données grilles ====<br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Lionel Schwarz, CC-IN2P3 ? ; Representant ALICE, LHCb? ''<br />
<br />
* Réseaux, trafic<br />
* Transfert des données SRM, FTS,…<br />
* Stockage ?<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars après-midi (2h40) 14h15-15h45 16H05-17h15 pause 15h45-16h05<br />
<br />
==== <span style="color:#FF0000;">Les centres d’analyses ==== <br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Eric Lancon,Dapnia-Saclay ; Claude Charlot ? ''<br />
<br />
* mise en place<br />
* les contours<br />
* les logiciels d’analyses (Ganga,..)<br />
* Coordination avec les T3s ? mise en commun de ressources ?<br />
<br />
==== <span style="color:#FF0000;"> Conclusions F Malek ====<br />
<br />
*</div>Pgirardhttp://lcg.in2p3.fr/wiki/index.php?title=Draft_of_the_scientific_programm&diff=2755Draft of the scientific programm2007-02-09T09:38:06Z<p>Pgirard: /* <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul */</p>
<hr />
<div>D.P. 31/01/2007<br />
==== Objectifs ====<br />
LCG-France organise son 2ème colloque à Clermont-Ferrand les 14 et 15 mars 2007. Ces journées sont destinées à tous les acteurs de la grille de calcul au LHC (gestionnaires de site et utilisateurs) de l'IN2P3 et du Dapnia. Elles ont pour objectifs d’offrir un lieu d’échange et de communication sur les actions, les idées et les expériences en cours dans la mise en place du calcul pour le LHC dans le cadre du projet LCG.<br />
<br />
<br />
''' Programme Scientifique version 1 (7/12/06)'''<br />
<br />
<span style="color:#0000F0;"> 14 mars matin (3h) 9h30-11h 11H30-13h pause 11h-11h30<br />
<br />
==== <span style="color:#FF0000;"> 9h30-9h35 Welcome ====<br />
<br />
==== <span style="color:#FF0000;"> Etat des lieux pour le calcul au LHC en France====<br />
<br />
''<span style="color:#006600;">Coordination : Ghita Rahal,CC-IN2P3; Dominique Pallin, LPC-Clermont ''<br />
<br />
* 09:35-09:45 -Infrastructure globale de grille en France et ressources associées F Malek<br />
* 09:45-10:00 -Présentation des sites (T1 et sites associés) D Boutigny<br />
* 10:00-10:20 -Présentation des sites (T2 etT3, T2 étrangers associés) F Chollet<br />
* 10:20-10:40 -mise en place de La grille francaise: F Hernandez<br />
***Les difficultés rencontrées;<br />
***adéquation modèles de calcul - infrastructure/ressources (du point de vue des sites)<br />
***Son évolution en vue des données LHC 2009-2010<br />
* 10:40-11:00 & 11h30-13:00 -Présentation de l'état du calcul dans les expériences:<br />
*** Les modèles de calcul des expériences (overview)<br />
*** Quelle participation dans la mise en place du calcul (en france)?<br />
*** Adéquation entre les infrastructures/ressources et les besoins.<br />
*** Etat de la production des données de simulation<br />
*** Etat d'avancement par rapport à l'objectif de la prise de données de fin 2007. <br />
*** Difficultés, les points à améliorer…<br />
*<br />
* 10:40-11:00 -ALICE Y schutz<br />
* 11:00-11h30 ----------------- Pause ---------------------------<br />
* 11:30-11:50 -ATLAS E Lancon <br />
* 11:50-12:10 -CMS C Charlot ?<br />
* 12:10-12:30 -LHCb A Tsaregorodtsev ?<br />
* 12:30-13:00 -discussion/tour de table sur l'ensemble de la session<br />
*** la grille francaise, sa mise en place et son utilisation, Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
* <br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 14 mars après-midi (3h) 14h45-16h15 16H45-18h15 pause 16h15-16h45<br />
<br />
==== <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul ==== <br />
<span style="color:#990000;">Couvrir 2 aspects complémentaires : <br />
<br />
<span style="color:#990000;">-les actions des sites -> les conséquences au niveau des utilisateurs<br />
<br />
<span style="color:#990000;">-les actions des utilisateurs -> les conséquences au niveau des sites <br />
<br />
''<span style="color:#006600;">Coordination : Christine Leroy, Dapnia-Saclay; Pierre Girard, Ingénieur, CC-IN2P3''<br />
<br />
* le fonctionnement d'un site de la grille :<br />
du déploiement du middleware à la gestion de sa production, en passant par les procédures qu'il doit suivre, comme la déclaration de "scheduled downtime", l'utilisation des outils officiels de monitoring (SAM, GSTAT, etc) et leurs conséquences (disparition partielle ou complète de la production, etc), sécurité,etc.<br />
<br />
* la gestion de jobs grilles : <br />
de la façon dont ils sont soumis par les utilisateurs à la façon dont ils sont traités par les sites (dont la mise au point des formules de rank pour l'élection d'un site de soumission, le manque d'attractivité d'un site pour les jobs ou l'inverse, la gestion des priorités sur les jobs, des jobs pilotes, exécuteurs, etc.)<br />
<br />
<br />
<B>I- Sous-session "Gestion des jobs grille"</B><br />
<br />
<P><br />
Dans cette première sous-session, il est demandé à chaque VO d'apporter des clarifications concernant les points suivants :<br />
<OL><br />
<LI>Méthode(s) de distribution des jobs sur les sites :<br />
<UL><br />
<LI>utilisation ou non d'un RB ?</LI><br />
<LI>utilisation ou non des informations publiées ?</LI><br />
<LI>Critère d'élection d'un site ? etc.</LI><br />
</UL><br />
</LI><br />
<LI>Organisation de la production<br />
<UL><br />
<LI>qui fait quoi, qui soumet quoi, les rôles, les histoires de priorité...</LI><br />
<LI>une production française ou pas</LI><br />
<LI>Système de monitoring pour les jobs ? Si oui, utilisable ou pas par les sites ? Quel est son principe de fonctionnement, etc.</LI><br />
<LI>gestion des proxy</LI><br />
<LI>Méthode d'installation des softs (+ desinstallation)</LI><br />
<LI>comment un nouvel OS est validé et l'information transmise</LI><br />
<br />
</UL><br />
</LI><br />
<LI>Amélioration attendue et perspectives pour la gestion des jobs</LI><br />
</OL><br />
</P><br />
<br />
14:45 Introduction (5')<br />
14:50 Alice (10', Artem ?)<br />
15:00 Atlas (10', Stéphane ? Karim ?)<br />
15:10 Cms (10', Claude ? Artem ?)<br />
15:20 Lhcb (10', Andrei ou Sabine?)<br />
15:30 Discussions (45')<br />
<br />
<br />
<B>II- Sous-Session "Fonctionnement des sites" </B><br />
<br />
<br />
<B>16:45 "Exploitation globale de la grille" (30', Hélène C.)</B><br />
<br />
<br />
les outils d'exploitation (GOC DB, SAM, GSTAT, MonALISA et le CIC Portal)<br />
<br />
L'accounting <br />
<br />
-Comment mesurer l’efficacite d’un site (utilisationCPU/CPU; resource disponible/resource indisponible ;jobs plantes/ jobs/reussis)<br />
<br />
<br />
<br />
<B>17:15 "Fonctionnement d’un site"? (45', 3 intervenants ?) </B><br />
<br />
<br />
<br />
<B>a)Suivi de jobs(15',?)</B><br />
<br />
- Est-ce qu'on peut retracer un job qui a planté pour savoir ce qu'il a utilisé comme ressources et pourquoi il a planté?<br />
<br />
-est-ce qu'on peut s'assurer qu'un job qui a bien tourné, a tourné avec les bonnes librairies (Y'a-t-il des vérifications par les sites?)<br />
<br />
-Detection de jobs qui se plantent instantanement car probleme sur un WN ?<br />
<br />
<br />
<B>b)Gestion des pannes(15',?)</B><br />
<br />
<br />
-Monitoring local, avez-vous un moyen de verifier « l’integrite » des WN ? Place disque disponible sur chaque WN <br />
<br />
<br />
<B>c)Le scheduling et le tuning (15',?)</B><br />
<br />
-Peut on mixer job d’analyse et job de simulation sur les WNs (pour optimiser IO et CPU) ?<br />
<br />
- le manque d'attractivité d'un site pour les jobs ou l'inverse => état des lieux et amélioration en vue côté mw if any<br />
<br />
- la gestion des priorités sur les jobs<br />
<br />
<br />
<br />
<B>17:45 "Gestion de l'infrastructure d'un site" (30',Pierre-Louis, Clermont)</B><br />
<br />
==== <span style="color:#FF0000;"> Mise en place d’un site ====<br />
<span style="color:#990000;">L’exemple du T2 du LPC Clermont-Ferrand. Visite du site possible durant les 2 jours par petits groupes<br />
<br />
* Salle machine (réseau électrique, climatisation,…)<br />
* Choix matériel<br />
* Sécurité<br />
* Les difficultés rencontrées<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars matin (3h30) 9h-10h45 11H15-13h pause 10h45-11h15<br />
<br />
==== <span style="color:#FF0000;"> Gestion des données grilles ====<br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Lionel Schwarz, CC-IN2P3 ? ; Representant ALICE, LHCb? ''<br />
<br />
* Réseaux, trafic<br />
* Transfert des données SRM, FTS,…<br />
* Stockage ?<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars après-midi (2h40) 14h15-15h45 16H05-17h15 pause 15h45-16h05<br />
<br />
==== <span style="color:#FF0000;">Les centres d’analyses ==== <br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Eric Lancon,Dapnia-Saclay ; Claude Charlot ? ''<br />
<br />
* mise en place<br />
* les contours<br />
* les logiciels d’analyses (Ganga,..)<br />
* Coordination avec les T3s ? mise en commun de ressources ?<br />
<br />
==== <span style="color:#FF0000;"> Conclusions F Malek ====<br />
<br />
*</div>Pgirardhttp://lcg.in2p3.fr/wiki/index.php?title=Draft_of_the_scientific_programm&diff=2754Draft of the scientific programm2007-02-09T09:37:02Z<p>Pgirard: /* <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul */</p>
<hr />
<div>D.P. 31/01/2007<br />
==== Objectifs ====<br />
LCG-France organise son 2ème colloque à Clermont-Ferrand les 14 et 15 mars 2007. Ces journées sont destinées à tous les acteurs de la grille de calcul au LHC (gestionnaires de site et utilisateurs) de l'IN2P3 et du Dapnia. Elles ont pour objectifs d’offrir un lieu d’échange et de communication sur les actions, les idées et les expériences en cours dans la mise en place du calcul pour le LHC dans le cadre du projet LCG.<br />
<br />
<br />
''' Programme Scientifique version 1 (7/12/06)'''<br />
<br />
<span style="color:#0000F0;"> 14 mars matin (3h) 9h30-11h 11H30-13h pause 11h-11h30<br />
<br />
==== <span style="color:#FF0000;"> 9h30-9h35 Welcome ====<br />
<br />
==== <span style="color:#FF0000;"> Etat des lieux pour le calcul au LHC en France====<br />
<br />
''<span style="color:#006600;">Coordination : Ghita Rahal,CC-IN2P3; Dominique Pallin, LPC-Clermont ''<br />
<br />
* 09:35-09:45 -Infrastructure globale de grille en France et ressources associées F Malek<br />
* 09:45-10:00 -Présentation des sites (T1 et sites associés) D Boutigny<br />
* 10:00-10:20 -Présentation des sites (T2 etT3, T2 étrangers associés) F Chollet<br />
* 10:20-10:40 -mise en place de La grille francaise: F Hernandez<br />
***Les difficultés rencontrées;<br />
***adéquation modèles de calcul - infrastructure/ressources (du point de vue des sites)<br />
***Son évolution en vue des données LHC 2009-2010<br />
* 10:40-11:00 & 11h30-13:00 -Présentation de l'état du calcul dans les expériences:<br />
*** Les modèles de calcul des expériences (overview)<br />
*** Quelle participation dans la mise en place du calcul (en france)?<br />
*** Adéquation entre les infrastructures/ressources et les besoins.<br />
*** Etat de la production des données de simulation<br />
*** Etat d'avancement par rapport à l'objectif de la prise de données de fin 2007. <br />
*** Difficultés, les points à améliorer…<br />
*<br />
* 10:40-11:00 -ALICE Y schutz<br />
* 11:00-11h30 ----------------- Pause ---------------------------<br />
* 11:30-11:50 -ATLAS E Lancon <br />
* 11:50-12:10 -CMS C Charlot ?<br />
* 12:10-12:30 -LHCb A Tsaregorodtsev ?<br />
* 12:30-13:00 -discussion/tour de table sur l'ensemble de la session<br />
*** la grille francaise, sa mise en place et son utilisation, Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
* <br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 14 mars après-midi (3h) 14h45-16h15 16H45-18h15 pause 16h15-16h45<br />
<br />
==== <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul ==== <br />
<span style="color:#990000;">Couvrir 2 aspects complémentaires : <br />
<br />
<span style="color:#990000;">-les actions des sites -> les conséquences au niveau des utilisateurs<br />
<br />
<span style="color:#990000;">-les actions des utilisateurs -> les conséquences au niveau des sites <br />
<br />
''<span style="color:#006600;">Coordination : Christine Leroy, Dapnia-Saclay; Pierre Girard, Ingénieur, CC-IN2P3''<br />
<br />
* le fonctionnement d'un site de la grille :<br />
du déploiement du middleware à la gestion de sa production, en passant par les procédures qu'il doit suivre, comme la déclaration de "scheduled downtime", l'utilisation des outils officiels de monitoring (SAM, GSTAT, etc) et leurs conséquences (disparition partielle ou complète de la production, etc), sécurité,etc.<br />
<br />
* la gestion de jobs grilles : <br />
de la façon dont ils sont soumis par les utilisateurs à la façon dont ils sont traités par les sites (dont la mise au point des formules de rank pour l'élection d'un site de soumission, le manque d'attractivité d'un site pour les jobs ou l'inverse, la gestion des priorités sur les jobs, des jobs pilotes, exécuteurs, etc.)<br />
<br />
<br />
<B>I- Sous-session "Gestion des jobs grille"</B><br />
<br />
<P><br />
Dans cette première sous-session, il est demandé à chaque VO d'apporter des clarifications concernant les points suivants :<br />
<OL><br />
<LI>Méthode(s) de distribution des jobs sur les sites :<br />
<UL><br />
<LI>utilisation ou non d'un RB ?</LI><br />
<LI>utilisation ou non des informations publiées ?</LI><br />
<LI>Critère d'élection d'un site ? etc.</LI><br />
</UL><br />
</LI><br />
<LI>Organisation de la production<br />
<UL><br />
<LI>qui fait quoi, qui soumet quoi, les rôles, les histoires de priorité...</LI><br />
<LI>une production française ou pas</LI><br />
<LI>Système de monitoring pour les jobs ? Si oui, utilisable ou pas par les sites ? Quel est son principe de fonctionnement, etc.</LI><br />
<LI>gestion des proxy</LI><br />
<LI>Méthode d'installation des softs (+ desinstallation)</LI><br />
<LI>comment un nouvel OS est validé et l'information transmise</LI><br />
<br />
</UL><br />
</LI><br />
<LI>Amélioration attendue et perspectives pour la gestion des jobs</LI><br />
</OL><br />
</P><br />
<br />
14:45 Introduction (5')<br />
14:50 Alice (10', Artem ?)<br />
15:10 Atlas (10', Stéphane ? Karim ?)<br />
15:30 Cms (10', Claude ? Artem ?)<br />
15:40 Lhcb (10', Andrei ou Sabine?)<br />
16:50 Discussions (45')<br />
<br />
<br />
<B>II- Sous-Session "Fonctionnement des sites" </B><br />
<br />
<br />
<B>16:45 "Exploitation globale de la grille" (30', Hélène C.)</B><br />
<br />
<br />
les outils d'exploitation (GOC DB, SAM, GSTAT, MonALISA et le CIC Portal)<br />
<br />
L'accounting <br />
<br />
-Comment mesurer l’efficacite d’un site (utilisationCPU/CPU; resource disponible/resource indisponible ;jobs plantes/ jobs/reussis)<br />
<br />
<br />
<br />
<B>17:15 "Fonctionnement d’un site"? (45', 3 intervenants ?) </B><br />
<br />
<br />
<br />
<B>a)Suivi de jobs(15',?)</B><br />
<br />
- Est-ce qu'on peut retracer un job qui a planté pour savoir ce qu'il a utilisé comme ressources et pourquoi il a planté?<br />
<br />
-est-ce qu'on peut s'assurer qu'un job qui a bien tourné, a tourné avec les bonnes librairies (Y'a-t-il des vérifications par les sites?)<br />
<br />
-Detection de jobs qui se plantent instantanement car probleme sur un WN ?<br />
<br />
<br />
<B>b)Gestion des pannes(15',?)</B><br />
<br />
<br />
-Monitoring local, avez-vous un moyen de verifier « l’integrite » des WN ? Place disque disponible sur chaque WN <br />
<br />
<br />
<B>c)Le scheduling et le tuning (15',?)</B><br />
<br />
-Peut on mixer job d’analyse et job de simulation sur les WNs (pour optimiser IO et CPU) ?<br />
<br />
- le manque d'attractivité d'un site pour les jobs ou l'inverse => état des lieux et amélioration en vue côté mw if any<br />
<br />
- la gestion des priorités sur les jobs<br />
<br />
<br />
<br />
<B>17:45 "Gestion de l'infrastructure d'un site" (30',Pierre-Louis, Clermont)</B><br />
<br />
==== <span style="color:#FF0000;"> Mise en place d’un site ====<br />
<span style="color:#990000;">L’exemple du T2 du LPC Clermont-Ferrand. Visite du site possible durant les 2 jours par petits groupes<br />
<br />
* Salle machine (réseau électrique, climatisation,…)<br />
* Choix matériel<br />
* Sécurité<br />
* Les difficultés rencontrées<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars matin (3h30) 9h-10h45 11H15-13h pause 10h45-11h15<br />
<br />
==== <span style="color:#FF0000;"> Gestion des données grilles ====<br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Lionel Schwarz, CC-IN2P3 ? ; Representant ALICE, LHCb? ''<br />
<br />
* Réseaux, trafic<br />
* Transfert des données SRM, FTS,…<br />
* Stockage ?<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars après-midi (2h40) 14h15-15h45 16H05-17h15 pause 15h45-16h05<br />
<br />
==== <span style="color:#FF0000;">Les centres d’analyses ==== <br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Eric Lancon,Dapnia-Saclay ; Claude Charlot ? ''<br />
<br />
* mise en place<br />
* les contours<br />
* les logiciels d’analyses (Ganga,..)<br />
* Coordination avec les T3s ? mise en commun de ressources ?<br />
<br />
==== <span style="color:#FF0000;"> Conclusions F Malek ====<br />
<br />
*</div>Pgirardhttp://lcg.in2p3.fr/wiki/index.php?title=Draft_of_the_scientific_programm&diff=2746Draft of the scientific programm2007-02-08T16:28:02Z<p>Pgirard: /* <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul */</p>
<hr />
<div>D.P. 31/01/2007<br />
==== Objectifs ====<br />
LCG-France organise son 2ème colloque à Clermont-Ferrand les 14 et 15 mars 2007. Ces journées sont destinées à tous les acteurs de la grille de calcul au LHC (gestionnaires de site et utilisateurs) de l'IN2P3 et du Dapnia. Elles ont pour objectifs d’offrir un lieu d’échange et de communication sur les actions, les idées et les expériences en cours dans la mise en place du calcul pour le LHC dans le cadre du projet LCG.<br />
<br />
<br />
''' Programme Scientifique version 1 (7/12/06)'''<br />
<br />
<span style="color:#0000F0;"> 14 mars matin (3h) 9h30-11h 11H30-13h pause 11h-11h30<br />
<br />
==== <span style="color:#FF0000;"> 9h30-9h35 Welcome ====<br />
<br />
==== <span style="color:#FF0000;"> Etat des lieux pour le calcul au LHC en France====<br />
<br />
''<span style="color:#006600;">Coordination : Ghita Rahal,CC-IN2P3; Dominique Pallin, LPC-Clermont ''<br />
<br />
* 09:35-09:45 -Infrastructure globale de grille en France et ressources associées F Malek<br />
* 09:45-10:00 -Présentation des sites (T1 et sites associés) D Boutigny<br />
* 10:00-10:20 -Présentation des sites (T2 etT3, T2 étrangers associés) F Chollet<br />
* 10:20-10:40 -mise en place de La grille francaise: F Hernandez<br />
***Les difficultés rencontrées;<br />
***adéquation modèles de calcul - infrastructure/ressources (du point de vue des sites)<br />
***Son évolution en vue des données LHC 2009-2010<br />
* 10:40-11:00 & 11h30-13:00 -Présentation de l'état du calcul dans les expériences:<br />
*** Les modèles de calcul des expériences (overview)<br />
*** Quelle participation dans la mise en place du calcul (en france)?<br />
*** Adéquation entre les infrastructures/ressources et les besoins.<br />
*** Etat de la production des données de simulation<br />
*** Etat d'avancement par rapport à l'objectif de la prise de données de fin 2007. <br />
*** Difficultés, les points à améliorer…<br />
*<br />
* 10:40-11:00 -ALICE Y schutz<br />
* 11:00-11h30 ----------------- Pause ---------------------------<br />
* 11:30-11:50 -ATLAS E Lancon <br />
* 11:50-12:10 -CMS C Charlot ?<br />
* 12:10-12:30 -LHCb A Tsaregorodtsev ?<br />
* 12:30-13:00 -discussion/tour de table sur l'ensemble de la session<br />
*** la grille francaise, sa mise en place et son utilisation, Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
* <br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 14 mars après-midi (3h) 14h45-16h15 16H45-18h15 pause 16h15-16h45<br />
<br />
==== <span style="color:#FF0000;"> Gestion et exploitation des grilles de calcul ==== <br />
<span style="color:#990000;">Couvrir 2 aspects complémentaires : <br />
<br />
<span style="color:#990000;">-les actions des sites -> les conséquences au niveau des utilisateurs<br />
<br />
<span style="color:#990000;">-les actions des utilisateurs -> les conséquences au niveau des sites <br />
<br />
''<span style="color:#006600;">Coordination : Christine Leroy, Dapnia-Saclay; Pierre Girard, Ingénieur, CC-IN2P3''<br />
<br />
* le fonctionnement d'un site de la grille :<br />
du déploiement du middleware à la gestion de sa production, en passant par les procédures qu'il doit suivre, comme la déclaration de "scheduled downtime", l'utilisation des outils officiels de monitoring (SAM, GSTAT, etc) et leurs conséquences (disparition partielle ou complète de la production, etc), sécurité,etc.<br />
<br />
* la gestion de jobs grilles : <br />
de la façon dont ils sont soumis par les utilisateurs à la façon dont ils sont traités par les sites (dont la mise au point des formules de rank pour l'élection d'un site de soumission, le manque d'attractivité d'un site pour les jobs ou l'inverse, la gestion des priorités sur les jobs, des jobs pilotes, exécuteurs, etc.)<br />
<br />
<br />
<B>I- Sous-session "Gestion des jobs grille"</B><br />
<br />
<P><br />
Dans cette première sous-session, il est demandé à chaque VO d'apporter des clarifications concernant les points suivants :<br />
<OL><br />
<LI>Méthode(s) de distribution des jobs sur les sites :<br />
<UL><br />
<LI>utilisation ou non d'un RB ?</LI><br />
<LI>utilisation ou non des informations publiées ?</LI><br />
<LI>Critère d'élection d'un site ? etc.</LI><br />
</UL><br />
</LI><br />
<LI>Organisation de la production<br />
<UL><br />
<LI>qui fait quoi, qui soumet quoi, les rôles, les histoires de priorité...</LI><br />
<LI>une production française ou pas</LI><br />
<LI>Système de monitoring pour les jobs ? Si oui, utilisable ou pas par les sites ? Quel est son principe de fonctionnement, etc.</LI><br />
<LI>gestion des proxy</LI><br />
<LI>Méthode d'installation des softs (+ desinstallation)</LI><br />
</UL><br />
</LI><br />
<LI>Amélioration attendue et perspectives pour la gestion des jobs</LI><br />
</OL><br />
</P><br />
<br />
<br />
14:45 Alice (20', Artem ?)<br />
15:05 Atlas (20', Stéphane ? Karim ?)<br />
15:25 Cms (20', Claude ? Artem ?)<br />
15:45 Lhcb (20', Andrei ou Sabine?)<br />
16:05 Discussions (10')<br />
<br />
<br />
* le fonctionnement d'un site de la grille :<br />
du déploiement du middleware à la gestion de sa production, en passant par les procédures qu'il doit suivre, comme la déclaration de "scheduled downtime", l'utilisation des outils officiels de monitoring (SAM, GSTAT, etc) et leurs conséquences (disparition partielle ou complète de la production, etc), sécurité,etc.<br />
<br />
* la gestion de jobs grilles : <br />
de la façon dont ils sont soumis par les utilisateurs à la façon dont ils sont traités par les sites (dont la mise au point des formules de rank pour l'élection d'un site de soumission, le manque d'attractivité d'un site pour les jobs ou l'inverse, la gestion des priorités sur les jobs, des jobs pilotes, exécuteurs, etc.)<br />
<br />
<br />
<B>II- Sous-Session "Fonctionnement des sites"</B><br />
<br />
==== <span style="color:#FF0000;"> Mise en place d’un site ====<br />
<span style="color:#990000;">L’exemple du T2 du LPC Clermont-Ferrand. Visite du site possible durant les 2 jours par petits groupes<br />
<br />
* Salle machine (réseau électrique, climatisation,…)<br />
* Choix matériel<br />
* Sécurité<br />
* Les difficultés rencontrées<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars matin (3h30) 9h-10h45 11H15-13h pause 10h45-11h15<br />
<br />
==== <span style="color:#FF0000;"> Gestion des données grilles ====<br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Lionel Schwarz, CC-IN2P3 ? ; Representant ALICE, LHCb? ''<br />
<br />
* Réseaux, trafic<br />
* Transfert des données SRM, FTS,…<br />
* Stockage ?<br />
<br />
<br />
<br />
<span style="color:#0000F0;"> 15 mars après-midi (2h40) 14h15-15h45 16H05-17h15 pause 15h45-16h05<br />
<br />
==== <span style="color:#FF0000;">Les centres d’analyses ==== <br />
<span style="color:#990000;">Du point de vue des sites, des collaborations LHC et des utilisateurs<br />
<br />
''<span style="color:#006600;">Coordination : Eric Lancon,Dapnia-Saclay ; Claude Charlot ? ''<br />
<br />
* mise en place<br />
* les contours<br />
* les logiciels d’analyses (Ganga,..)<br />
* Coordination avec les T3s ? mise en commun de ressources ?<br />
<br />
==== <span style="color:#FF0000;"> Conclusions F Malek ====<br />
<br />
*</div>Pgirard