Difference between revisions of "ARCHIVES/LCG-FR / SA1-FR Monitoring WG"

Version du 14:12, 27 août 2008

Contacts (Mailing list)

LCG-SA1FR-MONITORING-L@IN2P3.FR mailing list : List managers : Christine Leroy (Irfu/CEA)

les membres du groupe: http://lcg.in2p3.fr/wiki/images/MembresOnly.doc

Mandat du Groupe

Document consultable: https://edms.in2p3.fr/file/I-013168/2/LCG-France-SA1-FR_WGMonitoring.pdf

Le groupe de travail se chargera dans un délai de 6 mois :

collecter les besoins des responsables des sites et de services de la région,

recenser les pratiques des sites et les outils de monitoring utilisés,

représenter et défendre les intérêts de la région dans les différents groupes de travail existants au sein de WLCG-EGEE sur un sujet connexe (En cours de construction un Groupe EGEE: OAT)

identifier les standards qui doivent être suivis ainsi que les outils pertinents à tous les niveaux (services, site et région), proposer aux responsables des sites, des services grid et de l’opération régionale de la grille EGEE un ensemble d'outils répondant à leurs besoins,

proposer, si besoin, des améliorations sur les outils et procédures d’alertes au niveau des sites, au niveau de la région

établir, s’il y a lieu, un plan pour la poursuite de ses travaux au-delà de la période initiale des 6 premiers mois.

Toutes les propositions et recommandations devront a priori être cohérentes avec les orientations des projets EGEE et WLCG.

L'organisation et le mode de fonctionnement du groupe seront définis par le responsable du groupe et les membres eux-mêmes.

Réunions, Journées...

Infrastructure de monitoring

l’infrastructure d’échange de messages pour le « multi-level » monitoring: https://twiki.cern.ch/twiki/bin/view/LCG/MessagingSystemforGrid

Fabric Monitoring

Nagios

truc et astuces

Lemon

http://lemon.web.cern.ch/lemon/index.shtml

Lemon avec quattor: https://trac.lal.in2p3.fr/LCGQWG/wiki/QWG_lemon

Gadget WEB

Un certain nombre de flux RSS et widgets sont disponibles, voila a titre d'exemple ce que ca peut donner:

exemple

en utilisant:

CMS

liste de Widgets disponible: [1]

Alice

liste de Flux RSS, disponible: [2]

Accounting

Flux RSS: http://goc-accounting.grid-support.ac.uk/rss/YOUR-SITE-NAME_ApelSync.xml

Services Grilles

Services VOs

LHC VOs

Experiment Dashboard

ALICE

* Monalisa monitoring:  http://pcalimonitor.cern.ch/ 
* Job Monitoring:  http://dashboard.cern.ch/alice/
* Daily reports:     http://dashb-alice.cern.ch/dashboard/data/
* Site efficiency :  http://dboard-gr.cern.ch/dashboard/data/summaries/

ATLAS

* Dashboard :  http://dashboard.cern.ch/atlas/
* Installation SW : https://atlas-install.roma1.infn.it/atlas_install/
* Bilan mensuel du nombre de jobs exécutés et de l'efficacité par site : http://dashb-atlas-job.cern.ch/dashboard/request.py/MonthlyReportIndex
* PanDA : http://gridinfo.triumf.ca/panglia. Il y a un URL par queue utilisée par les jobs de productions + 1 URL spécifique pour les queues utilisées par les jobs d'analyse (ANALY_xxx). Pour les jobs de productions

Le dashboard a tendance à remplacer les autres (excepté pour le suivi des installations). C'est le plus complet et le plus riche. Il permet en particulier d'obtenir la liste des jobs en erreur avec des informations détaillées sur l'erreur, le WN impliqué...

CMS

* Widget CMS: http://iglezh.web.cern.ch/iglezh/widgets/
* Job Monitioring : http://dashboard.cern.ch/cms
* CRAB JobRobot summary : http://jobrobot.web.cern.ch/JobRobot/summary_071002.html
* Link Commissioning Status : 
 T1-T2_FR downlinks
 T2_FR-T1 uplinks 
* CMS SAM Visualization : http://lxarda16.cern.ch/dashboard/request.py/latestresultsview
* Site Commissionning board : http://lxarda16.cern.ch/dashboard/request.py/siteview?debug=1

LHCb

* Site status for LHCb usage : http://lhcb-project-dirac.web.cern.ch/lhcb-project-dirac/lhcbProdnMask.html
* Dashboard : http://dashboard.cern.ch/lhcb/

Infrastructure Grille

GridMap Prototype visualizing the "State" of the Grid

EGEE Monitoring Group (OAT)

Old one:

WLCG Monitoring Working groups

3 groups have been created. See https://twiki.cern.ch/twiki/bin/view/LCG/LCGMonitoringWorkingGroups The most active one is the Grid Service Monitoring group chaired by James Casey and Ian Neilson (FC)

System management : Fabric Management, best practices, security
Grid service monitoring : See the Nagios prototype for grid services monitoring
System analysis: mainly focus on applications monitoring
High Level model for WLCG Monitoring
J.Casey's Presentations@GDB 05 March 2008
- A strategy for WLCG Monitoring
- Monitoring - some worked examples

@@ Ligne 74: / Ligne 74: @@
 http://goc-accounting.grid-support.ac.uk/rss/YOUR-SITE-NAME_ApelSync.xml
-== Liens Utiles ==
+== Services Grilles ==
+=== FTS ===
-=== Services Grilles ===
-==== FTS ====
 [http://cctools.in2p3.fr/dcache/monitoring/ftsmonitor.php CCIN2P3]
 [http://lcgwww.gridpp.rl.ac.uk/cgi-bin/fts-mon/fts-mon.pl?v=atlas RAL atlas]
 [http://ganglia.gridpp.rl.ac.uk/cgi-bin/ganglia-fts/fts-page.pl RAL Ganglia]
-====GridFtp ====
+===GridFtp ===
 [http://www.icepp.jp/rc/grid/lcg/monitor/gridftp2/monitor.html ICEPP ]
+=== DPM ===
+[http://www.gridpp.ac.uk/wiki/DPM_Monitoring DPM monitoring by Gridpp ]
-==== DPM ====
+=== WMS ===
+[https://cert-wms-01.cnaf.infn.it:8443/wmsmon/details/details.php?wms=wms014.cnaf.infn.it WMS monitoring by CNAF]
-[http://www.gridpp.ac.uk/wiki/DPM_Monitoring DPM monitoring by Gridpp ]
-=== Services VOs ===
+== Services VOs ==
-==== LHC VOs====
+=== LHC VOs===
 [http://dashboard.cern.ch/ Experiment Dashboard]
-==== ALICE ====
+=== ALICE ===
   * Monalisa monitoring:  http://pcalimonitor.cern.ch/
@@ Ligne 101: / Ligne 100: @@
   * Site efficiency :  http://dboard-gr.cern.ch/dashboard/data/summaries/
-==== ATLAS ====
+=== ATLAS ===
   * Dashboard :  http://dashboard.cern.ch/atlas/
@@ Ligne 110: / Ligne 109: @@
 Le dashboard a tendance à remplacer les autres (excepté pour le suivi des installations). C'est le plus complet et le plus riche. Il permet en particulier d'obtenir la liste des jobs en erreur avec des informations détaillées sur l'erreur, le WN impliqué...
-==== BIOMED ====
-==== CMS ====
+=== CMS ===
   * Widget CMS: http://iglezh.web.cern.ch/iglezh/widgets/
   * Job Monitioring : http://dashboard.cern.ch/cms
@@ Ligne 122: / Ligne 120: @@
   * Site Commissionning board : http://lxarda16.cern.ch/dashboard/request.py/siteview?debug=1
-==== LHCb ====
+=== LHCb ===
   * Site status for LHCb usage : http://lhcb-project-dirac.web.cern.ch/lhcb-project-dirac/lhcbProdnMask.html
   * Dashboard : http://dashboard.cern.ch/lhcb/