Difference between revisions of "WLCG Data transfers"
(→Dashboard WLCG) |
|||
| Ligne 26: | Ligne 26: | ||
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.) | * Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.) | ||
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT | * Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT | ||
| − | + | * Affichage "n/a" - pb de topologie : cf. paragraphe 5 | |
== Topology Resolution == | == Topology Resolution == | ||
https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution | https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution | ||
| Ligne 91: | Ligne 91: | ||
== Liens == | == Liens == | ||
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark | * WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark | ||
| + | * Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring | ||
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37 | * Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37 | ||
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21 | * WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21 | ||
Version du 15:26, 29 avril 2016
Mars 2016 Petit Tour des Dashboards de monitoring des transferts de données :
Sommaire
Outils communs de monitoring des transferts de données
PRELIMINAIRE
Dashboard WLCG
ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard : http://dashb-wlcg-transfers.cern.ch/ui
Voir certains extraits du Dashboard WLCG
- Attention à la complexité => risque de devoir patienter ou/et de se perdre.
- Mieux vaut se limiter aux statistiques sur 4 ou 24h
- Attention : les noms de site différent selon la VO
- A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech
- Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :
- Toutes les options ne sont pas actives dans toutes les conditions.
- Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende
- Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.
- Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.).
- Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)
- Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT
- Affichage "n/a" - pb de topologie : cf. paragraphe 5
Topology Resolution
https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution
- Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également
- Contact est pris avec Luca Magnoni. Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143
Dashboard FTS
ATLAS, CMS, LHCb - uniquement transferts FTS : http://dashb-fts-transfers.cern.ch/ui
Extraits (FC) du Dashboard FTS
- Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/
- Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG
Dashboard XRooTD
'ATLAS, CMS - uniquement trafics XRootD ': http://dashb-wdt-xrootd.cern.ch/ui
- Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)
- Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) => destination n/a !!!
- Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)
- http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)
- http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source
- http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source
- http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)
- http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)
- Understand Site Access patterns :
- qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)
Monitoring XRootD ATLAS / CMS (pb de configuration dans certains sites)
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :
- http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)
- http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)
- http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)
- http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :
- http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)
- http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)
- http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)
- http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :
- au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)
- au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)
Liens vers les pages qui font foi :
- https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring
- https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.
Outils spécifiques aux VOs
- ALICE :
- MonALISA : http://alimonitor.cern.ch
- ATLAS :
- DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2
- CMS :
- LHCb :
Liens
- WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark
- Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring
- Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37
- WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21
