Difference between revisions of "WLCG Data transfers"
(→Monitoring XRootD ATLAS/CMS(pb de configuration dans certains sites)) |
|||
Ligne 48: | Ligne 48: | ||
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas) | ** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas) | ||
− | == Monitoring XRootD ATLAS/CMS(pb de configuration dans certains sites) == | + | == Monitoring XRootD ATLAS / CMS (pb de configuration dans certains sites) == |
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS | Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS | ||
+ | |||
Dans le cas ATLAS, les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC mais ce n'est pas le cas partout : | Dans le cas ATLAS, les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC mais ce n'est pas le cas partout : | ||
# http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas) | # http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas) | ||
+ | # http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas) | ||
# http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas) | # http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas) | ||
+ | # http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas) | ||
+ | |||
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br> | Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br> |
Version du 10:19, 27 avril 2016
Mars 2016 Petit Tour des Dashboards de monitoring des transferts de données :
Sommaire
Outils communs de monitoring des transferts de données
PRELIMINAIRE
Dashboard WLCG
ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard : http://dashb-wlcg-transfers.cern.ch/ui
Extraits (FC) du Dashboard WLCG (ALICE, ATLAS,CMS,LHCb Transferts FTS & XRootd)
- Attention à la complexité => risque de devoir patienter et de se perdre.
- Mieux vaut se limiter aux statistiques sur 4 ou 24h
- Toutes les options ne sont pas actives dans toutes les conditions.
- Dans le cas des trafics FTS, il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy .
- Attention : les noms de site différent selon la VO
- Pb Filtre VO=ALICE :
- country=France, => uniquement Subatech
- http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)
- http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)
- vérifier si le xrootd natif ET le xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.)
- Limitations : monitoring partiel du trafic local, pb de configuration du monitoring XRootD dans certains sites (cf. paragraphe 4.), IN2P3failover - domaine commun aux sites)
- difficulté d’interprétation dans le cas de GRIF, dst/src versus input/output
- Vue d’ensemble toutes VOs confondues des accès remote. On retrouve un peu ce que l’on sait déjà : aujourd’hui, trafics dominés par les transferts FTS (ATLAS,CMS). Intérêt au niveau d’un site (?), peut être pas l’outil le plus approprié
Dashboard FTS
ATLAS, CMS, LHCb - uniquement transferts FTS : http://dashb-fts-transfers.cern.ch/ui
Extraits (FC) du Dashboard FTS
- Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/
- Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG
Dashboard XRooTD
'ATLAS, CMS - uniquement trafics XRootD ': http://dashb-wdt-xrootd.cern.ch/ui
- Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)
- Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) => destination n/a !!!
- Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)
- http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)
- http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source
- http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source
- http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)
- http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)
- Understand Site Access patterns :
- qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)
Monitoring XRootD ATLAS / CMS (pb de configuration dans certains sites)
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS
Dans le cas ATLAS, les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC mais ce n'est pas le cas partout :
- http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)
- http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)
- http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)
- http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :
1 / au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)
2/ au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)
Liens vers les pages qui font foi :
- https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring
- https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew
Il reste à vérifier/modifier ce point car, sauf erreur, plusieurs sites sont concernés. Demander également à Renaud de vérifier que le plugin dCache en chargedu monitoring XRootd est bien configuré au CC pour la remontée des infos ATLAS et CMS. Ce n'est pas certain au vu du contenu des dashboards WLCG.
Outils spécifiques aux VOs
- ALICE :
- MonALISA : http://alimonitor.cern.ch
- ATLAS :
- DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2
- CMS :
- LHCb :
Liens divers
- WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark
- Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37
- WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21