WLCG Data transfers

Mars 2016 Petit Tour des Dashboards de monitoring des transferts de données :

Outils communs de monitoring des transferts de données

PRELIMINAIRE

Dashboard WLCG

ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard : http://dashb-wlcg-transfers.cern.ch/ui
Extraits (FC) du Dashboard WLCG (ALICE, ATLAS,CMS,LHCb Transferts FTS & XRootd)

• Attention à la complexité => risque de devoir patienter et de se perdre.
• Mieux vaut se limiter aux statistiques sur 4 ou 24h
• Toutes les options ne sont pas actives dans toutes les conditions.
  • Dans le cas des trafics FTS, il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy .
• Attention : les noms de site différent selon la VO
• Pb Filtre VO=ALICE :
  • country=France, => uniquement Subatech
  • http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)
  • http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)
  • vérifier si le xrootd natif ET le xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.)
• Limitations : monitoring partiel du trafic local, pb de configuration du monitoring XRootD dans certains sites (cf. paragraphe 4.), IN2P3failover - domaine commun aux sites)
• difficulté d’interprétation dans le cas de GRIF, dst/src versus input/output

• Vue d’ensemble toutes VOs confondues des accès remote. On retrouve un peu ce que l’on sait déjà : aujourd’hui, trafics dominés par les transferts FTS (ATLAS,CMS). Intérêt au niveau d’un site (?), peut être pas l’outil le plus approprié

Dashboard FTS

ATLAS, CMS, LHCb - uniquement transferts FTS : http://dashb-fts-transfers.cern.ch/ui
Extraits (FC) du Dashboard FTS

• Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/
• Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG
  

Dashboard XRooTD

'ATLAS, CMS - uniquement trafics XRootD ': http://dashb-wdt-xrootd.cern.ch/ui

• Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)
• Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) => destination n/a !!!
• Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)

• http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)
• http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source
• http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source
• http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)
• http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)

• Understand Site Access patterns :
  • qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)

Monitoring XRootD (pb de configuration dans certains sites)

Pourquoi dans certains sites, il n'y a clairement pas de monitoring des trafics XrootD alors qu'on voit des choses au LPSC par ex. ? Trafics ATLAS monitorés au LPSC mais pas dans tous les sites :

1. http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)

Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor  :
1 / au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)
2/ au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)

Liens vers les pages qui font foi :

1. https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring
2. https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew

Il reste à vérifier/modifier ce point car, sauf erreur, plusieurs sites sont concernés. Demander également à Renaud de vérifier que le plugin dCache en chargedu monitoring XRootd est bien configuré au CC pour la remontée des infos ATLAS et CMS. Ce n'est pas certain au vu du contenu des dashboards WLCG.

Outils spécifiques aux VOs

• ALICE :
  • MonALISA : http://alimonitor.cern.ch
• ATLAS :
  • DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2
• CMS :
• LHCb :

Liens divers

• WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark
• Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37
• WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21