Difference between revisions of "WLCG Data transfers"

Un article de lcgwiki.
Jump to: navigation, search
(→‎Topology Resolution (affichage n/a))
(→‎Dashboard XRooTD)
Ligne 37: Ligne 37:
 
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui
 
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui
 
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)
 
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)
−
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas)  => destination n/a !!!
+
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas)  '''=> destination n/a !!!'''
 
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)
 
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)
−
 
 
<br>
 
<br>
 
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)
 
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)
Ligne 46: Ligne 45:
 
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)
 
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)
 
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)
 
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)
−
 
 
* Understand Site Access patterns :  
 
* Understand Site Access patterns :  
 
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)
 
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)

Version du 15:34, 29 avril 2016

Mars 2016 Petit Tour des Dashboards de monitoring des transferts de données :


Outils communs de monitoring des transferts de données

PRELIMINAIRE

Dashboard WLCG

ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard : http://dashb-wlcg-transfers.cern.ch/ui
Voir certains extraits du Dashboard WLCG

  • Attention à la complexité => risque de devoir patienter ou/et de se perdre.
  • Mieux vaut se limiter aux statistiques sur 4 ou 24h
  • Attention : les noms de site différent selon la VO
  • Toutes les options ne sont pas actives dans toutes les conditions.
    • Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende
  • Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.
    • Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.).
  • Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)
  • Faire attention à l'interprétation  : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT
  • Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.

Dashboard FTS

ATLAS, CMS, LHCb - uniquement transferts FTS : http://dashb-fts-transfers.cern.ch/ui
Extraits (FC) du Dashboard FTS

  • Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/
  • Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG

Dashboard XRooTD

'ATLAS, CMS - uniquement trafics XRootD ': http://dashb-wdt-xrootd.cern.ch/ui


Monitoring XRootD ATLAS / CMS (configuration du)

Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS

ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :

CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :

Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor  :

  1. au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)
  2. au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)

Liens vers les pages qui font foi :

Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.

Topology Resolution (affichage "n/a")

Outils spécifiques aux VOs

Liens

Récupérée de « http://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&oldid=7926 »