Difference between revisions of "WLCG Data transfers"

Un article de lcgwiki.
Jump to: navigation, search
Ligne 11: Ligne 11:
 
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers Extraits (FC) du Dashboard WLCG] (ALICE, ATLAS,CMS,LHCb Transferts FTS & XRootd)
 
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers Extraits (FC) du Dashboard WLCG] (ALICE, ATLAS,CMS,LHCb Transferts FTS & XRootd)
  
* Attention à la complexité  => risque de devoir patienter et de se perdre.  
+
* Attention à la complexité  => risque de devoir patienter ou/et de se perdre.  
* Mieux vaut se limiter aux statistiques sur 4 ou 24h
+
* Mieux vaut se limiter aux statistiques sur 4 ou 24h  
 
* Toutes les options ne sont pas actives dans toutes les conditions.
 
* Toutes les options ne sont pas actives dans toutes les conditions.
** Dans le cas des trafics FTS, il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy .
+
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS ==> une étiquette "TOTAL" apparait au niveau de la légende
 +
 
 
* Attention : les noms de site différent selon la VO
 
* Attention : les noms de site différent selon la VO
* Pb Filtre VO=ALICE :
+
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech  
**country=France, => uniquement Subatech  
+
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice) :
**http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)
+
    *** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)
**http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)
+
    *** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)
** vérifier si le xrootd natif ET le xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.)  
+
    *** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC, grenoble)
* Limitations : monitoring partiel du trafic local, pb de configuration du monitoring XRootD dans certains sites (cf. paragraphe 4.), IN2P3failover - domaine commun aux sites)  
+
    *** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC, CCIN2P3)
* difficulté d’interprétation dans le cas de GRIF, dst/src versus input/output
+
 
 +
* Trafics XRootD ALICE : les vue WLCG et alimonitor sont cohérentes.
 +
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.).
 +
 
 +
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local, pb de configuration du monitoring XRootD dans certains sites (cf. paragraphe 4.), IN2P3failover - domaine commun aux sites)  
 +
 
 +
* Faire attention à l'interprétation dst/src versus input/output :
 +
** dst / src correspond plutôt à ce qui est vu / généré par le site
 +
** à combiner avec les "Tranfer modes" read / write
  
* Vue d’ensemble toutes VOs confondues des accès remote. On retrouve un peu ce que l’on sait déjà : aujourd’hui, trafics dominés par les transferts FTS (ATLAS,CMS). Intérêt au niveau d’un site (?), peut être pas l’outil le plus approprié
+
* In fine, on retrouve un peu ce que l’on sait déjà : aujourd’hui, trafics dominés par les transferts FTS (ATLAS,CMS).
  
 
=== Dashboard FTS  ===
 
=== Dashboard FTS  ===

Version du 11:23, 27 avril 2016

Mars 2016 Petit Tour des Dashboards de monitoring des transferts de données :


Outils communs de monitoring des transferts de données

PRELIMINAIRE

Dashboard WLCG

ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard : http://dashb-wlcg-transfers.cern.ch/ui
Extraits (FC) du Dashboard WLCG (ALICE, ATLAS,CMS,LHCb Transferts FTS & XRootd)

  • Attention à la complexité => risque de devoir patienter ou/et de se perdre.
  • Mieux vaut se limiter aux statistiques sur 4 ou 24h
  • Toutes les options ne sont pas actives dans toutes les conditions.
    • Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS ==> une étiquette "TOTAL" apparait au niveau de la légende
  • Attention : les noms de site différent selon la VO
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech 
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice) :
   *** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)
   *** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)
   *** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC, grenoble)
   *** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC, CCIN2P3)
  • Trafics XRootD ALICE : les vue WLCG et alimonitor sont cohérentes.
    • Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.).
  • Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local, pb de configuration du monitoring XRootD dans certains sites (cf. paragraphe 4.), IN2P3failover - domaine commun aux sites)
  • Faire attention à l'interprétation dst/src versus input/output :
    • dst / src correspond plutôt à ce qui est vu / généré par le site
    • à combiner avec les "Tranfer modes" read / write
  • In fine, on retrouve un peu ce que l’on sait déjà : aujourd’hui, trafics dominés par les transferts FTS (ATLAS,CMS).

Dashboard FTS

ATLAS, CMS, LHCb - uniquement transferts FTS : http://dashb-fts-transfers.cern.ch/ui
Extraits (FC) du Dashboard FTS

  • Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/
  • Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG

Dashboard XRooTD

'ATLAS, CMS - uniquement trafics XRootD ': http://dashb-wdt-xrootd.cern.ch/ui


Monitoring XRootD ATLAS / CMS (pb de configuration dans certains sites)

Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS

ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :

CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :

Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor  :

  1. au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)
  2. au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)

Liens vers les pages qui font foi :

Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.

Outils spécifiques aux VOs

Liens