Difference between revisions of "WLCG Data transfers"

Un article de lcgwiki.
Jump to: navigation, search
(→‎Dashboard WLCG : http://dashb-wlcg-transfers.cern.ch/ui)
(→‎Dashboard WLCG : http://dashb-wlcg-transfers.cern.ch/ui)
Ligne 29: Ligne 29:
 
* Mieux vaut se limiter aux statistiques sur 4 ou 24h
 
* Mieux vaut se limiter aux statistiques sur 4 ou 24h
 
* Toutes les options ne sont pas actives dans toutes les conditions.
 
* Toutes les options ne sont pas actives dans toutes les conditions.
−
** Dans le cas des trafics FTS, il n'est pas possible de différencier les "Access types" ou "Transfer Modes".
+
** Dans le cas des trafics FTS, il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy .
−
* Attention : les noms de site différent selon la VO, difficulté d’interprétation dans le cas de GRIF, dst/src versus input/output
+
* Attention : les noms de site différent selon la VO
−
* Limitations (monitoring partiel du trafic local, IN2P3failover)
 
 
* Pb Filtre VO=ALICE :  
 
* Pb Filtre VO=ALICE :  
 
**country=France, => uniquement Subatech  
 
**country=France, => uniquement Subatech  
 
**http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)&vo=(alice,atlas)
 
**http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)&vo=(alice,atlas)
 
**http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)
 
**http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)
 +
* Limitations : monitoring partiel du trafic local, pb de configuration du monitoring XRootD dans certains sites, IN2P3failover - domaine commun aux sites)
 +
* difficulté d’interprétation dans le cas de GRIF, dst/src versus input/output
  
 
* Vue d’ensemble toutes VOs confondues des accès remote. On retrouve un peu ce que l’on sait déjà : aujourd’hui, trafics dominés par les transferts FTS (ATLAS,CMS). Intérêt au niveau d’un site (?), peut être pas l’outil le plus approprié
 
* Vue d’ensemble toutes VOs confondues des accès remote. On retrouve un peu ce que l’on sait déjà : aujourd’hui, trafics dominés par les transferts FTS (ATLAS,CMS). Intérêt au niveau d’un site (?), peut être pas l’outil le plus approprié

Version du 17:39, 13 avril 2016

Mars 2016 Petit Tour des Dashboards de monitoring des transferts de données :


Monitoring XRootD (pb de configuration identifié)

Pourquoi dans certains sites, il n'y a clairement pas de monitoring des trafics XrootD alors qu'on voit des choses au LPSC par ex. ? Trafics ATLAS monitorés au LPSC mais pas dans tous les sites :

  1. http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)

Il y a (ou plutôt, il y avait) 2 petites erreur dans les valeurs par défaut proposées par Quattor :
1 / au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)
2/ au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)

Voici les liens vers les pages qui font foi :

  1. https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring
  2. https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew

Du côté Quattor, c'est en cours de correction cf https://github.com/quattor/template-library-grid/pulls (merci Victor) Ce n'est pas urgent mais cela reste à vérifier/modifier car, sauf erreur, plusieurs sites sont concernés.

Outils communs de monitoring des transferts de données

PRELIMINAIRE : à reprendre à l'issue des corrections de configuration évoquées ci-dessus

Dashboard WLCG : http://dashb-wlcg-transfers.cern.ch/ui

ALICE, ATLAS, CMS, LHCb - Transfers FTS & XRootD Dashboard : http://dashb-wlcg-transfers.cern.ch/ui

  • Attention à la complexité => risque de devoir patienter et de se perdre.
  • Mieux vaut se limiter aux statistiques sur 4 ou 24h
  • Toutes les options ne sont pas actives dans toutes les conditions.
    • Dans le cas des trafics FTS, il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy .
  • Attention : les noms de site différent selon la VO
  • Pb Filtre VO=ALICE :
  • Limitations : monitoring partiel du trafic local, pb de configuration du monitoring XRootD dans certains sites, IN2P3failover - domaine commun aux sites)
  • difficulté d’interprétation dans le cas de GRIF, dst/src versus input/output
  • Vue d’ensemble toutes VOs confondues des accès remote. On retrouve un peu ce que l’on sait déjà : aujourd’hui, trafics dominés par les transferts FTS (ATLAS,CMS). Intérêt au niveau d’un site (?), peut être pas l’outil le plus approprié
  1. Extraits (FC) du Dashboard WLCG (ALICE, ATLAS,CMS,LHCb Transferts FTS & XRootd)
  2. Extraits (FC) du Dashboard FTS : http://dashb-fts-transfers.cern.ch/ui
  3. Dashboard XRootD : http://dashb-wdt-xrootd.cern.ch/ui

Outils spécifiques aux VOs

Liens divers

Récupérée de « http://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&oldid=7863 »