Difference between revisions of "WLCG Data transfers"

Un article de lcgwiki.
Jump to: navigation, search
(→‎Monitoring XRootD (pb de configuration dans certains sites))
Ligne 48: Ligne 48:
 
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)
 
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)
  
−
== Monitoring XRootD (pb de configuration dans certains sites) ==
+
== Monitoring XRootD ATLAS/CMS(pb de configuration dans certains sites) ==
−
Pourquoi dans certains sites, il n'y a clairement pas de monitoring des trafics XrootD alors qu'on voit des choses au LPSC par ex. ?
+
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS
−
Trafics ATLAS monitorés au LPSC mais pas dans tous les sites :
+
Dans le cas ATLAS, les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC mais ce n'est pas le cas partout :
 
# http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)
 
# http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)
 +
# http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)
  
 
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor  :<br>
 
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor  :<br>

Version du 10:11, 27 avril 2016

Mars 2016 Petit Tour des Dashboards de monitoring des transferts de données :


Outils communs de monitoring des transferts de données

PRELIMINAIRE

Dashboard WLCG

ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard : http://dashb-wlcg-transfers.cern.ch/ui
Extraits (FC) du Dashboard WLCG (ALICE, ATLAS,CMS,LHCb Transferts FTS & XRootd)

  • Attention à la complexité => risque de devoir patienter et de se perdre.
  • Mieux vaut se limiter aux statistiques sur 4 ou 24h
  • Toutes les options ne sont pas actives dans toutes les conditions.
    • Dans le cas des trafics FTS, il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy .
  • Attention : les noms de site différent selon la VO
  • Pb Filtre VO=ALICE :
  • Limitations : monitoring partiel du trafic local, pb de configuration du monitoring XRootD dans certains sites (cf. paragraphe 4.), IN2P3failover - domaine commun aux sites)
  • difficulté d’interprétation dans le cas de GRIF, dst/src versus input/output
  • Vue d’ensemble toutes VOs confondues des accès remote. On retrouve un peu ce que l’on sait déjà : aujourd’hui, trafics dominés par les transferts FTS (ATLAS,CMS). Intérêt au niveau d’un site (?), peut être pas l’outil le plus approprié

Dashboard FTS

ATLAS, CMS, LHCb - uniquement transferts FTS : http://dashb-fts-transfers.cern.ch/ui
Extraits (FC) du Dashboard FTS

  • Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/
  • Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG

Dashboard XRooTD

'ATLAS, CMS - uniquement trafics XRootD ': http://dashb-wdt-xrootd.cern.ch/ui


Monitoring XRootD ATLAS/CMS(pb de configuration dans certains sites)

Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS Dans le cas ATLAS, les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC mais ce n'est pas le cas partout :

  1. http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)
  2. http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)

Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor  :
1 / au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)
2/ au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)

Liens vers les pages qui font foi :

  1. https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring
  2. https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew

Il reste à vérifier/modifier ce point car, sauf erreur, plusieurs sites sont concernés. Demander également à Renaud de vérifier que le plugin dCache en chargedu monitoring XRootd est bien configuré au CC pour la remontée des infos ATLAS et CMS. Ce n'est pas certain au vu du contenu des dashboards WLCG.

Outils spécifiques aux VOs

Liens divers

Récupérée de « http://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&oldid=7903 »