WLCG Data transfers

Un article de lcgwiki.
Revision as of 10:48, 27 avril 2016 by Chollet (talk | contribs) (→‎Monitoring XRootD ATLAS / CMS (pb de configuration dans certains sites))
Jump to: navigation, search

Mars 2016 Petit Tour des Dashboards de monitoring des transferts de données :


Outils communs de monitoring des transferts de données

PRELIMINAIRE

Dashboard WLCG

ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard : http://dashb-wlcg-transfers.cern.ch/ui
Extraits (FC) du Dashboard WLCG (ALICE, ATLAS,CMS,LHCb Transferts FTS & XRootd)

  • Attention à la complexité => risque de devoir patienter et de se perdre.
  • Mieux vaut se limiter aux statistiques sur 4 ou 24h
  • Toutes les options ne sont pas actives dans toutes les conditions.
    • Dans le cas des trafics FTS, il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy .
  • Attention : les noms de site différent selon la VO
  • Pb Filtre VO=ALICE :
  • Limitations : monitoring partiel du trafic local, pb de configuration du monitoring XRootD dans certains sites (cf. paragraphe 4.), IN2P3failover - domaine commun aux sites)
  • difficulté d’interprétation dans le cas de GRIF, dst/src versus input/output
  • Vue d’ensemble toutes VOs confondues des accès remote. On retrouve un peu ce que l’on sait déjà : aujourd’hui, trafics dominés par les transferts FTS (ATLAS,CMS). Intérêt au niveau d’un site (?), peut être pas l’outil le plus approprié

Dashboard FTS

ATLAS, CMS, LHCb - uniquement transferts FTS : http://dashb-fts-transfers.cern.ch/ui
Extraits (FC) du Dashboard FTS

  • Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/
  • Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG

Dashboard XRooTD

'ATLAS, CMS - uniquement trafics XRootD ': http://dashb-wdt-xrootd.cern.ch/ui


Monitoring XRootD ATLAS / CMS (pb de configuration dans certains sites)

Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS

ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :

CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :

Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor  :

  1. au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)
  2. au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)

Liens vers les pages qui font foi :

Il reste à vérifier/modifier ce point car, sauf erreur, plusieurs sites sont concernés. Demander également à Renaud de vérifier que le plugin dCache en chargedu monitoring XRootd est bien configuré au CC pour la remontée des infos ATLAS et CMS. Ce n'est pas certain au vu du contenu des dashboards WLCG.

Outils spécifiques aux VOs

Liens divers

Récupérée de « http://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&oldid=7906 »