Difference between revisions of "WLCG Data transfers"

Un article de lcgwiki.
Jump to: navigation, search
(→‎XRootD Monitoring : Site resolution in France)
 
(One intermediate revision by one other user not shown)
Ligne 160: Ligne 160:
 
                     "Country": "France"
 
                     "Country": "France"
 
                 },
 
                 },
−
                 "sbgwn": {
+
                 "sbg": {
 
                     "VOname": "T2_FR_IPHC",
 
                     "VOname": "T2_FR_IPHC",
 
                     "SiteName": "IN2P3-IRES",
 
                     "SiteName": "IN2P3-IRES",
Ligne 184: Ligne 184:
 
== Outils spécifiques aux VOs ==
 
== Outils spécifiques aux VOs ==
 
* ALICE :   
 
* ALICE :   
−
** MonALISA : http://alimonitor.cern.ch
+
** '''Visualiser le traffic réseau des serveurs de stockage d'un site (tous clients confondus LAN/WAN) :'''
 +
*** MonALISA    : http://alimonitor.cern.ch/display : SE information -> xrootd -> Per SE details -> Traffic
 +
*** Lien direct  : http://alimonitor.cern.ch/display?page=xrootdse/by_se
 +
*** "Select SE" pour sélectionner un site
 +
** '''Visualiser le traffic réseau "Total" (LAN+WAN) d'un site :'''
 +
*** MonALISA    : http://alimonitor.cern.ch/display : Network Traffic -> Server total
 +
*** Lien direct  : http://alimonitor.cern.ch/display?page=xrdagg/total
 +
*** Onglet "Series", sélectionner un site
 +
** '''Visualiser le traffic réseau LAN ou WAN d'un site :'''
 +
*** MonALISA    : http://alimonitor.cern.ch/display : Network Traffic -> LAN/WAN traffic
 +
*** Lien direct  : http://alimonitor.cern.ch/display?page=xrdagg/lan_wan
 +
*** Onglet "Series", sélectionner un site
 +
*** Onglet "Options", LAN / WAN
 +
** '''Quel sont les clients d'un SE (traffic réseau générés par les clients distants d'un SE) :'''
 +
*** MonALISA     : http://alimonitor.cern.ch/display : Network Traffic -> Clients per SE
 +
*** Lien direct  : http://alimonitor.cern.ch/display?page=xrdagg/site
 +
*** Onglet "Series" : sélectionner les sites clients
 +
*** Onglet "Options", "Select source site" : sélectionner le SE
 +
** '''Quel est le traffic réseau généré par les jobs exécutés sur un site ? Où vont-ils lire les données ?'''
 +
*** MonALISA    : http://alimonitor.cern.ch/display : Network Traffic -> SEs per client
 +
*** Lien direct  : http://alimonitor.cern.ch/display?page=xrdagg/client
 +
*** Onglet "Series" : sélectionner les SE
 +
*** Onglet "Options", "Select client site" : sélectionner le site qui exécute les jobs.
 +
 
 
* ATLAS :
 
* ATLAS :
 
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2
 
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2

Latest revision as of 15:29, 17 mars 2017

Mars 2016 Petit Tour des Dashboards de monitoring des transferts de données :


Outils communs de monitoring des transferts de données

PRELIMINAIRE

Dashboard WLCG

ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard : http://dashb-wlcg-transfers.cern.ch/ui
Voir certains extraits du Dashboard WLCG

Dashboard FTS

ATLAS, CMS, LHCb - uniquement transferts FTS : http://dashb-fts-transfers.cern.ch/ui
Extraits (FC) du Dashboard FTS

  • Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/
  • Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG

Dashboard XRooTD

'ATLAS, CMS - uniquement trafics XRootD ': http://dashb-wdt-xrootd.cern.ch/ui

Monitoring XRootD ATLAS / CMS (configuration du)

Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS

ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :

CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :

Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor  :

  1. au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)
  2. au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)

Liens vers les pages qui font foi :

Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.

XRootD Monitoring : Site resolution in France

Affichage "n/a"

TABLE A VERIFIER-CORRIGER

For the xrootd dashboard the mapping is done with a static lookup of the client domain to a known list of grid sites (e.g."client_domain":"lal.in2p3.fr" is mapped to GRIF). If the mapping fails, the statistics is reported to the n/a category, as a fallback. For France in particular, if a client log arrives with the "in2p3" domain without a known sub-domain, it goes into a "IN2P3failover" category. 

  VERSION CORRIGEE
  {
   "ATLAS": {
       "in2p3.fr": {
           "host_dict": {
               "lpn": {
                   "VOname": "GRIF-LPNHE",
                   "SiteName": "GRIF",
                   "Country": "France"
               },
               "lal": {
                   "VOname": "GRIF-LAL",
                   "SiteName": "GRIF",
                   "Country": "France"
               },
               "cc": {
                   "VOname": "IN2P3-CC",
                   "SiteName": "IN2P3-CC",
                   "Country": "France"
               },
               "mar": {
                   "VOname": "IN2P3-CPPM",
                   "SiteName": "IN2P3-CPPM",
                   "Country": "France"
               },
               "lapp": {
                   "VOname": "IN2P3-LAPP",
                   "SiteName": "IN2P3-LAPP",
                   "Country": "France"
               },
               "clr": {
                   "VOname": "IN2P3-LPC",
                   "SiteName": "IN2P3-LPC",
                   "Country": "France"
               },
               "lpsc": {
                   "VOname": "IN2P3-LPSC",
                   "SiteName": "IN2P3-LPSC",
                   "Country": "France"
               }
           },
           "SiteName": "IN2P3",
           "VOname": "IN2P3failover",
           "Country": "France"
       }
     }
   }



   {
   "CMS": {
       "in2p3.fr": {
           "host_dict": {               
               "lpn": {
                   "VOname": "T2_FR_GRIF_IRFU",
                   "SiteName": "GRIF",
                   "Country": "France"
               },
               "lal": {
                   "VOname": "T2_FR_GRIF_LLR",
                   "SiteName": "GRIF",
                   "Country": "France"
               },
               "cc": {
                   "VOname": "T1_FR_CCIN2P3",
                   "SiteName": "IN2P3-CC",
                   "Country": "France"
               }
               "pol": {
                   "VOname": "T2_FR_GRIF_LLR",
                   "SiteName": "GRIF",
                   "Country": "France"
               },
               "sbg": {
                   "VOname": "T2_FR_IPHC",
                   "SiteName": "IN2P3-IRES",
                   "Country": "France"
               },
               "llr": {
                   "VOname": "T2_FR_GRIF_LLR",
                   "SiteName": "GRIF",
                   "Country": "France"
               },
              "lyo": {
                   "VOname": "T3_FR_IPNL",
                   "SiteName": "IN2P3-IPNL",
                   "Country": "France"
              }
           },
           "SiteName": "IN2P3",
           "VOname": "IN2P3failover",
           "Country": "France"
       }
   }

Outils spécifiques aux VOs

Liens

Récupérée de « http://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&oldid=8079 »