Difference between revisions of "Dashb-wlcg-transfers"
(→Trafics XRootD @ SUBATECH) |
|||
| Ligne 62: | Ligne 62: | ||
== Trafics XRootD @ SUBATECH == | == Trafics XRootD @ SUBATECH == | ||
* Comment se compare le dashboard WLCG avec ce qui est montré dans Monalisa ? | * Comment se compare le dashboard WLCG avec ce qui est montré dans Monalisa ? | ||
| − | * WLCG fournit une vision synthétique du trafic remote vs local | + | * WLCG fournit une vision synthétique du trafic remote vs local (volumétrie concernée et site distant concerné) |
| + | ** Attention : Valeurs Throughput sont des débits moyens (sur la largeur dy bin au niveau du plot, sur la plage demandée au niveau de la table "matrix") | ||
| + | ** Trafic IN/OUT pas facile à visualiser. L'option Transfer mode : Reading / Copy n'est pas facilement utilisable / vraiment utile (?) | ||
| + | |||
[[File:20160307-Subatech_24h.jpg|800px|thumb|center|Liens utilisés :<br> | [[File:20160307-Subatech_24h.jpg|800px|thumb|center|Liens utilisés :<br> | ||
| Ligne 68: | Ligne 71: | ||
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071800&date.to=201603081800&src.site=(SUBATECH) <br> | - http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071800&date.to=201603081800&src.site=(SUBATECH) <br> | ||
- http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0)&date.from=201603071800&date.interval=0&date.to=201603081800&dst.site=(SUBATECH) accès local]] | - http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0)&date.from=201603071800&date.interval=0&date.to=201603081800&dst.site=(SUBATECH) accès local]] | ||
| + | |||
| + | * Monalisa identifie clairement le trafic IN vs OUT et propose de nombreuses vues (différentes ou pas) plus détaillées. Ci-dessous les plots: | ||
| + | ** => "Network Traffic" => "Clients per SE" => Select source site : Subatech => Traffic seen by the Subatech servers | ||
| + | ** => "Network Traffic" => "SE per Clients" => Select client site : Subatech => Traffic generated by applications at Subatech | ||
Version du 15:27, 22 mars 2016
ALICE, ATLAS, CMS, LHCb - Transfers FTS & XRootD Dashboard : http://dashb-wlcg-transfers.cern.ch/ui
- Attention à la complexité => risque de devoir patienter et de se perdre. Mieux vaut se limiter aux statistiques sur 24h
- Toutes les options ne sont pas actives dans toutes les conditions. Attention : les noms de site différent selon la VO, difficulté d’interprétation dans le cas de GRIF, dst/src versus input/output
- Limitations (monitoring partiel du trafic local, IN2P3failover)
- Pb Filtre VO=ALICE : country=France, => uniquement Subatech
- Intérêt pour une vue d’ensemble toutes VOs confondues des accès remote. On retrouve un peu ce que l’on sait déjà : aujourd’hui, trafics dominés par les transferts FTS (ATLAS,CMS). Intérêt au niveau d’un site (?), peut être pas l’outil le plus approprié
Sommaire
Transferts sur 24h à destination des sites LCGFR par VO
- Sur les dernières 24h00 (4h par défaut):
- Les noms de site différent selon les VOs, d'où une certaine complexité assez bien gérée par le dashboard.
- Problème (bug) cependant avec le filtre dst.country=(France) pour la VO ALICE ; subatech est le seul site à sortir.
- Le filtre par site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble) a l'air de fonctioner pour l'ensembles des sites FR et des VOs
- IN2P3failover (!) affecte le monitoring des transferts (XRootd) ATLAS et CMS.
Liens utilisés :
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&p.type=sum
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.country=(FRANCE)&grouping.dst=(site)&m.content=(g_efficiency,g_throughput,g_volume)&tab=matrix&vo=(cms)
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&p.type=sum
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.country=(FRANCE)&grouping.dst=(site)&m.content=(g_efficiency,g_throughput,g_volume)&tab=matrix&vo=(cms)
Liens utilisés :
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.country=(FRANCE)&technology=(fts)
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&grouping.dst=(site)&p.type=sum&technology=(xrootd)
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.country=(FRANCE)&technology=(fts)
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&grouping.dst=(site)&p.type=sum&technology=(xrootd)
Liens utilisés :
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.country=(FRANCE)&p.grouping=technology&vo=(cms)
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.country=(FRANCE)&p.grouping=technology&vo=(cms)&p.type=sum
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.country=(FRANCE)&p.grouping=technology&vo=(cms)
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.country=(FRANCE)&p.grouping=technology&vo=(cms)&p.type=sum
Transferts sur 24h depuis les sites LCGFR par VO
- Sur les dernières 24h00 (4h par défaut):
- http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&src.country=(FRANCE)
- http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&src.country=(FRANCE)&p.type=sum
- http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&src.country=(FRANCE)&grouping.src=(site)&m.content=(g_efficiency,g_throughput,g_volume)&tab=matrix&m.transpose=true
- Pb avec le filtre dst.country=(France) ; comparer :
- IN2P3failover (!) affecte le monitoring des transferts (XRootd) ATLAS et CMS.
Liens utilisés :
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&p.type=sum
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.country=(FRANCE)&grouping.src=(site)&m.content=(g_efficiency,g_throughput,g_volume)&tab=matrix&m.transpose=true&vo=(cms)
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&grouping.src=(site)&m.content=(g_efficiency,g_throughput,g_volume)&tab=matrix&m.transpose=true&vo=(alice)
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&p.type=sum
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.country=(FRANCE)&grouping.src=(site)&m.content=(g_efficiency,g_throughput,g_volume)&tab=matrix&m.transpose=true&vo=(cms)
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&grouping.src=(site)&m.content=(g_efficiency,g_throughput,g_volume)&tab=matrix&m.transpose=true&vo=(alice)
Liens utilisés :
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.country=(FRANCE)&technologu=(fts)
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&technology=(xrootd)
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.country=(FRANCE)&technologu=(fts)
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&technology=(xrootd)
Liens utilisés :
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.country=(FRANCE)&p.grouping=technology&vo=(atlas)
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.country=(FRANCE)&p.grouping=technology&vo=(atlas)&p.type=sum
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.country=(FRANCE)&p.grouping=technology&vo=(atlas)
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.country=(FRANCE)&p.grouping=technology&vo=(atlas)&p.type=sum
Bilan : Transferts sur 24h à destination des /depuis les sites LCGFR par VO
Trafics XRootD @ SUBATECH
- Comment se compare le dashboard WLCG avec ce qui est montré dans Monalisa ?
- WLCG fournit une vision synthétique du trafic remote vs local (volumétrie concernée et site distant concerné)
- Attention : Valeurs Throughput sont des débits moyens (sur la largeur dy bin au niveau du plot, sur la plage demandée au niveau de la table "matrix")
- Trafic IN/OUT pas facile à visualiser. L'option Transfer mode : Reading / Copy n'est pas facilement utilisable / vraiment utile (?)
Liens utilisés :
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071800&date.to=201603081800&dst.site=(SUBATECH) accès remote par défaut
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071800&date.to=201603081800&src.site=(SUBATECH)
- http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0)&date.from=201603071800&date.interval=0&date.to=201603081800&dst.site=(SUBATECH) accès local
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071800&date.to=201603081800&dst.site=(SUBATECH) accès remote par défaut
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071800&date.to=201603081800&src.site=(SUBATECH)
- http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0)&date.from=201603071800&date.interval=0&date.to=201603081800&dst.site=(SUBATECH) accès local
- Monalisa identifie clairement le trafic IN vs OUT et propose de nombreuses vues (différentes ou pas) plus détaillées. Ci-dessous les plots:
- => "Network Traffic" => "Clients per SE" => Select source site : Subatech => Traffic seen by the Subatech servers
- => "Network Traffic" => "SE per Clients" => Select client site : Subatech => Traffic generated by applications at Subatech
