Difference between revisions of "Dashb-wlcg-transfers"
(→Dashboard WLCG : http://dashb-wlcg-transfers.cern.ch/ui) |
(→Transferts à destination des sites LCGFR par VO (en accès remote sur 24h)) |
||
(63 intermediate revisions by the same user not shown) | |||
Ligne 1: | Ligne 1: | ||
− | + | '''ALICE, ATLAS, CMS, LHCb - Transfers FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui | |
− | + | __TOC__ | |
− | * | + | [http://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers <== Retour à la page WLCG_Data_Transfers] |
− | * | + | |
− | + | ||
− | + | ||
+ | == Transferts à destination des sites LCGFR par VO (en accès remote sur 24h) == | ||
+ | * Sur les dernières 24h00 (4h par défaut): | ||
+ | **http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&dst.country=(FRANCE) | ||
+ | **http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&dst.country=(FRANCE)&p.type=sum | ||
+ | **http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&dst.country=(FRANCE)&grouping.dst=(site)&tab=matrix | ||
+ | *Les noms de site différent selon les VOs, d'où une certaine complexité assez bien gérée par le dashboard. | ||
+ | **Problème (bug) cependant avec le filtre dst.country=(France) pour la VO ALICE ; subatech est le seul site à sortir. | ||
+ | **Le filtre par site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble) a l'air de fonctioner pour l'ensembles des sites FR et des VOs | ||
+ | **IN2P3failover (!) affecte le monitoring des transferts (XRootd) ATLAS et CMS. | ||
+ | |||
+ | [[File:20160307-destFRsites_24h.jpg|800px|thumb|center|Liens utilisés : <br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)<br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&p.type=sum <br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&grouping.dst=(site)&m.content=(g_efficiency,g_throughput,g_volume)&tab=matrix&vo=(cms)]] | ||
+ | |||
+ | [[File:20160307-destFRsites_24hFTSvsXRootD.jpg|800px|thumb|center|Liens utilisés : <br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.country=(FRANCE)&technology=(fts)<br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&grouping.dst=(site)&p.type=sum&technology=(xrootd)]] | ||
+ | |||
+ | [[File:20160307-destFRsites_24hFTSvsXRootD-CMS.jpg|800px|thumb|center|Liens utilisés : <br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.country=(FRANCE)&p.grouping=technology&vo=(cms)<br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.country=(FRANCE)&p.grouping=technology&vo=(cms)&p.type=sum]] | ||
− | + | == Transferts sur 24h depuis les sites LCGFR par VO (accès remote) == | |
+ | * Sur les dernières 24h00 (4h par défaut): | ||
+ | **http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&src.country=(FRANCE) | ||
+ | **http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&src.country=(FRANCE)&p.type=sum | ||
+ | **http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&src.country=(FRANCE)&grouping.src=(site)&m.content=(g_efficiency,g_throughput,g_volume)&tab=matrix&m.transpose=true | ||
+ | |||
+ | * Pb avec le filtre dst.country=(France) ; comparer : | ||
+ | ** http://dashb-wlcg-transfers.cern.ch/ui/#src.country=(FRANCE) | ||
+ | ** http://dashb-wlcg-transfers.cern.ch/ui/#src.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble) | ||
+ | * IN2P3failover (!) affecte le monitoring des transferts (XRootd) ATLAS et CMS. | ||
+ | |||
+ | [[File:20160307-srcFRsites_24h.jpg|800px|thumb|center|Liens utilisés : <br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)<br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&p.type=sum<br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.country=(FRANCE)&grouping.src=(site)&m.content=(g_efficiency,g_throughput,g_volume)&tab=matrix&m.transpose=true&vo=(cms)<br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&grouping.src=(site)&m.content=(g_efficiency,g_throughput,g_volume)&tab=matrix&m.transpose=true&vo=(alice) ]] | ||
+ | |||
+ | [[File:20160307-srcFRsites_24hFTSvsXRootd.jpg|800px|thumb|center|Liens utilisés : <br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.country=(FRANCE)&technologu=(fts)<br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&technology=(xrootd)]] | ||
+ | |||
+ | [[File:20160307-srcFRsites_24hFTSvsXRootD-ATLAS.jpg|800px|thumb|center|Liens utilisés :<br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.country=(FRANCE)&p.grouping=technology&vo=(atlas)<br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.country=(FRANCE)&p.grouping=technology&vo=(atlas)&p.type=sum]] | ||
+ | |||
+ | == Bilan : Transferts à destination des /depuis les sites LCGFR par VO (en accès remote sur 24h)== | ||
+ | [[File:20160307-FRsites_24h.jpg|800px|thumb|center]] | ||
+ | |||
+ | == Trafics XRootD @ SUBATECH == | ||
+ | * Comment se compare le dashboard WLCG avec ce qui est montré dans Monalisa ? | ||
+ | * WLCG fournit une vision synthétique du trafic remote vs local (volumétrie concernée et site distant concerné) | ||
+ | ** Attention : Valeurs Throughput sont des débits moyens (sur la largeur dy bin au niveau du plot, sur la plage demandée au niveau de la table "matrix") | ||
+ | ** Trafic IN/OUT pas facile à visualiser. L'option Transfer mode : Reading / Copy n'est pas facilement utilisable / vraiment utile (?) | ||
+ | |||
+ | |||
+ | [[File:20160307-Subatech_24h.jpg|800px|thumb|center|Liens utilisés :<br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071800&date.to=201603081800&dst.site=(SUBATECH) accès remote par défaut<br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071800&date.to=201603081800&src.site=(SUBATECH) <br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0)&date.from=201603071800&date.interval=0&date.to=201603081800&dst.site=(SUBATECH) accès local]] | ||
+ | |||
+ | * Monalisa identifie clairement le trafic IN vs OUT et propose de nombreuses vues (différentes ou pas) plus détaillées qui permettent de retrouver les accès Remote vs Local : | ||
+ | ** "Network Traffic" - "SE per Clients" => Select client site : Subatech => Traffic generated by applications at Subatech | ||
+ | ** "Network Traffic" - "Clients per SE" => Select source site : Subatech => Traffic seen by the Subatech servers | ||
+ | * Ci-dessous les plots Monalisa qui semblent cohérents avec ceux du monitoring WLCG | ||
+ | [[File:20160307-Subatech_24hRemote.jpg|800px|thumb|center|Liens utilisés :<br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071800&date.to=201603081800&dst.site=(SUBATECH)&p.bin.size=10m accès remote par défaut <br> | ||
+ | - http://alimonitor.cern.ch/display Traffic generated at Subatech (client site : Subatech) to CERN-EOS]] | ||
+ | [[File:20160307-Subatech_24hLocal.jpg|800px|thumb|center|Liens utilisés :<br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0)&date.from=201603071800&date.to=201603081800&dst.site=(SUBATECH)&p.bin.size=10m accès remote par défaut <br> | ||
+ | - http://alimonitor.cern.ch/display Traffic seen by Subatech (source site : Subatech) generated by Subatech]] | ||
+ | |||
+ | == Trafics @ LPSC == | ||
+ | * Le LPSC est un bon exemple car on voit du trafic XRootD (remote et local) pour 2 VOs ATLAS et ALICE. | ||
+ | * Pour ATLAS, on peut visualiser (sur les 4 dernières heures): | ||
+ | ** la totalité des trafics fts et XRootD vers le LPSC : http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas) | ||
+ | ** les modes d'accès remote vs local pour XRootD depuis le LPSC : http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPSC)&p.grouping=access_type&technology=(xrootd)&vo=(atlas) | ||
+ | ** les modes de transfert copy vs reading des accès XRootD Remote au LPSC : http://dashb-wlcg-transfers.cern.ch/ui/#p.grouping=transfer_mode&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas) | ||
+ | |||
+ | [[File:20160307-LPSC_24hRemoteLocal.jpg|800px|thumb|center|Liens utilisés :<br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.site=(IN2P3-LPSC,Grenoble) | ||
+ | préciser site Grenoble pour obtenir le trafic ALICE, accès remote par défaut <br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.site=(IN2P3-LPSC,Grenoble)<br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0)&date.from=201603071700&date.to=201603081700&src.site=(IN2P3-LPSC,Grenoble) accès local]] | ||
+ | |||
+ | [[File:20160307-LPSC 24hFTSvsXRootD-ATLAS.jpg|800px|thumb|center|Liens utilisés :<br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&p.grouping=technology&dst.site=(IN2P3-LPSC)&vo=(atlas)<br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&p.grouping=technology&src.site=(IN2P3-LPSC)&vo=(atlas)<br> | ||
+ | - http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0)&date.from=201603071700&date.to=201603081700&p.grouping=technology&src.site=(IN2P3-LPSC)&vo=(atlas) | ||
+ | accès local]] | ||
− | + | [[File:20160307-LPSC_24h.jpg|800px|thumb|center|Bilan des accès Remote pour le LPSC à partir des plots de type SUM]] | |
− | |||
− | |||
− |
Latest revision as of 15:56, 29 avril 2016
ALICE, ATLAS, CMS, LHCb - Transfers FTS & XRootD Dashboard : http://dashb-wlcg-transfers.cern.ch/ui
Sommaire
<== Retour à la page WLCG_Data_Transfers
Transferts à destination des sites LCGFR par VO (en accès remote sur 24h)
- Sur les dernières 24h00 (4h par défaut):
- Les noms de site différent selon les VOs, d'où une certaine complexité assez bien gérée par le dashboard.
- Problème (bug) cependant avec le filtre dst.country=(France) pour la VO ALICE ; subatech est le seul site à sortir.
- Le filtre par site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble) a l'air de fonctioner pour l'ensembles des sites FR et des VOs
- IN2P3failover (!) affecte le monitoring des transferts (XRootd) ATLAS et CMS.
Transferts sur 24h depuis les sites LCGFR par VO (accès remote)
- Sur les dernières 24h00 (4h par défaut):
- http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&src.country=(FRANCE)
- http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&src.country=(FRANCE)&p.type=sum
- http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&src.country=(FRANCE)&grouping.src=(site)&m.content=(g_efficiency,g_throughput,g_volume)&tab=matrix&m.transpose=true
- Pb avec le filtre dst.country=(France) ; comparer :
- IN2P3failover (!) affecte le monitoring des transferts (XRootd) ATLAS et CMS.
Bilan : Transferts à destination des /depuis les sites LCGFR par VO (en accès remote sur 24h)
Trafics XRootD @ SUBATECH
- Comment se compare le dashboard WLCG avec ce qui est montré dans Monalisa ?
- WLCG fournit une vision synthétique du trafic remote vs local (volumétrie concernée et site distant concerné)
- Attention : Valeurs Throughput sont des débits moyens (sur la largeur dy bin au niveau du plot, sur la plage demandée au niveau de la table "matrix")
- Trafic IN/OUT pas facile à visualiser. L'option Transfer mode : Reading / Copy n'est pas facilement utilisable / vraiment utile (?)
- Monalisa identifie clairement le trafic IN vs OUT et propose de nombreuses vues (différentes ou pas) plus détaillées qui permettent de retrouver les accès Remote vs Local :
- "Network Traffic" - "SE per Clients" => Select client site : Subatech => Traffic generated by applications at Subatech
- "Network Traffic" - "Clients per SE" => Select source site : Subatech => Traffic seen by the Subatech servers
- Ci-dessous les plots Monalisa qui semblent cohérents avec ceux du monitoring WLCG
Trafics @ LPSC
- Le LPSC est un bon exemple car on voit du trafic XRootD (remote et local) pour 2 VOs ATLAS et ALICE.
- Pour ATLAS, on peut visualiser (sur les 4 dernières heures):
- la totalité des trafics fts et XRootD vers le LPSC : http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)
- les modes d'accès remote vs local pour XRootD depuis le LPSC : http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPSC)&p.grouping=access_type&technology=(xrootd)&vo=(atlas)
- les modes de transfert copy vs reading des accès XRootD Remote au LPSC : http://dashb-wlcg-transfers.cern.ch/ui/#p.grouping=transfer_mode&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)