Difference between revisions of "Dashb-wlcg-transfers"

Un article de lcgwiki.
Jump to: navigation, search
(Transferts sur 24h à destination des sites LCGFR par VO et par techno. (fts, xrootd))
(Transferts à destination des sites LCGFR par VO (en accès remote sur 24h))
 
(34 intermediate revisions by the same user not shown)
Ligne 1: Ligne 1:
'''ALICE, ATLAS, CMS, LHCb  - Transfers FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui
+
'''ALICE, ATLAS, CMS, LHCb  - Transfers FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui
 +
 
 +
__TOC__
 +
[http://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers <== Retour à la page WLCG_Data_Transfers]
  
*Attention à la complexité  => risque de devoir patienter et de se perdre. Mieux vaut se limiter aux statistiques sur 24h
 
*Toutes les options ne sont pas actives dans toutes les conditions. Attention : les noms de site différent selon la VO, difficulté d’interprétation dans le cas de GRIF, dst/src versus input/output
 
* Limitations (monitoring partiel du trafic local, IN2P3failover)
 
* Pb Filtre VO=ALICE : country=France, => uniquement Subatech
 
* Intérêt pour une vue d’ensemble toutes VOs confondues des accès remote. On retrouve un peu ce que l’on sait déjà : aujourd’hui, trafics dominés par les transferts FTS (ATLAS,CMS). Intérêt au niveau d’un site (?), peut être pas l’outil le plus approprié
 
  
__TOC__
 
  
== Transferts sur 24h à destination des sites LCGFR par VO ==
+
== Transferts à destination des sites LCGFR par VO (en accès remote sur 24h) ==
 
* Sur les dernières 24h00 (4h par défaut):
 
* Sur les dernières 24h00 (4h par défaut):
 
**http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&dst.country=(FRANCE)
 
**http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&dst.country=(FRANCE)
Ligne 19: Ligne 16:
 
**IN2P3failover (!) affecte le monitoring des transferts (XRootd) ATLAS et CMS.   
 
**IN2P3failover (!) affecte le monitoring des transferts (XRootd) ATLAS et CMS.   
  
[[File:20160307-destFRsites_24h.jpg|800px|thumb|Liens utilisés : <br>  
+
[[File:20160307-destFRsites_24h.jpg|800px|thumb|center|Liens utilisés : <br>  
 
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)<br>
 
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)<br>
 
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&p.type=sum <br>
 
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&p.type=sum <br>
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.country=(FRANCE)&grouping.dst=(site)&m.content=(g_efficiency,g_throughput,g_volume)&tab=matrix&vo=(cms)]]
+
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&grouping.dst=(site)&m.content=(g_efficiency,g_throughput,g_volume)&tab=matrix&vo=(cms)]]
  
[[File:20160307-destFRsites_24hFTSvsXRootD.jpg|800px|thumb|Liens utilisés : <br>  
+
[[File:20160307-destFRsites_24hFTSvsXRootD.jpg|800px|thumb|center|Liens utilisés : <br>  
 
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.country=(FRANCE)&technology=(fts)<br>  
 
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.country=(FRANCE)&technology=(fts)<br>  
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&grouping.dst=(site)&p.type=sum&technology=(xrootd)]]
+
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&grouping.dst=(site)&p.type=sum&technology=(xrootd)]]              
               
 
 
                        
 
                        
== Transferts sur 24h à destination des sites LCGFR par VO et par techno. (fts, xrootd) ==
+
[[File:20160307-destFRsites_24hFTSvsXRootD-CMS.jpg|800px|thumb|center|Liens utilisés : <br>  
 
+
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.country=(FRANCE)&p.grouping=technology&vo=(cms)<br>
<br>[[File:20160307-destFRsites_24hFTSvsXRootD-CMS.jpg|800px|thumb|left|Liens utilisés : <br>  
 
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.country=(FRANCE)&p.grouping=technology&vo=(cms<br>
 
 
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.country=(FRANCE)&p.grouping=technology&vo=(cms)&p.type=sum]]
 
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.country=(FRANCE)&p.grouping=technology&vo=(cms)&p.type=sum]]
  
== Transferts sur 24h à destination des sites LCGFR par VO ==
+
== Transferts sur 24h depuis les sites LCGFR par VO (accès remote) ==
 
* Sur les dernières 24h00 (4h par défaut):
 
* Sur les dernières 24h00 (4h par défaut):
 
**http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&src.country=(FRANCE)
 
**http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&src.country=(FRANCE)
Ligne 41: Ligne 35:
 
**http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&src.country=(FRANCE)&grouping.src=(site)&m.content=(g_efficiency,g_throughput,g_volume)&tab=matrix&m.transpose=true
 
**http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&src.country=(FRANCE)&grouping.src=(site)&m.content=(g_efficiency,g_throughput,g_volume)&tab=matrix&m.transpose=true
  
*Les noms de site différent selon les VOs, d'où une certaine complexité assez bien gérée par le dashboard.
+
* Pb avec le filtre dst.country=(France) ; comparer :
**Dans ce cas, le filtre dst.country=(France)semble fonctionner. Comparer :
+
** http://dashb-wlcg-transfers.cern.ch/ui/#src.country=(FRANCE)
*** http://dashb-wlcg-transfers.cern.ch/ui/#src.country=(FRANCE)
+
** http://dashb-wlcg-transfers.cern.ch/ui/#src.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)
*** http://dashb-wlcg-transfers.cern.ch/ui/#src.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)
+
* IN2P3failover (!) affecte le monitoring des transferts (XRootd) ATLAS et CMS.   
**IN2P3failover (!) affecte le monitoring des transferts (XRootd) ATLAS et CMS.   
+
 
 +
[[File:20160307-srcFRsites_24h.jpg|800px|thumb|center|Liens utilisés : <br>
 +
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)<br>
 +
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&p.type=sum<br>
 +
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.country=(FRANCE)&grouping.src=(site)&m.content=(g_efficiency,g_throughput,g_volume)&tab=matrix&m.transpose=true&vo=(cms)<br>
 +
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&grouping.src=(site)&m.content=(g_efficiency,g_throughput,g_volume)&tab=matrix&m.transpose=true&vo=(alice)  ]]
 +
 
 +
[[File:20160307-srcFRsites_24hFTSvsXRootd.jpg|800px|thumb|center|Liens utilisés : <br>
 +
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.country=(FRANCE)&technologu=(fts)<br>
 +
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&technology=(xrootd)]]
 +
 
 +
[[File:20160307-srcFRsites_24hFTSvsXRootD-ATLAS.jpg|800px|thumb|center|Liens utilisés :<br>
 +
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.country=(FRANCE)&p.grouping=technology&vo=(atlas)<br>
 +
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.country=(FRANCE)&p.grouping=technology&vo=(atlas)&p.type=sum]]
 +
 
 +
== Bilan : Transferts à destination des /depuis les sites LCGFR par VO (en accès remote sur 24h)==
 +
[[File:20160307-FRsites_24h.jpg|800px|thumb|center]]
 +
 
 +
== Trafics XRootD @ SUBATECH ==
 +
* Comment se compare le dashboard WLCG avec ce qui est montré dans Monalisa ?
 +
* WLCG fournit une vision synthétique du trafic remote vs local (volumétrie concernée et site distant concerné)
 +
** Attention : Valeurs Throughput sont des débits moyens (sur la largeur dy bin au niveau du plot, sur la plage demandée au niveau de la table "matrix")
 +
** Trafic IN/OUT pas facile à visualiser. L'option Transfer mode : Reading / Copy n'est pas facilement utilisable / vraiment utile (?) 
 +
 
 +
 
 +
[[File:20160307-Subatech_24h.jpg|800px|thumb|center|Liens utilisés :<br>
 +
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071800&date.to=201603081800&dst.site=(SUBATECH) accès remote par défaut<br>
 +
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071800&date.to=201603081800&src.site=(SUBATECH)  <br>
 +
- http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0)&date.from=201603071800&date.interval=0&date.to=201603081800&dst.site=(SUBATECH) accès local]]
 +
 
 +
* Monalisa identifie clairement le trafic IN vs OUT et propose de nombreuses vues (différentes ou pas) plus détaillées qui permettent de retrouver les accès Remote vs Local : 
 +
** "Network Traffic" - "SE per Clients" => Select client site : Subatech => Traffic generated by applications at Subatech
 +
** "Network Traffic" - "Clients per SE" => Select source site : Subatech => Traffic seen by the Subatech servers
 +
* Ci-dessous les plots Monalisa qui semblent cohérents avec ceux du monitoring WLCG
 +
[[File:20160307-Subatech_24hRemote.jpg|800px|thumb|center|Liens utilisés :<br>
 +
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071800&date.to=201603081800&dst.site=(SUBATECH)&p.bin.size=10m accès remote par défaut <br>
 +
- http://alimonitor.cern.ch/display Traffic generated at Subatech (client site : Subatech) to CERN-EOS]]
 +
[[File:20160307-Subatech_24hLocal.jpg|800px|thumb|center|Liens utilisés :<br>
 +
- http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0)&date.from=201603071800&date.to=201603081800&dst.site=(SUBATECH)&p.bin.size=10m accès remote par défaut <br>
 +
- http://alimonitor.cern.ch/display Traffic seen by Subatech (source site : Subatech) generated by Subatech]]
 +
 
 +
== Trafics @ LPSC ==
 +
* Le LPSC est un bon exemple car on voit du trafic XRootD (remote et local) pour 2 VOs ATLAS et ALICE. 
 +
* Pour ATLAS, on peut visualiser (sur les 4 dernières heures):
 +
** la totalité des trafics fts et XRootD vers le LPSC : http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)
 +
** les modes d'accès remote vs local pour XRootD depuis le LPSC : http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPSC)&p.grouping=access_type&technology=(xrootd)&vo=(atlas) 
 +
** les modes de transfert copy vs reading des accès XRootD Remote au LPSC : http://dashb-wlcg-transfers.cern.ch/ui/#p.grouping=transfer_mode&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)
 +
 
 +
[[File:20160307-LPSC_24hRemoteLocal.jpg|800px|thumb|center|Liens utilisés :<br>
 +
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.site=(IN2P3-LPSC,Grenoble)
 +
préciser site Grenoble pour obtenir le trafic ALICE, accès remote par défaut <br>
 +
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.site=(IN2P3-LPSC,Grenoble)<br>
 +
- http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0)&date.from=201603071700&date.to=201603081700&src.site=(IN2P3-LPSC,Grenoble) accès local]]
  
 +
[[File:20160307-LPSC 24hFTSvsXRootD-ATLAS.jpg|800px|thumb|center|Liens utilisés :<br>
 +
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&p.grouping=technology&dst.site=(IN2P3-LPSC)&vo=(atlas)<br>
 +
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&p.grouping=technology&src.site=(IN2P3-LPSC)&vo=(atlas)<br>
 +
- http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0)&date.from=201603071700&date.to=201603081700&p.grouping=technology&src.site=(IN2P3-LPSC)&vo=(atlas)
 +
accès local]]
  
[[File:20160307-srcFRsites_24h.jpg|800px|thumb|Liens utilisés : <br>
+
[[File:20160307-LPSC_24h.jpg|800px|thumb|center|Bilan des accès Remote pour le LPSC à partir des plots de type SUM]]
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.country=(FRANCE)<br>
 
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.country=(FRANCE)&p.type=sum<br>
 
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.country=(FRANCE)&grouping.src=(site)&m.content=(g_efficiency,g_throughput,g_volume)&tab=matrix&vo=(cms)]]
 

Latest revision as of 15:56, 29 avril 2016

ALICE, ATLAS, CMS, LHCb - Transfers FTS & XRootD Dashboard : http://dashb-wlcg-transfers.cern.ch/ui

<== Retour à la page WLCG_Data_Transfers


Transferts à destination des sites LCGFR par VO (en accès remote sur 24h)

Transferts sur 24h depuis les sites LCGFR par VO (accès remote)

Bilan : Transferts à destination des /depuis les sites LCGFR par VO (en accès remote sur 24h)

20160307-FRsites 24h.jpg

Trafics XRootD @ SUBATECH

  • Comment se compare le dashboard WLCG avec ce qui est montré dans Monalisa ?
  • WLCG fournit une vision synthétique du trafic remote vs local (volumétrie concernée et site distant concerné)
    • Attention : Valeurs Throughput sont des débits moyens (sur la largeur dy bin au niveau du plot, sur la plage demandée au niveau de la table "matrix")
    • Trafic IN/OUT pas facile à visualiser. L'option Transfer mode : Reading / Copy n'est pas facilement utilisable / vraiment utile (?)


  • Monalisa identifie clairement le trafic IN vs OUT et propose de nombreuses vues (différentes ou pas) plus détaillées qui permettent de retrouver les accès Remote vs Local :
    • "Network Traffic" - "SE per Clients" => Select client site : Subatech => Traffic generated by applications at Subatech
    • "Network Traffic" - "Clients per SE" => Select source site : Subatech => Traffic seen by the Subatech servers
  • Ci-dessous les plots Monalisa qui semblent cohérents avec ceux du monitoring WLCG
Liens utilisés :
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071800&date.to=201603081800&dst.site=(SUBATECH)&p.bin.size=10m accès remote par défaut
- http://alimonitor.cern.ch/display Traffic generated at Subatech (client site : Subatech) to CERN-EOS
Liens utilisés :
- http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0)&date.from=201603071800&date.to=201603081800&dst.site=(SUBATECH)&p.bin.size=10m accès remote par défaut
- http://alimonitor.cern.ch/display Traffic seen by Subatech (source site : Subatech) generated by Subatech

Trafics @ LPSC

Bilan des accès Remote pour le LPSC à partir des plots de type SUM