http://lcg.in2p3.fr/wiki/api.php?action=feedcontributions&user=Chollet&feedformat=atomlcgwiki - Contributions [en]2024-03-29T08:17:22ZContributionsMediaWiki 1.31.0http://lcg.in2p3.fr/wiki/index.php?title=Tier_2:LAPP&diff=8514Tier 2:LAPP2021-07-22T16:01:07Z<p>Chollet: </p>
<hr />
<div>[[Image:LAPPlogo-f732e.png]][[Image:LAPP-2013-SalleInfo.jpg]]<br />
<br />
<br />
<br />
[[Tier_3:LAPP |Version Française ]] | [[Tier_3:LAPP_en|English Version ]]<br />
<br />
*Responsable Scientifique LCG : Stéphane Jezequel<br />
*Responsable Technique : Cécile Barbier <br />
*[https://lapp.in2p3.fr/ Site du LAPP] <br />
*[https://must-datacentre.fr/ Site du mésocentre MUST] <br />
<br />
Le site Tier 2 fait partie intégrante du mésocentre MUST de l'Université Savoie Mont-Blanc né en 2005 de la convergence des besoins des laboratoires l'Université et du LAPP qui souhaitait participer au Computing LHC.<br />
<br />
Ainsi, en réponse à un appel d’offre du Ministère délégué à l’enseignement supérieur et à la recherche, le LAPP et l’Université de Savoie ont proposé la création d’un mésocentre qui permette à la fois de répondre aux importants besoins du traitement des données issues du LHC, de fédérer les ressources et les services dédiés au calcul scientifique et de créer un noeud de la grille européenne EGEE (aujourd'hui [http://www.egi.eu/ EGI]). <br />
<br />
Depuis novembre 2007, le site est également noeud Tier 2 pour les expériences ATLAS et LHCb, c’est à dire impliqué officiellement à l’échelle internationale pour exécuter les tâches de production des données de simulation et d’analyse.<br />
<br />
En 2017, MUST a été labellisé en tant que plateforme IN2P3.<br />
[https://must-datacentre.fr/ Pour en savoir plus sur le projet MUST...]<br />
<br />
*LCG Grid Operations Centre's entry for this site: [https://goc.egi.eu/portal/index.php?Page_Type=View_Object&object_id=154&grid_id=0 IN2P3-LAPP] ''(access granted by LCG user certficate)''<br />
*Supported LHC VOs: Atlas,LHCb</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=Tier_2:LAPP&diff=8513Tier 2:LAPP2021-07-22T15:54:56Z<p>Chollet: </p>
<hr />
<div>[[Image:LAPPlogo-f732e.png]][[Image:LAPP-2013-SalleInfo.jpg]]<br />
<br />
<br />
<br />
[[Tier_3:LAPP |Version Française ]] | [[Tier_3:LAPP_en|English Version ]]<br />
<br />
*Responsable Scientifique LCG : Stéphane Jezequel<br />
*Responsable Technique : Cécile Barbier <br />
*[https://lapp.in2p3.fr/ Site du LAPP] <br />
*[https://must-datacentre.fr/ Site du mésocentre MUST] <br />
<br />
Le projet MUST de mésocentre de calcul et de stockage ouvert sur la grille est né en 2005 de la convergence des besoins des laboratoires de l'Université de Savoie.<br />
<br />
Ainsi, en réponse à un appel d’offre du Ministère délégué à l’enseignement supérieur et à la recherche, le LAPP et l’Université de Savoie ont proposé la création d’un mésocentre qui permette à la fois de répondre aux importants besoins du traitement des données issues du LHC, de fédérer les ressources et les services dédiés au calcul scientifique et de créer un noeud de la grille européenne EGEE (aujourd'hui [http://www.egi.eu/ EGI]). <br />
<br />
Depuis novembre 2007, le site est également noeud Tier 2 pour les expériences ATLAS et LHCb, c’est à dire impliqué officiellement à l’échelle internationale pour exécuter les tâches de production des données de simulation et d’analyse.<br />
<br />
En 2017, MUST a été labellisé en tant que plateforme IN2P3.<br />
[https://lapp.in2p3.fr/spip.php?article103 Pour en savoir plus sur le projet MUST...]<br />
<br />
*LCG Grid Operations Centre's entry for this site: [https://goc.egi.eu/portal/index.php?Page_Type=View_Object&object_id=154&grid_id=0 IN2P3-LAPP] ''(access granted by LCG user certficate)''<br />
*Supported LHC VOs: Atlas,LHCb</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=Tier_2:LAPP&diff=8446Tier 2:LAPP2018-11-29T15:53:57Z<p>Chollet: </p>
<hr />
<div>[[Image:LAPPlogo-f732e.png]][[Image:LAPP-2013-SalleInfo.jpg]]<br />
<br />
<br />
<br />
[[Tier_3:LAPP |Version Française ]] | [[Tier_3:LAPP_en|English Version ]]<br />
<br />
*Responsable Scientifique LCG : Stéphane Jezequel<br />
*Responsable Technique : F.Chollet/M.Gougerot (depuis 2017) <br />
*[https://lapp.in2p3.fr/ Site Web du LAPP] <br />
<br />
Le projet MUST de mésocentre de calcul et de stockage ouvert sur la grille est né en 2005 de la convergence des besoins des laboratoires de l'Université de Savoie.<br />
<br />
Ainsi, en réponse à un appel d’offre du Ministère délégué à l’enseignement supérieur et à la recherche, le LAPP et l’Université de Savoie ont proposé la création d’un mésocentre qui permette à la fois de répondre aux importants besoins du traitement des données issues du LHC, de fédérer les ressources et les services dédiés au calcul scientifique et de créer un noeud de la grille européenne EGEE (aujourd'hui [http://www.egi.eu/ EGI]). <br />
<br />
Depuis novembre 2007, le site est également noeud Tier 2 pour les expériences ATLAS et LHCb, c’est à dire impliqué officiellement à l’échelle internationale pour exécuter les tâches de production des données de simulation et d’analyse.<br />
<br />
En 2017, MUST a été labellisé en tant que plateforme IN2P3.<br />
[https://lapp.in2p3.fr/spip.php?article103 Pour en savoir plus sur le projet MUST...]<br />
<br />
*LCG Grid Operations Centre's entry for this site: [https://goc.egi.eu/portal/index.php?Page_Type=View_Object&object_id=154&grid_id=0 IN2P3-LAPP] ''(access granted by LCG user certficate)''<br />
*Supported LHC VOs: Atlas,LHCb</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=Tier_2:LAPP&diff=8445Tier 2:LAPP2018-11-29T15:52:46Z<p>Chollet: </p>
<hr />
<div>[[Image:LAPPlogo-f732e.png]][[Image:LAPP-2013-SalleInfo.jpg]]<br />
<br />
<br />
<br />
[[Tier_3:LAPP |Version Française ]] | [[Tier_3:LAPP_en|English Version ]]<br />
<br />
*Responsable Scientifique LCG : Stéphane Jezequel<br />
*Responsable Technique : F.Chollet/M.Gougerot (depuis 2017) <br />
*[https://lapp.in2p3.fr/spip.php?article103 Page MUST du site Web du LAPP] <br />
<br />
Le projet MUST de mésocentre de calcul et de stockage ouvert sur la grille est né en 2005 de la convergence des besoins des laboratoires de l'Université de Savoie.<br />
<br />
Ainsi, en réponse à un appel d’offre du Ministère délégué à l’enseignement supérieur et à la recherche, le LAPP et l’Université de Savoie ont proposé la création d’un mésocentre qui permette à la fois de répondre aux importants besoins du traitement des données issues du LHC, de fédérer les ressources et les services dédiés au calcul scientifique et de créer un noeud de la grille européenne EGEE (aujourd'hui [http://www.egi.eu/ EGI]). <br />
<br />
Depuis novembre 2007, le site est également noeud Tier 2 pour les expériences ATLAS et LHCb, c’est à dire impliqué officiellement à l’échelle internationale pour exécuter les tâches de production des données de simulation et d’analyse.<br />
<br />
En 2017, MUST a été labellisé en tant que plateforme IN2P3.<br />
[http://lapp.in2p3.fr/spip.php?rubrique271 Pour en savoir plus sur le projet MUST...]<br />
<br />
*LCG Grid Operations Centre's entry for this site: [https://goc.egi.eu/portal/index.php?Page_Type=View_Object&object_id=154&grid_id=0 IN2P3-LAPP] ''(access granted by LCG user certficate)''<br />
*Supported LHC VOs: Atlas,LHCb</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=File:LAPPlogo-f732e.png&diff=8444File:LAPPlogo-f732e.png2018-11-29T15:51:59Z<p>Chollet: Logo LAPP</p>
<hr />
<div>== Description ==<br />
Logo LAPP</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=Tier_2:LAPP&diff=8443Tier 2:LAPP2018-11-29T15:33:31Z<p>Chollet: </p>
<hr />
<div>[[Image:LAPP-texte-HD-transparent-761b8.png]][[Image:LAPP-2013-SalleInfo.jpg]]<br />
<br />
<br />
<br />
[[Tier_3:LAPP |Version Française ]] | [[Tier_3:LAPP_en|English Version ]]<br />
<br />
*Responsable Scientifique LCG : Stéphane Jezequel<br />
*Responsable Technique : F.Chollet/M.Gougerot (depuis 2017) <br />
*[https://lapp.in2p3.fr/spip.php?article103 Page MUST du site Web du LAPP] <br />
<br />
Le projet MUST de mésocentre de calcul et de stockage ouvert sur la grille est né en 2005 de la convergence des besoins des laboratoires de l'Université de Savoie.<br />
<br />
Ainsi, en réponse à un appel d’offre du Ministère délégué à l’enseignement supérieur et à la recherche, le LAPP et l’Université de Savoie ont proposé la création d’un mésocentre qui permette à la fois de répondre aux importants besoins du traitement des données issues du LHC, de fédérer les ressources et les services dédiés au calcul scientifique et de créer un noeud de la grille européenne EGEE (aujourd'hui [http://www.egi.eu/ EGI]). <br />
<br />
Depuis novembre 2007, le site est également noeud Tier 2 pour les expériences ATLAS et LHCb, c’est à dire impliqué officiellement à l’échelle internationale pour exécuter les tâches de production des données de simulation et d’analyse.<br />
<br />
En 2017, MUST a été labellisé en tant que plateforme IN2P3.<br />
[http://lapp.in2p3.fr/spip.php?rubrique271 Pour en savoir plus sur le projet MUST...]<br />
<br />
*LCG Grid Operations Centre's entry for this site: [https://goc.egi.eu/portal/index.php?Page_Type=View_Object&object_id=154&grid_id=0 IN2P3-LAPP] ''(access granted by LCG user certficate)''<br />
*Supported LHC VOs: Atlas,LHCb</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7963WLCG Data transfers2016-05-23T13:45:57Z<p>Chollet: /* XRootD Monitoring : Site resolution in France */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes, xrootd natif ET xrootd/DPM sont monitorés <br />
**http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&dst.site=(GRIF_IRFU)&grouping.dst=(site)&technology=(xrootd)&vo=(alice)<br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France ==<br />
'''Affichage "n/a"''' <br><br />
* n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so let us go through and check if there is some mapping not properly specified or missing.<br />
*Par ex. Trafic XRootD ATLAS vu au niveau du SE du LAPP au cours des 4 dernières heures :<br />
** http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LAPP)&technology=(xrootd)&vo=(atlas) <br />
** http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(IN2P3-LAPP)&tab=access_pattern&vo=(atlas)<br />
*idem pour CMS et le LLR :<br />
** http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LLR)&technology=(xrootd)&vo=(cms)<br />
** http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(LLR)&tab=access_pattern&vo=(cms)<br />
<br />
==== TABLE A VERIFIER-CORRIGER ====<br />
<br />
* Ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143 ; Contact : Luca Magnoni (CERN)<br />
''For the xrootd dashboard the mapping is done with a static lookup of the client domain to a known list of grid sites (e.g."client_domain":"lal.in2p3.fr" is mapped to GRIF). If the mapping fails, the statistics is reported to the n/a category, as a fallback. For France in particular, if a client log arrives with the "in2p3" domain without a known sub-domain, it goes into a "IN2P3failover" category. <br />
<br />
<b>VERSION CORRIGEE</b><br />
{<br />
"ATLAS": {<br />
"in2p3.fr": {<br />
"host_dict": {<br />
"lpn": {<br />
"VOname": "GRIF-LPNHE",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lal": {<br />
"VOname": "GRIF-LAL",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"cc": {<br />
"VOname": "IN2P3-CC",<br />
"SiteName": "IN2P3-CC",<br />
"Country": "France"<br />
},<br />
"mar": {<br />
"VOname": "IN2P3-CPPM",<br />
"SiteName": "IN2P3-CPPM",<br />
"Country": "France"<br />
},<br />
"lapp": {<br />
"VOname": "IN2P3-LAPP",<br />
"SiteName": "IN2P3-LAPP",<br />
"Country": "France"<br />
},<br />
"clr": {<br />
"VOname": "IN2P3-LPC",<br />
"SiteName": "IN2P3-LPC",<br />
"Country": "France"<br />
},<br />
"lpsc": {<br />
"VOname": "IN2P3-LPSC",<br />
"SiteName": "IN2P3-LPSC",<br />
"Country": "France"<br />
}<br />
},<br />
"SiteName": "IN2P3",<br />
"VOname": "IN2P3failover",<br />
"Country": "France"<br />
}<br />
}<br />
}<br />
<br />
<br />
{<br />
"CMS": {<br />
"in2p3.fr": {<br />
"host_dict": { <br />
"lpn": {<br />
"VOname": "T2_FR_GRIF_IRFU",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lal": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"cc": {<br />
"VOname": "T1_FR_CCIN2P3",<br />
"SiteName": "IN2P3-CC",<br />
"Country": "France"<br />
}<br />
"pol": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"sbgwn": {<br />
"VOname": "T2_FR_IPHC",<br />
"SiteName": "IN2P3-IRES",<br />
"Country": "France"<br />
},<br />
"llr": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lyo": {<br />
"VOname": "T3_FR_IPNL",<br />
"SiteName": "IN2P3-IPNL",<br />
"Country": "France"<br />
}<br />
},<br />
"SiteName": "IN2P3",<br />
"VOname": "IN2P3failover",<br />
"Country": "France"<br />
}<br />
}<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7962WLCG Data transfers2016-05-23T13:45:33Z<p>Chollet: /* TABLE A VERIFIER-CORRIGER */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes, xrootd natif ET xrootd/DPM sont monitorés <br />
**http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&dst.site=(GRIF_IRFU)&grouping.dst=(site)&technology=(xrootd)&vo=(alice)<br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France ==<br />
'''Affichage "n/a"''' <br><br />
* n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so let us go through and check if there is some mapping not properly specified or missing.<br />
*Par ex. Trafic XRootD ATLAS vu au niveau du SE du LAPP au cours des 4 dernières heures :<br />
** http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LAPP)&technology=(xrootd)&vo=(atlas) <br />
** http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(IN2P3-LAPP)&tab=access_pattern&vo=(atlas)<br />
*idem pour CMS et le LLR :<br />
** http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LLR)&technology=(xrootd)&vo=(cms)<br />
** http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(LLR)&tab=access_pattern&vo=(cms)<br />
<br />
==== TABLE A VERIFIER-CORRIGER ====<br />
<br />
* Ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143 ; Contact : Luca Magnoni (CERN)<br />
''For the xrootd dashboard the mapping is done with a static lookup of the client domain to a known list of grid sites (e.g."client_domain":"lal.in2p3.fr" is mapped to GRIF). If the mapping fails, the statistics is reported to the n/a category, as a fallback. For France in particular, if a client log arrives with the "in2p3" domain without a known sub-domain, it goes into a "IN2P3failover" category. <br />
<br />
<b>VERSION CORRIGEE</b><br />
{<br />
"ATLAS": {<br />
"in2p3.fr": {<br />
"host_dict": {<br />
"lpn": {<br />
"VOname": "GRIF-LPNHE",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lal": {<br />
"VOname": "GRIF-LAL",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"cc": {<br />
"VOname": "IN2P3-CC",<br />
"SiteName": "IN2P3-CC",<br />
"Country": "France"<br />
},<br />
"mar": {<br />
"VOname": "IN2P3-CPPM",<br />
"SiteName": "IN2P3-CPPM",<br />
"Country": "France"<br />
},<br />
"lapp": {<br />
"VOname": "IN2P3-LAPP",<br />
"SiteName": "IN2P3-LAPP",<br />
"Country": "France"<br />
},<br />
"clr": {<br />
"VOname": "IN2P3-LPC",<br />
"SiteName": "IN2P3-LPC",<br />
"Country": "France"<br />
},<br />
"lpsc": {<br />
"VOname": "IN2P3-LPSC",<br />
"SiteName": "IN2P3-LPSC",<br />
"Country": "France"<br />
}<br />
},<br />
"SiteName": "IN2P3",<br />
"VOname": "IN2P3failover",<br />
"Country": "France"<br />
}<br />
}<br />
}<br />
<br />
<br />
{<br />
"CMS": {<br />
"in2p3.fr": {<br />
"host_dict": { <br />
"lpn": {<br />
"VOname": "T2_FR_GRIF_IRFU",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lal": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"ccw": {<br />
"VOname": "T1_FR_CCIN2P3",<br />
"SiteName": "IN2P3-CC",<br />
"Country": "France"<br />
}<br />
"pol": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"sbgwn": {<br />
"VOname": "T2_FR_IPHC",<br />
"SiteName": "IN2P3-IRES",<br />
"Country": "France"<br />
},<br />
"llr": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lyo": {<br />
"VOname": "T3_FR_IPNL",<br />
"SiteName": "IN2P3-IPNL",<br />
"Country": "France"<br />
}<br />
},<br />
"SiteName": "IN2P3",<br />
"VOname": "IN2P3failover",<br />
"Country": "France"<br />
}<br />
}<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7961WLCG Data transfers2016-05-23T13:31:57Z<p>Chollet: /* XRootD Monitoring : Site resolution in France */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes, xrootd natif ET xrootd/DPM sont monitorés <br />
**http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&dst.site=(GRIF_IRFU)&grouping.dst=(site)&technology=(xrootd)&vo=(alice)<br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France ==<br />
'''Affichage "n/a"''' <br><br />
* n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so let us go through and check if there is some mapping not properly specified or missing.<br />
*Par ex. Trafic XRootD ATLAS vu au niveau du SE du LAPP au cours des 4 dernières heures :<br />
** http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LAPP)&technology=(xrootd)&vo=(atlas) <br />
** http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(IN2P3-LAPP)&tab=access_pattern&vo=(atlas)<br />
*idem pour CMS et le LLR :<br />
** http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LLR)&technology=(xrootd)&vo=(cms)<br />
** http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(LLR)&tab=access_pattern&vo=(cms)<br />
<br />
==== TABLE A VERIFIER-CORRIGER ====<br />
<br />
* Ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143 ; Contact : Luca Magnoni (CERN)<br />
''For the xrootd dashboard the mapping is done with a static lookup of the client domain to a known list of grid sites (e.g."client_domain":"lal.in2p3.fr" is mapped to GRIF). If the mapping fails, the statistics is reported to the n/a category, as a fallback. For France in particular, if a client log arrives with the "in2p3" domain without a known sub-domain, it goes into a "IN2P3failover" category. <br />
<br />
<b>VERSION CORRIGEE</b><br />
{<br />
"ATLAS": {<br />
"in2p3.fr": {<br />
"host_dict": {<br />
"lpn": {<br />
"VOname": "GRIF-LPNHE",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lal": {<br />
"VOname": "GRIF-LAL",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"ccw": {<br />
"VOname": "IN2P3-CC",<br />
"SiteName": "IN2P3-CC",<br />
"Country": "France"<br />
},<br />
"mar": {<br />
"VOname": "IN2P3-CPPM",<br />
"SiteName": "IN2P3-CPPM",<br />
"Country": "France"<br />
},<br />
"lapp": {<br />
"VOname": "IN2P3-LAPP",<br />
"SiteName": "IN2P3-LAPP",<br />
"Country": "France"<br />
},<br />
"clr": {<br />
"VOname": "IN2P3-LPC",<br />
"SiteName": "IN2P3-LPC",<br />
"Country": "France"<br />
},<br />
"lpsc": {<br />
"VOname": "IN2P3-LPSC",<br />
"SiteName": "IN2P3-LPSC",<br />
"Country": "France"<br />
}<br />
},<br />
"SiteName": "IN2P3",<br />
"VOname": "IN2P3failover",<br />
"Country": "France"<br />
}<br />
}<br />
}<br />
<br />
<br />
{<br />
"CMS": {<br />
"in2p3.fr": {<br />
"host_dict": { <br />
"lpn": {<br />
"VOname": "T2_FR_GRIF_IRFU",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lal": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"ccw": {<br />
"VOname": "T1_FR_CCIN2P3",<br />
"SiteName": "IN2P3-CC",<br />
"Country": "France"<br />
}<br />
"pol": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"sbgwn": {<br />
"VOname": "T2_FR_IPHC",<br />
"SiteName": "IN2P3-IRES",<br />
"Country": "France"<br />
},<br />
"llr": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lyo": {<br />
"VOname": "T3_FR_IPNL",<br />
"SiteName": "IN2P3-IPNL",<br />
"Country": "France"<br />
}<br />
},<br />
"SiteName": "IN2P3",<br />
"VOname": "IN2P3failover",<br />
"Country": "France"<br />
}<br />
}<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7960WLCG Data transfers2016-05-23T13:29:14Z<p>Chollet: /* TABLE A VERIFIER-CORRIGER */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes, xrootd natif ET xrootd/DPM sont monitorés <br />
**http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&dst.site=(GRIF_IRFU)&grouping.dst=(site)&technology=(xrootd)&vo=(alice)<br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France ==<br />
'''Affichage "n/a"''' <br><br />
Par ex. Trafic XRootD ATLAS vu au niveau du SE du LAPP au cours des 4 dernières heures :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LAPP)&technology=(xrootd)&vo=(atlas) <br />
* http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(IN2P3-LAPP)&tab=access_pattern&vo=(atlas)<br />
idem pour CMS et le LLR :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LLR)&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(LLR)&tab=access_pattern&vo=(cms)<br />
<br />
n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so let us go through and check if there is some mapping not properly specified or missing.<br />
<br />
==== TABLE A VERIFIER-CORRIGER ====<br />
<br />
* Ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143 ; Contact : Luca Magnoni (CERN)<br />
* Quid ALICE ? : il y a des soucis au niveau de la correspondance des noms de sites <br />
''For the xrootd dashboard the mapping is done with a static lookup of the client domain to a known list of grid sites (e.g."client_domain":"lal.in2p3.fr" is mapped to GRIF). If the mapping fails, the statistics is reported to the n/a category, as a fallback. For France in particular, if a client log arrives with the "in2p3" domain without a known sub-domain, it goes into a "IN2P3failover" category. Below the current list (actually a dictionary) for ATLAS and CMS, please let me know if you see anything incorrect or missing, of if you need any other info.'' <br />
<br />
<b>VERSION CORRIGEE</b><br />
{<br />
"ATLAS": {<br />
"in2p3.fr": {<br />
"host_dict": {<br />
"lpn": {<br />
"VOname": "GRIF-LPNHE",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lal": {<br />
"VOname": "GRIF-LAL",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"ccw": {<br />
"VOname": "IN2P3-CC",<br />
"SiteName": "IN2P3-CC",<br />
"Country": "France"<br />
},<br />
"mar": {<br />
"VOname": "IN2P3-CPPM",<br />
"SiteName": "IN2P3-CPPM",<br />
"Country": "France"<br />
},<br />
"lapp": {<br />
"VOname": "IN2P3-LAPP",<br />
"SiteName": "IN2P3-LAPP",<br />
"Country": "France"<br />
},<br />
"clr": {<br />
"VOname": "IN2P3-LPC",<br />
"SiteName": "IN2P3-LPC",<br />
"Country": "France"<br />
},<br />
"lpsc": {<br />
"VOname": "IN2P3-LPSC",<br />
"SiteName": "IN2P3-LPSC",<br />
"Country": "France"<br />
}<br />
},<br />
"SiteName": "IN2P3",<br />
"VOname": "IN2P3failover",<br />
"Country": "France"<br />
}<br />
}<br />
}<br />
<br />
<br />
{<br />
"CMS": {<br />
"in2p3.fr": {<br />
"host_dict": { <br />
"lpn": {<br />
"VOname": "T2_FR_GRIF_IRFU",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lal": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"ccw": {<br />
"VOname": "T1_FR_CCIN2P3",<br />
"SiteName": "IN2P3-CC",<br />
"Country": "France"<br />
}<br />
"pol": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"sbgwn": {<br />
"VOname": "T2_FR_IPHC",<br />
"SiteName": "IN2P3-IRES",<br />
"Country": "France"<br />
},<br />
"llr": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lyo": {<br />
"VOname": "T3_FR_IPNL",<br />
"SiteName": "IN2P3-IPNL",<br />
"Country": "France"<br />
}<br />
},<br />
"SiteName": "IN2P3",<br />
"VOname": "IN2P3failover",<br />
"Country": "France"<br />
}<br />
}<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7959WLCG Data transfers2016-05-23T13:27:49Z<p>Chollet: /* TABLE A VERIFIER-CORRIGER */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes, xrootd natif ET xrootd/DPM sont monitorés <br />
**http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&dst.site=(GRIF_IRFU)&grouping.dst=(site)&technology=(xrootd)&vo=(alice)<br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France ==<br />
'''Affichage "n/a"''' <br><br />
Par ex. Trafic XRootD ATLAS vu au niveau du SE du LAPP au cours des 4 dernières heures :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LAPP)&technology=(xrootd)&vo=(atlas) <br />
* http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(IN2P3-LAPP)&tab=access_pattern&vo=(atlas)<br />
idem pour CMS et le LLR :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LLR)&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(LLR)&tab=access_pattern&vo=(cms)<br />
<br />
n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so let us go through and check if there is some mapping not properly specified or missing.<br />
<br />
==== TABLE A VERIFIER-CORRIGER ====<br />
* Ci-dessous la table (version corrigée) assurant le mapping entre site client XRootD et site de grille pour ATLAS et CMS :<br />
* via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143 ; Contact : Luca Magnoni (CERN)<br />
* Quid ALICE ? : il y a des soucis au niveau de la correspondance des noms de sites <br />
''for the xrootd dashboard the mapping is done with a static lookup of the client domain to a known list of grid sites (e.g."client_domain":"lal.in2p3.fr" is mapped to GRIF). If the mapping fails, the statistics is reported to the n/a category, as a fallback. For France in particular, if a client log arrives with the "in2p3" domain without a known sub-domain, it goes into a "IN2P3failover" category. Below the current list (actually a dictionary) for ATLAS and CMS, please let me know if you see anything incorrect or missing, of if you need any other info.'' <br />
<br />
<b>VERSION CORRIGEE</b><br />
{<br />
"ATLAS": {<br />
"in2p3.fr": {<br />
"host_dict": {<br />
"lpn": {<br />
"VOname": "GRIF-LPNHE",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lal": {<br />
"VOname": "GRIF-LAL",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"ccw": {<br />
"VOname": "IN2P3-CC",<br />
"SiteName": "IN2P3-CC",<br />
"Country": "France"<br />
},<br />
"mar": {<br />
"VOname": "IN2P3-CPPM",<br />
"SiteName": "IN2P3-CPPM",<br />
"Country": "France"<br />
},<br />
"lapp": {<br />
"VOname": "IN2P3-LAPP",<br />
"SiteName": "IN2P3-LAPP",<br />
"Country": "France"<br />
},<br />
"clr": {<br />
"VOname": "IN2P3-LPC",<br />
"SiteName": "IN2P3-LPC",<br />
"Country": "France"<br />
},<br />
"lpsc": {<br />
"VOname": "IN2P3-LPSC",<br />
"SiteName": "IN2P3-LPSC",<br />
"Country": "France"<br />
}<br />
},<br />
"SiteName": "IN2P3",<br />
"VOname": "IN2P3failover",<br />
"Country": "France"<br />
}<br />
}<br />
}<br />
<br />
<br />
{<br />
"CMS": {<br />
"in2p3.fr": {<br />
"host_dict": { <br />
"lpn": {<br />
"VOname": "T2_FR_GRIF_IRFU",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lal": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"ccw": {<br />
"VOname": "T1_FR_CCIN2P3",<br />
"SiteName": "IN2P3-CC",<br />
"Country": "France"<br />
}<br />
"pol": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"sbgwn": {<br />
"VOname": "T2_FR_IPHC",<br />
"SiteName": "IN2P3-IRES",<br />
"Country": "France"<br />
},<br />
"llr": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lyo": {<br />
"VOname": "T3_FR_IPNL",<br />
"SiteName": "IN2P3-IPNL",<br />
"Country": "France"<br />
}<br />
},<br />
"SiteName": "IN2P3",<br />
"VOname": "IN2P3failover",<br />
"Country": "France"<br />
}<br />
}<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7958WLCG Data transfers2016-05-23T13:25:59Z<p>Chollet: /* TABLE A VERIFIER-CORRIGER */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes, xrootd natif ET xrootd/DPM sont monitorés <br />
**http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&dst.site=(GRIF_IRFU)&grouping.dst=(site)&technology=(xrootd)&vo=(alice)<br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France ==<br />
'''Affichage "n/a"''' <br><br />
Par ex. Trafic XRootD ATLAS vu au niveau du SE du LAPP au cours des 4 dernières heures :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LAPP)&technology=(xrootd)&vo=(atlas) <br />
* http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(IN2P3-LAPP)&tab=access_pattern&vo=(atlas)<br />
idem pour CMS et le LLR :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LLR)&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(LLR)&tab=access_pattern&vo=(cms)<br />
<br />
n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so let us go through and check if there is some mapping not properly specified or missing.<br />
<br />
==== TABLE A VERIFIER-CORRIGER ====<br />
* Ci-dessous la table (version corrigée) assurant le mapping entre site client XRootD et site de grille pour ATLAS et CMS :<br />
* via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143 ; Contact : Luca Magnoni (CERN)<br />
* Quid ALICE ? : il y a des soucis au niveau de la correspondance des noms de sites <br />
''for the xrootd dashboard the mapping is done with a static lookup of the client domain to a known list of grid sites (e.g."client_domain":"lal.in2p3.fr" is mapped to GRIF). If the mapping fails, the statistics is reported to the n/a category, as a fallback. For France in particular, if a client log arrives with the "in2p3" domain without a known sub-domain, it goes into a "IN2P3failover" category. Below the current list (actually a dictionary) for ATLAS and CMS, please let me know if you see anything incorrect or missing, of if you need any other info.'' <br />
<br />
{<br />
"ATLAS": {<br />
"in2p3.fr": {<br />
"host_dict": {<br />
"lpn": {<br />
"VOname": "GRIF-LPNHE",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lal": {<br />
"VOname": "GRIF-LAL",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"ccw": {<br />
"VOname": "IN2P3-CC",<br />
"SiteName": "IN2P3-CC",<br />
"Country": "France"<br />
},<br />
"mar": {<br />
"VOname": "IN2P3-CPPM",<br />
"SiteName": "IN2P3-CPPM",<br />
"Country": "France"<br />
},<br />
"lapp": {<br />
"VOname": "IN2P3-LAPP",<br />
"SiteName": "IN2P3-LAPP",<br />
"Country": "France"<br />
},<br />
"clr": {<br />
"VOname": "IN2P3-LPC",<br />
"SiteName": "IN2P3-LPC",<br />
"Country": "France"<br />
},<br />
"lpsc": {<br />
"VOname": "IN2P3-LPSC",<br />
"SiteName": "IN2P3-LPSC",<br />
"Country": "France"<br />
}<br />
},<br />
"SiteName": "IN2P3",<br />
"VOname": "IN2P3failover",<br />
"Country": "France"<br />
}<br />
}<br />
}<br />
<br />
<br />
{<br />
"CMS": {<br />
"in2p3.fr": {<br />
"host_dict": { <br />
"lpn": {<br />
"VOname": "T2_FR_GRIF_IRFU",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lal": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"ccw": {<br />
"VOname": "T1_FR_CCIN2P3",<br />
"SiteName": "IN2P3-CC",<br />
"Country": "France"<br />
}<br />
"pol": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"sbgwn": {<br />
"VOname": "T2_FR_IPHC",<br />
"SiteName": "IN2P3-IRES",<br />
"Country": "France"<br />
},<br />
"llr": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lyo": {<br />
"VOname": "T3_FR_IPNL",<br />
"SiteName": "IN2P3-IPNL",<br />
"Country": "France"<br />
}<br />
},<br />
"SiteName": "IN2P3",<br />
"VOname": "IN2P3failover",<br />
"Country": "France"<br />
}<br />
}<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7957WLCG Data transfers2016-05-23T13:13:10Z<p>Chollet: /* TABLE A VERIFIER-CORRIGER */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes, xrootd natif ET xrootd/DPM sont monitorés <br />
**http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&dst.site=(GRIF_IRFU)&grouping.dst=(site)&technology=(xrootd)&vo=(alice)<br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France ==<br />
'''Affichage "n/a"''' <br><br />
Par ex. Trafic XRootD ATLAS vu au niveau du SE du LAPP au cours des 4 dernières heures :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LAPP)&technology=(xrootd)&vo=(atlas) <br />
* http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(IN2P3-LAPP)&tab=access_pattern&vo=(atlas)<br />
idem pour CMS et le LLR :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LLR)&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(LLR)&tab=access_pattern&vo=(cms)<br />
<br />
n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so let us go through and check if there is some mapping not properly specified or missing.<br />
<br />
==== TABLE A VERIFIER-CORRIGER ====<br />
* Ci-dessous la table (version corrigée) assurant le mapping entre site client XRootD et site de grille pour ATLAS et CMS :<br />
* via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143 ; Contact : Luca Magnoni (CERN)<br />
* Quid ALICE ? : il y a des soucis au niveau de la correspondance des noms de sites <br />
''for the xrootd dashboard the mapping is done with a static lookup of the client domain to a known list of grid sites (e.g."client_domain":"lal.in2p3.fr" is mapped to GRIF). If the mapping fails, the statistics is reported to the n/a category, as a fallback. For France in particular, if a client log arrives with the "in2p3" domain without a known sub-domain, it goes into a "IN2P3failover" category. Below the current list (actually a dictionary) for ATLAS and CMS, please let me know if you see anything incorrect or missing, of if you need any other info.'' <br />
<br />
{<br />
"ATLAS": {<br />
"in2p3.fr": {<br />
"host_dict": {<br />
"lpn": {<br />
"VOname": "GRIF-LPNHE",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lal": {<br />
"VOname": "GRIF-LAL",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
<span style="color:#FF0000;">"ccsrm" A CHANGER pour "ccw"</span>: {<br />
"VOname": "IN2P3-CC",<br />
"SiteName": "IN2P3-CC",<br />
"Country": "France"<br />
},<br />
"mar": {<br />
"VOname": "IN2P3-CPPM",<br />
"SiteName": "IN2P3-CPPM",<br />
"Country": "France"<br />
},<br />
"lapp": {<br />
"VOname": "IN2P3-LAPP",<br />
"SiteName": "IN2P3-LAPP",<br />
"Country": "France"<br />
},<br />
<span style="color:#FF0000;">"clrlcg" A REMPLACER PAR "clr"</span>: {<br />
"VOname": "IN2P3-LPC",<br />
"SiteName": "IN2P3-LPC",<br />
"Country": "France"<br />
},<br />
"lpsc": {<br />
"VOname": "IN2P3-LPSC",<br />
"SiteName": "IN2P3-LPSC",<br />
"Country": "France"<br />
}<br />
},<br />
"SiteName": "IN2P3",<br />
"VOname": "IN2P3failover",<br />
"Country": "France"<br />
}<br />
}<br />
}<br />
<br />
<br />
{<br />
"CMS": {<br />
"in2p3.fr": {<br />
"host_dict": { <br />
"lpn": {<br />
"VOname": "T2_FR_GRIF_IRFU",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lal": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"ccw": {<br />
"VOname": "T1_FR_CCIN2P3",<br />
"SiteName": "IN2P3-CC",<br />
"Country": "France"<br />
}<br />
"pol": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"sbgwn": {<br />
"VOname": "T2_FR_IPHC",<br />
"SiteName": "IN2P3-IRES",<br />
"Country": "France"<br />
},<br />
"llr": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lyo": {<br />
"VOname": "T3_FR_IPNL",<br />
"SiteName": "IN2P3-IPNL",<br />
"Country": "France"<br />
}<br />
},<br />
"SiteName": "IN2P3",<br />
"VOname": "IN2P3failover",<br />
"Country": "France"<br />
}<br />
}<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7953WLCG Data transfers2016-05-13T10:13:16Z<p>Chollet: /* TABLE A VERIFIER-CORRIGER */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes, xrootd natif ET xrootd/DPM sont monitorés <br />
**http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&dst.site=(GRIF_IRFU)&grouping.dst=(site)&technology=(xrootd)&vo=(alice)<br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France ==<br />
'''Affichage "n/a"''' <br><br />
Par ex. Trafic XRootD ATLAS vu au niveau du SE du LAPP au cours des 4 dernières heures :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LAPP)&technology=(xrootd)&vo=(atlas) <br />
* http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(IN2P3-LAPP)&tab=access_pattern&vo=(atlas)<br />
idem pour CMS et le LLR :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LLR)&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(LLR)&tab=access_pattern&vo=(cms)<br />
<br />
n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so let us go through and check if there is some mapping not properly specified or missing.<br />
<br />
==== TABLE A VERIFIER-CORRIGER ====<br />
* Ci-dessous la table assurant le mapping entre site client XRootD et site de grille pour ATLAS et CMS :<br />
* via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143 ; Contact : Luca Magnoni (CERN)<br />
* Quid ALICE ? : il y a des soucis au niveau de la correspondance des noms de sites <br />
''for the xrootd dashboard the mapping is done with a static lookup of the client domain to a known list of grid sites (e.g."client_domain":"lal.in2p3.fr" is mapped to GRIF). If the mapping fails, the statistics is reported to the n/a category, as a fallback. For France in particular, if a client log arrives with the "in2p3" domain without a known sub-domain, it goes into a "IN2P3failover" category. Below the current list (actually a dictionary) for ATLAS and CMS, please let me know if you see anything incorrect or missing, of if you need any other info.'' <br />
<br />
{<br />
"ATLAS": {<br />
"in2p3.fr": {<br />
"host_dict": {<br />
"lpn": {<br />
"VOname": "GRIF-LPNHE",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lal": {<br />
"VOname": "GRIF-LAL",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
<span style="color:#FF0000;">"ccsrm" A CHANGER pour "ccw"</span>: {<br />
"VOname": "IN2P3-CC",<br />
"SiteName": "IN2P3-CC",<br />
"Country": "France"<br />
},<br />
"mar": {<br />
"VOname": "IN2P3-CPPM",<br />
"SiteName": "IN2P3-CPPM",<br />
"Country": "France"<br />
},<br />
"lapp": {<br />
"VOname": "IN2P3-LAPP",<br />
"SiteName": "IN2P3-LAPP",<br />
"Country": "France"<br />
},<br />
"clrlcg": {<br />
"VOname": "IN2P3-LPC",<br />
"SiteName": "IN2P3-LPC",<br />
"Country": "France"<br />
},<br />
"lpsc": {<br />
"VOname": "IN2P3-LPSC",<br />
"SiteName": "IN2P3-LPSC",<br />
"Country": "France"<br />
}<br />
},<br />
"SiteName": "IN2P3",<br />
"VOname": "IN2P3failover",<br />
"Country": "France"<br />
}<br />
}<br />
}<br />
<br />
<br />
{<br />
"CMS": {<br />
"in2p3.fr": {<br />
"host_dict": {<br />
<span style="color:#FF0000;">"lapp": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "IN2P3-LAPP",<br />
"Country": "France"<br />
}, A SUPPRIMER ! </span><br />
"lpn": {<br />
"VOname": "T2_FR_GRIF_IRFU",<br />
"SiteName": "GRIF-LPNHE",<br />
"Country": "France"<br />
},<br />
"lal": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF-LAL",<br />
"Country": "France"<br />
},<br />
<span style="color:#FF0000;">"lpsc": {<br />
"VOname": "IN2P3-LPSC",<br />
"SiteName": "IN2P3-LPSC",<br />
"Country": "France"<br />
},<br />
"mar": {<br />
"VOname": "IN2P3-CPPM",<br />
"SiteName": "CPPM",<br />
"Country": "France"<br />
},A SUPPRIMER ! </span><br />
"polgrid": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"sbgwn": {<br />
"VOname": "T2_FR_IPHC",<br />
"SiteName": "IN2P3-IRES",<br />
"Country": "France"<br />
},<br />
"llrgrwn": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF<span style="color:#FF0000;">S</pan>",<br />
"Country": "France"<br />
}<br />
},<br />
"SiteName": "IN2P3",<br />
"VOname": "IN2P3failover",<br />
"Country": "France"<br />
}<br />
}<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7952WLCG Data transfers2016-05-13T10:01:35Z<p>Chollet: /* TABLE A VERIFIER/CORRIGER */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes, xrootd natif ET xrootd/DPM sont monitorés <br />
**http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&dst.site=(GRIF_IRFU)&grouping.dst=(site)&technology=(xrootd)&vo=(alice)<br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France ==<br />
'''Affichage "n/a"''' <br><br />
Par ex. Trafic XRootD ATLAS vu au niveau du SE du LAPP au cours des 4 dernières heures :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LAPP)&technology=(xrootd)&vo=(atlas) <br />
* http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(IN2P3-LAPP)&tab=access_pattern&vo=(atlas)<br />
idem pour CMS et le LLR :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LLR)&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(LLR)&tab=access_pattern&vo=(cms)<br />
<br />
n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so let us go through and check if there is some mapping not properly specified or missing.<br />
<br />
==== TABLE A VERIFIER-CORRIGER ====<br />
* Ci-dessous la table assurant le mapping entre site client XRootD et site de grille :<br />
* via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143 ; Contact : Luca Magnoni (CERN)<br />
<br />
''for the xrootd dashboard the mapping is done with a static lookup of the client domain to a known list of grid sites (e.g."client_domain":"lal.in2p3.fr" is mapped to GRIF). If the mapping fails, the statistics is reported to the n/a category, as a fallback. For France in particular, if a client log arrives with the "in2p3" domain without a known sub-domain, it goes into a "IN2P3failover" category. Below the current list (actually a dictionary) for ATLAS and CMS, please let me know if you see anything incorrect or missing, of if you need any other info.'' <br />
<br />
{<br />
"ATLAS": {<br />
"in2p3.fr": {<br />
"host_dict": {<br />
"lpn": {<br />
"VOname": "GRIF-LPNHE",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lal": {<br />
"VOname": "GRIF-LAL",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
<span style="color:#FF0000;">"ccsrm" A CHANGER pour "ccw"</span>: {<br />
"VOname": "IN2P3-CC",<br />
"SiteName": "IN2P3-CC",<br />
"Country": "France"<br />
},<br />
"mar": {<br />
"VOname": "IN2P3-CPPM",<br />
"SiteName": "IN2P3-CPPM",<br />
"Country": "France"<br />
},<br />
"lapp": {<br />
"VOname": "IN2P3-LAPP",<br />
"SiteName": "IN2P3-LAPP",<br />
"Country": "France"<br />
},<br />
"clrlcg": {<br />
"VOname": "IN2P3-LPC",<br />
"SiteName": "IN2P3-LPC",<br />
"Country": "France"<br />
},<br />
"lpsc": {<br />
"VOname": "IN2P3-LPSC",<br />
"SiteName": "IN2P3-LPSC",<br />
"Country": "France"<br />
}<br />
},<br />
"SiteName": "IN2P3",<br />
"VOname": "IN2P3failover",<br />
"Country": "France"<br />
}<br />
}<br />
}<br />
<br />
<br />
{<br />
"CMS": {<br />
"in2p3.fr": {<br />
"host_dict": {<br />
<span style="color:#FF0000;">"lapp": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "IN2P3-LAPP",<br />
"Country": "France"<br />
}, A SUPPRIMER ! </span><br />
"lpn": {<br />
"VOname": "T2_FR_GRIF_IRFU",<br />
"SiteName": "GRIF-LPNHE",<br />
"Country": "France"<br />
},<br />
"lal": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF-LAL",<br />
"Country": "France"<br />
},<br />
<span style="color:#FF0000;">"lpsc": {<br />
"VOname": "IN2P3-LPSC",<br />
"SiteName": "IN2P3-LPSC",<br />
"Country": "France"<br />
},<br />
"mar": {<br />
"VOname": "IN2P3-CPPM",<br />
"SiteName": "CPPM",<br />
"Country": "France"<br />
},A SUPPRIMER ! </span><br />
"polgrid": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"sbgwn": {<br />
"VOname": "T2_FR_IPHC",<br />
"SiteName": "IN2P3-IRES",<br />
"Country": "France"<br />
},<br />
"llrgrwn": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF<span style="color:#FF0000;">S</pan>",<br />
"Country": "France"<br />
}<br />
},<br />
"SiteName": "IN2P3",<br />
"VOname": "IN2P3failover",<br />
"Country": "France"<br />
}<br />
}<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7951WLCG Data transfers2016-05-13T09:53:48Z<p>Chollet: /* XRootD Monitoring : Site resolution in France */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes, xrootd natif ET xrootd/DPM sont monitorés <br />
**http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&dst.site=(GRIF_IRFU)&grouping.dst=(site)&technology=(xrootd)&vo=(alice)<br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France ==<br />
'''Affichage "n/a"''' <br><br />
Par ex. Trafic XRootD ATLAS vu au niveau du SE du LAPP au cours des 4 dernières heures :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LAPP)&technology=(xrootd)&vo=(atlas) <br />
* http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(IN2P3-LAPP)&tab=access_pattern&vo=(atlas)<br />
idem pour CMS et le LLR :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LLR)&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(LLR)&tab=access_pattern&vo=(cms)<br />
<br />
n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so let us go through and check if there is some mapping not properly specified or missing.<br />
<br />
==== TABLE A VERIFIER/CORRIGER ====<br />
* Ci-dessous la table assurant le mapping entre site client XRootD et site de grille :<br />
* via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143 ; Contact : Luca Magnoni (CERN)<br />
<br />
''for the xrootd dashboard the mapping is done with a static lookup of the client domain to a known list of grid sites (e.g."client_domain":"lal.in2p3.fr" is mapped to GRIF). If the mapping fails, the statistics is reported to the n/a category, as a fallback. For France in particular, if a client log arrives with the "in2p3" domain without a known sub-domain, it goes into a "IN2P3failover" category. Below the current list (actually a dictionary) for ATLAS and CMS, please let me know if you see anything incorrect or missing, of if you need any other info.'' <br />
<br />
{<br />
"ATLAS": {<br />
"in2p3.fr": {<br />
"host_dict": {<br />
"lpn": {<br />
"VOname": "GRIF-LPNHE",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lal": {<br />
"VOname": "GRIF-LAL",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
<span style="color:#FF0000;">"ccsrm" A CHANGER pour "ccw"</span>: {<br />
"VOname": "IN2P3-CC",<br />
"SiteName": "IN2P3-CC",<br />
"Country": "France"<br />
},<br />
"mar": {<br />
"VOname": "IN2P3-CPPM",<br />
"SiteName": "IN2P3-CPPM",<br />
"Country": "France"<br />
},<br />
"lapp": {<br />
"VOname": "IN2P3-LAPP",<br />
"SiteName": "IN2P3-LAPP",<br />
"Country": "France"<br />
},<br />
"clrlcg": {<br />
"VOname": "IN2P3-LPC",<br />
"SiteName": "IN2P3-LPC",<br />
"Country": "France"<br />
},<br />
"lpsc": {<br />
"VOname": "IN2P3-LPSC",<br />
"SiteName": "IN2P3-LPSC",<br />
"Country": "France"<br />
}<br />
},<br />
"SiteName": "IN2P3",<br />
"VOname": "IN2P3failover",<br />
"Country": "France"<br />
}<br />
}<br />
}<br />
<br />
<br />
{<br />
"CMS": {<br />
"in2p3.fr": {<br />
"host_dict": {<br />
<span style="color:#FF0000;">"lapp": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "IN2P3-LAPP",<br />
"Country": "France"<br />
}, A SUPPRIMER ! </span><br />
"lpn": {<br />
"VOname": "T2_FR_GRIF_IRFU",<br />
"SiteName": "GRIF-LPNHE",<br />
"Country": "France"<br />
},<br />
"lal": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF-LAL",<br />
"Country": "France"<br />
},<br />
<span style="color:#FF0000;">"lpsc": {<br />
"VOname": "IN2P3-LPSC",<br />
"SiteName": "IN2P3-LPSC",<br />
"Country": "France"<br />
},<br />
"mar": {<br />
"VOname": "IN2P3-CPPM",<br />
"SiteName": "CPPM",<br />
"Country": "France"<br />
},A SUPPRIMER ! </span><br />
"polgrid": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"sbgwn": {<br />
"VOname": "T2_FR_IPHC",<br />
"SiteName": "IN2P3-IRES",<br />
"Country": "France"<br />
},<br />
"llrgrwn": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF<span style="color:#FF0000;">S</pan>",<br />
"Country": "France"<br />
}<br />
},<br />
"SiteName": "IN2P3",<br />
"VOname": "IN2P3failover",<br />
"Country": "France"<br />
}<br />
}<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7950WLCG Data transfers2016-05-13T09:52:45Z<p>Chollet: /* XRootD Monitoring : Site resolution in France */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes, xrootd natif ET xrootd/DPM sont monitorés <br />
**http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&dst.site=(GRIF_IRFU)&grouping.dst=(site)&technology=(xrootd)&vo=(alice)<br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France ==<br />
'''Affichage "n/a"''' <br><br />
Par ex. Trafic XRootD ATLAS vu au niveau du SE du LAPP au cours des 4 dernières heures :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LAPP)&technology=(xrootd)&vo=(atlas) <br />
* http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(IN2P3-LAPP)&tab=access_pattern&vo=(atlas)<br />
idem pour CMS et le LLR :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LLR)&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(LLR)&tab=access_pattern&vo=(cms)<br />
<br />
n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so let us go through and check if there is some mapping not properly specified or missing.<br />
<br />
==== TABLE A VERIFIER/CORRIGER"<br />
* Ci-dessous la table assurant le mapping entre site client XRootD et site de grille :<br />
* via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143 ; Contact : Luca Magnoni (CERN)<br />
<br />
''for the xrootd dashboard the mapping is done with a static lookup of the client domain to a known list of grid sites (e.g."client_domain":"lal.in2p3.fr" is mapped to GRIF). If the mapping fails, the statistics is reported to the n/a category, as a fallback. For France in particular, if a client log arrives with the "in2p3" domain without a known sub-domain, it goes into a "IN2P3failover" category. Below the current list (actually a dictionary) for ATLAS and CMS, please let me know if you see anything incorrect or missing, of if you need any other info.'' <br />
<br />
{<br />
"ATLAS": {<br />
"in2p3.fr": {<br />
"host_dict": {<br />
"lpn": {<br />
"VOname": "GRIF-LPNHE",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lal": {<br />
"VOname": "GRIF-LAL",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
<span style="color:#FF0000;">"ccsrm" A CHANGER pour "ccw"</span>: {<br />
"VOname": "IN2P3-CC",<br />
"SiteName": "IN2P3-CC",<br />
"Country": "France"<br />
},<br />
"mar": {<br />
"VOname": "IN2P3-CPPM",<br />
"SiteName": "IN2P3-CPPM",<br />
"Country": "France"<br />
},<br />
"lapp": {<br />
"VOname": "IN2P3-LAPP",<br />
"SiteName": "IN2P3-LAPP",<br />
"Country": "France"<br />
},<br />
"clrlcg": {<br />
"VOname": "IN2P3-LPC",<br />
"SiteName": "IN2P3-LPC",<br />
"Country": "France"<br />
},<br />
"lpsc": {<br />
"VOname": "IN2P3-LPSC",<br />
"SiteName": "IN2P3-LPSC",<br />
"Country": "France"<br />
}<br />
},<br />
"SiteName": "IN2P3",<br />
"VOname": "IN2P3failover",<br />
"Country": "France"<br />
}<br />
}<br />
}<br />
<br />
<br />
{<br />
"CMS": {<br />
"in2p3.fr": {<br />
"host_dict": {<br />
<span style="color:#FF0000;">"lapp": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "IN2P3-LAPP",<br />
"Country": "France"<br />
}, A SUPPRIMER ! </span><br />
"lpn": {<br />
"VOname": "T2_FR_GRIF_IRFU",<br />
"SiteName": "GRIF-LPNHE",<br />
"Country": "France"<br />
},<br />
"lal": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF-LAL",<br />
"Country": "France"<br />
},<br />
<span style="color:#FF0000;">"lpsc": {<br />
"VOname": "IN2P3-LPSC",<br />
"SiteName": "IN2P3-LPSC",<br />
"Country": "France"<br />
},<br />
"mar": {<br />
"VOname": "IN2P3-CPPM",<br />
"SiteName": "CPPM",<br />
"Country": "France"<br />
},A SUPPRIMER ! </span><br />
"polgrid": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"sbgwn": {<br />
"VOname": "T2_FR_IPHC",<br />
"SiteName": "IN2P3-IRES",<br />
"Country": "France"<br />
},<br />
"llrgrwn": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIFS",<br />
"Country": "France"<br />
}<br />
},<br />
"SiteName": "IN2P3",<br />
"VOname": "IN2P3failover",<br />
"Country": "France"<br />
}<br />
}<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7949WLCG Data transfers2016-05-13T09:48:44Z<p>Chollet: /* XRootD Monitoring : Site resolution in France (affichage "n/a") */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes, xrootd natif ET xrootd/DPM sont monitorés <br />
**http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&dst.site=(GRIF_IRFU)&grouping.dst=(site)&technology=(xrootd)&vo=(alice)<br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France ==<br />
'''Affichage "n/a"'''<br />
Par ex. Trafic XRootD ATLAS vu au niveau du SE du LAPP au cours des 4 dernières heures :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LAPP)&technology=(xrootd)&vo=(atlas) <br />
* http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(IN2P3-LAPP)&tab=access_pattern&vo=(atlas)<br />
idem pour CMS et le LLR :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LLR)&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(LLR)&tab=access_pattern&vo=(cms)<br />
<br />
n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so let us go through and check if there is some mapping not properly specified or missing.<br />
* Contact : Luca Magnoni via Julia Andreeva. <br />
* Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
* Voici la table '''A VERIFIER/CORRIGER''' assurant le mapping entre site client XRootD et site de grille : <br />
''for the xrootd dashboard the mapping is done with a static lookup of the client domain to a known list of grid sites (e.g."client_domain":"lal.in2p3.fr" is mapped to GRIF). If the mapping fails, the statistics is reported to the n/a category, as a fallback. For France in particular, if a client log arrives with the "in2p3" domain without a known sub-domain, it goes into a "IN2P3failover" category. Below the current list (actually a dictionary) for ATLAS and CMS, please let me know if you see anything incorrect or missing, of if you need any other info.'' <br />
<br />
{<br />
"ATLAS": {<br />
"in2p3.fr": {<br />
"host_dict": {<br />
"lpn": {<br />
"VOname": "GRIF-LPNHE",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"lal": {<br />
"VOname": "GRIF-LAL",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
<span style="color:#FF0000;">"ccsrm" A CHANGER pour "ccw"</span>: {<br />
"VOname": "IN2P3-CC",<br />
"SiteName": "IN2P3-CC",<br />
"Country": "France"<br />
},<br />
"mar": {<br />
"VOname": "IN2P3-CPPM",<br />
"SiteName": "IN2P3-CPPM",<br />
"Country": "France"<br />
},<br />
"lapp": {<br />
"VOname": "IN2P3-LAPP",<br />
"SiteName": "IN2P3-LAPP",<br />
"Country": "France"<br />
},<br />
"clrlcg": {<br />
"VOname": "IN2P3-LPC",<br />
"SiteName": "IN2P3-LPC",<br />
"Country": "France"<br />
},<br />
"lpsc": {<br />
"VOname": "IN2P3-LPSC",<br />
"SiteName": "IN2P3-LPSC",<br />
"Country": "France"<br />
}<br />
},<br />
"SiteName": "IN2P3",<br />
"VOname": "IN2P3failover",<br />
"Country": "France"<br />
}<br />
}<br />
}<br />
<br />
<br />
{<br />
"CMS": {<br />
"in2p3.fr": {<br />
"host_dict": {<br />
<span style="color:#FF0000;">"lapp": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "IN2P3-LAPP",<br />
"Country": "France"<br />
}, A SUPPRIMER ! </span><br />
"lpn": {<br />
"VOname": "T2_FR_GRIF_IRFU",<br />
"SiteName": "GRIF-LPNHE",<br />
"Country": "France"<br />
},<br />
"lal": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF-LAL",<br />
"Country": "France"<br />
},<br />
<span style="color:#FF0000;">"lpsc": {<br />
"VOname": "IN2P3-LPSC",<br />
"SiteName": "IN2P3-LPSC",<br />
"Country": "France"<br />
},<br />
"mar": {<br />
"VOname": "IN2P3-CPPM",<br />
"SiteName": "CPPM",<br />
"Country": "France"<br />
},A SUPPRIMER ! </span><br />
"polgrid": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIF",<br />
"Country": "France"<br />
},<br />
"sbgwn": {<br />
"VOname": "T2_FR_IPHC",<br />
"SiteName": "IN2P3-IRES",<br />
"Country": "France"<br />
},<br />
"llrgrwn": {<br />
"VOname": "T2_FR_GRIF_LLR",<br />
"SiteName": "GRIFS",<br />
"Country": "France"<br />
}<br />
},<br />
"SiteName": "IN2P3",<br />
"VOname": "IN2P3failover",<br />
"Country": "France"<br />
}<br />
}<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7946WLCG Data transfers2016-05-02T12:28:04Z<p>Chollet: /* Dashboard WLCG */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes, xrootd natif ET xrootd/DPM sont monitorés <br />
**http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&dst.site=(GRIF_IRFU)&grouping.dst=(site)&technology=(xrootd)&vo=(alice)<br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France (affichage "n/a") ==<br />
Par ex. le trafic XRootD ATLAS vu au niveau du SE du LAPP au cours des 4 dernières heures :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LAPP)&technology=(xrootd)&vo=(atlas) <br />
* http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(IN2P3-LAPP)&tab=access_pattern&vo=(atlas)<br />
idem pour CMS et le LLR :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LLR)&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(LLR)&tab=access_pattern&vo=(cms)<br />
<br />
<br />
n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so let us go through and check if there is some mapping not properly specified or missing.<br />
* Contact : Luca Magnoni via Julia Andreeva. <br />
* Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
* https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution<br />
[[File:LAPP-XRootDCapture290416.JPG|640px]]<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7945WLCG Data transfers2016-05-02T12:26:17Z<p>Chollet: /* XRootD Monitoring : Site resolution in France (affichage "n/a") */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France (affichage "n/a") ==<br />
Par ex. le trafic XRootD ATLAS vu au niveau du SE du LAPP au cours des 4 dernières heures :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LAPP)&technology=(xrootd)&vo=(atlas) <br />
* http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(IN2P3-LAPP)&tab=access_pattern&vo=(atlas)<br />
idem pour CMS et le LLR :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LLR)&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(LLR)&tab=access_pattern&vo=(cms)<br />
<br />
<br />
n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so let us go through and check if there is some mapping not properly specified or missing.<br />
* Contact : Luca Magnoni via Julia Andreeva. <br />
* Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
* https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution<br />
[[File:LAPP-XRootDCapture290416.JPG|640px]]<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7944WLCG Data transfers2016-04-29T15:55:29Z<p>Chollet: /* XRootD Monitoring : Site resolution in France (affichage "n/a") */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France (affichage "n/a") ==<br />
Par ex. le trafic XRootD ATLAS vu au niveau du SE du LAPP au cours des 4 dernières heures :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LAPP)&technology=(xrootd)&vo=(atlas) <br />
* http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(IN2P3-LAPP)&tab=access_pattern&vo=(atlas)<br />
idem pour CMS et le LLR :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LLR)&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(LLR)&tab=access_pattern&vo=(cms)<br />
<br />
<br />
n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so I will need to go through and check if there is some mapping not properly specified or missing.<br />
* Contact : Luca Magnoni via Julia Andreeva. <br />
* Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
* https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution<br />
[[File:LAPP-XRootDCapture290416.JPG|640px]]<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7943WLCG Data transfers2016-04-29T15:55:03Z<p>Chollet: /* XRootD Monitoring : Site resolution in France (affichage "n/a") */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France (affichage "n/a") ==<br />
Par ex. le trafic XRootD ATLAS vu au niveau du SE du LAPP au cours des 4 dernières heures :<br />
** http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LAPP)&technology=(xrootd)&vo=(atlas) <br />
** http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(IN2P3-LAPP)&tab=access_pattern&vo=(atlas)<br />
* idem pour CMS et le LLR :<br />
** http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LLR)&technology=(xrootd)&vo=(cms)<br />
** http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(LLR)&tab=access_pattern&vo=(cms)<br />
<br />
<br />
n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so I will need to go through and check if there is some mapping not properly specified or missing.<br />
* Contact : Luca Magnoni via Julia Andreeva. <br />
* Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
* https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution<br />
[[File:LAPP-XRootDCapture290416.JPG|640px]]<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7942WLCG Data transfers2016-04-29T15:53:13Z<p>Chollet: /* XRootD Monitoring : Site resolution in France (affichage "n/a") */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France (affichage "n/a") ==<br />
* Par ex. le trafic XRootD ATLAS vu au niveau du SE du LAPP au cours des 4 dernières heures :<br />
** http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LAPP)&technology=(xrootd)&vo=(atlas) <br />
** http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(IN2P3-LAPP)&tab=access_pattern&vo=(atlas)<br />
* idem pour CMS et le LLR :<br />
** http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LLR)&technology=(xrootd)&vo=(cms)<br />
** http://dashb-wdt-xrootd.cern.ch/ui/#access_type=%28%29&srv.site=%28LLR%29&tab=access_pattern&vo=%28cms%29<br />
* Contact : Luca Magnoni via Julia Andreeva. <br />
* n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so I will need to go through and check if there is some mapping not properly specified or missing.<br />
* Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
* https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution<br />
[[File:LAPP-XRootDCapture290416.JPG|640px]]<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7941WLCG Data transfers2016-04-29T15:52:13Z<p>Chollet: /* XRootD Monitoring : Site resolution in France (affichage "n/a") */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France (affichage "n/a") ==<br />
* Par ex. le trafic XRootD ATLAS vu au niveau du SE du LAPP au cours des 4 dernières heures :<br />
** http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LAPP)&technology=(xrootd)&vo=(atlas) <br />
** http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(IN2P3-LAPP)&tab=access_pattern&vo=(atlas)<br />
* idem pour CMS et le LLR :<br />
** http://dashb-wlcg-transfers.cern.ch/ui/#grouping.dst=(site)&p.grouping=dst&src.site=(LLR)&technology=(xrootd)&vo=(cms)<br />
** http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&srv.site=(IN2P3-LAPP)&tab=access_pattern&vo=(atlas)<br />
* Contact : Luca Magnoni via Julia Andreeva. <br />
* n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so I will need to go through and check if there is some mapping not properly specified or missing.<br />
* Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
* https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution<br />
[[File:LAPP-XRootDCapture290416.JPG|640px]]<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7940WLCG Data transfers2016-04-29T15:47:46Z<p>Chollet: /* XRootD Monitoring : Site resolution in France (affichage "n/a") */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France (affichage "n/a") ==<br />
* Par ex. le trafic XRootD ATLAS vu au niveau du SE du LAPP au cours des 4 dernières heures :<br />
** http://dashb-wlcg-transfers.cern.ch/ui/#p.grouping=dst&src.site=(LAPP)&technology=(xrootd)&vo=(atlas) <br />
** http://dashb-wdt-xrootd.cern.ch/ui/#access_type=(28)&srv.site=(IN2P3-LAPP)&tab=access_pattern&vo=(atlas)<br />
* Contact : Luca Magnoni via Julia Andreeva. <br />
* n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so I will need to go through and check if there is some mapping not properly specified or missing.<br />
* Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
* https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution<br />
[[File:LAPP-XRootDCapture290416.JPG|640px]]<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7939WLCG Data transfers2016-04-29T15:40:10Z<p>Chollet: /* XRootD Monitoring : Site resolution in France (affichage "n/a") */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France (affichage "n/a") ==<br />
<br />
* Contact : Luca Magnoni via Julia Andreeva. <br />
* n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so I will need to go through and check if there is some mapping not properly specified or missing. <br />
* Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
* https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution<br />
[[File:LAPP-XRootDCapture290416.JPG|640px|thumb|center|Source : ]]<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7938WLCG Data transfers2016-04-29T15:39:03Z<p>Chollet: /* XRootD Monitoring : Site resolution in France (affichage "n/a") */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France (affichage "n/a") ==<br />
<br />
* Contact : Luca Magnoni via Julia Andreeva. <br />
* n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so I will need to go through and check if there is some mapping not properly specified or missing. <br />
* Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
* https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution<br />
[[File:LAPP-XRootDCapture290416.JPG|640px|||Source : ]]<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7937WLCG Data transfers2016-04-29T15:38:42Z<p>Chollet: /* XRootD Monitoring : Site resolution in France (affichage "n/a") */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France (affichage "n/a") ==<br />
<br />
* Contact : Luca Magnoni via Julia Andreeva. <br />
* n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so I will need to go through and check if there is some mapping not properly specified or missing. <br />
* Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
* https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution<br />
[[File:LAPP-XRootDCapture290416.JPG|640px|Source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas)]]<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7936WLCG Data transfers2016-04-29T15:37:38Z<p>Chollet: /* XRootD Monitoring : Site resolution in France (affichage "n/a") */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France (affichage "n/a") ==<br />
<br />
* Contact : Luca Magnoni via Julia Andreeva. <br />
* n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so I will need to go through and check if there is some mapping not properly specified or missing. <br />
* Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
* https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution<br />
[[File:LAPP-XRootDCapture290416.JPG|640px]]<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7935WLCG Data transfers2016-04-29T15:36:44Z<p>Chollet: /* XRootD Monitoring : Site resolution in France (affichage "n/a") */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France (affichage "n/a") ==<br />
<br />
* Contact : Luca Magnoni via Julia Andreeva. <br />
* n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so I will need to go through and check if there is some mapping not properly specified or missing. <br />
* Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
* https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution<br />
[[File:LAPP-XRootDCapture290416.JPG|1024px]]<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7934WLCG Data transfers2016-04-29T15:36:29Z<p>Chollet: /* XRootD Monitoring : Site resolution in France (affichage "n/a") */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France (affichage "n/a") ==<br />
<br />
* Contact : Luca Magnoni via Julia Andreeva. <br />
* n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so I will need to go through and check if there is some mapping not properly specified or missing. <br />
* Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
* https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution<br />
[[File:LAPP-XRootDCapture290416.JPG|800px]]<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7933WLCG Data transfers2016-04-29T15:35:35Z<p>Chollet: /* XRootD Monitoring : Site resolution in France (affichage "n/a") */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France (affichage "n/a") ==<br />
<br />
* Contact : Luca Magnoni via Julia Andreeva. <br />
* n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so I will need to go through and check if there is some mapping not properly specified or missing. <br />
* Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
* https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution<br />
[[File:LAPP-XRootDCapture290416.JPG]]<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7932WLCG Data transfers2016-04-29T15:34:38Z<p>Chollet: /* XRootD Monitoring : Site resolution in France (affichage "n/a") */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France (affichage "n/a") ==<br />
<br />
* Contact : Luca Magnoni via Julia Andreeva. <br />
* n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so I will need to go through and check if there is some mapping not properly specified or missing. <br />
* Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
* https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution<br />
[[File:LAPP-XRootDCapture290416.JPG/1024px-LAPP-XRootDCapture290416.JPG]]<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7931WLCG Data transfers2016-04-29T15:33:20Z<p>Chollet: /* XRootD Monitoring : Site resolution in France (affichage "n/a") */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France (affichage "n/a") ==<br />
<br />
* Contact : Luca Magnoni via Julia Andreeva. <br />
* n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so I will need to go through and check if there is some mapping not properly specified or missing. <br />
* Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
* https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution<br />
http://lcg.in2p3.fr/wiki/images/thumb/LAPP-XRootDCapture290416.JPG/1024px-LAPP-XRootDCapture290416.JPG<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=File:LAPP-XRootDCapture290416.JPG&diff=7930File:LAPP-XRootDCapture290416.JPG2016-04-29T15:32:11Z<p>Chollet: Source : http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&date.interval=60&srv.site=(IN2P3-LAPP)&tab=access_pattern&vo=(atlas)</p>
<hr />
<div>Source : http://dashb-wdt-xrootd.cern.ch/ui/#access_type=()&date.interval=60&srv.site=(IN2P3-LAPP)&tab=access_pattern&vo=(atlas)</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers&diff=7929Dashb-wlcg-transfers2016-04-29T14:56:22Z<p>Chollet: /* Transferts à destination des sites LCGFR par VO (en accès remote sur 24h) */</p>
<hr />
<div>'''ALICE, ATLAS, CMS, LHCb - Transfers FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui<br />
<br />
__TOC__<br />
[http://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers <== Retour à la page WLCG_Data_Transfers]<br />
<br />
<br />
<br />
== Transferts à destination des sites LCGFR par VO (en accès remote sur 24h) ==<br />
* Sur les dernières 24h00 (4h par défaut):<br />
**http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&dst.country=(FRANCE)<br />
**http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&dst.country=(FRANCE)&p.type=sum<br />
**http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&dst.country=(FRANCE)&grouping.dst=(site)&tab=matrix<br />
*Les noms de site différent selon les VOs, d'où une certaine complexité assez bien gérée par le dashboard.<br />
**Problème (bug) cependant avec le filtre dst.country=(France) pour la VO ALICE ; subatech est le seul site à sortir. <br />
**Le filtre par site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble) a l'air de fonctioner pour l'ensembles des sites FR et des VOs<br />
**IN2P3failover (!) affecte le monitoring des transferts (XRootd) ATLAS et CMS. <br />
<br />
[[File:20160307-destFRsites_24h.jpg|800px|thumb|center|Liens utilisés : <br> <br />
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)<br><br />
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&p.type=sum <br><br />
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&grouping.dst=(site)&m.content=(g_efficiency,g_throughput,g_volume)&tab=matrix&vo=(cms)]]<br />
<br />
[[File:20160307-destFRsites_24hFTSvsXRootD.jpg|800px|thumb|center|Liens utilisés : <br> <br />
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.country=(FRANCE)&technology=(fts)<br> <br />
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&grouping.dst=(site)&p.type=sum&technology=(xrootd)]] <br />
<br />
[[File:20160307-destFRsites_24hFTSvsXRootD-CMS.jpg|800px|thumb|center|Liens utilisés : <br> <br />
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.country=(FRANCE)&p.grouping=technology&vo=(cms)<br><br />
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.country=(FRANCE)&p.grouping=technology&vo=(cms)&p.type=sum]]<br />
<br />
== Transferts sur 24h depuis les sites LCGFR par VO (accès remote) ==<br />
* Sur les dernières 24h00 (4h par défaut):<br />
**http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&src.country=(FRANCE)<br />
**http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&src.country=(FRANCE)&p.type=sum<br />
**http://dashb-wlcg-transfers.cern.ch/ui/#date.interval=1440&src.country=(FRANCE)&grouping.src=(site)&m.content=(g_efficiency,g_throughput,g_volume)&tab=matrix&m.transpose=true<br />
<br />
* Pb avec le filtre dst.country=(France) ; comparer :<br />
** http://dashb-wlcg-transfers.cern.ch/ui/#src.country=(FRANCE)<br />
** http://dashb-wlcg-transfers.cern.ch/ui/#src.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)<br />
* IN2P3failover (!) affecte le monitoring des transferts (XRootd) ATLAS et CMS. <br />
<br />
[[File:20160307-srcFRsites_24h.jpg|800px|thumb|center|Liens utilisés : <br> <br />
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)<br><br />
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&p.type=sum<br><br />
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.country=(FRANCE)&grouping.src=(site)&m.content=(g_efficiency,g_throughput,g_volume)&tab=matrix&m.transpose=true&vo=(cms)<br><br />
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&grouping.src=(site)&m.content=(g_efficiency,g_throughput,g_volume)&tab=matrix&m.transpose=true&vo=(alice) ]]<br />
<br />
[[File:20160307-srcFRsites_24hFTSvsXRootd.jpg|800px|thumb|center|Liens utilisés : <br> <br />
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.country=(FRANCE)&technologu=(fts)<br><br />
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.site=(FR_,IN2P3,GRIF,Clermont,IPNL,Strasbourg,Subatech,Grenoble)&technology=(xrootd)]]<br />
<br />
[[File:20160307-srcFRsites_24hFTSvsXRootD-ATLAS.jpg|800px|thumb|center|Liens utilisés :<br><br />
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.country=(FRANCE)&p.grouping=technology&vo=(atlas)<br><br />
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.country=(FRANCE)&p.grouping=technology&vo=(atlas)&p.type=sum]]<br />
<br />
== Bilan : Transferts à destination des /depuis les sites LCGFR par VO (en accès remote sur 24h)==<br />
[[File:20160307-FRsites_24h.jpg|800px|thumb|center]]<br />
<br />
== Trafics XRootD @ SUBATECH ==<br />
* Comment se compare le dashboard WLCG avec ce qui est montré dans Monalisa ?<br />
* WLCG fournit une vision synthétique du trafic remote vs local (volumétrie concernée et site distant concerné)<br />
** Attention : Valeurs Throughput sont des débits moyens (sur la largeur dy bin au niveau du plot, sur la plage demandée au niveau de la table "matrix")<br />
** Trafic IN/OUT pas facile à visualiser. L'option Transfer mode : Reading / Copy n'est pas facilement utilisable / vraiment utile (?) <br />
<br />
<br />
[[File:20160307-Subatech_24h.jpg|800px|thumb|center|Liens utilisés :<br><br />
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071800&date.to=201603081800&dst.site=(SUBATECH) accès remote par défaut<br><br />
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071800&date.to=201603081800&src.site=(SUBATECH) <br><br />
- http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0)&date.from=201603071800&date.interval=0&date.to=201603081800&dst.site=(SUBATECH) accès local]]<br />
<br />
* Monalisa identifie clairement le trafic IN vs OUT et propose de nombreuses vues (différentes ou pas) plus détaillées qui permettent de retrouver les accès Remote vs Local : <br />
** "Network Traffic" - "SE per Clients" => Select client site : Subatech => Traffic generated by applications at Subatech<br />
** "Network Traffic" - "Clients per SE" => Select source site : Subatech => Traffic seen by the Subatech servers <br />
* Ci-dessous les plots Monalisa qui semblent cohérents avec ceux du monitoring WLCG<br />
[[File:20160307-Subatech_24hRemote.jpg|800px|thumb|center|Liens utilisés :<br><br />
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071800&date.to=201603081800&dst.site=(SUBATECH)&p.bin.size=10m accès remote par défaut <br><br />
- http://alimonitor.cern.ch/display Traffic generated at Subatech (client site : Subatech) to CERN-EOS]]<br />
[[File:20160307-Subatech_24hLocal.jpg|800px|thumb|center|Liens utilisés :<br><br />
- http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0)&date.from=201603071800&date.to=201603081800&dst.site=(SUBATECH)&p.bin.size=10m accès remote par défaut <br><br />
- http://alimonitor.cern.ch/display Traffic seen by Subatech (source site : Subatech) generated by Subatech]]<br />
<br />
== Trafics @ LPSC ==<br />
* Le LPSC est un bon exemple car on voit du trafic XRootD (remote et local) pour 2 VOs ATLAS et ALICE. <br />
* Pour ATLAS, on peut visualiser (sur les 4 dernières heures): <br />
** la totalité des trafics fts et XRootD vers le LPSC : http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas) <br />
** les modes d'accès remote vs local pour XRootD depuis le LPSC : http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPSC)&p.grouping=access_type&technology=(xrootd)&vo=(atlas) <br />
** les modes de transfert copy vs reading des accès XRootD Remote au LPSC : http://dashb-wlcg-transfers.cern.ch/ui/#p.grouping=transfer_mode&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
<br />
[[File:20160307-LPSC_24hRemoteLocal.jpg|800px|thumb|center|Liens utilisés :<br><br />
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&dst.site=(IN2P3-LPSC,Grenoble)<br />
préciser site Grenoble pour obtenir le trafic ALICE, accès remote par défaut <br><br />
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&src.site=(IN2P3-LPSC,Grenoble)<br><br />
- http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0)&date.from=201603071700&date.to=201603081700&src.site=(IN2P3-LPSC,Grenoble) accès local]]<br />
<br />
[[File:20160307-LPSC 24hFTSvsXRootD-ATLAS.jpg|800px|thumb|center|Liens utilisés :<br><br />
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&p.grouping=technology&dst.site=(IN2P3-LPSC)&vo=(atlas)<br><br />
- http://dashb-wlcg-transfers.cern.ch/ui/#date.from=201603071700&date.to=201603081700&p.grouping=technology&src.site=(IN2P3-LPSC)&vo=(atlas)<br><br />
- http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0)&date.from=201603071700&date.to=201603081700&p.grouping=technology&src.site=(IN2P3-LPSC)&vo=(atlas)<br />
accès local]]<br />
<br />
[[File:20160307-LPSC_24h.jpg|800px|thumb|center|Bilan des accès Remote pour le LPSC à partir des plots de type SUM]]</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7928WLCG Data transfers2016-04-29T14:36:05Z<p>Chollet: /* Topology Resolution (affichage "n/a") */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== XRootD Monitoring : Site resolution in France (affichage "n/a") ==<br />
<br />
* Contact : Luca Magnoni via Julia Andreeva. <br />
* n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so I will need to go through and check if there is some mapping not properly specified or missing. <br />
* Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
* https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7927WLCG Data transfers2016-04-29T14:34:26Z<p>Chollet: /* Dashboard XRooTD */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== Topology Resolution (affichage "n/a") ==<br />
<br />
* Contact : Luca Magnoni via Julia Andreeva. <br />
* n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so I will need to go through and check if there is some mapping not properly specified or missing. <br />
* Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
* https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7926WLCG Data transfers2016-04-29T14:34:05Z<p>Chollet: /* Dashboard XRooTD */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) '''=> destination n/a !!!'''<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
<br><br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== Topology Resolution (affichage "n/a") ==<br />
<br />
* Contact : Luca Magnoni via Julia Andreeva. <br />
* n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so I will need to go through and check if there is some mapping not properly specified or missing. <br />
* Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
* https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7925WLCG Data transfers2016-04-29T14:32:55Z<p>Chollet: /* Topology Resolution (affichage n/a) */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) => destination n/a !!!<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
<br />
<br><br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== Topology Resolution (affichage "n/a") ==<br />
<br />
* Contact : Luca Magnoni via Julia Andreeva. <br />
* n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so I will need to go through and check if there is some mapping not properly specified or missing. <br />
* Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
* https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7924WLCG Data transfers2016-04-29T14:32:31Z<p>Chollet: </p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également. cf. paragraphe 5.<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) => destination n/a !!!<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
<br />
<br><br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache au CC pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== Topology Resolution (affichage n/a) ==<br />
<br />
* Contact : Luca Magnoni via Julia Andreeva. <br />
* n/a is an indication that the topology resolution (aka the mapping between xrootd servers and clients to GRID site names) encountered problems. The topology resolution is done at the dashboard level, and France required some special configuration too, so I will need to go through and check if there is some mapping not properly specified or missing. <br />
* Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
* https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7923WLCG Data transfers2016-04-29T14:27:55Z<p>Chollet: /* Monitoring XRootD ATLAS / CMS (pb de configuration dans certains sites) */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" - pb de topologie : cf. paragraphe 5 <br />
== Topology Resolution ==<br />
https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution<br />
<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également<br />
** Contact est pris avec Luca Magnoni. Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) => destination n/a !!!<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
<br />
<br><br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (configuration du) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7922WLCG Data transfers2016-04-29T14:26:25Z<p>Chollet: </p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
* Affichage "n/a" - pb de topologie : cf. paragraphe 5 <br />
== Topology Resolution ==<br />
https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution<br />
<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également<br />
** Contact est pris avec Luca Magnoni. Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) => destination n/a !!!<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
<br />
<br><br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (pb de configuration dans certains sites) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Wiki : https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7921WLCG Data transfers2016-04-29T14:23:00Z<p>Chollet: /* Dashboard WLCG */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local ==> pb de configuration du monitoring XRootD ATLAS / CMS dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
<br />
== Topology Resolution ==<br />
https://twiki.cern.ch/twiki/bin/view/LCG/WLCGDataTransferMonitoring#On_topology_resolution<br />
<br />
* Affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également<br />
** Contact est pris avec Luca Magnoni. Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) => destination n/a !!!<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
<br />
<br><br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (pb de configuration dans certains sites) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7920WLCG Data transfers2016-04-29T14:17:11Z<p>Chollet: /* Dashboard WLCG */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
<br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Difficulté liée à la topologie à l'origine de l'affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également<br />
** Contact est pris avec Luca Magnoni. Suivi via ticket GGUS : https://ggus.eu/index.php?mode=ticket_info&ticket_id=121143<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local, pb de configuration du monitoring XRootD dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) => destination n/a !!!<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
<br />
<br><br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (pb de configuration dans certains sites) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7919WLCG Data transfers2016-04-29T10:56:09Z<p>Chollet: /* Dashboard WLCG */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] <br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
<br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Difficulté liée à la topologie à l'origine de l'affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également<br />
** Contact est pris avec Luca Magnoni. Suivi via ticket GGUS <br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local, pb de configuration du monitoring XRootD dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) => destination n/a !!!<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
<br />
<br><br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (pb de configuration dans certains sites) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7918WLCG Data transfers2016-04-29T10:55:47Z<p>Chollet: /* Dashboard WLCG */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
Voir [http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers certains extraits du Dashboard WLCG] (ALICE, ATLAS,CMS,LHCb Transferts FTS & XRootd)<br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
<br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Difficulté liée à la topologie à l'origine de l'affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également<br />
** Contact est pris avec Luca Magnoni. Suivi via ticket GGUS <br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local, pb de configuration du monitoring XRootD dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) => destination n/a !!!<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
<br />
<br><br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (pb de configuration dans certains sites) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7917WLCG Data transfers2016-04-29T10:54:47Z<p>Chollet: /* Dashboard WLCG */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers Extraits (FC) du Dashboard WLCG] (ALICE, ATLAS,CMS,LHCb Transferts FTS & XRootd)<br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
<br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
* Difficulté liée à la topologie à l'origine de l'affichage "n/a" : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover à voir également<br />
** Contact est pris avec Luca Magnoni. Suivi via ticket GGUS <br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local, pb de configuration du monitoring XRootD dans certains sites (cf. paragraphe 4.)<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) => destination n/a !!!<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
<br />
<br><br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (pb de configuration dans certains sites) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7916WLCG Data transfers2016-04-29T10:53:19Z<p>Chollet: /* Dashboard WLCG */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers Extraits (FC) du Dashboard WLCG] (ALICE, ATLAS,CMS,LHCb Transferts FTS & XRootd)<br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre.<br />
* Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
<br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
<br />
* Difficulté liée à la topologie (affichage n/a) : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover<br />
** Contact est pris avec Luca Magnoni. Suivi via ticket GGUS <br />
<br />
<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
<br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local, pb de configuration du monitoring XRootD dans certains sites (cf. paragraphe 4.)<br />
<br />
<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) => destination n/a !!!<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
<br />
<br><br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (pb de configuration dans certains sites) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollethttp://lcg.in2p3.fr/wiki/index.php?title=WLCG_Data_transfers&diff=7915WLCG Data transfers2016-04-29T10:52:59Z<p>Chollet: /* Dashboard WLCG */</p>
<hr />
<div><br />
Mars 2016<br />
Petit Tour des Dashboards de monitoring des transferts de données : <br />
__TOC__<br />
<br />
<br />
==Outils communs de monitoring des transferts de données==<br />
PRELIMINAIRE <br />
=== Dashboard WLCG ===<br />
'''ALICE, ATLAS, CMS, LHCb - Transferts FTS & XRootD Dashboard''' : http://dashb-wlcg-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-wlcg-transfers Extraits (FC) du Dashboard WLCG] (ALICE, ATLAS,CMS,LHCb Transferts FTS & XRootd)<br />
<br />
* Attention à la complexité => risque de devoir patienter ou/et de se perdre. <br />
** Mieux vaut se limiter aux statistiques sur 4 ou 24h <br />
* Toutes les options ne sont pas actives dans toutes les conditions.<br />
** Par ex., il n'est pas possible de différencier les "Access types" :remote/local ou "Transfer Modes" : Reading/Copy dans le cas de transfers FTS et dans le cas du trafic ALICE ==> une étiquette "TOTAL" apparait au niveau de la légende<br />
<br />
* Attention : les noms de site différent selon la VO<br />
** A noter un pb avec les filtres vo=alice country=(FRANCE) => uniquement Subatech <br />
** Difficulté pour visualiser les trafics multi-vos au niveau d'un site (ne pas hésiter à ajouter le petit nom du site alice le cas échéant) :<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(Grenoble)&vo=(alice)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-LPSC,grenoble)<br />
*** http://dashb-wlcg-transfers.cern.ch/ui/#dst.site=(IN2P3-CC,CCIN2P3)<br />
<br />
* Difficulté liée à la topologie (affichage n/a) : le mapping entre serveurs XRootD et clients d'une part et sites de grille qui est effectué au niveau du dashboard a sans doute des soucis d'autant que le cas des sites FR est particulier (lié au domaine in2p3.fr). Cas IN2P3 failover<br />
** Contact est pris avec Luca Magnoni. Suivi via ticket GGUS <br />
<br />
<br />
* Trafics XRootD ALICE : les vues WLCG et alimonitor semblent cohérentes.<br />
** Vérifier si pour ALICE, xrootd natif ET xrootd/DPM sont monitorés (cf. publication au niveau BDII mentionné par Christophe D.). <br />
<br />
* Limitations Monitoring XRootD ATLAS/CMS : monitoring partiel du trafic local, pb de configuration du monitoring XRootD dans certains sites (cf. paragraphe 4.)<br />
<br />
<br />
* Faire attention à l'interprétation : dst vs src, client vs srv, generated by applications at vs seen by SE qui ne sont pas assimilables DATA IN et DATA OUT<br />
<br />
=== Dashboard FTS ===<br />
'''ATLAS, CMS, LHCb - uniquement transferts FTS''' : http://dashb-fts-transfers.cern.ch/ui <br><br />
[http://lcg.in2p3.fr/wiki/index.php?title=Dashb-fts-transfers Extraits (FC) du Dashboard FTS]<br />
* Possibilité de spécifier un intervalle de dates plus important, intérêt peut être pour le monitoring d’un site multi-VO sinon préférer l’outil spécifique à la VO par ex. monitoring rucio dans le cas ATLAS http://dashb-atlas-ddm.cern.ch/ddm2/<br />
* Il y a + de détails : efficacité, erreurs… qu'avec le dashboard général de WLCG <br><br />
<br />
=== Dashboard XRooTD ===<br />
''''ATLAS, CMS - uniquement trafics XRootD '''': http://dashb-wdt-xrootd.cern.ch/ui<br />
* Trafic atlas sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(atlas)<br />
* Trafic atlas sur les 4 dernières heures dont GRIF a été la source : http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=dst&src.site=(GRIF)&vo=(atlas) => destination n/a !!!<br />
* Trafic cms sur les 4 dernières heures : http://dashb-wdt-xrootd.cern.ch/ui/#vo=(cms)<br />
<br />
<br><br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(LAPP)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(cms) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=src&src.site=(GRIF)&vo=(atlas) by source<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=access_type&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
* http://dashb-wdt-xrootd.cern.ch/ui/#p.grouping=transfer_mode&src.site=(GRIF-LPNHE)&vo=(atlas)<br />
<br />
* Understand Site Access patterns : <br />
** qui accède au LPNHE en lecture pour atlas ? : http://dashb-wdt-xrootd.cern.ch/ui/#srv.site=(GRIF-LPNHE)&tab=access_pattern&vo=(atlas)<br />
<br />
== Monitoring XRootD ATLAS / CMS (pb de configuration dans certains sites) ==<br />
Dans certains sites FR, il n'y a clairement pas de monitoring des trafics XrootD ATLAS / CMS <br />
<br />
ATLAS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au LPSC, CPPM, LAPP mais ce n'est pas le cas partout :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-LPSC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&p.grouping=access_type&src.site=(IN2P3-LPSC)&technology=(xrootd)&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IN2P3-CC)&p.grouping=technology&vo=(atlas)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(IN2P3-LPC)&p.grouping=technology&vo=(atlas)<br />
<br />
CMS : les trafics fts & XRootd, en accès local & remote sont correctement monitorés au GRIF (IRFU, LLR) et à l'IPHC :<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(GRIF)&p.grouping=technology&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&src.site=(LLR)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(IPHC)&p.grouping=access_type&technology=(xrootd)&vo=(cms)<br />
* http://dashb-wlcg-transfers.cern.ch/ui/#access_type=(0,1)&dst.site=(_FR_)&grouping.dst=(site)&p.grouping=dst&technology=(xrootd)&vo=(cms)<br />
<br />
Il y avait 2 petites erreurs (aujourd'hui corrigées) dans les valeurs par défaut proposées par Quattor :<br><br />
# au niveau du numéro de port (9330) du collecteur EU atlas-fax-eu-collector.cern.ch:9330 (pour ATLAS)<br><br />
# au niveau du host EU: CMS-AAA-EU-COLLECTOR.cern.ch:9330 (pour CMS)<br><br />
<br />
Liens vers les pages qui font foi :<br />
*https://svnweb.cern.ch/trac/lcgdm/wiki/Dpm/Xroot/ManualSetup#VOcentralmonitoring<br />
*https://twiki.cern.ch/twiki/bin/view/AtlasComputing/FAXposixStorageNew<br />
<br />
Il reste à vérifier/modifier la configuration du monitoring XRootD DPM/dCache pour la remontée des infos ATLAS et CMS dans les quelques sites concernés.<br />
<br />
== Outils spécifiques aux VOs ==<br />
* ALICE : <br />
** MonALISA : http://alimonitor.cern.ch<br />
* ATLAS :<br />
** DDM Dashboard : http://dashb-atlas-ddm.cern.ch/ddm2<br />
**<br />
* CMS :<br />
* LHCb :<br />
<br />
== Liens ==<br />
* WDT Project : http://wdtmon.web.cern.ch/wdtmon/ dahboard evolution on Hadoop/Spark<br />
* Accès remote aux SE de GRIF (A.Sartirana): https://indico.in2p3.fr/event/11973/session/12/contribution/37<br />
* WLCG Data Activities Dashboard L.Magnoni (CERN): https://indico.cern.ch/event/337567/session/6/contribution/21</div>Chollet