Network Monitoring

Network Monitoring & Debugging

Page permettant de rassembler l'état d'avancement, les observations et éventuels problèmes observésen vue de la réunion technique LCG-France du 16 avril au LPNHE https://indico.in2p3.fr/conferenceDisplay.py?confId=9731 (et au delà si affinités)

Déploiement et MàJ PerfSONAR

Tous les sites doivent avoir un service perfSONAR-PS opérationel en version 3.3.2 au le 1er avril 2014.

• Instances perfSONAR BWTCL déclarés dans la GOCDB
• Instances perfSONAR OWAMP déclarés dans la GOCDB
• 10 services, enregistrés dans la GOC DB en version 3.3.2
  • GRIF : IRFU, LPNHE, LAL 3.3.2
  • CC-IN2P3 3.3.2
  • CPPM
  • LAPP 3.3.2
  • LPC 3.3.2
  • LPSC 3.2.1/3.2.2
  • IPHC : 3.3.2
  • SUBATECH
• En cours ou à voir
  • GRIF : LLR, IPNO
  • IPNL

Dashboard : http://maddash.aglt2.org/maddash-webui/

Ici les questions et observations issues des résultats du dashboard

Observations & Problèmes divers

• IPHC : Les tests de latences fonctionnent à peu près, la bandwidth, c'est beaucoup moins bon. Pas mal de soucis avec les démons (remplissent les logs, prennent 100% de CPU, etc.).

• LPC : pas de data pour les tests à destination du LPC --FC 11:38, 2 avril 2014 (CEST)

Message For Current Status: No throughput data returned for direction where dst=clrperf-bwctl.in2p3.fr 

Graph BWCTL LAPP=>LPC

• • des résultats entre le 6 et le 23 mars ??? pas de résultats depuis le 23 mars

• LAL : pas de data pour les tests à destination du LAL --FC 18:30, 8 avril 2014 (CEST)

Message For Current Status: No throughput data returned for direction where dst=psonar2.lal.in2p3.fr
Unable to find matching MA key for provided parameters

Impossible d'accèder à une archive de mesures sur la machine en question

Observations avec perfSONAR

Ici les observations faites avec le monitoring perfSONAR susceptibles d'être relayées au niveau des experts réseau

• 03/2014 IRFU - F.Schaer : Forte asymétrie des flux constatée avec perfSONAR avec un débit sortant vers LHCONE extrêmement dégradé depuis l'IRFU : 20mbits vers Strasbourg par exemple...

pb suivi par les experts réseau FR

Observations avec FTS par les VOs

Ici les observations faites par les expériences

• ATLAS S.Jézéquel
  • LPC -> BNL/TRIUMF (GGUS: 102924) : Low transfer rate (300-400 kB/s) for all transfers
  • IRFU -> BNL/TRIUMF : Low transfer rate : Frederic Shaer is working on it with Renater (issue pointed with Perfsonar)
  • LAL -> TOKYO : Issue raised few years ago and never solved. It is still visible with current FTS transfers (~100 kB/s)

GGUS en cours ou récents en rapport

Ici les tickets GGUS ouverts, récents en lien avec le réseau

• 04/2014 BNL -> LPC (timeout & FTS transfer rate ~300-400 kB/s - dégradation depuis février 2014)redémarrage des serveurs côté LPC : https://ggus.eu/index.php?mode=ticket_info&ticket_id=102924
• 02/2014 BNL -> FR / IT T2s (solved by ESNET Pb de perte de paquest sur un lien LHCONE STARLIGHT entre ESnet et GEANT) : https://ggus.eu/index.php?mode=ticket_info&ticket_id=101637

Infos diverses

• Wiki de la task force WLCG : https://twiki.cern.ch/twiki/bin/view/LCG/PerfsonarDeployment
• Site PS-PS : http://psps.perfsonar.net/index.html
• Déploiement via Quattor :
  • OK avec la dernière version des templates basé sur le déploiment yum
  • profil utilisant Quattor 14.2.1
• 28/02/14 F.Schaer : Observation lors de la mise à jour vers la version 3.3.2 ( => yum upgrade)
  

Les scripts init n'étant pas en mesure de relancer les archives perfsonar, il est nécessaire soit de rebooter les machines, soit de lancer la commande suivante :

/opt/perfsonar_ps/toolkit/scripts/discover_external_address --restart_services

• 08/04/2014 P.Seraphin : Observation suite à une coupure brutale
  

Les serveurs perfsonar (v3.3.2) du LAPP acceptent les requêtes entrantes mais n'interrogent plus les serveurs distants. La situation est revenue à la normale moyennant les manipulations suivantes

cd /opt/perfsonar_ps/perfsonarbuoy_ma/etc
mv owmesh.conf owmesh.conf.old
wget  http://anonsvn.internet2.edu/svn/perfSONAR-PS/trunk/perfSONAR_PS-perfSONARBUOY/etc/owmesh.conf
/opt/perfsonar_ps/mesh_config/bin/generate_configuration
chown perfsonar:perfsonar owmesh.conf
/etc/init.d/perfsonarbuoy_owp_collector restart   # ou /etc/init.d/perfsonarbuoy_bw_collector restart
/etc/init.d/perfsonarbuoy_owp_master restart      # ou /etc/init.d/perfsonarbuoy_bw_master restart
/etc/init.d/perfsonarbuoy_ma restart