Difference between revisions of "T2T3:2006Q2:Tests T1-T2T3:Logbook"

Un article de lcgwiki.
Jump to: navigation, search
(→‎Résumé)
(→‎SUBATECH)
 
(6 intermediate revisions by one other user not shown)
Ligne 43: Ligne 43:
 
  4 flux: nanlcg02 -> ccxfert01: 93 Mb/s, ccxfert01 -> nanlcg02: 89 Mb/s
 
  4 flux: nanlcg02 -> ccxfert01: 93 Mb/s, ccxfert01 -> nanlcg02: 89 Mb/s
 
  6 flux: nanlcg02 -> ccxfert01: 91 Mb/s, ccxfert01 -> nanlcg02: 92 Mb/s
 
  6 flux: nanlcg02 -> ccxfert01: 91 Mb/s, ccxfert01 -> nanlcg02: 92 Mb/s
 +
 +
* 26/09/06 JM.B. Après installation du firewall sur un réseau routable et mise à jour de l'IOS, les débits sont bien meilleurs mais on constate un plafonnement à 150Mb/s dans le sens Subatech->CC dû au firewall (dont le CPU est utilisé à 100%). Le point d'accès Renater au CC étant par ailleurs déjà chargé à environ 400Mb/s,
 +
 +
1 flux: nanlcg02 -> ccxfert01:  74 Mb/s, ccxfert01 -> nanlcg02:  30 Mb/s
 +
2 flux: nanlcg02 -> ccxfert01: 152 Mb/s, ccxfert01 -> nanlcg02:  81 Mb/s (max:111 Mb/s)
 +
4 flux: nanlcg02 -> ccxfert01: 149 Mb/s, ccxfert01 -> nanlcg02: 186 Mb/s
 +
8 flux: nanlcg02 -> ccxfert01: 137 Mb/s, ccxfert01 -> nanlcg02: 240 Mb/s (max:400 Mb/s)
 +
 +
En l'absence du firewall, les débits suivants ont été mesurés :
 +
 +
1 flux: nanlcg02 -> ccxfert01: 105 Mb/s, ccxfert01 -> nanlcg02:  43 Mb/s
 +
2 flux: nanlcg02 -> ccxfert01: 211 Mb/s, ccxfert01 -> nanlcg02:  60 Mb/s (max:111 Mb/s)
 +
4 flux: nanlcg02 -> ccxfert01: 414 Mb/s, ccxfert01 -> nanlcg02: 127 Mb/s
 +
8 flux: nanlcg02 -> ccxfert01: 778 Mb/s, ccxfert01 -> nanlcg02: 308 Mb/s (max:400 Mb/s)
 +
 +
Il subsiste une dissymétrie entre les flux entrants et sortants.
 +
 +
La limitation dûe à la présence du boitier firewall a pu être levée par une modification de sa configuration et un débit de 683Mbits/s a été mesuré dans le sens nanlcg02 -> ccxfert01 avec 8 flux là au lieu de 137 Mb/s.
  
 
= Tests FTS =
 
= Tests FTS =
Ligne 49: Ligne 67:
 
== T1 -> T2 ==
 
== T1 -> T2 ==
  
−
===== Résumé =====
+
===== <u>Résumé</u> =====
 
{| class="wikitable" style="text-align:center"  border="1" cellpadding="5" cellspacing="0"
 
{| class="wikitable" style="text-align:center"  border="1" cellpadding="5" cellspacing="0"
 
|+
 
|+
 
|-  
 
|-  
−
!  Destination \ Source  !! IN2P3-CC !! LAL !! LPC !! LAPP !! TOKYO !! SUBATECH !! CPPM
+
!  Destination !! # transferts !! # fichiers/streams!! Taux (Mb/s) !! Taux max. atteint ** !! Problème
−
|-
 
−
! IN2P3-CC || X || || || || || ||
 
 
|-
 
|-
−
! LAL || || X || || || || ||  
+
! LAL || 1*100 || 10/10 || 162,03858266 || 220,85163556 ||
 
|-
 
|-
−
! LPC || || || X || || || ||  
+
! LPC || 1*100 || 10/10 || 312,80 || 312,80 ||
 
|-
 
|-
−
! LAPP || || || || X || || ||  
+
! LAPP || 1*100 || 10/10 || 352,48 || 352,48 ||
 
|-
 
|-
−
! TOKYO || || || || || X || ||  
+
! TOKYO || 8*100 || 15/10 || 171,32 || 193,37 ||
 
|-
 
|-
−
! SUBATECH || || || || || || X ||
+
! SUBATECH || 1*100 || 10/10 || 86,44 || 86,44 || Limitation du réseau à 100 Mb/s
 
|-
 
|-
−
! CPPM || || || || || || || X
+
! CPPM || 1*100 || 10/10 || 100,05 || 242,54 ||
 
|-
 
|-
 
|}
 
|}
 +
 +
/** Le taux maximum n'a pas forcément été atteint avec les paramètres de fichiers/streams indiqués dans le tableau.
  
 
===== <u>LAL</u> =====
 
===== <u>LAL</u> =====
Ligne 375: Ligne 393:
 
|-
 
|-
 
!10:33 ||1*100 ||10 ||10 ||242,54 ||70 ||Transfer failed. ERROR the server sent an error response: 425 425 Can't open data connection. timed out() failed.
 
!10:33 ||1*100 ||10 ||10 ||242,54 ||70 ||Transfer failed. ERROR the server sent an error response: 425 425 Can't open data connection. timed out() failed.
 +
|-
 +
!13:58 ||1*100 ||5 ||5 ||156,28 ||71 ||idem
 +
|-
 +
|}
  
 +
* 07/08/2006
 +
 +
{| class="wikitable" style="text-align:center"  border="1" cellpadding="5" cellspacing="0"
 +
|+
 +
|-
 +
! Heure !! # transferts !! # fichiers !! # streams !! Taux (Mb/s) !! % transféré !! Problème
 +
|-
 +
!11:20 ||1*100 ||5 ||5 ||135,64 ||96 ||idem
 +
|-
 +
!16:27 ||1*100 ||10 ||10 ||100,05 ||75 ||idem
 
|-
 
|-
 
|}
 
|}
  
 
== T2 -> T1 ==
 
== T2 -> T1 ==

Latest revision as of 14:24, 26 septembre 2006

Validation Débit réseau

May 2006

CC-IN2P3
GRIF-DAPNIA
  • 17/05/06 F.C La QoS configurée au niveau du routeur semble limiter le débit - Investigation en cours
  • 18/05/06 L.C. Toujours des problèmes (performances décevantes 20 Mb/s dans un sens 80 Mb/s, perte de connexion (timeout) très rapidement pendant les transferts). Des tests vont être faits entre Saclay et le site du CEA de Grenoble.
  • 19/05/06 L.C. Peut etre un probleme de filtres ICMP trop restrictifs. Tests entre DAPNIA et LAL: pas de probleme de performance, le filtrage ICMP entre LAL et DAPNIA est moins restrictif.
  • 22/05/06 L.C. En attente de modification du filtrage.
  • 23/05/06 L.C. Filtrage modifie, ca ne change rien.
  • 29/05/06 C.L. Tests entre les sites de Saclay et de Grenoble : Le débit moyen est d'environ 70 Mb/s, par contre quand on parallélise les flux on arrive a du 200 Mb/s.
  • 23/06/06 P.M Problème résolu par le changement d'un routeur CISCO
GRIF-LAL
  • 20/05/06 L.C. Tests entre ccxfert01, ccxfert02 et lx2.lal.in2p3.fr: avec 8 flux, on obtient 750 Mb/s, le lien gigabit du CC est saturé, il n'y aura donc pas de problème de bande passante pour le LAL.

Test-t2-lal-routeur lal.jpg Routeur LAL Test-t2-lal-routeur cc.jpg Routeur CC

GRIF-LPNHE
  • 23/05/06 L.C. Pas de probleme de performance reseau avec le LPNHE.

Test-t2-lpnhe-routeur lpnhe.jpg Routeur LPNHE Test-t2-lpnhe-routeur cc.jpg Routeur CC

LPC Clermont
  • 22/05/06 L.C. Pas de probleme avec le LPC Clermont: on sature la liaison dans les deux sens.

Test-t2-clr-routeur clr.png Routeur LPC Test-t2-clr-routeur cc.png Routeur CC

LAPP
  • 18/05/06 F.C Compte ssh pour les tests de débit créé et transmis à Laurent C.
  • 18/05/06 F.C Config de test : RHEL3-64 (kernel 2.4) / Hardware : IBM Xeon EM64T 3,2GHz bi-pro 64bits
  • 18/05/06 L.C. Tests (durée 3h30) entre ccxfert01, ccxfert02 et lapgr001: on obtient 630 Mb/s (pour 4 flux), le lien gigabit du CC est saturé (en moyenne 200 Mb/s de "bruit de fond"), il n'y aura donc pas de problème de bande passante pour le LAPP. Dans le cas d'émission/réception simultanées, les taux atteignent 480Mbps en réception et 420Mbps en émission (vu du LAPP).
SUBATECH
  • 21/06/06 JM.B. Compte test sur le SE nanlcg02, ouverture ports firewall. Les éléments entre le point d'accès RENATER à 1Gb/s et la machine sont : switch CISCO (adaptation FO), routeur CC Cisco 3550, firewall en mode tranparent 1Gb/s, routeur coeur de réseau Cisco 4600. L'interface du routeur CC est à 100Mb/s car des tests ont été conduits avec l'interface 1Gb/s qui ont permis de mettre en évidence un problème avec l'IOS limitant le traffic.

Résultats des tests conduits par L.C. dans cette configuration : 

1 flux: nanlcg02 -> ccxfert01: 36 Mb/s, ccxfert01 -> nanlcg02: 26 Mb/s
2 flux: nanlcg02 -> ccxfert01: 71 Mb/s, ccxfert01 -> nanlcg02: 46 Mb/s
4 flux: nanlcg02 -> ccxfert01: 93 Mb/s, ccxfert01 -> nanlcg02: 89 Mb/s
6 flux: nanlcg02 -> ccxfert01: 91 Mb/s, ccxfert01 -> nanlcg02: 92 Mb/s
  • 26/09/06 JM.B. Après installation du firewall sur un réseau routable et mise à jour de l'IOS, les débits sont bien meilleurs mais on constate un plafonnement à 150Mb/s dans le sens Subatech->CC dû au firewall (dont le CPU est utilisé à 100%). Le point d'accès Renater au CC étant par ailleurs déjà chargé à environ 400Mb/s,
1 flux: nanlcg02 -> ccxfert01:  74 Mb/s, ccxfert01 -> nanlcg02:  30 Mb/s
2 flux: nanlcg02 -> ccxfert01: 152 Mb/s, ccxfert01 -> nanlcg02:  81 Mb/s (max:111 Mb/s)
4 flux: nanlcg02 -> ccxfert01: 149 Mb/s, ccxfert01 -> nanlcg02: 186 Mb/s
8 flux: nanlcg02 -> ccxfert01: 137 Mb/s, ccxfert01 -> nanlcg02: 240 Mb/s (max:400 Mb/s)

En l'absence du firewall, les débits suivants ont été mesurés : 

1 flux: nanlcg02 -> ccxfert01: 105 Mb/s, ccxfert01 -> nanlcg02:  43 Mb/s
2 flux: nanlcg02 -> ccxfert01: 211 Mb/s, ccxfert01 -> nanlcg02:  60 Mb/s (max:111 Mb/s)
4 flux: nanlcg02 -> ccxfert01: 414 Mb/s, ccxfert01 -> nanlcg02: 127 Mb/s
8 flux: nanlcg02 -> ccxfert01: 778 Mb/s, ccxfert01 -> nanlcg02: 308 Mb/s (max:400 Mb/s)

Il subsiste une dissymétrie entre les flux entrants et sortants.

La limitation dûe à la présence du boitier firewall a pu être levée par une modification de sa configuration et un débit de 683Mbits/s a été mesuré dans le sens nanlcg02 -> ccxfert01 avec 8 flux là au lieu de 137 Mb/s.

Tests FTS

T1 -> T2

Résumé
Destination # transferts # fichiers/streams Taux (Mb/s) Taux max. atteint ** Problème
LAL 1*100 10/10 162,03858266 220,85163556
LPC 1*100 10/10 312,80 312,80
LAPP 1*100 10/10 352,48 352,48
TOKYO 8*100 15/10 171,32 193,37
SUBATECH 1*100 10/10 86,44 86,44 Limitation du réseau à 100 Mb/s
CPPM 1*100 10/10 100,05 242,54

/** Le taux maximum n'a pas forcément été atteint avec les paramètres de fichiers/streams indiqués dans le tableau.

LAL
  • 12/06/06 : Tests avec un fichier de 1 Go transféré 10 fois (# transferts=1*10), et changement des paramètres de fichiers et de streams.
Heure # transferts # fichiers # streams Taux (Mb/s) % transféré Problème
15:36 10*1 1 1 105,77704079 100
16:17 10*1 2 1 149,14035852 100
16:28 10*1 3 1 99,04925727 100 Transfer failed. ERROR the server sent an error response: 425 425 Can't open data connection. timed out() failed. (x1)
16:45 10*1 4 1 151,05301399 100
16:55 10*1 5 1 83,89995343 100 Transfer failed. ERROR the server sent an error response: 425 425 Can't open data connection. timed out() failed. (x3)
17:15 10*1 6 1 96,07055013 100 idem (x2)


  • 13/06/06 : Même type de tests
Heure # transferts # fichiers # streams Taux (Mb/s) % transféré Problème
10:58 10*1 6 10 94,74154372 100
11:23 10*1 10 10 52,64462004 100 idem (x6)
12:07 10*1 10 1 86,85861971 100 idem (x6)
14:18 10*1 1 10 129,65255727 100
14:31 10*1 1 1 111,70878369 100
14:58 10*1 5 1 246,69791027 100
15:28 10*1 10 1 83,67432330 100 idem (x4)
15:49 10*1 10 1 87,71161262 100

Diminution des transferts de Marteen et passage à 10 fichiers transférés 1 fois.

Heure # transferts # fichiers # streams Taux (Mb/s) % transféré Problème
17:24 1*10 10 1 159,32026910 100
17:37 1*10 10 3 155,23154359 100
17:49 1*10 10 5 158,21999914 100
18:01 1*10 10 10 179,64729715 100
  • 14/06/06 : Transferts de 10 fichiers.
Heure # transferts # fichiers # streams Taux (Mb/s) % transféré Problème
09:25 1*10 10 15 220,07366407 100
09:34 1*10 10 20 217,58112381 100
09:43 1*10 10 10 184,12088056 100
10:33 1*10 10 10 123,70731498 100
10:48 1*10 10 25 150,64618031 100
11:00 1*10 10 20 119,04167324 90 File exist"
11:25 1*10 10 20 130,82434571 100
11:41 1*15 15 5 148,55329019 100
11:59 1*15 15 10 150,06996731 100
12:25 1*15 15 15 188,22911099 100
13:35 1*15 15 20 188,49454194 100
13:50 1*15 15 25 197,30326426 100
15:54 1*20 15 25 134,65742436 100
16:22 1*20 20 5 143,54529794 100 idem (x1)
  • 15/06/06 :
Heure # transferts # fichiers # streams Taux (Mb/s) % transféré Problème
09:01 1*10 10 10 166,23375232 100
09:12 1*10 10 15 216,08563781 100
09:25 1*10 10 20 228,11677893 100
09:35 1*10 10 25 190,49294622 100
09:44 1*10 10 5 199,60258603 100
09:54 1*10 10 1 214,32032893 100
10:03 1*10 10 10 220,85163556 100
11:06 1*15 15 1 148,28446246 100
11:24 1*15 15 5 144,67720912 100
11:43 1*15 15 10 160,56065502 100
11:59 1*15 15 15 128,97381323 100
12:42 1*100 10 10 165,30431562 100
14:48 1*100 15 10 133,47284335 31 pb dCache
16:34 1*100 15 10 71,75607299 85 No mover found
  • 16/06/06
Heure # transferts # fichiers # streams Taux (Mb/s) % transféré Problème
08:45 1*100 10 10 162,03858266 100
  • 21/06/06 : Transfert de 100 fichiers (10 streams, 10 fichiers) à 147,75 Mb/s.
  • 22/06/06 : Transferts via globus-url-copy à une moyenne de 10,6 MB/s.
LPC
  • 14/06/06 : Le LPC a des problèmes de climatisation, le site est fermé jusqu'au 20/06/06. Les tests sont reportés et ceux du LAL complétés.
  • 16/06/06 : Finalement le LPC a un coup de froid ;o) et est de retour.
Heure # transferts # fichiers # streams Taux (Mb/s) % transféré Problème
10:44 1*1 1 1 197.90785014 100
10:47 1*5 1 1 236.12077233 100
10:57 1*5 5 1 305.811936831 100
11:02 1*10 10 1 306.481740685 100
11:14 1*10 10 5 304.53092351 100
11:21 1*10 10 10 274.001021086 100
11:32 1*5 5 5 305.507505231 100
11:36 1*5 5 10 267.01952021 100
11:41 1*5 5 7 281.839046745 100
11:49 1*20 10 10 302.049858576 100
  • 21/06/06 : Transfert de 100 fichier (10 streams, 10 fichiers) à 312,80 Mb/s.
  • 22/06/06 : Transferts via globus-url-copy à une moyenne de 11MB/s ???
TOKYO
  • 14/06/06 : Transfer of 1 file shows a bandwith of 0,2 Mb/s.
  • 15-16/06/06 : Site is currently migrating to gLite 3.0.
  • 19/06/06 : Transfer of 1 file of 1Go (1 stream, 1 file) at 74,88 Mb/s.
  • 21/06/06 : Transfer of 100 files (10 streams, 10 files) at 125,17 Mb/s
  • 22/06/06 : Transfers via globus-url-copy at a mean rate of 1,2 MB/s.
  • 22-23/06/06 : Bunch of transfers during 14h (8 series of 100 files) which show a mean bandwith of 171,32Mb/s (21,41MB/s).
Time # transfers # files # streams Bandwith (Mb/s) % transfered Problems
16:59 1*1 15 10 14,27 100
17:17 1*1 15 10 12,68 100
17:39-07:01 8*1*100 15 10 183,02 100
19:12 1*100 15 10 174,13 100
20:49 1*100 15 10 117,94 100
23:08 1*100 15 10 176,82 100
00:44 1*100 15 10 189,02 100
02:14 1*100 15 10 161,17 98 File exists
03:56 1*100 15 10 193,37 100 Other transfers in the same time
05:26 1*100 15 10 175,07 99 File exists

Lcgxferdisk-20060622.gif

LAPP
  • 19/06/06 :
Heure # transferts # fichiers # streams Taux (Mb/s) % transféré Problème
12:17 1*1 5 1 131,74 100
12:21 1*1 1 1 112,24 100
12:24 1*1 1 5 113,35 100
12:26 1*1 1 10 158,32 100
14:59 1*1 1 10 253,61 100
15:29 1*100 1 10 193,88 100
  • 21/06/06 : Transfert de 100 fichiers (10 streams, 10 fichiers) à 352,48 Mb/s.
  • 22/06/06 : Transfert via globus-url-copy à 8,5 MB/s.
SUBATECH
  • 30/06/2006
Heure # transferts # fichiers # streams Taux (Mb/s) % transféré Problème
16:30 1*100 10 10 10,81 82/100
  • 12/07/2006
Heure # transferts # fichiers # streams Taux (Mb/s) % transféré Problème
09:47 1*1 10 10 2,01 100
  • 13/07/2006 : Le transfert de 10:07 confirme le taux à 2 Mb/s du 12/07.

Jean-Michel a corrigé le hostname sur son DPM, et le transfert suivant atteint un taux de 67 Mb/s (sur les 100 Mb/s du réseau)

Heure # transferts # fichiers # streams Taux (Mb/s) % transféré Problème
10:07 1*1 10 10 2,04 100
11:36 1*1 10 10 66,80 100
11:44 1*100 10 10 86,44 91 Transfer failed. ERROR the server sent an error response: 550 550 rfio write failure: Permission denied.
CPPM
  • 18/07/2006
Heure # transferts # fichiers # streams Taux (Mb/s) % transféré Problème
15:44 1*1 10 10 9,70 100
  • 04/08/2006
Heure # transferts # fichiers # streams Taux (Mb/s) % transféré Problème
10:33 1*100 10 10 242,54 70 Transfer failed. ERROR the server sent an error response: 425 425 Can't open data connection. timed out() failed.
13:58 1*100 5 5 156,28 71 idem
  • 07/08/2006
Heure # transferts # fichiers # streams Taux (Mb/s) % transféré Problème
11:20 1*100 5 5 135,64 96 idem
16:27 1*100 10 10 100,05 75 idem

T2 -> T1

Récupérée de « http://lcg.in2p3.fr/wiki/index.php?title=T2T3:2006Q2:Tests_T1-T2T3:Logbook&oldid=2114 »