Difference between revisions of "T2T3:2006Q2:Tests T1-T2T3"
(→Planning) |
(→Petit HowTo pour lancer des transferts) |
||
| (42 intermediate revisions by 9 users not shown) | |||
| Ligne 1: | Ligne 1: | ||
| + | <big>''' [[T2T3:2006Q2:Tests_T1-T2T3:Logbook|Remplissez le logbook, Consultez les résultats des tests !]]''' </big><br><br> | ||
| − | + | === [[T2T3:2006Q2:Tests_T1-T2T3:Logbook|Logbook]] === | |
| − | |||
| − | === [[T2T3:2006Q2:Tests_T1-T2T3:Logbook| | ||
| − | |||
=== Procédure M.A.J 16/05/06 === | === Procédure M.A.J 16/05/06 === | ||
| Ligne 10: | Ligne 8: | ||
** Objectif : cibler les débits réseaux | ** Objectif : cibler les débits réseaux | ||
** Résultats attendus : débits obtenus et paramètrage (réseau + file system) pour chaque site | ** Résultats attendus : débits obtenus et paramètrage (réseau + file system) pour chaque site | ||
| − | ** | + | ** Config système : ccxfert |
| − | *** | + | *** hardware : IBM eServer 325 - Dual Opteron 246 (2 Ghz) - 2GB RAM |
| − | *** | + | *** 01 : SL3 (kernel 2.4) / Hardware : AMD Athlon bi-pro 32bits |
| + | *** 02 : SL4 (kernel 2.6) / Hardware : AMD Athlon bi-pro 32bits | ||
* '''Phase II''': validation de la couche applicative SRM, dans les 2 sens (T1->T2 et T2->T1). | * '''Phase II''': validation de la couche applicative SRM, dans les 2 sens (T1->T2 et T2->T1). | ||
** Cible : entre 30 Mo/s à 50 Mo/s | ** Cible : entre 30 Mo/s à 50 Mo/s | ||
** Contacts au CC : David Bouvet <span style="color:#0000F0;">dbouvet@in2p3.fr</span> et Lionel Schwarz <span style="color:#0000F0;">lionel.schwarz@in2p3.fr</span> | ** Contacts au CC : David Bouvet <span style="color:#0000F0;">dbouvet@in2p3.fr</span> et Lionel Schwarz <span style="color:#0000F0;">lionel.schwarz@in2p3.fr</span> | ||
| + | ** Sites participants (disposant d'un SE - SRM): [[T2T3:2006Q2:Tests_T1-T2T3#Sites_impliqu.C3.A9s|Voir le détail des sites impliqués]] | ||
** Conditions de test : | ** Conditions de test : | ||
*** Les tests de transfert T1->T2 et T2->T1 seront réalisés, avec le serveur FTS du CC et nécessitent la définition de canaux entre le CC et sites impliqués. [[T2T3:2006Q2:Tests_T1-T2T3#Infos_.C3.A0_transmettre_au_CC-IN2P3_pour_la_d.C3.A9finition_des_canaux_FTS|Voir ci-dessous les informations à transmettre au CC.]] | *** Les tests de transfert T1->T2 et T2->T1 seront réalisés, avec le serveur FTS du CC et nécessitent la définition de canaux entre le CC et sites impliqués. [[T2T3:2006Q2:Tests_T1-T2T3#Infos_.C3.A0_transmettre_au_CC-IN2P3_pour_la_d.C3.A9finition_des_canaux_FTS|Voir ci-dessous les informations à transmettre au CC.]] | ||
| Ligne 23: | Ligne 23: | ||
*** VO de test : <span style="color:#FF0000;">dteam</span> | *** VO de test : <span style="color:#FF0000;">dteam</span> | ||
| − | === | + | === '''Phase I (Test Réseau) :''' Détails pratiques === |
| − | |||
| − | '''Phase I | ||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
* Fournir à Laurent Caillat un accès SSH temporaire sur une machine du site (pas nécessairement le SE) avec une connexion réseau gigabit | * Fournir à Laurent Caillat un accès SSH temporaire sur une machine du site (pas nécessairement le SE) avec une connexion réseau gigabit | ||
* Ouverture filtres réseau le cas échéant (1 port) et transferts avec iperf depuis et vers 2 machines du CC | * Ouverture filtres réseau le cas échéant (1 port) et transferts avec iperf depuis et vers 2 machines du CC | ||
* Optimisation des paramètres avec le contact du site | * Optimisation des paramètres avec le contact du site | ||
| − | === '''Phase II :''' Infos à transmettre au CC-IN2P3 pour la définition des canaux | + | === '''Phase II (Transferts FTS) : ''' Infos à transmettre au CC-IN2P3 pour la définition des canaux === |
* La VO à utiliser : de préférence dteam | * La VO à utiliser : de préférence dteam | ||
* Transmettre à David Bouvet et Lionel Schwarz les informations relatives au SE du site : | * Transmettre à David Bouvet et Lionel Schwarz les informations relatives au SE du site : | ||
| Ligne 75: | Ligne 45: | ||
* '''T2 GRIF''' | * '''T2 GRIF''' | ||
** Contacts : <span style="color:#0000F0;"> Michel Jouvin, Pierric Micout, Christine Leroy, Diego Terront </span> | ** Contacts : <span style="color:#0000F0;"> Michel Jouvin, Pierric Micout, Christine Leroy, Diego Terront </span> | ||
| − | ** '''SE-LAL :''' | + | ** '''SE-LAL : grid05.lal.in2p3.fr''' |
| + | *** GlueServiceEndpoint: httpg://grid05.lal.in2p3.fr:8443/srm/managerv1 | ||
| + | *** GlueSAPath: /dpm/lal.in2p3.fr/home/dteam | ||
** '''SE-LPNHE : lpnse1.in2p3.fr''' | ** '''SE-LPNHE : lpnse1.in2p3.fr''' | ||
*** ldapsearch -x -H ldap://lpnse1.in2p3.fr:2135 -b mds-vo-name=local,o=grid | *** ldapsearch -x -H ldap://lpnse1.in2p3.fr:2135 -b mds-vo-name=local,o=grid | ||
| Ligne 84: | Ligne 56: | ||
*** GlueServiceEndpoint: httpg://node12.datagrid.cea.fr:8443/srm/managerv1 | *** GlueServiceEndpoint: httpg://node12.datagrid.cea.fr:8443/srm/managerv1 | ||
*** GlueSAPath: /dpm/datagrid.cea.fr/home/dteam | *** GlueSAPath: /dpm/datagrid.cea.fr/home/dteam | ||
| − | |||
* '''T2 LPC Clermont''' | * '''T2 LPC Clermont''' | ||
** Contacts : <span style="color:#0000F0;"> Jean-Claude Chevaleyre, Emmanuel Medernach </span> | ** Contacts : <span style="color:#0000F0;"> Jean-Claude Chevaleyre, Emmanuel Medernach </span> | ||
| Ligne 92: | Ligne 63: | ||
*** GlueSAPath: /dpm/in2p3.fr/home/atlas | *** GlueSAPath: /dpm/in2p3.fr/home/atlas | ||
*** GlueSAPath: /dpm/in2p3.fr/home/dteam | *** GlueSAPath: /dpm/in2p3.fr/home/dteam | ||
| − | + | * '''T2 SUBATECH''' | |
| + | ** Contact : <span style="color:#0000F0;"> Jean-Michel Barbet </span> | ||
| + | ** '''SE : nanlcg02.in2p3.fr''' | ||
| + | *** ldapsearch -x -H ldap://nanlcg02.in2p3.fr:2135 -b mds-vo-name=local,o=grid | ||
| + | *** GlueServiceEndpoint: httpg://nanlcg02.in2p3.fr:8443/srm/managerv1 | ||
| + | *** GlueSAPath: /dpm/in2p3.fr/home/alice | ||
| + | *** GlueSAPath: /dpm/in2p3.fr/home/dteam | ||
* '''T3 IN2P3-LAPP''' | * '''T3 IN2P3-LAPP''' | ||
** Contact : <span style="color:#0000F0;"> Sabine Elles </span> | ** Contact : <span style="color:#0000F0;"> Sabine Elles </span> | ||
| Ligne 99: | Ligne 76: | ||
*** GlueSAPath: /dpm/in2p3.fr/home/atlas | *** GlueSAPath: /dpm/in2p3.fr/home/atlas | ||
*** GlueSAPath: /dpm/in2p3.fr/home/dteam | *** GlueSAPath: /dpm/in2p3.fr/home/dteam | ||
| + | |||
| + | * '''T3 IN2P3-CPPM''' | ||
| + | ** Contact : <span style="color:#0000F0;"> Edith Knoops </span> | ||
| + | ** '''SE : sedpm.mrs.grid.cnrs.fr | ||
| + | *** GlueServiceEndpoint: httpg://sedpm.mrs.grid.cnrs.fr:8443/srm/managerv1 | ||
| + | *** GlueSAPath: /dpm/mrs.grid.cnrs.fr/home/dteam | ||
| + | *** GlueSAPath: /dpm/mrs.grid.cnrs.fr/home/atlas | ||
=== Petit HowTo pour lancer des transferts === | === Petit HowTo pour lancer des transferts === | ||
| Ligne 104: | Ligne 88: | ||
Les transferts sont initiés depuis une UI (LCG 2_7_0) . | Les transferts sont initiés depuis une UI (LCG 2_7_0) . | ||
| − | * Avant tout transfert, il faut un '''proxy valide déposé sur | + | * Avant tout transfert, il faut un '''proxy valide déposé sur un serveur MyProxy''' pour permettre au serveur FTS de renouveler un proxy expiré en cours de transfert. Celui utilisé par défaut par FTS est myproxy-fts.cern.ch. |
| + | Pour déposer un proxy sur un serveur MyProxy : | ||
1. grid-proxy-init | 1. grid-proxy-init | ||
| − | 2. myproxy-init -s | + | 2. myproxy-init -s myproxy-fts.cern.ch -d |
| + | |||
'''Les transferts lancés par un DN ne sont pas accessibles par un autre DN.''' | '''Les transferts lancés par un DN ne sont pas accessibles par un autre DN.''' | ||
* [[Vérification des canaux FTS définis :]] | * [[Vérification des canaux FTS définis :]] | ||
| Ligne 116: | Ligne 102: | ||
La commande de soumission retourne un UID (ex.: 604c290c-04fa-11da-816d-adeeeb012d0c) qui permet ensuite de suivre le statut du transfert. | La commande de soumission retourne un UID (ex.: 604c290c-04fa-11da-816d-adeeeb012d0c) qui permet ensuite de suivre le statut du transfert. | ||
| + | Si vous souhaitez utiliser un autre serveur MyProxy que celui par défaut (par ex. celui du CC cclcgproxli01.in2p3.fr), il faut alors (après avoir enregistré un proxy sur ce serveur) ajouter l'option -m à la commande de soumission comme suit : | ||
| + | glite-transfer-submit -m cclcgproxli01.in2p3.fr -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/FileTransfer <SOURCE-SURL> <DEST-SURL> | ||
| + | |||
| + | '''L'option -m n'est utilisable que depuis une UI en LCG-2_7_0 ou supérieur.''' | ||
* [[Statut du transfert :]] | * [[Statut du transfert :]] | ||
glite-transfer-status -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/FileTransfer -l 604c290c-04fa-11da-816d-adeeeb012d0c | glite-transfer-status -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/FileTransfer -l 604c290c-04fa-11da-816d-adeeeb012d0c | ||
| Ligne 133: | Ligne 123: | ||
* [[Liste des transferts en cours :]] | * [[Liste des transferts en cours :]] | ||
| − | glite-transfer-list -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/ | + | glite-transfer-list -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/FileTransfer -c <NOM-du-CANAL> |
Il y a des options supplémentaires pour les commandes ci-dessus accessibles par l'option -help. | Il y a des options supplémentaires pour les commandes ci-dessus accessibles par l'option -help. | ||
| Ligne 149: | Ligne 139: | ||
Pour obtenir la liste des canaux : | Pour obtenir la liste des canaux : | ||
| − | glite-transfer-channel-list -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/ | + | glite-transfer-channel-list -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/FileTransfer |
Pour obtenir les informations sur un canal : | Pour obtenir les informations sur un canal : | ||
| − | glite-transfer-channel-list -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/ | + | glite-transfer-channel-list -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/FileTransfer <NOM-du-CANAL> |
'''Attention : ''' Seul les paramètres '''"nombre fichiers"''' et '''"nombre de streams"''' sont à modifier. '''Les autres doivent rester inchangés.''' | '''Attention : ''' Seul les paramètres '''"nombre fichiers"''' et '''"nombre de streams"''' sont à modifier. '''Les autres doivent rester inchangés.''' | ||
| + | |||
| + | === Scripts de Test === | ||
| + | * Script python proposé par Sabine Elles pour lancer des commandes de transfert(globus-url-copy, srmcp, lcg_cp, ...) sous forme de threads : http://lappweb.in2p3.fr/informatique/GRID/transfert_concurrent.tar.gz | ||
| + | * Script de test des transferts FTS proposé par GridPP à l'adresse : http://www.gridpp.ac.uk/wiki/Transfer_Test_Python_Script_HOWTO <br> | ||
| + | * Le wiki GriPP est une mine d'informations : http://www.gridpp.ac.uk/wiki/Main_Page | ||
Latest revision as of 16:23, 4 novembre 2008
Remplissez le logbook, Consultez les résultats des tests !
Sommaire
Logbook
Procédure M.A.J 16/05/06
- Phase I: Validation débit réseau dans les 2 sens (T1->T2 et T2->T1)
- Contact au CC : Laurent Caillat caillat@cc.in2p3.fr
- Objectif : cibler les débits réseaux
- Résultats attendus : débits obtenus et paramètrage (réseau + file system) pour chaque site
- Config système : ccxfert
- hardware : IBM eServer 325 - Dual Opteron 246 (2 Ghz) - 2GB RAM
- 01 : SL3 (kernel 2.4) / Hardware : AMD Athlon bi-pro 32bits
- 02 : SL4 (kernel 2.6) / Hardware : AMD Athlon bi-pro 32bits
- Phase II: validation de la couche applicative SRM, dans les 2 sens (T1->T2 et T2->T1).
- Cible : entre 30 Mo/s à 50 Mo/s
- Contacts au CC : David Bouvet dbouvet@in2p3.fr et Lionel Schwarz lionel.schwarz@in2p3.fr
- Sites participants (disposant d'un SE - SRM): Voir le détail des sites impliqués
- Conditions de test :
- Les tests de transfert T1->T2 et T2->T1 seront réalisés, avec le serveur FTS du CC et nécessitent la définition de canaux entre le CC et sites impliqués. Voir ci-dessous les informations à transmettre au CC.
- paramètres FTS : nbre de fichiers concurrents (3 ou 5) / nbre de streams =1 . A noter qu'il sera possible d'optimiser ces paramètres le cas échéant par une phase de test gridftp
- Taille des fichiers : 500 Mo/1 Go
- Nombre de fichiers > 1
- VO de test : dteam
Phase I (Test Réseau) : Détails pratiques
- Fournir à Laurent Caillat un accès SSH temporaire sur une machine du site (pas nécessairement le SE) avec une connexion réseau gigabit
- Ouverture filtres réseau le cas échéant (1 port) et transferts avec iperf depuis et vers 2 machines du CC
- Optimisation des paramètres avec le contact du site
Phase II (Transferts FTS) : Infos à transmettre au CC-IN2P3 pour la définition des canaux
- La VO à utiliser : de préférence dteam
- Transmettre à David Bouvet et Lionel Schwarz les informations relatives au SE du site :
- ldapsearch -x -h <SE hostname> -p 2135 -b 'mds-vo-name=local,o=grid'
- endpoint srm : GlueServiceEndpoint du SE
- point de montage de la zone de stockage : GlueSAPath du SE
Sites impliqués
- T1 CC-IN2P3
- Contacts : David Bouvet, Lionel Schwarz
- SE : ccsrm.in2p3.fr
- Endpoint transferts LPC-CC : /pnfs/in2p3.fr/data/dteam/disk/lpc/
- Endpoint transferts LAL-CC : /pnfs/in2p3.fr/data/dteam/disk/lal/
- Endpoint transferts DAPNIA-CC : /pnfs/in2p3.fr/data/dteam/disk/dapnia/
- Endpoint transferts LAPP-CC : /pnfs/in2p3.fr/data/dteam/disk/lapp/
- T2 GRIF
- Contacts : Michel Jouvin, Pierric Micout, Christine Leroy, Diego Terront
- SE-LAL : grid05.lal.in2p3.fr
- GlueServiceEndpoint: httpg://grid05.lal.in2p3.fr:8443/srm/managerv1
- GlueSAPath: /dpm/lal.in2p3.fr/home/dteam
- SE-LPNHE : lpnse1.in2p3.fr
- ldapsearch -x -H ldap://lpnse1.in2p3.fr:2135 -b mds-vo-name=local,o=grid
- GlueServiceEndpoint: httpg://lpnse1.in2p3.fr:8443/srm/managerv1
- GlueSAPath: /dpm/in2p3.fr/home/dteam
- GlueSAPath: /dpm/in2p3.fr/home/atlas
- SE-DAPNIA : node12.datagrid.cea.fr
- GlueServiceEndpoint: httpg://node12.datagrid.cea.fr:8443/srm/managerv1
- GlueSAPath: /dpm/datagrid.cea.fr/home/dteam
- T2 LPC Clermont
- Contacts : Jean-Claude Chevaleyre, Emmanuel Medernach
- SE : clrlcgse03.in2p3.fr
- ldapsearch -x -H ldap://clrlcgse03.in2p3.fr:2135 -b mds-vo-name=local,o=grid
- GlueServiceEndpoint: httpg://clrlcgse03.in2p3.fr:8443/srm/managerv1
- GlueSAPath: /dpm/in2p3.fr/home/atlas
- GlueSAPath: /dpm/in2p3.fr/home/dteam
- T2 SUBATECH
- Contact : Jean-Michel Barbet
- SE : nanlcg02.in2p3.fr
- ldapsearch -x -H ldap://nanlcg02.in2p3.fr:2135 -b mds-vo-name=local,o=grid
- GlueServiceEndpoint: httpg://nanlcg02.in2p3.fr:8443/srm/managerv1
- GlueSAPath: /dpm/in2p3.fr/home/alice
- GlueSAPath: /dpm/in2p3.fr/home/dteam
- T3 IN2P3-LAPP
- Contact : Sabine Elles
- SE : lapp-se01.in2p3.fr
- GlueServiceEndpoint: httpg://lapp-se01.in2p3.fr:8443/srm/managerv1
- GlueSAPath: /dpm/in2p3.fr/home/atlas
- GlueSAPath: /dpm/in2p3.fr/home/dteam
- T3 IN2P3-CPPM
- Contact : Edith Knoops
- SE : sedpm.mrs.grid.cnrs.fr
- GlueServiceEndpoint: httpg://sedpm.mrs.grid.cnrs.fr:8443/srm/managerv1
- GlueSAPath: /dpm/mrs.grid.cnrs.fr/home/dteam
- GlueSAPath: /dpm/mrs.grid.cnrs.fr/home/atlas
Petit HowTo pour lancer des transferts
Les transferts sont initiés depuis une UI (LCG 2_7_0) .
- Avant tout transfert, il faut un proxy valide déposé sur un serveur MyProxy pour permettre au serveur FTS de renouveler un proxy expiré en cours de transfert. Celui utilisé par défaut par FTS est myproxy-fts.cern.ch.
Pour déposer un proxy sur un serveur MyProxy :
1. grid-proxy-init
2. myproxy-init -s myproxy-fts.cern.ch -d
Les transferts lancés par un DN ne sont pas accessibles par un autre DN.
/opt/glite/bin/glite-transfer-channel-list -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/ChannelManagement
glite-transfer-submit -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/FileTransfer <SOURCE-SURL> <DEST-SURL>
(ex. de SURL : srm://ccsrm.in2p3.fr:8443/srm/managerv1?SFN=/pnfs/in2p3.fr/data/dteam/hpss/test/test_fts_bnl2lyon_jul14.1)
La commande de soumission retourne un UID (ex.: 604c290c-04fa-11da-816d-adeeeb012d0c) qui permet ensuite de suivre le statut du transfert.
Si vous souhaitez utiliser un autre serveur MyProxy que celui par défaut (par ex. celui du CC cclcgproxli01.in2p3.fr), il faut alors (après avoir enregistré un proxy sur ce serveur) ajouter l'option -m à la commande de soumission comme suit :
glite-transfer-submit -m cclcgproxli01.in2p3.fr -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/FileTransfer <SOURCE-SURL> <DEST-SURL>
L'option -m n'est utilisable que depuis une UI en LCG-2_7_0 ou supérieur.
glite-transfer-status -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/FileTransfer -l 604c290c-04fa-11da-816d-adeeeb012d0c
La commande retourne par exemple le statut suivant :
Done Source: srm://ccsrm.in2p3.fr:8443/srm/managerv1?SFN=/pnfs/in2p3.fr/data/atlas/test/test_fts_bnl2lyon_jul14.1 Destination: srm://ccsrm.in2p3.fr:8443/srm/managerv1?SFN=/pnfs/in2p3.fr/data/atlas/test/2005-08-04.1654 State: Done Retries: 0 Reason: (null) Duration: 25
glite-transfer-cancel -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/FileTransfer 604c290c-04fa-11da-816d-adeeeb012d0c
glite-transfer-list -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/FileTransfer -c <NOM-du-CANAL>
Il y a des options supplémentaires pour les commandes ci-dessus accessibles par l'option -help.
FTS ne permet pas d'effacer les fichiers sur SRM. Il ne s'occupe que de transférer les fichiers. Une fois les tests de transferts effectués, merci d'effacer les fichiers sur SRM avec la commande suivante :
srm-advisory-delete <SRM path>
Pour pouvoir modifier, les paramètres des canaux vous devez être enregistré comme manager du canal. Si vous l'êtes, voici les commandes :
glite-transfer-channel-set -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/ChannelManagement -f <nombre-de-fichiers> -T <nombre-de-streams> <NOM-du-CANAL>
Pour obtenir la liste des canaux :
glite-transfer-channel-list -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/FileTransfer
Pour obtenir les informations sur un canal :
glite-transfer-channel-list -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/FileTransfer <NOM-du-CANAL>
Attention : Seul les paramètres "nombre fichiers" et "nombre de streams" sont à modifier. Les autres doivent rester inchangés.
Scripts de Test
- Script python proposé par Sabine Elles pour lancer des commandes de transfert(globus-url-copy, srmcp, lcg_cp, ...) sous forme de threads : http://lappweb.in2p3.fr/informatique/GRID/transfert_concurrent.tar.gz
- Script de test des transferts FTS proposé par GridPP à l'adresse : http://www.gridpp.ac.uk/wiki/Transfer_Test_Python_Script_HOWTO
- Le wiki GriPP est une mine d'informations : http://www.gridpp.ac.uk/wiki/Main_Page
