Difference between revisions of "T2T3:2006Q2:Tests T1-T2T3"
(→Petit HowTo pour lancer des transferts) |
(→'''Phase I :''' Détails pratiques) |
||
Ligne 47: | Ligne 47: | ||
=== '''Phase I :''' Détails pratiques === | === '''Phase I :''' Détails pratiques === | ||
+ | * Fournir à Laurent Caillat un acces SSH temporaire sur une machine du site avec une connexion réseau gigabit | ||
+ | * Ouverture filtres réseau le cas échéant (1 port) et transferts avec iperf depuis et vers 2 machines du CC | ||
+ | * Optimisation des paramètres avec le contact du site | ||
=== '''Phase II :''' Infos à transmettre au CC-IN2P3 pour la définition des canaux FTS === | === '''Phase II :''' Infos à transmettre au CC-IN2P3 pour la définition des canaux FTS === |
Version du 16:39, 17 mai 2006
Sommaire
Suivi et Infos
via la liste LCGFR-TECH-L@in2p3.fr
Procédure M.A.J 16/05/06
- Phase I: Validation des couches de base (mémoire-mémoire et gridFTP) dans les 2 sens (T1->T2 et T2->T1)
- Contact au CC : Laurent Caillat caillat@cc.in2p3.fr
- Objectif : cibler les débits réseaux
- Résultats attendus : débits obtenus et paramètrage (réseau + file system) pour chaque site
- Sites participants (disposant d'un SE - SRM): Voir le détail des sites impliqués
- DAPNIA, LAL, LPC
- LAPP, LPNHE
- Phase II: validation de la couche applicative SRM, dans les 2 sens (T1->T2 et T2->T1).
- Contacts au CC : David Bouvet dbouvet@in2p3.fr et Lionel Schwarz lionel.schwarz@in2p3.fr
- Conditions de test :
- Les tests de transfert T1->T2 et T2->T1 seront réalisés, avec le serveur FTS du CC et nécessitent la définition de canaux entre le CC et sites impliqués. Voir ci-dessous les informations à transmettre au CC.
- paramètres FTS : nbre de fichiers concurrents (3 ou 5) / nbre de streams =1 . A noter qu'il sera possible d'optimiser ces paramètres le cas échéant par une phase de test gridftp
- Taille des fichiers : 500 Mo/1 Go
- Nombre de fichiers > 1
- VO de test : dteam
Planning
Phase I : période prévue par site : X (2 jours min.) Phase II : période prévue par site :: XX (2 jours min.)
Mai / Juin 2006 | Me 17 | Je 18 | Ve 19 | Sa 20 | Di 21 | Lu 22 | Ma 23 | Me 24 | Je 25 | Ve 26 | Sa 27 | Di 28 | Lu 29 | Ma 30 | Me 31 | Je 01 | Ve 02 | Sa 03 | Di 04 | Lu 05 | Ma 06 |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
GRIF-DAPNIA | X | X | XX | XX | |||||||||||||||||
GRIF-LAL | X | X | X | XX | XX | ||||||||||||||||
LPC Clermont | X | X | XX | XX | XX | ||||||||||||||||
LAPP | \ | \ | \ | \ | \ | ||||||||||||||||
LPNHE | / | / | / | / | / |
Phase I : Détails pratiques
- Fournir à Laurent Caillat un acces SSH temporaire sur une machine du site avec une connexion réseau gigabit
- Ouverture filtres réseau le cas échéant (1 port) et transferts avec iperf depuis et vers 2 machines du CC
- Optimisation des paramètres avec le contact du site
Phase II : Infos à transmettre au CC-IN2P3 pour la définition des canaux FTS
- La VO à utiliser : de préférence dteam
- Storage Element : ldapsearch -x -h lapp-se01.in2p3.fr -p 2135 -b 'mds-vo-name=local,o=grid'
- endpoint srm : GlueServiceEndpoint du SE
- point de montage de la zone de stockage : GlueSAPath du SE
Sites impliqués
- T1 CC-IN2P3
- Contacts : David Bouvet, Lionel Schwarz
- SE : ccsrm.in2p3.fr
- Endpoint transferts LPC-CC : /pnfs/in2p3.fr/data/dteam/disk/lpc/
- Endpoint transferts LAL-CC : /pnfs/in2p3.fr/data/dteam/disk/lal/
- Endpoint transferts DAPNIA-CC : /pnfs/in2p3.fr/data/dteam/disk/dapnia/
- Endpoint transferts LAPP-CC : /pnfs/in2p3.fr/data/dteam/disk/lapp/
- T2 GRIF
- Contacts : Michel Jouvin, Pierric Micout, Christine Leroy, Diego Terront
- SE-LAL :
- SE-LPNHE : lpnse1.in2p3.fr
- ldapsearch -x -H ldap://lpnse1.in2p3.fr:2135 -b mds-vo-name=local,o=grid
- GlueServiceEndpoint: httpg://lpnse1.in2p3.fr:8443/srm/managerv1
- GlueSAPath: /dpm/in2p3.fr/home/dteam
- GlueSAPath: /dpm/in2p3.fr/home/atlas
- SE-DAPNIA : node12.datagrid.cea.fr
- GlueServiceEndpoint: httpg://node12.datagrid.cea.fr:8443/srm/managerv1
- GlueSAPath: /dpm/datagrid.cea.fr/home/dteam
- T2 LPC Clermont
- Contacts : Jean-Claude Chevaleyre, Emmanuel Medernach
- SE : clrlcgse03.in2p3.fr
- ldapsearch -x -H ldap://clrlcgse03.in2p3.fr:2135 -b mds-vo-name=local,o=grid
- GlueServiceEndpoint: httpg://clrlcgse03.in2p3.fr:8443/srm/managerv1
- GlueSAPath: /dpm/in2p3.fr/home/atlas
- GlueSAPath: /dpm/in2p3.fr/home/dteam
- T3 IN2P3-LAPP
- Contact : Sabine Elles
- SE : lapp-se01.in2p3.fr
- GlueServiceEndpoint: httpg://lapp-se01.in2p3.fr:8443/srm/managerv1
- GlueSAPath: /dpm/in2p3.fr/home/atlas
- GlueSAPath: /dpm/in2p3.fr/home/dteam
Petit HowTo pour lancer des transferts
Les transferts sont initiés depuis une UI (LCG 2_7_0) .
- Avant tout transfert, il faut un proxy valide déposé sur le serveur MyProxy cclcgproxli01.in2p3.fr, pour permettre au serveur FTS de renouveler un proxy expiré en cours de transfert :
1. grid-proxy-init 2. myproxy-init -s cclcgproxli01.in2p3.fr -d
Les transferts lancés par un DN ne sont pas accessibles par un autre DN.
/opt/glite/bin/glite-transfer-channel-list -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/ChannelManagement
glite-transfer-submit -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/FileTransfer <SOURCE-SURL> <DEST-SURL>
(ex. de SURL : srm://ccsrm.in2p3.fr:8443/srm/managerv1?SFN=/pnfs/in2p3.fr/data/dteam/hpss/test/test_fts_bnl2lyon_jul14.1)
La commande de soumission retourne un UID (ex.: 604c290c-04fa-11da-816d-adeeeb012d0c) qui permet ensuite de suivre le statut du transfert.
glite-transfer-status -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/FileTransfer -l 604c290c-04fa-11da-816d-adeeeb012d0c
La commande retourne par exemple le statut suivant :
Done Source: srm://ccsrm.in2p3.fr:8443/srm/managerv1?SFN=/pnfs/in2p3.fr/data/atlas/test/test_fts_bnl2lyon_jul14.1 Destination: srm://ccsrm.in2p3.fr:8443/srm/managerv1?SFN=/pnfs/in2p3.fr/data/atlas/test/2005-08-04.1654 State: Done Retries: 0 Reason: (null) Duration: 25
glite-transfer-cancel -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/FileTransfer 604c290c-04fa-11da-816d-adeeeb012d0c
glite-transfer-list -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/ChannelManagement -c <NOM-du-CANAL>
Il y a des options supplémentaires pour les commandes ci-dessus accessibles par l'option -help.
FTS ne permet pas d'effacer les fichiers sur SRM. Il ne s'occupe que de transférer les fichiers. Une fois les tests de transferts effectués, merci d'effacer les fichiers sur SRM avec la commande suivante :
srm-advisory-delete <SRM path>
Pour pouvoir modifier, les paramètres des canaux vous devez être enregistré comme manager du canal. Si vous l'êtes, voici les commandes :
glite-transfer-channel-set -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/ChannelManagement -f <nombre-de-fichiers> -T <nombre-de-streams> <NOM-du-CANAL>
Pour obtenir la liste des canaux :
glite-transfer-channel-list -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/ChannelManagement
Pour obtenir les informations sur un canal :
glite-transfer-channel-list -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/ChannelManagement <NOM-du-CANAL>
Attention : Seul les paramètres "nombre fichiers" et "nombre de streams" sont à modifier. Les autres doivent rester inchangés.