T2T3:2006Q2:Tests T1-T2T3

Diffusion Infos via la liste LCGFR-TECH-L@in2p3.fr

La liste est gérée par / List manager : Fabio Hernandez
Adhésion par mail à / Send a mail to : fabio@in2p3.fr

Procédure M.A.J 16/05/06

• Phase I: Validation débit réseau dans les 2 sens (T1->T2 et T2->T1)
  • Contact au CC : Laurent Caillat caillat@cc.in2p3.fr
  • Objectif : cibler les débits réseaux
  • Résultats attendus : débits obtenus et paramètrage (réseau + file system) pour chaque site
  • Config système : ccxfert
    • hardware : IBM eServer 325 - Dual Opteron 246 (2 Ghz) - 2GB RAM
    • 01 : SL3 (kernel 2.4) / Hardware : AMD Athlon bi-pro 32bits
    • 02 : SL4 (kernel 2.6) / Hardware : AMD Athlon bi-pro 32bits
• Phase II: validation de la couche applicative SRM, dans les 2 sens (T1->T2 et T2->T1).
  • Cible : entre 30 Mo/s à 50 Mo/s
  • Contacts au CC : David Bouvet dbouvet@in2p3.fr et Lionel Schwarz lionel.schwarz@in2p3.fr
  • Sites participants (disposant d'un SE - SRM): Voir le détail des sites impliqués
  • Conditions de test :
    • Les tests de transfert T1->T2 et T2->T1 seront réalisés, avec le serveur FTS du CC et nécessitent la définition de canaux entre le CC et sites impliqués. Voir ci-dessous les informations à transmettre au CC.
    • paramètres FTS : nbre de fichiers concurrents (3 ou 5) / nbre de streams =1 . A noter qu'il sera possible d'optimiser ces paramètres le cas échéant par une phase de test gridftp
    • Taille des fichiers : 500 Mo/1 Go
    • Nombre de fichiers > 1
    • VO de test : dteam

Planning

Phase I : Test Réseau

• Période prévue par site : X (2 jours) du 17 au 24 mai

Phase II : Test SRM et FTS

• Période prévue par site : XX (2 jours) en cours depuis le 29 mai

Juin / Juillet 2006	Semaine 25	Semaine 26	Semaine 27	Semaine 28	Semaine 29	Semaine 30
GRIF-DAPNIA	Pb Réseau
GRIF-LAL	SC4:Atlas
LPC Clermont	FTS:T1-T2T3	SC4:Atlas
LAPP	FTS:T1-T2T3	Atlas:SC4
LPNHE	Status SE/SRM à confirmer
SUBATECH	Test Réseau en cours

Phase I : Détails pratiques

• Fournir à Laurent Caillat un accès SSH temporaire sur une machine du site (pas nécessairement le SE) avec une connexion réseau gigabit
• Ouverture filtres réseau le cas échéant (1 port) et transferts avec iperf depuis et vers 2 machines du CC
• Optimisation des paramètres avec le contact du site

Phase II : Infos à transmettre au CC-IN2P3 pour la définition des canaux FTS

• La VO à utiliser : de préférence dteam
• Transmettre à David Bouvet et Lionel Schwarz les informations relatives au SE du site :
  • ldapsearch -x -h <SE hostname> -p 2135 -b 'mds-vo-name=local,o=grid'
  • endpoint srm : GlueServiceEndpoint du SE
  • point de montage de la zone de stockage : GlueSAPath du SE

Sites impliqués

• T1 CC-IN2P3
  • Contacts : David Bouvet, Lionel Schwarz
  • SE : ccsrm.in2p3.fr
    • Endpoint transferts LPC-CC : /pnfs/in2p3.fr/data/dteam/disk/lpc/
    • Endpoint transferts LAL-CC : /pnfs/in2p3.fr/data/dteam/disk/lal/
    • Endpoint transferts DAPNIA-CC : /pnfs/in2p3.fr/data/dteam/disk/dapnia/
    • Endpoint transferts LAPP-CC : /pnfs/in2p3.fr/data/dteam/disk/lapp/
• T2 GRIF
  • Contacts : Michel Jouvin, Pierric Micout, Christine Leroy, Diego Terront
  • SE-LAL : grid05.lal.in2p3.fr
    • GlueServiceEndpoint: httpg://grid05.lal.in2p3.fr:8443/srm/managerv1
    • GlueSAPath: /dpm/lal.in2p3.fr/home/dteam
  • SE-LPNHE : lpnse1.in2p3.fr
    • ldapsearch -x -H ldap://lpnse1.in2p3.fr:2135 -b mds-vo-name=local,o=grid
    • GlueServiceEndpoint: httpg://lpnse1.in2p3.fr:8443/srm/managerv1
    • GlueSAPath: /dpm/in2p3.fr/home/dteam
    • GlueSAPath: /dpm/in2p3.fr/home/atlas
  • SE-DAPNIA : node12.datagrid.cea.fr
    • GlueServiceEndpoint: httpg://node12.datagrid.cea.fr:8443/srm/managerv1
    • GlueSAPath: /dpm/datagrid.cea.fr/home/dteam

• T2 LPC Clermont
  • Contacts : Jean-Claude Chevaleyre, Emmanuel Medernach
  • SE : clrlcgse03.in2p3.fr
    • ldapsearch -x -H ldap://clrlcgse03.in2p3.fr:2135 -b mds-vo-name=local,o=grid
    • GlueServiceEndpoint: httpg://clrlcgse03.in2p3.fr:8443/srm/managerv1
    • GlueSAPath: /dpm/in2p3.fr/home/atlas
    • GlueSAPath: /dpm/in2p3.fr/home/dteam

• T3 IN2P3-LAPP
  • Contact : Sabine Elles
  • SE : lapp-se01.in2p3.fr
    • GlueServiceEndpoint: httpg://lapp-se01.in2p3.fr:8443/srm/managerv1
    • GlueSAPath: /dpm/in2p3.fr/home/atlas
    • GlueSAPath: /dpm/in2p3.fr/home/dteam

Petit HowTo pour lancer des transferts

Les transferts sont initiés depuis une UI (LCG 2_7_0) .

• Avant tout transfert, il faut un proxy valide déposé sur le serveur MyProxy cclcgproxli01.in2p3.fr, pour permettre au serveur FTS de renouveler un proxy expiré en cours de transfert :

       1. grid-proxy-init
       2. myproxy-init -s cclcgproxli01.in2p3.fr -d 

Les transferts lancés par un DN ne sont pas accessibles par un autre DN.

• Vérification des canaux FTS définis :

/opt/glite/bin/glite-transfer-channel-list -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/ChannelManagement

• Soumission :

glite-transfer-submit -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/FileTransfer     <SOURCE-SURL> <DEST-SURL>

(ex. de SURL : srm://ccsrm.in2p3.fr:8443/srm/managerv1?SFN=/pnfs/in2p3.fr/data/dteam/hpss/test/test_fts_bnl2lyon_jul14.1)

La commande de soumission retourne un UID (ex.: 604c290c-04fa-11da-816d-adeeeb012d0c) qui permet ensuite de suivre le statut du transfert.

• Statut du transfert :

glite-transfer-status -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/FileTransfer -l 604c290c-04fa-11da-816d-adeeeb012d0c 

La commande retourne par exemple le statut suivant :

Done
Source: srm://ccsrm.in2p3.fr:8443/srm/managerv1?SFN=/pnfs/in2p3.fr/data/atlas/test/test_fts_bnl2lyon_jul14.1
Destination: srm://ccsrm.in2p3.fr:8443/srm/managerv1?SFN=/pnfs/in2p3.fr/data/atlas/test/2005-08-04.1654
State:       Done
Retries:     0
Reason:      (null)
Duration:    25 

• Destruction d'un transfert :

glite-transfer-cancel -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/FileTransfer 604c290c-04fa-11da-816d-adeeeb012d0c

• Liste des transferts en cours :

glite-transfer-list -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/ChannelManagement -c <NOM-du-CANAL>

Il y a des options supplémentaires pour les commandes ci-dessus accessibles par l'option -help.

• Effacer les fichiers sur SRM :

FTS ne permet pas d'effacer les fichiers sur SRM. Il ne s'occupe que de transférer les fichiers. Une fois les tests de transferts effectués, merci d'effacer les fichiers sur SRM avec la commande suivante :

srm-advisory-delete <SRM path>

• Modification des paramètres des canaux :

Pour pouvoir modifier, les paramètres des canaux vous devez être enregistré comme manager du canal. Si vous l'êtes, voici les commandes :

glite-transfer-channel-set -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/ChannelManagement  -f <nombre-de-fichiers> -T <nombre-de-streams> <NOM-du-CANAL>

Pour obtenir la liste des canaux :

glite-transfer-channel-list -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/ChannelManagement 

Pour obtenir les informations sur un canal :

glite-transfer-channel-list -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/ChannelManagement  <NOM-du-CANAL>

Attention : Seul les paramètres "nombre fichiers" et "nombre de streams" sont à modifier. Les autres doivent rester inchangés.

Scripts de test des transferts FTS adapte depuis l'outils propose par GridPP

Le wiki GriPP est une mine d'iformations : http://www.gridpp.ac.uk/wiki/Main_Page

Script original sur le site de GridPP à l'adresse : http://www.gridpp.ac.uk/wiki/Transfer_Test_Python_Script_HOWTO
Modifications proposées par Sabine Elles (LAPP)