http://lcg.in2p3.fr/wiki/api.php?action=feedcontributions&user=Elles&feedformat=atomlcgwiki - Contributions [en]2024-03-28T19:55:13ZContributionsMediaWiki 1.31.0http://lcg.in2p3.fr/wiki/index.php?title=T2T3:2006Q2:Tests_T1-T2T3&diff=1901T2T3:2006Q2:Tests T1-T2T32006-06-28T15:37:25Z<p>Elles: </p>
<hr />
<div>=== Diffusion Infos via la liste LCGFR-TECH-L@in2p3.fr===<br />
La liste est gérée par / List manager : Fabio Hernandez <br><br />
Adhésion par mail à / Send a mail to : fabio@in2p3.fr<br />
<br />
=== [[T2T3:2006Q2:Tests_T1-T2T3:Logbook|Consultez & Remplissez le logbook !]] ===<br />
<br />
=== Procédure M.A.J 16/05/06 ===<br />
<br />
* '''Phase I''': Validation débit réseau dans les 2 sens (T1->T2 et T2->T1)<br />
** Contact au CC : Laurent Caillat <span style="color:#0000F0;">caillat@cc.in2p3.fr</span><br />
** Objectif : cibler les débits réseaux<br />
** Résultats attendus : débits obtenus et paramètrage (réseau + file system) pour chaque site<br />
** Config système : ccxfert <br />
*** hardware : IBM eServer 325 - Dual Opteron 246 (2 Ghz) - 2GB RAM <br />
*** 01 : SL3 (kernel 2.4) / Hardware : AMD Athlon bi-pro 32bits<br />
*** 02 : SL4 (kernel 2.6) / Hardware : AMD Athlon bi-pro 32bits<br />
* '''Phase II''': validation de la couche applicative SRM, dans les 2 sens (T1->T2 et T2->T1).<br />
** Cible : entre 30 Mo/s à 50 Mo/s <br />
** Contacts au CC : David Bouvet <span style="color:#0000F0;">dbouvet@in2p3.fr</span> et Lionel Schwarz <span style="color:#0000F0;">lionel.schwarz@in2p3.fr</span> <br />
** Sites participants (disposant d'un SE - SRM): [[T2T3:2006Q2:Tests_T1-T2T3#Sites_impliqu.C3.A9s|Voir le détail des sites impliqués]]<br />
** Conditions de test :<br />
*** Les tests de transfert T1->T2 et T2->T1 seront réalisés, avec le serveur FTS du CC et nécessitent la définition de canaux entre le CC et sites impliqués. [[T2T3:2006Q2:Tests_T1-T2T3#Infos_.C3.A0_transmettre_au_CC-IN2P3_pour_la_d.C3.A9finition_des_canaux_FTS|Voir ci-dessous les informations à transmettre au CC.]]<br />
*** paramètres FTS : nbre de fichiers concurrents (3 ou 5) / nbre de streams =1 . <span style="color:#FF0000;">A noter qu'il sera possible d'optimiser ces paramètres le cas échéant par une phase de test gridftp </span><br />
*** Taille des fichiers : 500 Mo/1 Go<br />
*** Nombre de fichiers > 1 <br />
*** VO de test : <span style="color:#FF0000;">dteam</span><br />
<br />
=== Planning ===<br />
<br />
'''Phase I : Test Réseau'''<br />
*Période prévue par site : X (2 jours) du 17 au 24 mai <br />
'''Phase II : Test SRM et FTS<br />
*Période prévue par site : XX (2 jours) en cours depuis le 29 mai <br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Juin / Juillet 2006 !! Semaine 25 !! Semaine 26 !! Semaine 27 !! Semaine 28 !! Semaine 29 !! Semaine 30 <br />
|-<br />
! GRIF-DAPNIA<br />
| <font color="red">'''Pb Réseau '''</font> || || || || || <br />
|-<br />
! GRIF-LAL<br />
| <font color="green">'''SC4:Atlas'''</font> || || || || || <br />
|-<br />
! LPC Clermont <br />
| <font color="green">'''FTS:T1-T2T3'''</font> || <font color="orange">'''SC4:Atlas'''</font> || || || || <br />
|-<br />
! LAPP <br />
| <font color="green">'''FTS:T1-T2T3'''</font>|| <font color="green">'''Atlas:SC4'''</font> || || || || <br />
|-<br />
! LPNHE <br />
| <font color="black">'''Status SE/SRM à confirmer'''</font>|| || || || || <br />
|-<br />
! SUBATECH <br />
| <font color="black">'''Test Réseau en cours'''</font> || || || || || <br />
|-<br />
|}<br />
<br />
=== '''Phase I :''' Détails pratiques ===<br />
* Fournir à Laurent Caillat un accès SSH temporaire sur une machine du site (pas nécessairement le SE) avec une connexion réseau gigabit<br />
* Ouverture filtres réseau le cas échéant (1 port) et transferts avec iperf depuis et vers 2 machines du CC <br />
* Optimisation des paramètres avec le contact du site<br />
<br />
=== '''Phase II :''' Infos à transmettre au CC-IN2P3 pour la définition des canaux FTS ===<br />
* La VO à utiliser : de préférence dteam <br />
* Transmettre à David Bouvet et Lionel Schwarz les informations relatives au SE du site : <br />
** ldapsearch -x -h ''<SE hostname>'' -p 2135 -b 'mds-vo-name=local,o=grid' <br />
** endpoint srm : GlueServiceEndpoint du SE<br />
** point de montage de la zone de stockage : GlueSAPath du SE<br />
<br />
=== Sites impliqués ===<br />
* '''T1 CC-IN2P3 '''<br />
** Contacts : <span style="color:#0000F0;"> David Bouvet, Lionel Schwarz </span><br />
** '''SE : ccsrm.in2p3.fr'''<br />
*** Endpoint transferts LPC-CC : /pnfs/in2p3.fr/data/dteam/disk/lpc/<br />
*** Endpoint transferts LAL-CC : /pnfs/in2p3.fr/data/dteam/disk/lal/<br />
*** Endpoint transferts DAPNIA-CC : /pnfs/in2p3.fr/data/dteam/disk/dapnia/<br />
*** Endpoint transferts LAPP-CC : /pnfs/in2p3.fr/data/dteam/disk/lapp/<br />
* '''T2 GRIF''' <br />
** Contacts : <span style="color:#0000F0;"> Michel Jouvin, Pierric Micout, Christine Leroy, Diego Terront </span><br />
** '''SE-LAL : grid05.lal.in2p3.fr'''<br />
*** GlueServiceEndpoint: httpg://grid05.lal.in2p3.fr:8443/srm/managerv1<br />
*** GlueSAPath: /dpm/lal.in2p3.fr/home/dteam<br />
** '''SE-LPNHE : lpnse1.in2p3.fr'''<br />
*** ldapsearch -x -H ldap://lpnse1.in2p3.fr:2135 -b mds-vo-name=local,o=grid<br />
*** GlueServiceEndpoint: httpg://lpnse1.in2p3.fr:8443/srm/managerv1<br />
*** GlueSAPath: /dpm/in2p3.fr/home/dteam<br />
*** GlueSAPath: /dpm/in2p3.fr/home/atlas<br />
** '''SE-DAPNIA : node12.datagrid.cea.fr'''<br />
*** GlueServiceEndpoint: httpg://node12.datagrid.cea.fr:8443/srm/managerv1<br />
*** GlueSAPath: /dpm/datagrid.cea.fr/home/dteam<br />
<br />
* '''T2 LPC Clermont''' <br />
** Contacts : <span style="color:#0000F0;"> Jean-Claude Chevaleyre, Emmanuel Medernach </span><br />
** '''SE : clrlcgse03.in2p3.fr'''<br />
*** ldapsearch -x -H ldap://clrlcgse03.in2p3.fr:2135 -b mds-vo-name=local,o=grid<br />
*** GlueServiceEndpoint: httpg://clrlcgse03.in2p3.fr:8443/srm/managerv1<br />
*** GlueSAPath: /dpm/in2p3.fr/home/atlas<br />
*** GlueSAPath: /dpm/in2p3.fr/home/dteam<br />
<br />
* '''T3 IN2P3-LAPP'''<br />
** Contact : <span style="color:#0000F0;"> Sabine Elles </span><br />
** '''SE : lapp-se01.in2p3.fr<br />
*** GlueServiceEndpoint: httpg://lapp-se01.in2p3.fr:8443/srm/managerv1<br />
*** GlueSAPath: /dpm/in2p3.fr/home/atlas<br />
*** GlueSAPath: /dpm/in2p3.fr/home/dteam<br />
<br />
=== Petit HowTo pour lancer des transferts ===<br />
<br />
Les transferts sont initiés depuis une UI (LCG 2_7_0) .<br />
<br />
* Avant tout transfert, il faut un '''proxy valide déposé sur le serveur MyProxy''' cclcgproxli01.in2p3.fr, pour permettre au serveur FTS de renouveler un proxy expiré en cours de transfert :<br />
1. grid-proxy-init<br />
2. myproxy-init -s cclcgproxli01.in2p3.fr -d <br />
'''Les transferts lancés par un DN ne sont pas accessibles par un autre DN.'''<br />
* [[Vérification des canaux FTS définis :]]<br />
/opt/glite/bin/glite-transfer-channel-list -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/ChannelManagement<br />
* [[Soumission :]]<br />
glite-transfer-submit -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/FileTransfer <SOURCE-SURL> <DEST-SURL><br />
(ex. de SURL : srm://ccsrm.in2p3.fr:8443/srm/managerv1?SFN=/pnfs/in2p3.fr/data/dteam/hpss/test/test_fts_bnl2lyon_jul14.1)<br />
<br />
La commande de soumission retourne un UID (ex.: 604c290c-04fa-11da-816d-adeeeb012d0c) qui permet ensuite de suivre le statut du transfert.<br />
<br />
* [[Statut du transfert :]]<br />
glite-transfer-status -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/FileTransfer -l 604c290c-04fa-11da-816d-adeeeb012d0c <br />
<br />
La commande retourne par exemple le statut suivant : <br />
<br />
Done<br />
Source: srm://ccsrm.in2p3.fr:8443/srm/managerv1?SFN=/pnfs/in2p3.fr/data/atlas/test/test_fts_bnl2lyon_jul14.1<br />
Destination: srm://ccsrm.in2p3.fr:8443/srm/managerv1?SFN=/pnfs/in2p3.fr/data/atlas/test/2005-08-04.1654<br />
State: Done<br />
Retries: 0<br />
Reason: (null)<br />
Duration: 25 <br />
<br />
* [[Destruction d'un transfert :]]<br />
glite-transfer-cancel -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/FileTransfer 604c290c-04fa-11da-816d-adeeeb012d0c<br />
<br />
* [[Liste des transferts en cours :]]<br />
glite-transfer-list -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/ChannelManagement -c <NOM-du-CANAL><br />
<br />
Il y a des options supplémentaires pour les commandes ci-dessus accessibles par l'option -help.<br />
<br />
* [[Effacer les fichiers sur SRM :]]<br />
FTS ne permet pas d'effacer les fichiers sur SRM. Il ne s'occupe que de transférer les fichiers.<br />
Une fois les tests de transferts effectués, merci d'effacer les fichiers sur SRM avec la commande suivante : <br />
srm-advisory-delete <SRM path><br />
<br />
* [[Modification des paramètres des canaux :]]<br />
Pour pouvoir modifier, les paramètres des canaux vous devez être enregistré comme manager du canal.<br />
Si vous l'êtes, voici les commandes :<br />
<br />
glite-transfer-channel-set -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/ChannelManagement -f <nombre-de-fichiers> -T <nombre-de-streams> <NOM-du-CANAL><br />
<br />
Pour obtenir la liste des canaux : <br />
glite-transfer-channel-list -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/ChannelManagement <br />
<br />
Pour obtenir les informations sur un canal :<br />
glite-transfer-channel-list -s https://cclcgftsli01.in2p3.fr:8443/glite-data-transfer-fts/services/ChannelManagement <NOM-du-CANAL><br />
'''Attention : ''' Seul les paramètres '''"nombre fichiers"''' et '''"nombre de streams"''' sont à modifier. '''Les autres doivent rester inchangés.'''<br />
<br />
<br />
=== Scripts de test des transferts FTS adapte depuis l'outils propose par GridPP ===<br />
Le wiki GriPP est une mine d'iformations : http://www.gridpp.ac.uk/wiki/Main_Page<br />
<br />
Script original sur le site de GridPP à l'adresse : http://www.gridpp.ac.uk/wiki/Transfer_Test_Python_Script_HOWTO <br><br />
Modifications proposées par Sabine Elles (LAPP)</div>Elles