Difference between revisions of "Infrastructure Stockage"

Un article de lcgwiki.
Jump to: navigation, search
(→‎Dell Serveur PE2950 et Baies MD1000)
(→‎Filesystems)
 
(32 intermediate revisions by 3 users not shown)
Ligne 11: Ligne 11:
 
http://accessories.euro.dell.com/sna/products/Mat%C3%A9riel_pour_entreprise/productdetail.aspx?c=fr&l=fr&cs=frdhs1&sku=405-10775#Overview
 
http://accessories.euro.dell.com/sna/products/Mat%C3%A9riel_pour_entreprise/productdetail.aspx?c=fr&l=fr&cs=frdhs1&sku=405-10775#Overview
  
−
'''2) La Baie MD1000''' http://support.euro.dell.com/support/topics/topic.aspx/emea/shared/support/root/fr/product_support_central?~ck=ln&c=fr&l=fr&lnki=0&s=gen&SystemID=PWV_MD1000
+
'''2) La Baie MD1000'''  
 +
 
 +
http://support.euro.dell.com/support/topics/topic.aspx/emea/shared/support/root/fr/product_support_central?~ck=ln&c=fr&l=fr&lnki=0&s=gen&SystemID=PWV_MD1000
  
 
=== Choix du RAID ===
 
=== Choix du RAID ===
 +
 
http://www.hardwaresecrets.com/article/314/3
 
http://www.hardwaresecrets.com/article/314/3
  
 +
=== Virtual disks ===
  
 +
CPPM :
 +
On a essayé 1 virtual disque par baie avec ou sans hot spare
  
−
=== Virtual disks ===
+
On est en train d'essayer un seul virtual disk pour les 2 baies ( 24 To) avec RAID6 et 1 hot spare.
 +
C'est pas trop 27 disques dans un raid group ? C'est juste un test..
 +
Finalement on reste dans cette config. 1 seul RAID6 sur les 2 baies et 1 disque hot spare.
  
 +
On a fait 4 filesystems ext3 de 6 To (le dernier a 5.8 To).
 +
Le premier a été mis en prod pour atlas ce 22/02/2009.
  
 
=== Filesystems ===
 
=== Filesystems ===
  
 +
Test avec xfs:
  
 +
parted  /dev/sdc mklabel gpt
 +
parted  /dev/sdc mkpart primary xfs 0 5720000
 +
 +
On cree 2 filesystem xfs par RAID
 +
for j in 1 2
 +
do
 +
#sw: le nombre de (disques physiques - les disque de parites): (pour un RAID6=>15-2)
 +
#su: stripe size du RAID: par defaut 64kB
 +
echo mkfs.xfs -d su=64k,sw=13 $i$j
 +
mkfs.xfs -d su=64k,sw=13 $i$j
 +
done
  
 
=== Performances ===
 
=== Performances ===
Ligne 29: Ligne 51:
 
http://www.dell.com/downloads/global/products/pvaul/en/PERC6_PerfWP_WMD1120.pdf
 
http://www.dell.com/downloads/global/products/pvaul/en/PERC6_PerfWP_WMD1120.pdf
  
 +
'''Test a l'IRFU'''
  
 +
  wget http://ovh.dl.sourceforge.net/sourceforge/lmbench/lmbench-3.0-a5.tgz
 +
  tar zxvf lmbench-3.0-a5.tgz
 +
  cd lmbench-3.0-a5
 +
  make
  
  
−
=== Installation de Dell OpenManage ===
+
*TEST 1
 +
 
 +
||  ext3      ||RAID 5          || RAID 6            || RAID 50          ||
 +
 
 +
|| Ecriture  || 324.8031 MB/sec ||  380.2232 MB/sec  ||404.0307 MB/sec  ||
 +
 
 +
|| Lecture    || 244.1971 MB/sec || 129.6664 MB/sec    ||  179.0090 MB/sec ||
 +
 
 +
 
 +
 
 +
 
 +
 
 +
||  xfs      ||RAID 5          || RAID 6          || RAID 50        ||
 +
 
 +
|| Ecriture  ||533.5398 MB/sec  || 446.1268 MB/sec || 547.4776 MB/sec ||
 +
 
 +
|| Lecture  || 255.4343 MB/sec || 134.1572 MB/sec ||184.3938 MB/sec  ||
 +
 
 +
 
 +
 
 +
 
 +
Pour le RAID 5; les tests ont été fait avec une seule baie attachée au serveur (et un striping de 64kB), les resultats ne sont donc peut être pas comparables (RAID 6 et RAID 50: striping de 512kB)
 +
*TEST 2: 1 RAID 5 ET 1 RAID 6: 2FS par RAID
 +
 
 +
ecriture RAID6 1 threads * 2 Filesystems 397 MB/s
 +
ecriture RAID6 5 threads * 2 Filesystems 308 MB/s
 +
ecriture RAID6 10 threads * 2 Filesystems 250 MB/s
 +
ecriture RAID5 1 threads * 2 Filesystems 595 MB/s
 +
ecriture RAID5 5 threads * 2 Filesystems 353 MB/s
 +
ecriture RAID5 10 threads * 2 Filesystems 289 MB/s
 +
lecture RAID6 1 threads * 2 Filesystems 52 MB/s
 +
lecture RAID6 5 threads * 2 Filesystems 65 MB/s
 +
lecture RAID6 10 threads * 2 Filesystems 72 MB/s
 +
lecture RAID5 1 threads * 2 Filesystems 56 MB/s
 +
lecture RAID5 5 threads * 2 Filesystems 64 MB/s
 +
lecture RAID5 10 threads * 2 Filesystems 80 MB/s
 +
 
 +
lecture RAID6 et RAID5  1 threads * 4 Filesystems 108 MB/s
 +
lecture RAID6 et RAID5  5 threads * 4 Filesystems 127 MB/s
 +
 
 +
*TEST 3: 2 RAID 5 par BAIE et 1 FS par RAID
 +
 
 +
TEST3: ecriture RAID5  1 threads * 4 Filesystems 1041 MB/s
 +
TEST3: ecriture RAID5  5 threads * 4 Filesystems 939 MB/s
 +
TEST3: ecriture RAID5  10 threads * 4 Filesystems 641 MB/s
 +
TEST3: lecture RAID5  1 threads * 4 Filesystems 848 MB/s
 +
TEST3: lecture RAID5  5 threads * 4 Filesystems 132 MB/s
 +
 
 +
 
 +
Exemple de commande:
 +
[root@node35 lmbench-3.0-a5]# bin/x86_64-linux-gnu/lmdd if=internal of=/fs3/out2 bs=1M count=32000 fsync=1
 +
32000.0000 MB in 58.4499 secs, 547.4776 MB/sec
 +
 +
*temps construction et reconstruction:
 +
la creation d'un RAID6 est extrement longue (environ 100 heurs!) comparé au RAID 5 (moins de 12heures).
 +
Le temps resonstruction est équivalent pour le RAID6 et le RAID5 (environ 6h30).
 +
 
 +
 
 +
*other interesting tests:
 +
http://webcms.ba.infn.it/cms-software/cms-grid/index.php/Main/TuningDiskServers
 +
 
 +
http://hep.kbfi.ee/index.php/IT/KernelTuning
 +
 
 +
=== Installation/utilisation de Dell OpenManage ===
 
http://support.euro.dell.com/support/downloads/download.aspx?c=fr&l=fr&s=gen&releaseid=R198963&SystemID=PWV_MD1000&servicetag=&os=LIN4&osl=fr&deviceid=2331&devlib=0&typecnt=0&vercnt=4&catid=-1&impid=-1&formatcnt=2&libid=36&fileid=275306
 
http://support.euro.dell.com/support/downloads/download.aspx?c=fr&l=fr&s=gen&releaseid=R198963&SystemID=PWV_MD1000&servicetag=&os=LIN4&osl=fr&deviceid=2331&devlib=0&typecnt=0&vercnt=4&catid=-1&impid=-1&formatcnt=2&libid=36&fileid=275306
 +
 +
*Installation par quattor (JM)
 +
On peut installer à partir du CD bien sûr mais (si on est sûr que le système est supporté)
 +
il semble qu'on puisse installer la suite Dell Openmanage via Quattor en intégrant les
 +
RPMS dans un repository et ajoutant quelques librairies i386 nécessaires.
 +
voir:
 +
https://trac.lal.in2p3.fr/LCGQWG/browser/templates/trunk/sites/example/drivers/dell_openmanage.tpl
 +
 +
*Pour configurer les RAIDs possibilité d'utiliser les CLI (testé Christine):
 +
 +
Quelle est la configuration actuelle:
 +
# omconfig storage vdisk -?
 +
 +
Supprimer un RAID:
 +
#omconfig storage vdisk action=deletevdisk controller=2 vdisk=0
 +
 +
Créer un nouveau RAID
 +
#omconfig storage controller action=createvdisk controller=2  raid=r5 size=max \
 +
pdisk=1:0:0,1:0:1,1:0:2,1:0:3,1:0:4,1:0:5,1:0:6,1:0:7,1:0:8,1:0:9,1:0:10,1:0:11,1:0:12,1:0:13,1:0:14
 +
 +
 +
*Pour configurer les RAIDs possibilité d'utiliser l'interface web
 +
 +
https://'hostname':1311
 +
 +
*Dell OpenManage™ Server Administrator Version 5.5 Command Line Interface User's Guide et autres doc:
 +
 +
http://support.euro.dell.com/support/edocs/software/svradmin/5.5/fr/UG/index.htm
 +
 +
http://support.dell.com/support/edocs/software/svradmin/5.5/en/COMPAT/pdf/OMSACG.pdf
 +
 +
https://hep.pa.msu.edu/twiki/bin/view/AGLT2/DellServerMD1000Provisioning
 +
 +
===Quelques commandes utilisées au CPPM ===
 +
 +
*Se debarasser d'une configuration "foreign" dans le cas ou un disque a ete enleve brutalement et reintroduit
 +
Dans OMSA (OpenManager? Server Administration) installe sur le serveur utilise une commande ligne
 +
 +
omconfig storage controller action=clearforeignconfig controller=0
 +
 +
 +
 +
*Mise a jour du firmware de la baie
 +
Aller chercher le fichier d'update chez DELL (support.dell.com)
 +
le fichier est un shell executable de la forme RAIDxxxxxx.BIN
 +
lire la partie instruction(how to) par sh RAIDxxxxxx.BIN --version
 +
puis l'executer en prenant les precautions pour qu'il n'y ait aucune activite sur la baie
 +
sh RAIDxxxxxx.BIN
 +
 +
.................................................
 +
 +
*Mise a jour du driver pour le controlleur Megaraid_SAS
 +
- verification de la version du driver:
 +
modinfo megaraid_sas
 +
-recuperation du driver chez Dell sous forme d'une archive .tgz
 +
  wget http://ftp.us.dell.com/SAS-RAID/megaraid_sas-v00.00.03.21-4-R193772.tar.gz
 +
  tar zxvf megaraid_sas-v00.00.03.21-4-R193772.tar.gz
 +
-extraire et lire le fichier d'instruction.
 +
 +
-Il faut recompiler avec le noyau donc si souces du noyau absentes les rajouter
 +
wget http://quattorsrv.lal.in2p3.fr/packages/os/sl460-x86_64/base/SL/RPMS/kernel-largesmp-devel-2.6.9-67.0.4.EL.x86_64.rpm
 +
  rpm -ivh kernel-largesmp-devel-2.6.9-67.0.4.EL.x86_64.rpm
 +
-rajouter dkms (se trouve avec openipmi dans le soft de  Dell OpenManage Server Administrator Managed Node:
 +
http://support.euro.dell.com/support/downloads/download.aspx?c=fr&l=fr&s=gen&releaseid=R198963&SystemID=PWV_MD1000&servicetag=&os=LIN4&osl=fr&deviceid=2331&devlib=0&typecnt=0&vercnt=4&catid=-1&impid=-1&formatcnt=2&libid=36&fileid=275306)
 +
 +
-compiler/installer le module:
 +
  dkms build -m megaraid_sas -v v00.00.03.21 -k 2.6.9-67.0.4.ELlargesmp
 +
  dkms install -m megaraid_sas -v v00.00.03.21 -k 2.6.9-67.0.4.ELlargesmp
 +
 +
 +
-si ca se finit sans erreur verifier la version du driver qui doit etre 00.00.03.21
 +
modinfo megaraid_sas
 +
dkms status

Latest revision as of 23:09, 9 mars 2009

Notes techniques concernant la configuration des serveurs de fichiers (RAID, partitions, filesystems)

Dell Serveur PE2950 et Baies MD1000

Généralités

Les serveurs sont équipés

  • Une carte Controleur Raid Perc 6/i pour les disques internes (RAID 1 sur 2 disques)

http://accessories.euro.dell.com/sna/products/Contr%C3%B4leurs/productdetail.aspx?c=fr&l=fr&cs=frdhs1&sku=403-10298

  • Deux carte controleurs Perc 6/e pour 2 baies externes:

http://accessories.euro.dell.com/sna/products/Mat%C3%A9riel_pour_entreprise/productdetail.aspx?c=fr&l=fr&cs=frdhs1&sku=405-10775#Overview

2) La Baie MD1000

http://support.euro.dell.com/support/topics/topic.aspx/emea/shared/support/root/fr/product_support_central?~ck=ln&c=fr&l=fr&lnki=0&s=gen&SystemID=PWV_MD1000

Choix du RAID

http://www.hardwaresecrets.com/article/314/3

Virtual disks

CPPM : On a essayé 1 virtual disque par baie avec ou sans hot spare

On est en train d'essayer un seul virtual disk pour les 2 baies ( 24 To) avec RAID6 et 1 hot spare. C'est pas trop 27 disques dans un raid group ? C'est juste un test.. Finalement on reste dans cette config. 1 seul RAID6 sur les 2 baies et 1 disque hot spare.

On a fait 4 filesystems ext3 de 6 To (le dernier a 5.8 To). Le premier a été mis en prod pour atlas ce 22/02/2009.

Filesystems

Test avec xfs: 

parted  /dev/sdc mklabel gpt
parted  /dev/sdc mkpart primary xfs 0 5720000

On cree 2 filesystem xfs par RAID 

for j in 1 2
do
#sw: le nombre de (disques physiques - les disque de parites): (pour un RAID6=>15-2)
#su: stripe size du RAID: par defaut 64kB
echo mkfs.xfs -d su=64k,sw=13 $i$j
mkfs.xfs -d su=64k,sw=13 $i$j
done

Performances

http://www.delltechcenter.com/page/PERC6+with+MD1000+and+MD1120+Performance+Analysis+Report http://www.dell.com/downloads/global/products/pvaul/en/PERC6_PerfWP_WMD1120.pdf

Test a l'IRFU 

 wget http://ovh.dl.sourceforge.net/sourceforge/lmbench/lmbench-3.0-a5.tgz
 tar zxvf lmbench-3.0-a5.tgz
 cd lmbench-3.0-a5
 make


  • TEST 1

|| ext3 ||RAID 5 || RAID 6 || RAID 50 ||

|| Ecriture || 324.8031 MB/sec || 380.2232 MB/sec ||404.0307 MB/sec ||

|| Lecture || 244.1971 MB/sec || 129.6664 MB/sec || 179.0090 MB/sec ||



|| xfs ||RAID 5 || RAID 6 || RAID 50 ||

|| Ecriture ||533.5398 MB/sec || 446.1268 MB/sec || 547.4776 MB/sec ||

|| Lecture || 255.4343 MB/sec || 134.1572 MB/sec ||184.3938 MB/sec ||



Pour le RAID 5; les tests ont été fait avec une seule baie attachée au serveur (et un striping de 64kB), les resultats ne sont donc peut être pas comparables (RAID 6 et RAID 50: striping de 512kB)

  • TEST 2: 1 RAID 5 ET 1 RAID 6: 2FS par RAID
ecriture RAID6 1 threads * 2 Filesystems 397 MB/s
ecriture RAID6 5 threads * 2 Filesystems 308 MB/s
ecriture RAID6 10 threads * 2 Filesystems 250 MB/s
ecriture RAID5 1 threads * 2 Filesystems 595 MB/s
ecriture RAID5 5 threads * 2 Filesystems 353 MB/s
ecriture RAID5 10 threads * 2 Filesystems 289 MB/s
lecture RAID6 1 threads * 2 Filesystems 52 MB/s
lecture RAID6 5 threads * 2 Filesystems 65 MB/s
lecture RAID6 10 threads * 2 Filesystems 72 MB/s
lecture RAID5 1 threads * 2 Filesystems 56 MB/s
lecture RAID5 5 threads * 2 Filesystems 64 MB/s
lecture RAID5 10 threads * 2 Filesystems 80 MB/s

lecture RAID6 et RAID5  1 threads * 4 Filesystems 108 MB/s
lecture RAID6 et RAID5  5 threads * 4 Filesystems 127 MB/s
  • TEST 3: 2 RAID 5 par BAIE et 1 FS par RAID
TEST3: ecriture RAID5  1 threads * 4 Filesystems 1041 MB/s
TEST3: ecriture RAID5  5 threads * 4 Filesystems 939 MB/s
TEST3: ecriture RAID5  10 threads * 4 Filesystems 641 MB/s
TEST3: lecture RAID5  1 threads * 4 Filesystems 848 MB/s
TEST3: lecture RAID5  5 threads * 4 Filesystems 132 MB/s


Exemple de commande: 

[root@node35 lmbench-3.0-a5]# bin/x86_64-linux-gnu/lmdd if=internal of=/fs3/out2 bs=1M count=32000 fsync=1
32000.0000 MB in 58.4499 secs, 547.4776 MB/sec
  • temps construction et reconstruction:

la creation d'un RAID6 est extrement longue (environ 100 heurs!) comparé au RAID 5 (moins de 12heures). Le temps resonstruction est équivalent pour le RAID6 et le RAID5 (environ 6h30).


  • other interesting tests:

http://webcms.ba.infn.it/cms-software/cms-grid/index.php/Main/TuningDiskServers

http://hep.kbfi.ee/index.php/IT/KernelTuning

Installation/utilisation de Dell OpenManage

http://support.euro.dell.com/support/downloads/download.aspx?c=fr&l=fr&s=gen&releaseid=R198963&SystemID=PWV_MD1000&servicetag=&os=LIN4&osl=fr&deviceid=2331&devlib=0&typecnt=0&vercnt=4&catid=-1&impid=-1&formatcnt=2&libid=36&fileid=275306

  • Installation par quattor (JM)

On peut installer à partir du CD bien sûr mais (si on est sûr que le système est supporté) il semble qu'on puisse installer la suite Dell Openmanage via Quattor en intégrant les RPMS dans un repository et ajoutant quelques librairies i386 nécessaires. voir: https://trac.lal.in2p3.fr/LCGQWG/browser/templates/trunk/sites/example/drivers/dell_openmanage.tpl

  • Pour configurer les RAIDs possibilité d'utiliser les CLI (testé Christine):
Quelle est la configuration actuelle:
# omconfig storage vdisk -?

Supprimer un RAID:
#omconfig storage vdisk action=deletevdisk controller=2 vdisk=0

Créer un nouveau RAID
#omconfig storage controller action=createvdisk controller=2  raid=r5 size=max \ 
pdisk=1:0:0,1:0:1,1:0:2,1:0:3,1:0:4,1:0:5,1:0:6,1:0:7,1:0:8,1:0:9,1:0:10,1:0:11,1:0:12,1:0:13,1:0:14


  • Pour configurer les RAIDs possibilité d'utiliser l'interface web

https://'hostname':1311

  • Dell OpenManage™ Server Administrator Version 5.5 Command Line Interface User's Guide et autres doc:

http://support.euro.dell.com/support/edocs/software/svradmin/5.5/fr/UG/index.htm

http://support.dell.com/support/edocs/software/svradmin/5.5/en/COMPAT/pdf/OMSACG.pdf

https://hep.pa.msu.edu/twiki/bin/view/AGLT2/DellServerMD1000Provisioning

Quelques commandes utilisées au CPPM

  • Se debarasser d'une configuration "foreign" dans le cas ou un disque a ete enleve brutalement et reintroduit

Dans OMSA (OpenManager? Server Administration) installe sur le serveur utilise une commande ligne 

omconfig storage controller action=clearforeignconfig controller=0


  • Mise a jour du firmware de la baie

Aller chercher le fichier d'update chez DELL (support.dell.com) le fichier est un shell executable de la forme RAIDxxxxxx.BIN lire la partie instruction(how to) par sh RAIDxxxxxx.BIN --version puis l'executer en prenant les precautions pour qu'il n'y ait aucune activite sur la baie sh RAIDxxxxxx.BIN

.................................................

  • Mise a jour du driver pour le controlleur Megaraid_SAS

- verification de la version du driver: 

modinfo megaraid_sas

-recuperation du driver chez Dell sous forme d'une archive .tgz 

 wget http://ftp.us.dell.com/SAS-RAID/megaraid_sas-v00.00.03.21-4-R193772.tar.gz
 tar zxvf megaraid_sas-v00.00.03.21-4-R193772.tar.gz

-extraire et lire le fichier d'instruction.

-Il faut recompiler avec le noyau donc si souces du noyau absentes les rajouter 

wget http://quattorsrv.lal.in2p3.fr/packages/os/sl460-x86_64/base/SL/RPMS/kernel-largesmp-devel-2.6.9-67.0.4.EL.x86_64.rpm
 rpm -ivh kernel-largesmp-devel-2.6.9-67.0.4.EL.x86_64.rpm

-rajouter dkms (se trouve avec openipmi dans le soft de Dell OpenManage Server Administrator Managed Node: http://support.euro.dell.com/support/downloads/download.aspx?c=fr&l=fr&s=gen&releaseid=R198963&SystemID=PWV_MD1000&servicetag=&os=LIN4&osl=fr&deviceid=2331&devlib=0&typecnt=0&vercnt=4&catid=-1&impid=-1&formatcnt=2&libid=36&fileid=275306)

-compiler/installer le module: 

 dkms build -m megaraid_sas -v v00.00.03.21 -k 2.6.9-67.0.4.ELlargesmp
 dkms install -m megaraid_sas -v v00.00.03.21 -k 2.6.9-67.0.4.ELlargesmp

-si ca se finit sans erreur verifier la version du driver qui doit etre 00.00.03.21 

modinfo megaraid_sas
dkms status
Récupérée de « http://lcg.in2p3.fr/wiki/index.php?title=Infrastructure_Stockage&oldid=5037 »