Infrastructure Stockage
Notes techniques concernant la configuration des serveurs de fichiers (RAID, partitions, filesystems)
Sommaire
Dell Serveur PE2950 et Baies MD1000
Généralités
Les serveurs sont équipés
- Une carte Controleur Raid Perc 6/i pour les disques internes (RAID 1 sur 2 disques)
- Deux carte controleurs Perc 6/e pour 2 baies externes:
2) La Baie MD1000
Choix du RAID
http://www.hardwaresecrets.com/article/314/3
Virtual disks
CPPM : On a essayé 1 virtual disque par baie avec ou sans hot spare
On est en train d'essayer un seul virtual disk pour les 2 baies ( 24 To) avec RAID6 et 1 hot spare. C'est pas trop 27 disques dans un raid group ? C'est juste un test.. Finalement on reste dans cette config. 1 seul RAID6 sur les 2 baies et 1 disque hot spare.
On a fait 4 filesystems ext3 de 6 To (le dernier a 5.8 To). Le premier a été mis en prod pour atlas ce 22/02/2009.
Filesystems
Test avec xfs:
parted /dev/sdc mklabel gpt parted /dev/sdc mkpart primary xfs 0 5720000
On cree 2 filesystem xfs par RAID
for j in 1 2 do #sw: le nombre de (disques physiques - les disque de parites): (pour un RAID6=>15-2) #su: stripe size du RAID: par defaut 64kB echo mkfs.xfs -d su=64k,sw=13 $i$j mkfs.xfs -d su=64k,sw=13 $i$j done
Performances
http://www.delltechcenter.com/page/PERC6+with+MD1000+and+MD1120+Performance+Analysis+Report http://www.dell.com/downloads/global/products/pvaul/en/PERC6_PerfWP_WMD1120.pdf
Test a l'IRFU
wget http://ovh.dl.sourceforge.net/sourceforge/lmbench/lmbench-3.0-a5.tgz tar zxvf lmbench-3.0-a5.tgz cd lmbench-3.0-a5 make
- TEST 1
|| ext3 ||RAID 5 || RAID 6 || RAID 50 ||
|| Ecriture || 324.8031 MB/sec || 380.2232 MB/sec ||404.0307 MB/sec ||
|| Lecture || 244.1971 MB/sec || 129.6664 MB/sec || 179.0090 MB/sec ||
|| xfs ||RAID 5 || RAID 6 || RAID 50 ||
|| Ecriture ||533.5398 MB/sec || 446.1268 MB/sec || 547.4776 MB/sec ||
|| Lecture || 255.4343 MB/sec || 134.1572 MB/sec ||184.3938 MB/sec ||
Pour le RAID 5; les tests ont été fait avec une seule baie attachée au serveur (et un striping de 64kB), les resultats ne sont donc peut être pas comparables (RAID 6 et RAID 50: striping de 512kB)
- TEST 2: 1 RAID 5 ET 1 RAID 6: 2FS par RAID
ecriture RAID6 1 threads * 2 Filesystems 397 MB/s ecriture RAID6 5 threads * 2 Filesystems 308 MB/s ecriture RAID6 10 threads * 2 Filesystems 250 MB/s ecriture RAID5 1 threads * 2 Filesystems 595 MB/s ecriture RAID5 5 threads * 2 Filesystems 353 MB/s ecriture RAID5 10 threads * 2 Filesystems 289 MB/s lecture RAID6 1 threads * 2 Filesystems 52 MB/s lecture RAID6 5 threads * 2 Filesystems 65 MB/s lecture RAID6 10 threads * 2 Filesystems 72 MB/s lecture RAID5 1 threads * 2 Filesystems 56 MB/s lecture RAID5 5 threads * 2 Filesystems 64 MB/s lecture RAID5 10 threads * 2 Filesystems 80 MB/s
lecture RAID6 et RAID5 1 threads * 4 Filesystems 108 MB/s lecture RAID6 et RAID5 5 threads * 4 Filesystems 127 MB/s
- TEST 3: 2 RAID 5 par BAIE et 1 FS par RAID
TEST3: ecriture RAID5 1 threads * 4 Filesystems 1041 MB/s TEST3: ecriture RAID5 5 threads * 4 Filesystems 939 MB/s TEST3: ecriture RAID5 10 threads * 4 Filesystems 641 MB/s TEST3: lecture RAID5 1 threads * 4 Filesystems 848 MB/s TEST3: lecture RAID5 5 threads * 4 Filesystems 132 MB/s
Exemple de commande:
[root@node35 lmbench-3.0-a5]# bin/x86_64-linux-gnu/lmdd if=internal of=/fs3/out2 bs=1M count=32000 fsync=1 32000.0000 MB in 58.4499 secs, 547.4776 MB/sec
- temps construction et reconstruction:
la creation d'un RAID6 est extrement longue (environ 100 heurs!) comparé au RAID 5 (moins de 12heures). Le temps resonstruction est équivalent pour le RAID6 et le RAID5 (environ 6h30).
- other interesting tests:
http://webcms.ba.infn.it/cms-software/cms-grid/index.php/Main/TuningDiskServers
http://hep.kbfi.ee/index.php/IT/KernelTuning
Installation/utilisation de Dell OpenManage
- Installation par quattor (JM)
On peut installer à partir du CD bien sûr mais (si on est sûr que le système est supporté) il semble qu'on puisse installer la suite Dell Openmanage via Quattor en intégrant les RPMS dans un repository et ajoutant quelques librairies i386 nécessaires. voir: https://trac.lal.in2p3.fr/LCGQWG/browser/templates/trunk/sites/example/drivers/dell_openmanage.tpl
- Pour configurer les RAIDs possibilité d'utiliser les CLI (testé Christine):
Quelle est la configuration actuelle: # omconfig storage vdisk -? Supprimer un RAID: #omconfig storage vdisk action=deletevdisk controller=2 vdisk=0 Créer un nouveau RAID #omconfig storage controller action=createvdisk controller=2 raid=r5 size=max \ pdisk=1:0:0,1:0:1,1:0:2,1:0:3,1:0:4,1:0:5,1:0:6,1:0:7,1:0:8,1:0:9,1:0:10,1:0:11,1:0:12,1:0:13,1:0:14
- Pour configurer les RAIDs possibilité d'utiliser l'interface web
- Dell OpenManage™ Server Administrator Version 5.5 Command Line Interface User's Guide et autres doc:
http://support.euro.dell.com/support/edocs/software/svradmin/5.5/fr/UG/index.htm
http://support.dell.com/support/edocs/software/svradmin/5.5/en/COMPAT/pdf/OMSACG.pdf
https://hep.pa.msu.edu/twiki/bin/view/AGLT2/DellServerMD1000Provisioning
Quelques commandes utilisées au CPPM
- Se debarasser d'une configuration "foreign" dans le cas ou un disque a ete enleve brutalement et reintroduit
Dans OMSA (OpenManager? Server Administration) installe sur le serveur utilise une commande ligne
omconfig storage controller action=clearforeignconfig controller=0
- Mise a jour du firmware de la baie
Aller chercher le fichier d'update chez DELL (support.dell.com) le fichier est un shell executable de la forme RAIDxxxxxx.BIN lire la partie instruction(how to) par sh RAIDxxxxxx.BIN --version puis l'executer en prenant les precautions pour qu'il n'y ait aucune activite sur la baie sh RAIDxxxxxx.BIN
.................................................
- Mise a jour du driver pour le controlleur Megaraid_SAS
- verification de la version du driver:
modinfo megaraid_sas
-recuperation du driver chez Dell sous forme d'une archive .tgz
wget http://ftp.us.dell.com/SAS-RAID/megaraid_sas-v00.00.03.21-4-R193772.tar.gz tar zxvf megaraid_sas-v00.00.03.21-4-R193772.tar.gz
-extraire et lire le fichier d'instruction.
-Il faut recompiler avec le noyau donc si souces du noyau absentes les rajouter
wget http://quattorsrv.lal.in2p3.fr/packages/os/sl460-x86_64/base/SL/RPMS/kernel-largesmp-devel-2.6.9-67.0.4.EL.x86_64.rpm rpm -ivh kernel-largesmp-devel-2.6.9-67.0.4.EL.x86_64.rpm
-rajouter dkms (se trouve avec openipmi dans le soft de Dell OpenManage Server Administrator Managed Node: http://support.euro.dell.com/support/downloads/download.aspx?c=fr&l=fr&s=gen&releaseid=R198963&SystemID=PWV_MD1000&servicetag=&os=LIN4&osl=fr&deviceid=2331&devlib=0&typecnt=0&vercnt=4&catid=-1&impid=-1&formatcnt=2&libid=36&fileid=275306)
-compiler/installer le module:
dkms build -m megaraid_sas -v v00.00.03.21 -k 2.6.9-67.0.4.ELlargesmp dkms install -m megaraid_sas -v v00.00.03.21 -k 2.6.9-67.0.4.ELlargesmp
-si ca se finit sans erreur verifier la version du driver qui doit etre 00.00.03.21
modinfo megaraid_sas dkms status
