Infrastructure Stockage

Notes techniques concernant la configuration des serveurs de fichiers (RAID, partitions, filesystems)

Dell Serveur PE2950 et Baies MD1000

Généralités

Les serveurs sont équipés

• Une carte Controleur Raid Perc 6/i pour les disques internes (RAID 1 sur 2 disques)

http://accessories.euro.dell.com/sna/products/Contr%C3%B4leurs/productdetail.aspx?c=fr&l=fr&cs=frdhs1&sku=403-10298

• Deux carte controleurs Perc 6/e pour 2 baies externes:

http://accessories.euro.dell.com/sna/products/Mat%C3%A9riel_pour_entreprise/productdetail.aspx?c=fr&l=fr&cs=frdhs1&sku=405-10775#Overview

2) La Baie MD1000

http://support.euro.dell.com/support/topics/topic.aspx/emea/shared/support/root/fr/product_support_central?~ck=ln&c=fr&l=fr&lnki=0&s=gen&SystemID=PWV_MD1000

Choix du RAID

http://www.hardwaresecrets.com/article/314/3

Virtual disks

CPPM : On a essayé 1 virtual disque par baie avec ou sans hot spare

On est en train d'essayer un seul virtual disk pour les 2 baies ( 24 To) avec RAID6 et 1 hot spare. C'est pas trop 27 disques dans un raid group ? C'est juste un test..

Filesystems

Test avec xfs et ext3:

parted  /dev/sdc mklabel gpt
parted  /dev/sdc mkpart primary xfs 0 5720000
parted  /dev/sdc mkpart primary ext3 5720001 11440128

mkfs -t xfs -f /dev/sdc1
mkfs -t ext3 /dev/sdc2

Performances

http://www.delltechcenter.com/page/PERC6+with+MD1000+and+MD1120+Performance+Analysis+Report http://www.dell.com/downloads/global/products/pvaul/en/PERC6_PerfWP_WMD1120.pdf

Test a l'IRFU

 wget http://ovh.dl.sourceforge.net/sourceforge/lmbench/lmbench-3.0-a5.tgz
 tar zxvf lmbench-3.0-a5.tgz
 cd lmbench-3.0-a5
 make

|| ext3 ||RAID 5 || RAID 6 || RAID 50 ||

|| Ecriture || 324.8031 MB/sec || 380.2232 MB/sec ||404.0307 MB/sec ||

|| Lecture || 244.1971 MB/sec || 129.6664 MB/sec || 179.0090 MB/sec ||

|| xfs ||RAID 5 || RAID 6 || RAID 50 ||

|| Ecriture ||533.5398 MB/sec || 446.1268 MB/sec || 547.4776 MB/sec ||

|| Lecture || 255.4343 MB/sec || 134.1572 MB/sec ||184.3938 MB/sec ||

Pour le RAID 5; les tests ont été fait avec une seule baie attachée au serveur, les resultats ne sont donc peut être pas comparables..

Exemple de commande:

[root@node35 lmbench-3.0-a5]# bin/x86_64-linux-gnu/lmdd if=internal of=/fs3/out2 bs=1M count=32000 fsync=1
32000.0000 MB in 58.4499 secs, 547.4776 MB/sec
[root@node35 lmbench-3.0-a5]# bin/x86_64-linux-gnu/lmdd of=internal if=/fs3/out2 bs=1M count=32000 fsync=1
32000.0000 MB in 173.5417 secs, 184.3938 MB/sec

Installation de Dell OpenManage

http://support.euro.dell.com/support/downloads/download.aspx?c=fr&l=fr&s=gen&releaseid=R198963&SystemID=PWV_MD1000&servicetag=&os=LIN4&osl=fr&deviceid=2331&devlib=0&typecnt=0&vercnt=4&catid=-1&impid=-1&formatcnt=2&libid=36&fileid=275306

JM: On peut installer à partir du CD bien sûr mais (si on est sûr que le système est supporté) il semble qu'on puisse installer la suite Dell Openmanage via Quattor en intégrant les RPMS dans un repository et ajoutant quelques librairies i386 nécessaires.

Quelques commandes utilisées au CPPM

• Se debarasser d'une configuration "foreign" dans le cas ou un disque a ete enleve brutalement et reintroduit

Dans OMSA (OpenManager? Server Administration) installe sur le serveur utilise une commande ligne

omconfig storage controller action=clearforeignconfig controller=0

• Mise a jour du firmware de la baie

Aller chercher le fichier d'update chez DELL (support.dell.com) le fichier est un shell executable de la forme RAIDxxxxxx.BIN lire la partie instruction(how to) par sh RAIDxxxxxx.BIN --version puis l'executer en prenant les precautions pour qu'il n'y ait aucune activite sur la baie sh RAIDxxxxxx.BIN

.................................................

• Mise a jour du driver pour le controlleur Megaraid_SAS

- verification de la version du driver:

modinfo megaraid_sas

-recuperation du driver chez Dell sous forme d'une archive .tgz

 wget http://ftp.us.dell.com/SAS-RAID/megaraid_sas-v00.00.03.21-4-R193772.tar.gz
 tar zxvf megaraid_sas-v00.00.03.21-4-R193772.tar.gz

-extraire et lire le fichier d'instruction.

-Il faut recompiler avec le noyau donc si souces du noyau absentes les rajouter

wget http://quattorsrv.lal.in2p3.fr/packages/os/sl460-x86_64/base/SL/RPMS/kernel-largesmp-devel-2.6.9-67.0.4.EL.x86_64.rpm
 rpm -ivh kernel-largesmp-devel-2.6.9-67.0.4.EL.x86_64.rpm 

-rajouter dkms (se trouve avec openipmi dans le soft de Dell OpenManage Server Administrator Managed Node: http://support.euro.dell.com/support/downloads/download.aspx?c=fr&l=fr&s=gen&releaseid=R198963&SystemID=PWV_MD1000&servicetag=&os=LIN4&osl=fr&deviceid=2331&devlib=0&typecnt=0&vercnt=4&catid=-1&impid=-1&formatcnt=2&libid=36&fileid=275306)

-compiler/installer le module:

 dkms build -m megaraid_sas -v v00.00.03.21 -k 2.6.9-67.0.4.ELlargesmp
 dkms install -m megaraid_sas -v v00.00.03.21 -k 2.6.9-67.0.4.ELlargesmp
 modinfo megaraid_sas
 dkms status

-si ca se finit sans erreur verifier la version du driver qui doit etre 00.00.03.21

modinfo megaraid_sas

..........................................................