Infrastructure Stockage
Notes techniques concernant la configuration des serveurs de fichiers (RAID, partitions, filesystems)
Sommaire
Dell Serveur PE2950 et Baies MD1000
Généralités
Les serveurs sont équipés
- Une carte Controleur Raid Perc 6/i pour les disques internes (RAID 1 sur 2 disques)
- Deux carte controleurs Perc 6/e pour 2 baies externes:
2) La Baie MD1000
Choix du RAID
http://www.hardwaresecrets.com/article/314/3
Virtual disks
CPPM : On a essayé 1 virtual disque par baie avec ou sans hot spare
On est en train d'essayer un seul virtual disk pour les 2 baies ( 24 To) avec RAID6 et 1 hot spare. C'est pas trop 27 disques dans un raid group ? C'est juste un test.. Finalement on reste dans cette config. 1 seul RAID6 sur les 2 baies et 1 disque hot spare.
On a fait 4 filesystems ext3 de 6 To (le dernier a 5.8 To). Le premier a été mis en prod pour atlas ce 22/02/2009.
Filesystems
Test avec xfs et ext3:
parted /dev/sdc mklabel gpt parted /dev/sdc mkpart primary xfs 0 5720000 parted /dev/sdc mkpart primary ext3 5720001 11440128
Pour couper en Deux automatiquement:
export X=$((-(`parted /dev/sdc print| grep 'trie'| awk '{ print $6 }'| awk -F '-' '{ print $2 }'| \
awk -F ',' '{ print $1 }'|sed -e 's/\.//g'`)/2))
mkfs -t xfs -f /dev/sdc1 mkfs -t ext3 /dev/sdc2
Performances
http://www.delltechcenter.com/page/PERC6+with+MD1000+and+MD1120+Performance+Analysis+Report http://www.dell.com/downloads/global/products/pvaul/en/PERC6_PerfWP_WMD1120.pdf
Test a l'IRFU
wget http://ovh.dl.sourceforge.net/sourceforge/lmbench/lmbench-3.0-a5.tgz tar zxvf lmbench-3.0-a5.tgz cd lmbench-3.0-a5 make
|| ext3 ||RAID 5 || RAID 6 || RAID 50 ||
|| Ecriture || 324.8031 MB/sec || 380.2232 MB/sec ||404.0307 MB/sec ||
|| Lecture || 244.1971 MB/sec || 129.6664 MB/sec || 179.0090 MB/sec ||
|| xfs ||RAID 5 || RAID 6 || RAID 50 ||
|| Ecriture ||533.5398 MB/sec || 446.1268 MB/sec || 547.4776 MB/sec ||
|| Lecture || 255.4343 MB/sec || 134.1572 MB/sec ||184.3938 MB/sec ||
Pour le RAID 5; les tests ont été fait avec une seule baie attachée au serveur, les resultats ne sont donc peut être pas comparables..
Exemple de commande:
[root@node35 lmbench-3.0-a5]# bin/x86_64-linux-gnu/lmdd if=internal of=/fs3/out2 bs=1M count=32000 fsync=1 32000.0000 MB in 58.4499 secs, 547.4776 MB/sec [root@node35 lmbench-3.0-a5]# bin/x86_64-linux-gnu/lmdd of=internal if=/fs3/out2 bs=1M count=32000 fsync=1 32000.0000 MB in 173.5417 secs, 184.3938 MB/sec
Installation/utilisation de Dell OpenManage
- Installation par quattor (JM)
On peut installer à partir du CD bien sûr mais (si on est sûr que le système est supporté) il semble qu'on puisse installer la suite Dell Openmanage via Quattor en intégrant les RPMS dans un repository et ajoutant quelques librairies i386 nécessaires. voir: https://trac.lal.in2p3.fr/LCGQWG/browser/templates/trunk/sites/example/drivers/dell_openmanage.tpl
- Pour configurer les RAIDs ca semble possible avec ce genre de CLI (non testé Christine):
# omconfig storage vdisk -?
- Dell OpenManage™ Server Administrator Version 5.5 Command Line Interface User's Guide
http://support.euro.dell.com/support/edocs/software/svradmin/5.5/fr/UG/index.htm
http://support.dell.com/support/edocs/software/svradmin/5.5/en/cli/html/intro.htm
Quelques commandes utilisées au CPPM
- Se debarasser d'une configuration "foreign" dans le cas ou un disque a ete enleve brutalement et reintroduit
Dans OMSA (OpenManager? Server Administration) installe sur le serveur utilise une commande ligne
omconfig storage controller action=clearforeignconfig controller=0
- Mise a jour du firmware de la baie
Aller chercher le fichier d'update chez DELL (support.dell.com) le fichier est un shell executable de la forme RAIDxxxxxx.BIN lire la partie instruction(how to) par sh RAIDxxxxxx.BIN --version puis l'executer en prenant les precautions pour qu'il n'y ait aucune activite sur la baie sh RAIDxxxxxx.BIN
.................................................
- Mise a jour du driver pour le controlleur Megaraid_SAS
- verification de la version du driver:
modinfo megaraid_sas
-recuperation du driver chez Dell sous forme d'une archive .tgz
wget http://ftp.us.dell.com/SAS-RAID/megaraid_sas-v00.00.03.21-4-R193772.tar.gz tar zxvf megaraid_sas-v00.00.03.21-4-R193772.tar.gz
-extraire et lire le fichier d'instruction.
-Il faut recompiler avec le noyau donc si souces du noyau absentes les rajouter
wget http://quattorsrv.lal.in2p3.fr/packages/os/sl460-x86_64/base/SL/RPMS/kernel-largesmp-devel-2.6.9-67.0.4.EL.x86_64.rpm rpm -ivh kernel-largesmp-devel-2.6.9-67.0.4.EL.x86_64.rpm
-rajouter dkms (se trouve avec openipmi dans le soft de Dell OpenManage Server Administrator Managed Node: http://support.euro.dell.com/support/downloads/download.aspx?c=fr&l=fr&s=gen&releaseid=R198963&SystemID=PWV_MD1000&servicetag=&os=LIN4&osl=fr&deviceid=2331&devlib=0&typecnt=0&vercnt=4&catid=-1&impid=-1&formatcnt=2&libid=36&fileid=275306)
-compiler/installer le module:
dkms build -m megaraid_sas -v v00.00.03.21 -k 2.6.9-67.0.4.ELlargesmp dkms install -m megaraid_sas -v v00.00.03.21 -k 2.6.9-67.0.4.ELlargesmp
-si ca se finit sans erreur verifier la version du driver qui doit etre 00.00.03.21
modinfo megaraid_sas dkms status
