2011-05-31T12:29:27Z

Pansanel: /* HP Systems */

Storage benchmarking and tuning depends upon several parameters like file systems, kernel parameters, RAID configuration, network parameters, etc. This page aims to provide benchmarking tools and procedures for LCG Storage Element, as well as some tuning hints for particular hardware solutions.

= Benchmarking =

= Tuning =

== DELL Systems ==

== HP Systems ==

=== MDS 600 based system ===

In order to enhance the performance of the MDS 600 based systems, the following tunings have been applied:
* Upgrading the hard disk firmware (HPD3). All hard disks should have the same firmware version.
* Changing the power management profile (max cpu power).
* Using the following system parameters for each disk:
<pre>
echo "cfq" > /sys/block/cciss\!${disk}/queue/scheduler
echo 256 > /sys/block/cciss\!${disk}/queue/nr_requests
echo 4096 > /sys/block/cciss\!${disk}/queue/read_ahead_kb
</pre>
* Using XFS filesystem aligned with the RAID strip
* Using RAID units composed of 5 disks wisely selected on different columns.

2009-09-18T13:14:09Z

Pansanel:

= Performance TCP =

Cette page décrit les paramètres du kernel Linux qui sont importants pour améliorer la performance réseaux.

== Les paramètres importants ==
Les paramètres suivants sont importants :
* net.ipv4.tcp_rmem
* net.ipv4.tcp_wmem
* net.ipv4.tcp_mem
* net.core.rmem_default
* net.core.wmem_default
* net.core.rmem_max
* net.core.wmem_max
* net.ipv4.tcp_dsack
* net.ipv4.tcp_sack
* net.ipv4.tcp_timestamps
* net.core.netdev_max_backlog

Ces paramètres sont modifiés :
* par Quattor
* par YAIM
* en modifiant manuellement le fichier /etc/sysctl.conf

== Valeurs proposées ==

net.ipv4.tcp_rmem = 131072 1048576 2097152
net.ipv4.tcp_wmem = 131072 1048576 2097152
net.ipv4.tcp_mem = 10%mem 25%mem 50%mem
net.core.rmem_default = 1048576
net.core.wmem_default = 1048576
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
net.ipv4.tcp_dsack = 0
net.ipv4.tcp_sack = 0
net.ipv4.tcp_timestamps = 0
net.core.netdev_max_backlog = 10000

== Liens externes ==

CPU-Benches

2009-06-12T13:02:40Z

Pansanel:

'''Transition vers les nouvelles unités specs HEP-SPEC06'''
-- --[[User:Chollet|Chollet]] 14:47, 24 mars 2009 (CET)

- LCG Overview Board - Change of CPU accounting unit (I.Bird):
''The working group on benchmarking has now concluded, both on the new benchmark and on the transition process from SI2K. A new benchmark, based on the SPEC 2006 suite has been agreed upon. This uses a combination of the SPEC2006 FP and INT benchmarks, and has been shown to scale well with the experiments’ applications. This benchmark, labelled HEP-SPEC06, will be used in future to specify requirements and resources. The translation of kSI2K to the new unit is a simple factor of 4. (HEP-SPEC06 = 4 * kSI2K) Sites will be requested to benchmark their existing resources, and the results will be published on a web site. Future procurements should require the vendor to run the benchmark – provided as a simple script. Planning for changing the reporting in the accounting system is under way. The new unit will be used in the April RRB.''

- Les minutes du MB du 27 janvier
https://twiki.cern.ch/twiki/pub/LCG/MbMeetingsMinutes/LCG_Management_Board_2009_01_27.htm

- Le script dispo à https://twiki.cern.ch/twiki/bin/view/FIOgroup/TsiBenchHEPSPEC (Voir les attachements en bas de page tar.gz)

- La distribution de la suite SPEC CPU2006 version 1.1 est disponible (sous AFS au CC).
Pour plus d'infos contacter F.Chollet ou Pierre Larrieu

-----
SPEC CPU2000
Des tests de puissance des CPU ont été réalisés au LAPP (Eric Fede) et à Subatech (Jean-Michel Barbet) avec
la suite SPEC CPU2000 suivant la méthodologie recommandée : http://hepix.caspur.it/processors/
Ajout des tests au CPPM (Edith Knoops)

SPEC HEP
Des mesures avec la benchmark suite HEP SPEC sont également disponibles ( fond bleu des tableaux)

Tests réalisés par Jean-Michel :

Scientific-Linux V4.3 i386, gcc v3.4.5

Les autres conditions de test sont disponibles sur demande. A noter que les tests ont été réalisés sur des machines en configuration opérationnelles pour la grille (avec tous les daemons).

{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"
|+
|-
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3] !! CERN SI2K/core corrigé [2] !! '''SPEC HEP 32bits/machine [4]''' !! '''SPEC HEP 64bits/machine [4]'''
|-
| Dell PE1955 || Woodcrest 5160 3.00GHz || 4 || 8Go || 1409 || 1830 || 2113 || bgcolor="#0066FF" | 39.48 || bgcolor="#0066FF" | -
|-
| Dell P21950 || Clovertown E5420 2.50GHz || 8 || 16Go || - || - || - || bgcolor="#0066FF" | 63.18 || bgcolor="#0066FF" | 57.63
|-
| IBM || Clovertown 2.33GHz || 8 || 16Go || 979 || 1875 || 1468 || bgcolor="#0066FF" | 53.12 || bgcolor="#0066FF" | -
|-
| Dell Optiplex || Pentium4 3.20GHz || 1 || 2Go || 872 || 1128 || 1308 || bgcolor="#0066FF" | - || bgcolor="#0066FF" | -
|-
|}

Dell PowerEdge 1955 Woodcrest 5160 : http://www.spec.org/osg/cpu2000/results/res2006q3/cpu2000-20060626-06298.html

Dell PowerEdge 1950 Clovertown E5420 :

IBM 3550 Woodcrest 5160 : http://www.spec.org/osg/cpu2000/results/res2006q3/cpu2000-20060623-06219.html

IBM 3350 Clovertown E5345 : http://www.spec.org/osg/cpu2000/results/res2006q4/cpu2000-20061113-07918.html

----

Tests réalisés au LAPP (eric) :

Scientific-Linux V3.08 i386, gcc v3.4.3

A noter que les tests ont été réalisés sur des machines dont tous les services non nécéssaires étaient desactivés

{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"
|+
|-
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3]!! CERN SI2K/core corrigé [2]
|-
| HP BL 460c || Woodcrest 2.66GHz || 4 || 8Go || 1367 || 1665 || 2050
|-
|}

Scientific-Linux V4.5 x86_64, gcc v3.4

A noter que les tests ont été réalisés sur des machines dont tous les services non nécéssaires étaient desactivés. Un tuning "simple" au niveau du bios donne des disparités dans les résultats des bench qui depassent les 10 %.

{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"
|+
|-
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3]!! CERN SI2K/core corrigé [2] !! '''SPEC HEP 32bits [4] per machin''' !! '''SPEC HEP 64bits [4] per machin'''
|-
| HP BL 460c || Woodcrest 2.66GHz || 4 || 8Go || 1485 || 1592 || 2227 || bgcolor="#0066FF" | 36.58 || bgcolor="#0066FF" | 34.6
|-
| HP BL 460c || Clovertown 2.33GHz || 8 || 16Go || 1225 || x || 1837 || bgcolor="#0066FF" | 56.04 || bgcolor="#0066FF" | 51.18
|-
| DELL 1950 || Intel 5335 2GHz || 8 || 8Go || 1060 || 1139 || 1590 || bgcolor="#0066FF" | x || bgcolor="#0066FF" | x
|-
| HP BL 460c || Harpertown 3GHz || 8 || 16Go || 1620 || 1715 || 2430 || bgcolor="#0066FF" | 70.83 || bgcolor="#0066FF" | 63.99
|-
| DELL M600 || Harpertown 2.66GHz || 8 || 32Go || 1481 || 1588 || 2221 || bgcolor="#0066FF" | x || bgcolor="#0066FF" | x
|}

[1] : Moyenne de 3 exécutions successives avec les optimisations CERN, chaque exécution démarrant un benchmark CPU2000 par CPU core.

[2] : Correction : La valeur moyenne ci-dessus + 50%. C'est la valeur à publier via le système d'information de la grille.

[3] : Une exécution unique avec les optimisations FZK à titre indicatif.

[4] : Benchmark suite HEP SPEC, en suivant les recommandations : https://twiki.cern.ch/twiki/bin/view/FIOgroup//TsiBenchHEPSPEC
----

Tests réalisés au CPPM (Edith) :

Scientific-Linux 4.6 x86_64, gcc v3.4.6

A noter que les tests ont été réalisés sur des machines dont tous les services non nécéssaires étaient desactivés

{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"
|+
|-
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN32 SI2K/core || CERN SI2K/core corrigé
|-
| HP DL145 || Opteron 250 2.4Ghz || 2 || 4Go || 1149 || 1278 || 972 || 1725
|-
| SUN || Opteron 250 2.4Ghz || 2 || 4Go || 1173 || 1298 || 988 || 1760
|-
| HP DL145G2 || Opteron 275 2.2 Ghz || 4 ||6Go || 981 || 1087 || 857 || 1471
|-
| DELL || Opteron 2218 2.6 Ghz || 4 || 8Go || 1199 || 1073 ||1045 || 1798
|-
| DELL || Xeon E5420 2.5Ghz || 8 || 16 Go || 1418 ||1528 || x ||2128

|}

----

Tests réalisés à l'IPHC (Jérôme) :

Scientific-Linux 4.6 x86_64, gcc v3.4.6

Pour la réalisation de ces tests, seuls les services indispensables étaient activés.

{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"
|+
|-
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN SI2K/core corrigé !! '''SPEC HEP 32bits [1] per machin'''
|-
| DELL M600 || Xeon E5410 2.33Ghz || 8 || 16Go || N/A || N/A || N/A || bgcolor="#0066FF" | 61.05
|}

[1] Moyenne des résultats obtenus sur quatre tests.