https://lcg.in2p3.fr/api.php?action=feedcontributions&feedformat=atom&user=Carranza
lcgwiki - Contributions [en]
2026-04-22T18:46:13Z
Contributions
MediaWiki 1.43.1
https://lcg.in2p3.fr/index.php?title=CPU-Benches&diff=6088
CPU-Benches
2011-01-12T08:49:52Z
<p>Carranza: /* Tests réalisés au CPPM (Edith/Carlos) : */</p>
<hr />
<div>'''Transition vers les nouvelles unités specs HEP-SPEC06'''<br />
--MàJ --[[User:Chollet|Chollet]] 09:37, 11 septembre 2009 (CEST)--<br />
<br />
=== Page HEPiX de référence === <br />
* https://hepix.caspur.it/benchmarks<br />
<br />
=== Stratégie LCG ===<br />
* LCG Overview Board - Change of CPU accounting unit (I.Bird):<br />
''The working group on benchmarking has now concluded, both on the new benchmark and on the transition process from SI2K. A new benchmark, based on the SPEC 2006 suite has been agreed upon. This uses a combination of the SPEC2006 FP and INT benchmarks, and has been shown to scale well with the experiments’ applications. This benchmark, labelled HEP-SPEC06, will be used in future to specify requirements and resources. '''There is an agreement to use a simple conversion factor of 4 representing the benchmarks ratio HEP-SPEC06/kSI2K'''. Sites will be requested to benchmark their existing resources, and the results will be published on a web site. Future procurements should require the vendor to run the benchmark – provided as a simple script. Planning for changing the reporting in the accounting system is under way. The new unit will be used in the April RRB.''<br />
<br />
* LCG Management Board : [https://twiki.cern.ch/twiki/pub/LCG/MbMeetingsMinutes/LCG_Management_Board_2009_01_27.htm Décision du MB du 27 janvier 2009] s'appuyant sur la [http://indico.cern.ch/materialDisplay.py?contribId=3&sessionId=0&materialId=0&confId=49388 proposition du groupe technique (G.Merino)] <br />
* Pledges WLCG en HEP-SPEC06 : http://lcg.web.cern.ch/LCG/resources.htm<br />
<br />
=== HEP-SPEC06 Benchmark ===<br />
*Le script dispo à https://twiki.cern.ch/twiki/bin/view/FIOgroup/TsiBenchHEPSPEC (Voir les attachements en bas de page tar.gz)<br />
<br />
* La distribution de la suite SPEC CPU2006 version 1.1 est disponible (sous AFS au CC).<br />
Pour plus d'infos contacter F.Chollet ou Pierre Larrieu<br />
<br />
=== Conversion des kSI2k ===<br />
* Facteur de conversion HEP-SPEC06/kSI2k : 4<br />
* 1 kSI2k = 4 HEP-SPEC06<br />
<br />
=== Publication des capacités CPU ===<br />
* Document de référence pour la publication dans le contexte actuel (Glue schema 1.3): <br />
https://twiki.cern.ch/twiki/pub/LCG/WLCGCommonComputingReadinessChallenges/WLCG_GlueSchemaUsage-1.8.pdf <br><br />
<br />
Tentative de synthèse --[[User:Chollet|Chollet]] 09:46, 11 septembre 2009 (CEST)<br />
** PhysicalCPUs = processeurs c.a.d chipset<br />
Un subcluster de 113 machines bi processeurs quadricoeurs = 226 CPUs physiques<br />
** LogicalCPUs = processeurs logiques ou vus de l'OS correspond au nombre de cœurs pour <br />
autant que l'hyperthreading ne soit pas activé (incluant les machines offline ou arrêtées)<br />
Un subcluster de 113 machines bi processeurs quadricoeurs = 904 CPUs logiques<br />
Le nombre de cœurs par CPU physique (par chipset) étant de 4 <br />
A publier via l'attribut ''GlueSubClusterLogicalCPUs''<br />
** A noter : Un SubCluster est a priori défini comme un ensemble homogène de workers mais <br />
il est "admis que dans la pratique" cela ne soit pas le cas. Dans ce cas, les sites sont<br />
sensés publier des spécifications moyennes pour certains attributs.<br />
<br />
* Consignes pour les sites / Advices for sites (Juin 2009):<br />
[http://indico.cern.ch/getFile.py/access?sessionId=2&resId=1&materialId=0&confId=63028 Présentation J.Gordon]<br />
<br />
Tentative de synthèse --[[User:Chollet|Chollet]] 17:50, 10 septembre 2009 (CEST)<br />
MàJ --[[User:Chollet|Chollet]] 17:01, 2 décembre 2009 (CET)<br />
- Effectuer la mesure de la '''capacité CPU de la machine''' à partir du benchmark HEP-SPEC06<br />
en utilisant le script mis à disposition ci-dessous. '''ATTENTION''' le bench fournit <br />
un score par machine et la publication se fait par cœur<br />
- Publier la '''capacité par cœur''' en HEP-SPEC06 via <br />
''GlueHostProcessorOtherDescription: Benchmark=<value>-HEP-SPEC06''<br />
Cet attribut est également utilisé pour publier le nombre moyen de cœurs par processeur<br />
(ou chipset)<br />
''GlueHostProcessorOtherDescription: Cores=<typical number of cores per CPU>, Benchmark=<br />
<value>-HEP-SPEC06'' <br />
- Convertir la capacité CPU par coeur en SI2K en mulipliant par 250<br />
- Mettre à jour l'attribut ''GlueHostBenchmarkSI00'' <br />
<br />
Les sites qui n'ont pas passé le benchmark HEP-SPEC06 doivent publier une valeur moyenne en SpecInt200 <br />
par LogicalCPU via l'attribut ''GlueHostBenchmarkSI00'' <br />
<br />
En cas de clusteur ou sous-clusteur hétérogène, GlueHostBenchmarkSI00 étant défini comme "Average SpecInt2000 rating per logical CPU" c.a.d par coeur pourvu que l'hyperthreading soit désactivé, vous êtes invités à publier une valeur moyenne pondérée. Voir le document<br />
de référence page 5 (dernière ligne)<br />
<br />
<br />
-----<br />
<br />
=== Résultats des benchs effectués par les sites ===<br />
SPEC CPU2000 <br />
Des tests de puissance des CPU ont été réalisés au LAPP (Eric Fede) et à Subatech (Jean-Michel Barbet) avecla suite SPEC CPU2000 suivant la méthodologie recommandée : http://hepix.caspur.it/processors/<br />
Ajout des tests au CPPM (Edith Knoops)<br />
<br />
HEP-SPEC06<br />
Des mesures avec le benchmark suite HEP-SPEC06 sont également disponibles ( fond bleu des tableaux)<br />
<br />
<br />
==== Tests réalisés par Jean-Michel :====<br />
<br />
A noter que les tests ont été réalisés sur des machines en configuration opérationnelles pour la grille (avec tous les daemons).<br />
<br />
'''Scientific-Linux V4.3 i386, gcc v3.4.5'''<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3] !! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits/machine [4]''' !! '''SPEC HEP 64bits/machine [5]''' <br />
|-<br />
| Dell PE1955 || Woodcrest 5160 3.00GHz || 4 || 8Go || 1409 || 1830 || 2113 || bgcolor="#0066FF" | 39.48 || bgcolor="#0066FF" | -<br />
|-<br />
| IBM || Clovertown 2.33GHz || 8 || 16Go || 979 || 1875 || 1468 || bgcolor="#0066FF" | 53.12 || bgcolor="#0066FF" | -<br />
|-<br />
|}<br />
<br />
'''Scientific Linux SL release 4.5 (Beryllium) x86_64, gcc v3.4.6'''<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3] !! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits/machine [4]''' !! '''SPEC HEP 64bits/machine [5]''' <br />
|-<br />
| Dell P21950 || Clovertown E5420 2.50GHz || 8 || 16Go || - || - || - || bgcolor="#0066FF" | 63.18 || bgcolor="#0066FF" | 57.63<br />
|-<br />
|}<br />
<br />
'''Scientific Linux SL release 5.3 (Boron) x86_64 gcc version 4.1.2 20080704 (Red Hat 4.1.2-44)'''<br />
<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3] !! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits/machine [4]''' !! '''SPEC HEP 64bits/machine [5]''' <br />
|-<br />
| Dell P21950 || Clovertown E5420 2.50GHz || 8 || 16Go || - || - || - || bgcolor="#0066FF" | [6] || bgcolor="#0066FF" | [6]<br />
|-<br />
| Dell R410 || Nehalem E5520 2.26GHz || 8 || 16Go || - || - || - || bgcolor="#0066FF" | 94.38 || bgcolor="#0066FF" | -<br />
|-<br />
| Dell R410 || Nehalem E5520 2.26GHz || 16 [7] || 16Go || - || - || - || bgcolor="#0066FF" | 114.36 [7] || bgcolor="#0066FF" | -<br />
|-<br />
|}<br />
<br />
<br />
<br />
'''Fiches SPEC des machines :'''<br />
<br />
Dell PowerEdge 1955 Woodcrest 5160 : http://www.spec.org/osg/cpu2000/results/res2006q3/cpu2000-20060626-06298.html<br />
<br />
Dell PowerEdge 1950 Clovertown E5420 2.33GHz : <br />
<br />
Dell PowerEdge 1950 E5420 2.50GHz : <br />
<br />
IBM 3550 Woodcrest 5160 : http://www.spec.org/osg/cpu2000/results/res2006q3/cpu2000-20060623-06219.html<br />
<br />
IBM 3350 Clovertown E5345 : http://www.spec.org/osg/cpu2000/results/res2006q4/cpu2000-20061113-07918.html<br />
<br />
'''Notes :'''<br />
<br />
[1] : Moyenne de 3 exécutions successives avec les optimisations CERN, chaque exécution démarrant un benchmark CPU2000 par CPU core. <br />
<br />
[2] : Correction : La valeur moyenne ci-dessus + 50%. C'est la valeur à publier via le système d'information de la grille.<br />
<br />
[3] : Une exécution unique avec les optimisations FZK à titre indicatif.<br />
<br />
[4] : Benchmark suite HEP SPEC, en suivant les recommandations : https://twiki.cern.ch/twiki/bin/view/FIOgroup//TsiBenchHEPSPEC <br />
<br />
[5] : A titre indicatif : résultats avec les binaires 64bits (HEP-SEPC06 n'est défini que pour des binaires 32bits)<br />
<br />
[6] : Ce test est suspendu car je suis tombé sur le problème suivant : <br />
https://www.jiscmail.ac.uk/cgi-bin/webadmin?A2=ind0909&L=LCG-ROLLOUT&P=R3371<br />
<br />
[7] : En activant l'hyperthreading, les benches tournent en 16 exemplaires. A titre indicatif (une seule mesure).<br />
<br />
----<br />
<br />
==== Tests réalisés au LAPP (eric) : ====<br />
<br />
Scientific-Linux V3.08 i386, gcc v3.4.3<br />
<br />
A noter que les tests ont été réalisés sur des machines dont tous les services non nécéssaires étaient desactivés<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3]!! CERN SI2K/core corrigé [2] <br />
|-<br />
| HP BL 460c || Woodcrest 2.66GHz || 4 || 8Go || 1367 || 1665 || 2050 <br />
|-<br />
|}<br />
<br />
<br />
Scientific-Linux V4.5 x86_64, gcc v3.4<br />
<br />
A noter que les tests ont été réalisés sur des machines dont tous les services non nécéssaires étaient desactivés. Un tuning "simple" au niveau du bios donne des disparités dans les résultats des bench qui depassent les 10 %.<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3]!! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits [4] per machin''' !! '''HEP-SPEC06 64bits [4] per machin''' <br />
|-<br />
| HP BL 460c || Woodcrest 2.66GHz || 4 || 8Go || 1485 || 1592 || 2227 || bgcolor="#0066FF" | 36.58 || bgcolor="#0066FF" | 34.6 <br />
|-<br />
| HP BL 460c || Clovertown 2.33GHz || 8 || 16Go || 1225 || x || 1837 || bgcolor="#0066FF" | 56.04 || bgcolor="#0066FF" | 51.18<br />
|-<br />
| DELL 1950 || Intel 5335 2GHz || 8 || 8Go || 1060 || 1139 || 1590 || bgcolor="#0066FF" | x || bgcolor="#0066FF" | x<br />
|-<br />
| HP BL 460c || Harpertown 3GHz || 8 || 16Go || 1620 || 1715 || 2430 || bgcolor="#0066FF" | 70.83 || bgcolor="#0066FF" | 63.99<br />
|-<br />
| DELL M600 || Harpertown 2.66GHz || 8 || 32Go || 1481 || 1588 || 2221 || bgcolor="#0066FF" | x || bgcolor="#0066FF" | x<br />
|-<br />
| HP BL 2x220G6 || Nehalem L5520 2.27GHz || 8 || 16Go || x || x || x || bgcolor="#0066FF" | 95.35 || bgcolor="#0066FF" | x<br />
|}<br />
<br />
<br />
[1] : Moyenne de 3 exécutions successives avec les optimisations CERN, chaque exécution démarrant un benchmark CPU2000 par CPU core. <br />
<br />
[2] : Correction : La valeur moyenne ci-dessus + 50%. C'est la valeur à publier via le système d'information de la grille.<br />
<br />
[3] : Une exécution unique avec les optimisations FZK à titre indicatif.<br />
<br />
[4] : Benchmark suite HEP SPEC, en suivant les recommandations : https://twiki.cern.ch/twiki/bin/view/FIOgroup//TsiBenchHEPSPEC <br />
L'hyperthreading toujours désactivé : nb de cores logiques = nb de cores physiques<br />
<br />
----<br />
<br />
==== Tests réalisés au CPPM (Edith/Carlos) : ====<br />
<br />
Scientific-Linux 4.6 x86_64, gcc v3.4.6<br />
<br />
Scientific-Linux 5.3 x86_64, gcc 4.1.2 <br />
<br />
A noter que les tests ont été réalisés sur des machines dont tous les services non nécéssaires étaient desactivés<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN32 SI2K/core || CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits (SL4)''' || '''HEP-SPEC06 32bits (SL5.3)''' || '''HEP-SPEC06 64bits (SL5.3)'''<br />
|-<br />
| HP DL145 || Opteron 250 2.4Ghz || 2 || 4Go || 1149 || 1278 || 972 || 1725 || 15.14 || bgcolor="#0066FF" | 16.16 || <br />
|-<br />
| SUN || Opteron 250 2.4Ghz || 2 || 4Go || 1173 || 1298 || 988 || 1760 || || ||<br />
|-<br />
| HP DL145G2 || Opteron 275 2.2 Ghz || 4 ||6Go || 981 || 1087 || 857 || 1471 || 26.52 || bgcolor="#0066FF" | 27.41 ||<br />
|-<br />
| DELL || Opteron 2218 2.6 Ghz || 4 || 8Go || 1199 || 1073 ||1045 || 1798 || 32.24 || bgcolor="#0066FF" | 31.68 ||<br />
|-<br />
| DELL || Xeon E5420 2.5Ghz || 8 || 16 Go || 1418 ||1528 || x ||2128 || 63.12 || bgcolor="#0066FF" | 68.64 ||<br />
|-<br />
|DELL || Xeon X5550 2.67GHz || 8 || 24 Go || || || || || || bgcolor="#0066FF" | 116 ||<br />
|-<br />
|DELL || Xeon X5550 2.67GHz || 16 [1] || 24 Go || || || || || || bgcolor="#0066FF" | 145.82 ||<br />
|- <br />
|DELL R410 || Xeon X5650 2.67GHz || 24 [2] || 48 Go || || || || || || || bgcolor="#0066FF" | 199.34 <br />
|- <br />
|DELL C6100 || Xeon X5650 2.67GHz || 24 [2] || 48 Go || || || || || || || bgcolor="#0066FF" | 231.40 <br />
<br />
|}<br />
<br />
<br />
[1] 8 cores / 16 virtual cpu<br />
<br />
[2] 12 cores / 24 virtual cpu<br />
<br />
----<br />
<br />
==== Tests réalisés à l'IPHC (Jérôme) : ====<br />
<br />
Scientific-Linux 5.3 x86_64, gcc v4.1.2<br />
<br />
Pour la réalisation de ces tests, seuls les services indispensables étaient activés. Pour chaque système, le résultat indiqué est une moyenne de quatre tests. Compte tenu de la variation des résultats, une seule décimale est affichée.<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits [1] per machin'''<br />
|-<br />
| DELL M600 || Xeon E5410 2.33Ghz || 8 || 16Go || N/A || N/A || N/A || bgcolor="#0066FF" | 61.1<br />
|-<br />
| DELL M600 || Xeon L5420 2.50Ghz || 8 || 16Go || N/A || N/A || N/A || bgcolor="#0066FF" | 65.4<br />
|-<br />
| DELL M610 || Xeon E5530 2.40Ghz || 8 || 24Go || N/A || N/A || N/A || bgcolor="#0066FF" | 100,6<br />
|-<br />
| DELL M610 [1] || Xeon E5530 2.40Ghz || 8 + 8 || 24Go || N/A || N/A || N/A || bgcolor="#0066FF" | 127,0<br />
|}<br />
<br />
<br />
[1] Option "Virtual CPU" activée.<br />
<br />
----<br />
<br />
==== Tests réalisés au LPC (Jean-Claude) : ====<br />
<br />
Scientific-Linux 4.6 x86_64, gcc v3.4.6<br />
<br />
Pour la réalisation de ces tests, seuls les services indispensables étaient activés.<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits [1] per machin'''<br />
|-<br />
| IBM Blade || Xeon E5345 2.33Ghz || 8 || 16Go || N/A || N/A || N/A || bgcolor="#0066FF" | 57.41<br />
|}<br />
<br />
[1] Moyenne des résultats obtenus sur trois tests.<br />
<br />
<br />
Scientific-Linux 5.3 x86_64, gcc v4.1.2<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits [2] per machin'''<br />
|-<br />
| IBM Blade || Xeon E5430 2.66Ghz || 8 || 12Go || N/A || N/A || N/A || bgcolor="#0066FF" | 70.64<br />
|}<br />
<br />
[2] Moyenne des résultats obtenus sur quatre tests.<br />
<br />
<br />
----<br />
<br />
==== Tests réalisés au LLR (pascale): ====<br />
<br />
Scientific-Linux 5.3 x86_64, gcc v4.1.2<br />
<br />
les machines ont ete installees comme les WN standard de la grille<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! Virtual CPU enabled !! '''HEP-SPEC06 32bits per machin''' !! HEP-SPEC06 64bits [1] per machin''' <br />
|-<br />
| DELL R410 || E 5520 || 16[1] || 24Go || YES || 118.57 || 143.44<br />
|-<br />
| || E 5540 || 16[1] || 24Go || YES || 128.38 || 151.03<br />
|-<br />
| DELL R410 || E 5520 || 8 || 24Go || NO || 96.51 || 113.35<br />
|-<br />
| || E 5540 || 8 || 24Go || NO || 103.41|| 121.47<br />
|-<br />
| DELL R410 || E 5520 || 16[1] || 16Go || YES || Pas fait || Pas fait<br />
|-<br />
| || E 5540 || 16[1] || 16Go || YES || Pas fait || 148.64<br />
|-<br />
| DELL R410 || E 5520 || 8 || 16Go || NO || 94.97 || 109.42<br />
|-<br />
| || E 5540 || 8 || 16Go || NO || 102.41|| 117.5<br />
<br />
<br />
<br />
|}<br />
<br />
<br />
[1] Sur les serveurs il y a réellement 8 cores en tout. A cause de l'activation du "Virtual CPU" , le systeme d'exploitation pense qu'il y a 16 procs : la commande /proc/cpuinfo donne 16 coeurs. D'après les tests il est interessant d'activer le "Virtual CPU". Mais, combien de jobs faut-il activer en parallele? Et comment allons-nous les déclarer dans la grille?<br />
Voici les résultats des tests avec 8, 10, 12, 14 et 16 jobs lancés en parallèle pour la <br />
configuration suivante : R410, 16g ram, Virtual CPU activé.<br />
<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Nb jobs !! HEP-SPEC06 64bits [1] per machin''' <br />
|-<br />
| 8 jobs || 115.66 <br />
|-<br />
| 10 jobs || 130.66 <br />
|-<br />
| 12 jobs || 139.29 <br />
|-<br />
| 14 jobs || 144.38 <br />
|-<br />
| 16 jobs || 148.64<br />
<br />
|}<br />
<br />
----<br />
==== Tests réalisés à l'IRFU (Christine): ====<br />
Scientific Linux SL release 5.3 (Boron)<br />
<br />
2.6.18-164.6.1.el5 #1 SMP Tue Nov 3 23:02:51 EST 2009 x86_64 x86_64 x86_64 GNU/Linux<br />
<br />
version gcc 4.1.2 20080704 (Red Hat 4.1.2-44)<br />
<br />
<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Virtual CPU enabled !! Nbre de thread !! Mémoire RAM !! HEP-SPEC06 64bits per machin [1]''' <br />
|-<br />
| Bull R422 || E 5520 || 16 Virtual CPU / 8 physical CPU || YES || 16 || 24Go || 142.26<br />
|- <br />
| Bull R422 || E 5520 || 16 Virtual CPU / 8 physical CPU || YES || 12 || 24Go || 136.69<br />
|- <br />
| Bull R422 || E 5520 || 16 Virtual CPU / 8 physical CPU || YES || 8 || 24Go || 114.67<br />
|- <br />
| Bull R422 || E 5520 || 8 || NO || 8 || 24Go || 114.01<br />
|- <br />
| Bull R422 || E 5520 || 8 || NO || 12 || 24Go || 121.39<br />
|- <br />
| Fujitsu PRIMERGY RX200 || Intel(R) Xeon(R) CPU L5420 @ 2.50GHz || 8 || _ || 8 || 16Go || 71.26<br />
|- <br />
|}<br />
<br />
<br />
[1] Moyenne des résultats obtenus sur deux tests<br />
=== Résultats des benchs GRIDPP (UK) === <br />
* http://www.gridpp.ac.uk/wiki/HEPSPEC06</div>
Carranza
https://lcg.in2p3.fr/index.php?title=CPU-Benches&diff=5909
CPU-Benches
2010-10-18T07:58:30Z
<p>Carranza: /* Tests réalisés au CPPM (Edith/Carlos) : */</p>
<hr />
<div>'''Transition vers les nouvelles unités specs HEP-SPEC06'''<br />
--MàJ --[[User:Chollet|Chollet]] 09:37, 11 septembre 2009 (CEST)--<br />
<br />
=== Page HEPiX de référence === <br />
* https://hepix.caspur.it/benchmarks<br />
<br />
=== Stratégie LCG ===<br />
* LCG Overview Board - Change of CPU accounting unit (I.Bird):<br />
''The working group on benchmarking has now concluded, both on the new benchmark and on the transition process from SI2K. A new benchmark, based on the SPEC 2006 suite has been agreed upon. This uses a combination of the SPEC2006 FP and INT benchmarks, and has been shown to scale well with the experiments’ applications. This benchmark, labelled HEP-SPEC06, will be used in future to specify requirements and resources. '''There is an agreement to use a simple conversion factor of 4 representing the benchmarks ratio HEP-SPEC06/kSI2K'''. Sites will be requested to benchmark their existing resources, and the results will be published on a web site. Future procurements should require the vendor to run the benchmark – provided as a simple script. Planning for changing the reporting in the accounting system is under way. The new unit will be used in the April RRB.''<br />
<br />
* LCG Management Board : [https://twiki.cern.ch/twiki/pub/LCG/MbMeetingsMinutes/LCG_Management_Board_2009_01_27.htm Décision du MB du 27 janvier 2009] s'appuyant sur la [http://indico.cern.ch/materialDisplay.py?contribId=3&sessionId=0&materialId=0&confId=49388 proposition du groupe technique (G.Merino)] <br />
* Pledges WLCG en HEP-SPEC06 : http://lcg.web.cern.ch/LCG/resources.htm<br />
<br />
=== HEP-SPEC06 Benchmark ===<br />
*Le script dispo à https://twiki.cern.ch/twiki/bin/view/FIOgroup/TsiBenchHEPSPEC (Voir les attachements en bas de page tar.gz)<br />
<br />
* La distribution de la suite SPEC CPU2006 version 1.1 est disponible (sous AFS au CC).<br />
Pour plus d'infos contacter F.Chollet ou Pierre Larrieu<br />
<br />
=== Conversion des kSI2k ===<br />
* Facteur de conversion HEP-SPEC06/kSI2k : 4<br />
* 1 kSI2k = 4 HEP-SPEC06<br />
<br />
=== Publication des capacités CPU ===<br />
* Document de référence pour la publication dans le contexte actuel (Glue schema 1.3): <br />
https://twiki.cern.ch/twiki/pub/LCG/WLCGCommonComputingReadinessChallenges/WLCG_GlueSchemaUsage-1.8.pdf <br><br />
<br />
Tentative de synthèse --[[User:Chollet|Chollet]] 09:46, 11 septembre 2009 (CEST)<br />
** PhysicalCPUs = processeurs c.a.d chipset<br />
Un subcluster de 113 machines bi processeurs quadricoeurs = 226 CPUs physiques<br />
** LogicalCPUs = processeurs logiques ou vus de l'OS correspond au nombre de cœurs pour <br />
autant que l'hyperthreading ne soit pas activé (incluant les machines offline ou arrêtées)<br />
Un subcluster de 113 machines bi processeurs quadricoeurs = 904 CPUs logiques<br />
Le nombre de cœurs par CPU physique (par chipset) étant de 4 <br />
A publier via l'attribut ''GlueSubClusterLogicalCPUs''<br />
** A noter : Un SubCluster est a priori défini comme un ensemble homogène de workers mais <br />
il est "admis que dans la pratique" cela ne soit pas le cas. Dans ce cas, les sites sont<br />
sensés publier des spécifications moyennes pour certains attributs.<br />
<br />
* Consignes pour les sites / Advices for sites (Juin 2009):<br />
[http://indico.cern.ch/getFile.py/access?sessionId=2&resId=1&materialId=0&confId=63028 Présentation J.Gordon]<br />
<br />
Tentative de synthèse --[[User:Chollet|Chollet]] 17:50, 10 septembre 2009 (CEST)<br />
MàJ --[[User:Chollet|Chollet]] 17:01, 2 décembre 2009 (CET)<br />
- Effectuer la mesure de la '''capacité CPU de la machine''' à partir du benchmark HEP-SPEC06<br />
en utilisant le script mis à disposition ci-dessous. '''ATTENTION''' le bench fournit <br />
un score par machine et la publication se fait par cœur<br />
- Publier la '''capacité par cœur''' en HEP-SPEC06 via <br />
''GlueHostProcessorOtherDescription: Benchmark=<value>-HEP-SPEC06''<br />
Cet attribut est également utilisé pour publier le nombre moyen de cœurs par processeur<br />
(ou chipset)<br />
''GlueHostProcessorOtherDescription: Cores=<typical number of cores per CPU>, Benchmark=<br />
<value>-HEP-SPEC06'' <br />
- Convertir la capacité CPU par coeur en SI2K en mulipliant par 250<br />
- Mettre à jour l'attribut ''GlueHostBenchmarkSI00'' <br />
<br />
Les sites qui n'ont pas passé le benchmark HEP-SPEC06 doivent publier une valeur moyenne en SpecInt200 <br />
par LogicalCPU via l'attribut ''GlueHostBenchmarkSI00'' <br />
<br />
En cas de clusteur ou sous-clusteur hétérogène, GlueHostBenchmarkSI00 étant défini comme "Average SpecInt2000 rating per logical CPU" c.a.d par coeur pourvu que l'hyperthreading soit désactivé, vous êtes invités à publier une valeur moyenne pondérée. Voir le document<br />
de référence page 5 (dernière ligne)<br />
<br />
<br />
-----<br />
<br />
=== Résultats des benchs effectués par les sites ===<br />
SPEC CPU2000 <br />
Des tests de puissance des CPU ont été réalisés au LAPP (Eric Fede) et à Subatech (Jean-Michel Barbet) avecla suite SPEC CPU2000 suivant la méthodologie recommandée : http://hepix.caspur.it/processors/<br />
Ajout des tests au CPPM (Edith Knoops)<br />
<br />
HEP-SPEC06<br />
Des mesures avec le benchmark suite HEP-SPEC06 sont également disponibles ( fond bleu des tableaux)<br />
<br />
<br />
==== Tests réalisés par Jean-Michel :====<br />
<br />
A noter que les tests ont été réalisés sur des machines en configuration opérationnelles pour la grille (avec tous les daemons).<br />
<br />
'''Scientific-Linux V4.3 i386, gcc v3.4.5'''<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3] !! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits/machine [4]''' !! '''SPEC HEP 64bits/machine [5]''' <br />
|-<br />
| Dell PE1955 || Woodcrest 5160 3.00GHz || 4 || 8Go || 1409 || 1830 || 2113 || bgcolor="#0066FF" | 39.48 || bgcolor="#0066FF" | -<br />
|-<br />
| IBM || Clovertown 2.33GHz || 8 || 16Go || 979 || 1875 || 1468 || bgcolor="#0066FF" | 53.12 || bgcolor="#0066FF" | -<br />
|-<br />
|}<br />
<br />
'''Scientific Linux SL release 4.5 (Beryllium) x86_64, gcc v3.4.6'''<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3] !! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits/machine [4]''' !! '''SPEC HEP 64bits/machine [5]''' <br />
|-<br />
| Dell P21950 || Clovertown E5420 2.50GHz || 8 || 16Go || - || - || - || bgcolor="#0066FF" | 63.18 || bgcolor="#0066FF" | 57.63<br />
|-<br />
|}<br />
<br />
'''Scientific Linux SL release 5.3 (Boron) x86_64 gcc version 4.1.2 20080704 (Red Hat 4.1.2-44)'''<br />
<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3] !! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits/machine [4]''' !! '''SPEC HEP 64bits/machine [5]''' <br />
|-<br />
| Dell P21950 || Clovertown E5420 2.50GHz || 8 || 16Go || - || - || - || bgcolor="#0066FF" | [6] || bgcolor="#0066FF" | [6]<br />
|-<br />
| Dell R410 || Nehalem E5520 2.26GHz || 8 || 16Go || - || - || - || bgcolor="#0066FF" | 94.38 || bgcolor="#0066FF" | -<br />
|-<br />
| Dell R410 || Nehalem E5520 2.26GHz || 16 [7] || 16Go || - || - || - || bgcolor="#0066FF" | 114.36 [7] || bgcolor="#0066FF" | -<br />
|-<br />
|}<br />
<br />
<br />
<br />
'''Fiches SPEC des machines :'''<br />
<br />
Dell PowerEdge 1955 Woodcrest 5160 : http://www.spec.org/osg/cpu2000/results/res2006q3/cpu2000-20060626-06298.html<br />
<br />
Dell PowerEdge 1950 Clovertown E5420 2.33GHz : <br />
<br />
Dell PowerEdge 1950 E5420 2.50GHz : <br />
<br />
IBM 3550 Woodcrest 5160 : http://www.spec.org/osg/cpu2000/results/res2006q3/cpu2000-20060623-06219.html<br />
<br />
IBM 3350 Clovertown E5345 : http://www.spec.org/osg/cpu2000/results/res2006q4/cpu2000-20061113-07918.html<br />
<br />
'''Notes :'''<br />
<br />
[1] : Moyenne de 3 exécutions successives avec les optimisations CERN, chaque exécution démarrant un benchmark CPU2000 par CPU core. <br />
<br />
[2] : Correction : La valeur moyenne ci-dessus + 50%. C'est la valeur à publier via le système d'information de la grille.<br />
<br />
[3] : Une exécution unique avec les optimisations FZK à titre indicatif.<br />
<br />
[4] : Benchmark suite HEP SPEC, en suivant les recommandations : https://twiki.cern.ch/twiki/bin/view/FIOgroup//TsiBenchHEPSPEC <br />
<br />
[5] : A titre indicatif : résultats avec les binaires 64bits (HEP-SEPC06 n'est défini que pour des binaires 32bits)<br />
<br />
[6] : Ce test est suspendu car je suis tombé sur le problème suivant : <br />
https://www.jiscmail.ac.uk/cgi-bin/webadmin?A2=ind0909&L=LCG-ROLLOUT&P=R3371<br />
<br />
[7] : En activant l'hyperthreading, les benches tournent en 16 exemplaires. A titre indicatif (une seule mesure).<br />
<br />
----<br />
<br />
==== Tests réalisés au LAPP (eric) : ====<br />
<br />
Scientific-Linux V3.08 i386, gcc v3.4.3<br />
<br />
A noter que les tests ont été réalisés sur des machines dont tous les services non nécéssaires étaient desactivés<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3]!! CERN SI2K/core corrigé [2] <br />
|-<br />
| HP BL 460c || Woodcrest 2.66GHz || 4 || 8Go || 1367 || 1665 || 2050 <br />
|-<br />
|}<br />
<br />
<br />
Scientific-Linux V4.5 x86_64, gcc v3.4<br />
<br />
A noter que les tests ont été réalisés sur des machines dont tous les services non nécéssaires étaient desactivés. Un tuning "simple" au niveau du bios donne des disparités dans les résultats des bench qui depassent les 10 %.<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3]!! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits [4] per machin''' !! '''HEP-SPEC06 64bits [4] per machin''' <br />
|-<br />
| HP BL 460c || Woodcrest 2.66GHz || 4 || 8Go || 1485 || 1592 || 2227 || bgcolor="#0066FF" | 36.58 || bgcolor="#0066FF" | 34.6 <br />
|-<br />
| HP BL 460c || Clovertown 2.33GHz || 8 || 16Go || 1225 || x || 1837 || bgcolor="#0066FF" | 56.04 || bgcolor="#0066FF" | 51.18<br />
|-<br />
| DELL 1950 || Intel 5335 2GHz || 8 || 8Go || 1060 || 1139 || 1590 || bgcolor="#0066FF" | x || bgcolor="#0066FF" | x<br />
|-<br />
| HP BL 460c || Harpertown 3GHz || 8 || 16Go || 1620 || 1715 || 2430 || bgcolor="#0066FF" | 70.83 || bgcolor="#0066FF" | 63.99<br />
|-<br />
| DELL M600 || Harpertown 2.66GHz || 8 || 32Go || 1481 || 1588 || 2221 || bgcolor="#0066FF" | x || bgcolor="#0066FF" | x<br />
|-<br />
| HP BL 2x220G6 || Nehalem L5520 2.27GHz || 8 || 16Go || x || x || x || bgcolor="#0066FF" | 95.35 || bgcolor="#0066FF" | x<br />
|}<br />
<br />
<br />
[1] : Moyenne de 3 exécutions successives avec les optimisations CERN, chaque exécution démarrant un benchmark CPU2000 par CPU core. <br />
<br />
[2] : Correction : La valeur moyenne ci-dessus + 50%. C'est la valeur à publier via le système d'information de la grille.<br />
<br />
[3] : Une exécution unique avec les optimisations FZK à titre indicatif.<br />
<br />
[4] : Benchmark suite HEP SPEC, en suivant les recommandations : https://twiki.cern.ch/twiki/bin/view/FIOgroup//TsiBenchHEPSPEC <br />
L'hyperthreading toujours désactivé : nb de cores logiques = nb de cores physiques<br />
<br />
----<br />
<br />
==== Tests réalisés au CPPM (Edith/Carlos) : ====<br />
<br />
Scientific-Linux 4.6 x86_64, gcc v3.4.6<br />
<br />
Scientific-Linux 5.3 x86_64, gcc 4.1.2 <br />
<br />
A noter que les tests ont été réalisés sur des machines dont tous les services non nécéssaires étaient desactivés<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN32 SI2K/core || CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits (SL4)''' || '''HEP-SPEC06 32bits (SL5.3)''' || '''HEP-SPEC06 64bits (SL5.3)'''<br />
|-<br />
| HP DL145 || Opteron 250 2.4Ghz || 2 || 4Go || 1149 || 1278 || 972 || 1725 || 15.14 || bgcolor="#0066FF" | 16.16 || <br />
|-<br />
| SUN || Opteron 250 2.4Ghz || 2 || 4Go || 1173 || 1298 || 988 || 1760 || || ||<br />
|-<br />
| HP DL145G2 || Opteron 275 2.2 Ghz || 4 ||6Go || 981 || 1087 || 857 || 1471 || 26.52 || bgcolor="#0066FF" | 27.41 ||<br />
|-<br />
| DELL || Opteron 2218 2.6 Ghz || 4 || 8Go || 1199 || 1073 ||1045 || 1798 || 32.24 || bgcolor="#0066FF" | 31.68 ||<br />
|-<br />
| DELL || Xeon E5420 2.5Ghz || 8 || 16 Go || 1418 ||1528 || x ||2128 || 63.12 || bgcolor="#0066FF" | 68.64 ||<br />
|-<br />
|DELL || Xeon X5550 2.67GHz || 8 || 24 Go || || || || || || bgcolor="#0066FF" | 116 ||<br />
|-<br />
|DELL || Xeon X5550 2.67GHz || 16 [1] || 24 Go || || || || || || bgcolor="#0066FF" | 145.82 ||<br />
|- <br />
|DELL || Xeon X5650 2.67GHz || 24 [2] || 48 Go || || || || || || || bgcolor="#0066FF" | 199.34 <br />
<br />
|}<br />
<br />
<br />
[1] 8 cores / 16 virtual cpu<br />
<br />
[2] 12 cores / 24 virtual cpu<br />
<br />
----<br />
<br />
==== Tests réalisés à l'IPHC (Jérôme) : ====<br />
<br />
Scientific-Linux 5.3 x86_64, gcc v4.1.2<br />
<br />
Pour la réalisation de ces tests, seuls les services indispensables étaient activés. Pour chaque système, le résultat indiqué est une moyenne de quatre tests. Compte tenu de la variation des résultats, une seule décimale est affichée.<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits [1] per machin'''<br />
|-<br />
| DELL M600 || Xeon E5410 2.33Ghz || 8 || 16Go || N/A || N/A || N/A || bgcolor="#0066FF" | 61.1<br />
|-<br />
| DELL M600 || Xeon L5420 2.50Ghz || 8 || 16Go || N/A || N/A || N/A || bgcolor="#0066FF" | 65.4<br />
|-<br />
| DELL M610 || Xeon E5530 2.40Ghz || 8 || 24Go || N/A || N/A || N/A || bgcolor="#0066FF" | 100,6<br />
|-<br />
| DELL M610 [1] || Xeon E5530 2.40Ghz || 8 + 8 || 24Go || N/A || N/A || N/A || bgcolor="#0066FF" | 127,0<br />
|}<br />
<br />
<br />
[1] Option "Virtual CPU" activée.<br />
<br />
----<br />
<br />
==== Tests réalisés au LPC (Jean-Claude) : ====<br />
<br />
Scientific-Linux 4.6 x86_64, gcc v3.4.6<br />
<br />
Pour la réalisation de ces tests, seuls les services indispensables étaient activés.<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits [1] per machin'''<br />
|-<br />
| IBM Blade || Xeon E5345 2.33Ghz || 8 || 16Go || N/A || N/A || N/A || bgcolor="#0066FF" | 57.41<br />
|}<br />
<br />
[1] Moyenne des résultats obtenus sur trois tests.<br />
<br />
<br />
Scientific-Linux 5.3 x86_64, gcc v4.1.2<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits [2] per machin'''<br />
|-<br />
| IBM Blade || Xeon E5430 2.66Ghz || 8 || 12Go || N/A || N/A || N/A || bgcolor="#0066FF" | 70.64<br />
|}<br />
<br />
[2] Moyenne des résultats obtenus sur quatre tests.<br />
<br />
<br />
----<br />
<br />
==== Tests réalisés au LLR (pascale): ====<br />
<br />
Scientific-Linux 5.3 x86_64, gcc v4.1.2<br />
<br />
les machines ont ete installees comme les WN standard de la grille<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! Virtual CPU enabled !! '''HEP-SPEC06 32bits per machin''' !! HEP-SPEC06 64bits [1] per machin''' <br />
|-<br />
| DELL R410 || E 5520 || 16[1] || 24Go || YES || 118.57 || 143.44<br />
|-<br />
| || E 5540 || 16[1] || 24Go || YES || 128.38 || 151.03<br />
|-<br />
| DELL R410 || E 5520 || 8 || 24Go || NO || 96.51 || 113.35<br />
|-<br />
| || E 5540 || 8 || 24Go || NO || 103.41|| 121.47<br />
|-<br />
| DELL R410 || E 5520 || 16[1] || 16Go || YES || Pas fait || Pas fait<br />
|-<br />
| || E 5540 || 16[1] || 16Go || YES || Pas fait || 148.64<br />
|-<br />
| DELL R410 || E 5520 || 8 || 16Go || NO || 94.97 || 109.42<br />
|-<br />
| || E 5540 || 8 || 16Go || NO || 102.41|| 117.5<br />
<br />
<br />
<br />
|}<br />
<br />
<br />
[1] Sur les serveurs il y a réellement 8 cores en tout. A cause de l'activation du "Virtual CPU" , le systeme d'exploitation pense qu'il y a 16 procs : la commande /proc/cpuinfo donne 16 coeurs. D'après les tests il est interessant d'activer le "Virtual CPU". Mais, combien de jobs faut-il activer en parallele? Et comment allons-nous les déclarer dans la grille?<br />
Voici les résultats des tests avec 8, 10, 12, 14 et 16 jobs lancés en parallèle pour la <br />
configuration suivante : R410, 16g ram, Virtual CPU activé.<br />
<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Nb jobs !! HEP-SPEC06 64bits [1] per machin''' <br />
|-<br />
| 8 jobs || 115.66 <br />
|-<br />
| 10 jobs || 130.66 <br />
|-<br />
| 12 jobs || 139.29 <br />
|-<br />
| 14 jobs || 144.38 <br />
|-<br />
| 16 jobs || 148.64<br />
<br />
|}<br />
<br />
----<br />
==== Tests réalisés à l'IRFU (Christine): ====<br />
Scientific Linux SL release 5.3 (Boron)<br />
<br />
2.6.18-164.6.1.el5 #1 SMP Tue Nov 3 23:02:51 EST 2009 x86_64 x86_64 x86_64 GNU/Linux<br />
<br />
version gcc 4.1.2 20080704 (Red Hat 4.1.2-44)<br />
<br />
<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Virtual CPU enabled !! Nbre de thread !! Mémoire RAM !! HEP-SPEC06 64bits per machin [1]''' <br />
|-<br />
| Bull R422 || E 5520 || 16 Virtual CPU / 8 physical CPU || YES || 16 || 24Go || 142.26<br />
|- <br />
| Bull R422 || E 5520 || 16 Virtual CPU / 8 physical CPU || YES || 12 || 24Go || 136.69<br />
|- <br />
| Bull R422 || E 5520 || 16 Virtual CPU / 8 physical CPU || YES || 8 || 24Go || 114.67<br />
|- <br />
| Bull R422 || E 5520 || 8 || NO || 8 || 24Go || 114.01<br />
|- <br />
| Bull R422 || E 5520 || 8 || NO || 12 || 24Go || 121.39<br />
|- <br />
| Fujitsu PRIMERGY RX200 || Intel(R) Xeon(R) CPU L5420 @ 2.50GHz || 8 || _ || 8 || 16Go || 71.26<br />
|- <br />
|}<br />
<br />
<br />
[1] Moyenne des résultats obtenus sur deux tests<br />
=== Résultats des benchs GRIDPP (UK) === <br />
* http://www.gridpp.ac.uk/wiki/HEPSPEC06</div>
Carranza
https://lcg.in2p3.fr/index.php?title=CPU-Benches&diff=5908
CPU-Benches
2010-10-15T13:22:20Z
<p>Carranza: /* Tests réalisés au CPPM (Edith/Carlos) : */</p>
<hr />
<div>'''Transition vers les nouvelles unités specs HEP-SPEC06'''<br />
--MàJ --[[User:Chollet|Chollet]] 09:37, 11 septembre 2009 (CEST)--<br />
<br />
=== Page HEPiX de référence === <br />
* https://hepix.caspur.it/benchmarks<br />
<br />
=== Stratégie LCG ===<br />
* LCG Overview Board - Change of CPU accounting unit (I.Bird):<br />
''The working group on benchmarking has now concluded, both on the new benchmark and on the transition process from SI2K. A new benchmark, based on the SPEC 2006 suite has been agreed upon. This uses a combination of the SPEC2006 FP and INT benchmarks, and has been shown to scale well with the experiments’ applications. This benchmark, labelled HEP-SPEC06, will be used in future to specify requirements and resources. '''There is an agreement to use a simple conversion factor of 4 representing the benchmarks ratio HEP-SPEC06/kSI2K'''. Sites will be requested to benchmark their existing resources, and the results will be published on a web site. Future procurements should require the vendor to run the benchmark – provided as a simple script. Planning for changing the reporting in the accounting system is under way. The new unit will be used in the April RRB.''<br />
<br />
* LCG Management Board : [https://twiki.cern.ch/twiki/pub/LCG/MbMeetingsMinutes/LCG_Management_Board_2009_01_27.htm Décision du MB du 27 janvier 2009] s'appuyant sur la [http://indico.cern.ch/materialDisplay.py?contribId=3&sessionId=0&materialId=0&confId=49388 proposition du groupe technique (G.Merino)] <br />
* Pledges WLCG en HEP-SPEC06 : http://lcg.web.cern.ch/LCG/resources.htm<br />
<br />
=== HEP-SPEC06 Benchmark ===<br />
*Le script dispo à https://twiki.cern.ch/twiki/bin/view/FIOgroup/TsiBenchHEPSPEC (Voir les attachements en bas de page tar.gz)<br />
<br />
* La distribution de la suite SPEC CPU2006 version 1.1 est disponible (sous AFS au CC).<br />
Pour plus d'infos contacter F.Chollet ou Pierre Larrieu<br />
<br />
=== Conversion des kSI2k ===<br />
* Facteur de conversion HEP-SPEC06/kSI2k : 4<br />
* 1 kSI2k = 4 HEP-SPEC06<br />
<br />
=== Publication des capacités CPU ===<br />
* Document de référence pour la publication dans le contexte actuel (Glue schema 1.3): <br />
https://twiki.cern.ch/twiki/pub/LCG/WLCGCommonComputingReadinessChallenges/WLCG_GlueSchemaUsage-1.8.pdf <br><br />
<br />
Tentative de synthèse --[[User:Chollet|Chollet]] 09:46, 11 septembre 2009 (CEST)<br />
** PhysicalCPUs = processeurs c.a.d chipset<br />
Un subcluster de 113 machines bi processeurs quadricoeurs = 226 CPUs physiques<br />
** LogicalCPUs = processeurs logiques ou vus de l'OS correspond au nombre de cœurs pour <br />
autant que l'hyperthreading ne soit pas activé (incluant les machines offline ou arrêtées)<br />
Un subcluster de 113 machines bi processeurs quadricoeurs = 904 CPUs logiques<br />
Le nombre de cœurs par CPU physique (par chipset) étant de 4 <br />
A publier via l'attribut ''GlueSubClusterLogicalCPUs''<br />
** A noter : Un SubCluster est a priori défini comme un ensemble homogène de workers mais <br />
il est "admis que dans la pratique" cela ne soit pas le cas. Dans ce cas, les sites sont<br />
sensés publier des spécifications moyennes pour certains attributs.<br />
<br />
* Consignes pour les sites / Advices for sites (Juin 2009):<br />
[http://indico.cern.ch/getFile.py/access?sessionId=2&resId=1&materialId=0&confId=63028 Présentation J.Gordon]<br />
<br />
Tentative de synthèse --[[User:Chollet|Chollet]] 17:50, 10 septembre 2009 (CEST)<br />
MàJ --[[User:Chollet|Chollet]] 17:01, 2 décembre 2009 (CET)<br />
- Effectuer la mesure de la '''capacité CPU de la machine''' à partir du benchmark HEP-SPEC06<br />
en utilisant le script mis à disposition ci-dessous. '''ATTENTION''' le bench fournit <br />
un score par machine et la publication se fait par cœur<br />
- Publier la '''capacité par cœur''' en HEP-SPEC06 via <br />
''GlueHostProcessorOtherDescription: Benchmark=<value>-HEP-SPEC06''<br />
Cet attribut est également utilisé pour publier le nombre moyen de cœurs par processeur<br />
(ou chipset)<br />
''GlueHostProcessorOtherDescription: Cores=<typical number of cores per CPU>, Benchmark=<br />
<value>-HEP-SPEC06'' <br />
- Convertir la capacité CPU par coeur en SI2K en mulipliant par 250<br />
- Mettre à jour l'attribut ''GlueHostBenchmarkSI00'' <br />
<br />
Les sites qui n'ont pas passé le benchmark HEP-SPEC06 doivent publier une valeur moyenne en SpecInt200 <br />
par LogicalCPU via l'attribut ''GlueHostBenchmarkSI00'' <br />
<br />
En cas de clusteur ou sous-clusteur hétérogène, GlueHostBenchmarkSI00 étant défini comme "Average SpecInt2000 rating per logical CPU" c.a.d par coeur pourvu que l'hyperthreading soit désactivé, vous êtes invités à publier une valeur moyenne pondérée. Voir le document<br />
de référence page 5 (dernière ligne)<br />
<br />
<br />
-----<br />
<br />
=== Résultats des benchs effectués par les sites ===<br />
SPEC CPU2000 <br />
Des tests de puissance des CPU ont été réalisés au LAPP (Eric Fede) et à Subatech (Jean-Michel Barbet) avecla suite SPEC CPU2000 suivant la méthodologie recommandée : http://hepix.caspur.it/processors/<br />
Ajout des tests au CPPM (Edith Knoops)<br />
<br />
HEP-SPEC06<br />
Des mesures avec le benchmark suite HEP-SPEC06 sont également disponibles ( fond bleu des tableaux)<br />
<br />
<br />
==== Tests réalisés par Jean-Michel :====<br />
<br />
A noter que les tests ont été réalisés sur des machines en configuration opérationnelles pour la grille (avec tous les daemons).<br />
<br />
'''Scientific-Linux V4.3 i386, gcc v3.4.5'''<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3] !! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits/machine [4]''' !! '''SPEC HEP 64bits/machine [5]''' <br />
|-<br />
| Dell PE1955 || Woodcrest 5160 3.00GHz || 4 || 8Go || 1409 || 1830 || 2113 || bgcolor="#0066FF" | 39.48 || bgcolor="#0066FF" | -<br />
|-<br />
| IBM || Clovertown 2.33GHz || 8 || 16Go || 979 || 1875 || 1468 || bgcolor="#0066FF" | 53.12 || bgcolor="#0066FF" | -<br />
|-<br />
|}<br />
<br />
'''Scientific Linux SL release 4.5 (Beryllium) x86_64, gcc v3.4.6'''<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3] !! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits/machine [4]''' !! '''SPEC HEP 64bits/machine [5]''' <br />
|-<br />
| Dell P21950 || Clovertown E5420 2.50GHz || 8 || 16Go || - || - || - || bgcolor="#0066FF" | 63.18 || bgcolor="#0066FF" | 57.63<br />
|-<br />
|}<br />
<br />
'''Scientific Linux SL release 5.3 (Boron) x86_64 gcc version 4.1.2 20080704 (Red Hat 4.1.2-44)'''<br />
<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3] !! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits/machine [4]''' !! '''SPEC HEP 64bits/machine [5]''' <br />
|-<br />
| Dell P21950 || Clovertown E5420 2.50GHz || 8 || 16Go || - || - || - || bgcolor="#0066FF" | [6] || bgcolor="#0066FF" | [6]<br />
|-<br />
| Dell R410 || Nehalem E5520 2.26GHz || 8 || 16Go || - || - || - || bgcolor="#0066FF" | 94.38 || bgcolor="#0066FF" | -<br />
|-<br />
| Dell R410 || Nehalem E5520 2.26GHz || 16 [7] || 16Go || - || - || - || bgcolor="#0066FF" | 114.36 [7] || bgcolor="#0066FF" | -<br />
|-<br />
|}<br />
<br />
<br />
<br />
'''Fiches SPEC des machines :'''<br />
<br />
Dell PowerEdge 1955 Woodcrest 5160 : http://www.spec.org/osg/cpu2000/results/res2006q3/cpu2000-20060626-06298.html<br />
<br />
Dell PowerEdge 1950 Clovertown E5420 2.33GHz : <br />
<br />
Dell PowerEdge 1950 E5420 2.50GHz : <br />
<br />
IBM 3550 Woodcrest 5160 : http://www.spec.org/osg/cpu2000/results/res2006q3/cpu2000-20060623-06219.html<br />
<br />
IBM 3350 Clovertown E5345 : http://www.spec.org/osg/cpu2000/results/res2006q4/cpu2000-20061113-07918.html<br />
<br />
'''Notes :'''<br />
<br />
[1] : Moyenne de 3 exécutions successives avec les optimisations CERN, chaque exécution démarrant un benchmark CPU2000 par CPU core. <br />
<br />
[2] : Correction : La valeur moyenne ci-dessus + 50%. C'est la valeur à publier via le système d'information de la grille.<br />
<br />
[3] : Une exécution unique avec les optimisations FZK à titre indicatif.<br />
<br />
[4] : Benchmark suite HEP SPEC, en suivant les recommandations : https://twiki.cern.ch/twiki/bin/view/FIOgroup//TsiBenchHEPSPEC <br />
<br />
[5] : A titre indicatif : résultats avec les binaires 64bits (HEP-SEPC06 n'est défini que pour des binaires 32bits)<br />
<br />
[6] : Ce test est suspendu car je suis tombé sur le problème suivant : <br />
https://www.jiscmail.ac.uk/cgi-bin/webadmin?A2=ind0909&L=LCG-ROLLOUT&P=R3371<br />
<br />
[7] : En activant l'hyperthreading, les benches tournent en 16 exemplaires. A titre indicatif (une seule mesure).<br />
<br />
----<br />
<br />
==== Tests réalisés au LAPP (eric) : ====<br />
<br />
Scientific-Linux V3.08 i386, gcc v3.4.3<br />
<br />
A noter que les tests ont été réalisés sur des machines dont tous les services non nécéssaires étaient desactivés<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3]!! CERN SI2K/core corrigé [2] <br />
|-<br />
| HP BL 460c || Woodcrest 2.66GHz || 4 || 8Go || 1367 || 1665 || 2050 <br />
|-<br />
|}<br />
<br />
<br />
Scientific-Linux V4.5 x86_64, gcc v3.4<br />
<br />
A noter que les tests ont été réalisés sur des machines dont tous les services non nécéssaires étaient desactivés. Un tuning "simple" au niveau du bios donne des disparités dans les résultats des bench qui depassent les 10 %.<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3]!! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits [4] per machin''' !! '''HEP-SPEC06 64bits [4] per machin''' <br />
|-<br />
| HP BL 460c || Woodcrest 2.66GHz || 4 || 8Go || 1485 || 1592 || 2227 || bgcolor="#0066FF" | 36.58 || bgcolor="#0066FF" | 34.6 <br />
|-<br />
| HP BL 460c || Clovertown 2.33GHz || 8 || 16Go || 1225 || x || 1837 || bgcolor="#0066FF" | 56.04 || bgcolor="#0066FF" | 51.18<br />
|-<br />
| DELL 1950 || Intel 5335 2GHz || 8 || 8Go || 1060 || 1139 || 1590 || bgcolor="#0066FF" | x || bgcolor="#0066FF" | x<br />
|-<br />
| HP BL 460c || Harpertown 3GHz || 8 || 16Go || 1620 || 1715 || 2430 || bgcolor="#0066FF" | 70.83 || bgcolor="#0066FF" | 63.99<br />
|-<br />
| DELL M600 || Harpertown 2.66GHz || 8 || 32Go || 1481 || 1588 || 2221 || bgcolor="#0066FF" | x || bgcolor="#0066FF" | x<br />
|-<br />
| HP BL 2x220G6 || Nehalem L5520 2.27GHz || 8 || 16Go || x || x || x || bgcolor="#0066FF" | 95.35 || bgcolor="#0066FF" | x<br />
|}<br />
<br />
<br />
[1] : Moyenne de 3 exécutions successives avec les optimisations CERN, chaque exécution démarrant un benchmark CPU2000 par CPU core. <br />
<br />
[2] : Correction : La valeur moyenne ci-dessus + 50%. C'est la valeur à publier via le système d'information de la grille.<br />
<br />
[3] : Une exécution unique avec les optimisations FZK à titre indicatif.<br />
<br />
[4] : Benchmark suite HEP SPEC, en suivant les recommandations : https://twiki.cern.ch/twiki/bin/view/FIOgroup//TsiBenchHEPSPEC <br />
L'hyperthreading toujours désactivé : nb de cores logiques = nb de cores physiques<br />
<br />
----<br />
<br />
==== Tests réalisés au CPPM (Edith/Carlos) : ====<br />
<br />
Scientific-Linux 4.6 x86_64, gcc v3.4.6<br />
<br />
Scientific-Linux 5.3 x86_64, gcc 4.1.2 <br />
<br />
A noter que les tests ont été réalisés sur des machines dont tous les services non nécéssaires étaient desactivés<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN32 SI2K/core || CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits (SL4)''' || '''HEP-SPEC06 32bits (SL5.3)''' || '''HEP-SPEC06 64bits (SL5.3)'''<br />
|-<br />
| HP DL145 || Opteron 250 2.4Ghz || 2 || 4Go || 1149 || 1278 || 972 || 1725 || 15.14 || bgcolor="#0066FF" | 16.16 || <br />
|-<br />
| SUN || Opteron 250 2.4Ghz || 2 || 4Go || 1173 || 1298 || 988 || 1760 || || ||<br />
|-<br />
| HP DL145G2 || Opteron 275 2.2 Ghz || 4 ||6Go || 981 || 1087 || 857 || 1471 || 26.52 || bgcolor="#0066FF" | 27.41 ||<br />
|-<br />
| DELL || Opteron 2218 2.6 Ghz || 4 || 8Go || 1199 || 1073 ||1045 || 1798 || 32.24 || bgcolor="#0066FF" | 31.68 ||<br />
|-<br />
| DELL || Xeon E5420 2.5Ghz || 8 || 16 Go || 1418 ||1528 || x ||2128 || 63.12 || bgcolor="#0066FF" | 68.64 ||<br />
|-<br />
|DELL || Xeon X5550 2.67GHz || 8 || 24 Go || || || || || || bgcolor="#0066FF" | 116 ||<br />
|-<br />
|DELL || Xeon X5550 2.67GHz || 16 [1] || 24 Go || || || || || || bgcolor="#0066FF" | 145.82 ||<br />
|- <br />
|DELL || Xeon X5650 2.67GHz || 24 [2] || 48 Go || || || || || || || bgcolor="#0066FF" | 0 <br />
<br />
|}<br />
<br />
<br />
[1] 8 cores / 16 virtual cpu<br />
<br />
[2] 12 cores / 24 virtual cpu<br />
<br />
----<br />
<br />
==== Tests réalisés à l'IPHC (Jérôme) : ====<br />
<br />
Scientific-Linux 5.3 x86_64, gcc v4.1.2<br />
<br />
Pour la réalisation de ces tests, seuls les services indispensables étaient activés. Pour chaque système, le résultat indiqué est une moyenne de quatre tests. Compte tenu de la variation des résultats, une seule décimale est affichée.<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits [1] per machin'''<br />
|-<br />
| DELL M600 || Xeon E5410 2.33Ghz || 8 || 16Go || N/A || N/A || N/A || bgcolor="#0066FF" | 61.1<br />
|-<br />
| DELL M600 || Xeon L5420 2.50Ghz || 8 || 16Go || N/A || N/A || N/A || bgcolor="#0066FF" | 65.4<br />
|-<br />
| DELL M610 || Xeon E5530 2.40Ghz || 8 || 24Go || N/A || N/A || N/A || bgcolor="#0066FF" | 100,6<br />
|-<br />
| DELL M610 [1] || Xeon E5530 2.40Ghz || 8 + 8 || 24Go || N/A || N/A || N/A || bgcolor="#0066FF" | 127,0<br />
|}<br />
<br />
<br />
[1] Option "Virtual CPU" activée.<br />
<br />
----<br />
<br />
==== Tests réalisés au LPC (Jean-Claude) : ====<br />
<br />
Scientific-Linux 4.6 x86_64, gcc v3.4.6<br />
<br />
Pour la réalisation de ces tests, seuls les services indispensables étaient activés.<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits [1] per machin'''<br />
|-<br />
| IBM Blade || Xeon E5345 2.33Ghz || 8 || 16Go || N/A || N/A || N/A || bgcolor="#0066FF" | 57.41<br />
|}<br />
<br />
[1] Moyenne des résultats obtenus sur trois tests.<br />
<br />
<br />
Scientific-Linux 5.3 x86_64, gcc v4.1.2<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits [2] per machin'''<br />
|-<br />
| IBM Blade || Xeon E5430 2.66Ghz || 8 || 12Go || N/A || N/A || N/A || bgcolor="#0066FF" | 70.64<br />
|}<br />
<br />
[2] Moyenne des résultats obtenus sur quatre tests.<br />
<br />
<br />
----<br />
<br />
==== Tests réalisés au LLR (pascale): ====<br />
<br />
Scientific-Linux 5.3 x86_64, gcc v4.1.2<br />
<br />
les machines ont ete installees comme les WN standard de la grille<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! Virtual CPU enabled !! '''HEP-SPEC06 32bits per machin''' !! HEP-SPEC06 64bits [1] per machin''' <br />
|-<br />
| DELL R410 || E 5520 || 16[1] || 24Go || YES || 118.57 || 143.44<br />
|-<br />
| || E 5540 || 16[1] || 24Go || YES || 128.38 || 151.03<br />
|-<br />
| DELL R410 || E 5520 || 8 || 24Go || NO || 96.51 || 113.35<br />
|-<br />
| || E 5540 || 8 || 24Go || NO || 103.41|| 121.47<br />
|-<br />
| DELL R410 || E 5520 || 16[1] || 16Go || YES || Pas fait || Pas fait<br />
|-<br />
| || E 5540 || 16[1] || 16Go || YES || Pas fait || 148.64<br />
|-<br />
| DELL R410 || E 5520 || 8 || 16Go || NO || 94.97 || 109.42<br />
|-<br />
| || E 5540 || 8 || 16Go || NO || 102.41|| 117.5<br />
<br />
<br />
<br />
|}<br />
<br />
<br />
[1] Sur les serveurs il y a réellement 8 cores en tout. A cause de l'activation du "Virtual CPU" , le systeme d'exploitation pense qu'il y a 16 procs : la commande /proc/cpuinfo donne 16 coeurs. D'après les tests il est interessant d'activer le "Virtual CPU". Mais, combien de jobs faut-il activer en parallele? Et comment allons-nous les déclarer dans la grille?<br />
Voici les résultats des tests avec 8, 10, 12, 14 et 16 jobs lancés en parallèle pour la <br />
configuration suivante : R410, 16g ram, Virtual CPU activé.<br />
<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Nb jobs !! HEP-SPEC06 64bits [1] per machin''' <br />
|-<br />
| 8 jobs || 115.66 <br />
|-<br />
| 10 jobs || 130.66 <br />
|-<br />
| 12 jobs || 139.29 <br />
|-<br />
| 14 jobs || 144.38 <br />
|-<br />
| 16 jobs || 148.64<br />
<br />
|}<br />
<br />
----<br />
==== Tests réalisés à l'IRFU (Christine): ====<br />
Scientific Linux SL release 5.3 (Boron)<br />
<br />
2.6.18-164.6.1.el5 #1 SMP Tue Nov 3 23:02:51 EST 2009 x86_64 x86_64 x86_64 GNU/Linux<br />
<br />
version gcc 4.1.2 20080704 (Red Hat 4.1.2-44)<br />
<br />
<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Virtual CPU enabled !! Nbre de thread !! Mémoire RAM !! HEP-SPEC06 64bits per machin [1]''' <br />
|-<br />
| Bull R422 || E 5520 || 16 Virtual CPU / 8 physical CPU || YES || 16 || 24Go || 142.26<br />
|- <br />
| Bull R422 || E 5520 || 16 Virtual CPU / 8 physical CPU || YES || 12 || 24Go || 136.69<br />
|- <br />
| Bull R422 || E 5520 || 16 Virtual CPU / 8 physical CPU || YES || 8 || 24Go || 114.67<br />
|- <br />
| Bull R422 || E 5520 || 8 || NO || 8 || 24Go || 114.01<br />
|- <br />
| Bull R422 || E 5520 || 8 || NO || 12 || 24Go || 121.39<br />
|- <br />
| Fujitsu PRIMERGY RX200 || Intel(R) Xeon(R) CPU L5420 @ 2.50GHz || 8 || _ || 8 || 16Go || 71.26<br />
|- <br />
|}<br />
<br />
<br />
[1] Moyenne des résultats obtenus sur deux tests<br />
=== Résultats des benchs GRIDPP (UK) === <br />
* http://www.gridpp.ac.uk/wiki/HEPSPEC06</div>
Carranza
https://lcg.in2p3.fr/index.php?title=Nagios_regional&diff=5787
Nagios regional
2010-04-09T09:02:01Z
<p>Carranza: /* Services nagios BOX */</p>
<hr />
<div>Installation d'une NOGIOS box pour le ROC France<br />
<br />
= 1) Installation de base : =<br />
a. Machine installée par les sysadmin du CC : OS + VOBOX + certificat + pas dans les NIS<br />
<br />
b. Accessible via gsissh (port 1975)<br />
<br />
= 2) Action faite au préalable : =<br />
a. Faire la demande pour que la machine soit autorisée à récupérer les SAM tests : https://gus.fzk.de/ws/ticket_info.php?ticket=55132<br />
<br />
b. Autoriser la nagios box à récupérer les proxy en mode « retrieval », et stocker un proxy depuis une UI récuperable par la nagiosBOX voir [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe0 Annexe0]<br />
<br />
<br />
c. Certificat utilisé pour :<br />
<br />
i. Access to GOCDB PI for ROCS GOCDB PI level 2 required <br />
<br />
ii. Recuperation de proxy pour les sondes locales<br />
<br />
d. s'inscrire dans la mailing liste: regional-nagios-admins@cern.ch (très réactive)<br />
<br />
= 3) Installation de Nagios =<br />
Reference : https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgYaim<br />
== Installation des packages via yum, Ajout des repos suivant ==<br />
a. mirrors-rpmforge (rpm rpmforge-release-0.5.1-1.el5.rf.x86_64.rpm)<br />
b. rpmforge-testing.repo<br />
c. rpmforge.repo<br />
d. glite-UI.repo<br />
e. sa1-centos5-release.repo (rpm: sa1-release-2-1.el5.noarch.rpm)<br />
f. glite-BDII.repo<br />
<br />
Problèmes de dépendances rencontrées si besoin se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe1 Annexe1] (mais j’avais dû oublier de faire un : yum install egee-NAGIOS)<br />
<br />
<br />
== Installation subversion ==<br />
Certain fichier de config sont a recuperer via svn au CERN:<br />
<br />
yum install subversion<br />
svn co http://svnweb.cern.ch/guest/sam/trunk/roc-config<br />
<br />
<br />
cp /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm.orig<br />
cp roc-config/Hash.pm_55_ALL_CRIT /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm<br />
<br />
== Mysql ==<br />
<br />
1. Installer la dernière version de Mysql (server + client) ; <br />
<br />
2. configurer le mot de passe admin se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe2 Annexe2a] ;<br />
<br />
3. Configurer les users utiles à la nagios Box se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe2 Annexe2b] ;<br />
<br />
== Configuration via yaim et NCG (en 2 fois)==<br />
<br />
1. Remplir /etc/ncg/ncg.localdb avec la liste des sites se referer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe3 Annexe3]<br />
<br />
<br />
2. Remplir le /opt/glite/yaim/site-info.def voir [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe4 Annexe4] ;<br />
<br />
3. groupadd nagios<br />
<br />
4. modif des uids/gids : /opt/glite/yaim/examples/edgusers.conf [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe5 Annexe5]<br />
<br />
<br />
5. lancement de la configuration automatique via yaim (All On One Box) :<br />
<br />
/opt/glite/yaim/bin/yaim -s /opt/glite/yaim/site-info.def -c -n glite-UI -n glite-NAGIOS<br />
<br />
6. lancement de la configuration via NCG (All On One Box) :<br />
<br />
/usr/sbin/ncg.pl<br />
<br />
.....MODIFICATION importante:: voir: https://twiki.cern.ch/twiki/bin/view/EGEE/ValidateROCNagios<br />
La partie:<br />
# Configure manually /etc/ncg/ncg.conf (Template can be found here: ncg.conf.template: )<br />
- Switch off automatic generation of ncg.conf by YAIM (NAGIOS_NCG_ENABLE_CONFIG"="false")<br />
- Take ncg.conf.template and copy it to /etc/ncg/ncg.conf<br />
- Set $ROC_NAME$<br />
- Set $YOUR_MYPROXY_SERVER$ (e.g. myproxy-fts.cern.ch)<br />
- Set $MYPROXY_NAME$ (e.g.: NagiosRetrieve-sam-ap-roc.cern.ch)<br />
- Set $NAGIOS_ROLE$ (e.g.: ngi, roc)<br />
# Take Hash.pm file that we are currently using at the CERN ROC Nagios boxes. In this file, we have removed the metrics that do not belong to the SAM_Critical profile, so only the metrics defined at ROC_SAM_critical are configured, and not relevant services like SRMv1 are commented out. The file is located under /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm <br />
<br />
Pour éviter d'avoir des sondes inappropriés.<br />
<br />
== Tuning the configuration ==<br />
<br />
1. Verifier dans /etc/sysconfig/nagios:<br />
LD_LIBRARY_PATH=/opt/classads/lib64:/opt/glite/lib64:/opt/globus/lib:/opt/c-ares/lib:/opt/classads/lib64 <br />
<br />
2. Desactiver les notifications, dans les fichiers de conf: <br />
a. /etc/nagios/nagios.cfg, désactiver les notifications:enable_notifications=0 ;log_notifications=0<br />
b. /etc/nagios/wlcg.d/host.templates.cfg<br />
c. /etc/nagios/wlcg.d/service.templates.cfg<br />
<br />
4. N’autoriser que les dteam/France à visualiser notre interface nagios : modifier le fichier : <br />
/etc/voms2htpasswd.conf, avec : vomss://voms.cern.ch:8443/voms/dteam?/dteam/france<br />
Plus utile site le site-info.def est défini correctement:<br />
VO_DTEAM_VOMS_SERVERS='vomss://voms.cern.ch:8443/voms/dteam?/dteam/france'<br />
<br />
== ActiveMQ ==<br />
/usr/sbin/msg-to-queue --prefix /queue/grid.probe.metricOutput.EGEE.a635834332381123c8b296d02b682f8f --broker-uri stomp://prod-grid-msg.cern.ch:6163<br />
<br />
[root@cclcgvmli03 cron.hourly]# cat check_msg-to-queue.sh<br />
<br />
Verifier les messages:<br />
/usr/libexec/grid-monitoring/plugins/nagios/recv_from_queue -v <br />
<br />
faire une update de perl-GridMon <br />
The problem here is in the message handler <br />
(/usr/lib/perl5/vendor_perl/5.8.8/GridMon/MsgHandler/MetricOutput.pm). <br />
Probe on WN reports hostname localhost.localdomain and serviceURI CE <br />
hostname. In the previous version message handler first checked hostname <br />
value and then serviceURI. That is the reason why Christine is seeing <br />
results for localhost.localdomain. However, we fixed this and the latest <br />
version (1.0.34) parses messages correctly.<br />
<br />
yum update perl-GridMon<br />
<br />
<br />
== Systeme d'information ==<br />
La nagios Box doit etre enregistré dans la GOCDB <br />
et publié dans le site-BDII:<br />
ldapsearch -x -H ldap://ccnagboxli01.in2p3.fr:2170 -b 'Mds-vo-name=resource,o=Grid'<br />
<br />
= validation =<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/ValidateROCNagios<br />
<br />
now you should publish your Nagios in your Site BDII<br />
And we should declare the node in the GOCDB: Regional-NAGIOS ou National-Nagios, a determiner<br />
<br />
<br />
liste des sondes a valider: d'après: https://twiki.cern.ch/twiki/bin/view/LCG/SAMCriticalTestsForCODs<br />
<br />
== Services grilles ==<br />
<br />
{| border="1" width="100%"<br />
| width="5%" |<br />
Type de Noeuds<br />
| width="5%" |<br />
Validé par<br />
| width="20%" |<br />
Valid (Y or N)<br />
|----<br />
|<br />
APEL<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
N: Pas de métric ?<br />
|----<br />
|<br />
BDII (site and TOP)<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y<br />
|----<br />
|<br />
CE<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
- Probleme identifié pour la variable LCG_GFAL_INFOSYS quand c'est une liste (CE lpnce.in2p3.fr):<br />
LCG_GFAL_INFOSYS=topbdii.grif.fr:2170,cclcgtopbdii01.in2p3.fr:2170,lapp-bdii01.in2p3.fr:2170<br />
<br />
-Tout le mecanisme de recuperation des outputs n'est pas compris mais globalement on a les meme resultat que celui du CERN<br />
|----<br />
|<br />
CREAMCE<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: idem CERN nagiosBOX (mais sonde Brokerinfo toujours en erreur: probleme connu: https://savannah.cern.ch/bugs/?61322)<br />
|----<br />
|<br />
FTS<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y and NO: For the check_command those options should be added: <br />
--cert /etc/nagios/globus/hostcert.pem --key /etc/nagios/globus/hostkey.pem -x $USER2$ (this should be fixed in the next release)<br />
|----<br />
|<br />
gRB/WMS<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y:(certificate lifetime only)<br />
|----<br />
|<br />
LFC_C<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: mais il faudrait peut etre demander au site de supporter la VO ops pour que leur LFC soit testé (lfc-ls et lfc-ping)?<br />
|----<br />
|<br />
LFC_L<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: mais il faudrait peut etre demander au site de supporter la VO ops pour que leur LFC soit testé (lfc-ls et lfc-ping)?<br />
|----<br />
|<br />
MPI<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
MyProxy<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
RB<br />
| width="5%" |<br />
nobody<br />
| width="30%" |<br />
N: Service Deprecated. Does NOT apply in Nagios<br />
|----<br />
|<br />
RGMA / MON<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y (certificate lifetime only)<br />
|----<br />
|<br />
<br />
SRMv2<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
VOBOX<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y<br />
|----<br />
|<br />
VOMS<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|}<br />
<br />
<br />
<br />
<br />
== Services nagios BOX ==<br />
<br />
{| border="1" width="100%"<br />
| width="7%" |<br />
Services<br />
| width="5%" |<br />
Validé par<br />
| width="20%" |<br />
Valid (Y or N)<br />
|----<br />
|<br />
hr.srce.CAdist-Version<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Check if the CA distribution installed on the nagios boxe is up-to-date<br />
|----<br />
|<br />
hr.srce.CertLifetime<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Check the validity of the nagios boxe certificate<br />
|----<br />
|<br />
hr.srce.GridProxy-Get-ops<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Try to retrieve a proxy from the available MyProxy server@cea<br />
|----<br />
|<br />
hr.srce.GridProxy-Valid-ops<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Check if the proxy owned by nagios on the nagios boxe is valid - This is very important unless grid probes could not run<br />
|----<br />
|<br />
org.egee.ATPSync<br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.CheckConfig<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y<br />
|----<br />
|<br />
org.egee.ImportGocdbDowntimes <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Import from the GOC DB downtimes related to sites from ROC Fr<br />
|----<br />
|<br />
org.egee.MDDBSync <br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.RecvFromQueue<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y<br />
|----<br />
|<br />
org.egee.SendToMetricStore<br />
| width="5%" |<br />
cc<br />
| width="30%" | <br />
Y <br />
|----<br />
|<br />
org.egee.SendToMsg<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y : a identifier les differents topics ( qui remplit le repertoire outgoing ???, trois topics ??)<br />
|----<br />
|<br />
org.nagios.DiskCheck <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Check critical disk spaces - warning when 80% is full - critical when 95% is full<br />
|----<br />
|<br />
org.nagios.ProcessCrond <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Check if main processes crond are running on the nagios boxe<br />
|----<br />
|<br />
org.nagios.ProcessMsgToQueue <br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y: test if msg-to-queue proc is running<br />
|----<br />
|<br />
org.nagios.ProcessNpcd<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y: test if npcd pnp4nagios (pour les graphes de performances) proc is running<br />
|----<br />
|<br />
org.sam.CE-JobMonit-ops <br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y<br />
|----<br />
|<br />
org.sam.CREAMCE-JobMonit-ops <br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
? : je supose que le resultat est correct (?)<br />
|----<br />
|<br />
org.sam.mpi.CE-JobMonit-ops<br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
hr.srce.MyProxy-ProxyLifetime-ops<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
n<br />
|----<br />
|}<br />
<br />
= Mise à jour =<br />
Pour modifier la configuration (Exemple nouveau site a ajouter pour le FOC france):<br />
<br />
Modifier '''/etc/ncg/ncg.localdb''' en conséquence.<br />
<br />
Au prealablefaire une "sauvegarde" local de la config nagios:<br />
mv /etc/nagios/wlcg.d /etc/nagios/wlcg.d.old<br />
<br />
<br />
Puis executer le script ncg:<br />
/usr/sbin/ncg.pl<br />
<br />
Et redemarrer nagios avec la nouvelle configuration:<br />
/etc/init.d/nagios restart<br />
<br />
Verifier que la config est OK et faire un commit dans svn '''svn ci''' pour la sauvegarde de la configuration.<br />
svn ci xxxxx<br />
<br />
<br />
Source d'information pour NCG:<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgOverview<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgRecipes<br />
<br />
= bascule =<br />
Si probleme hardware sur la machine=> bascule sur la machine virtuelle de secours (Nadia ou Jacques).<br />
Faire ensuite un '''svn co''' de la config nagios pour avoir la derniere config de production.<br />
<br />
<br />
<br />
= Annexes =<br />
<br />
<br />
== Annexe0 ==<br />
<br />
Sur le myproxyserver, il faut que le nagios server soit "trusted retriever" et "authorized retrievers":<br />
[cleroy@grid08 ~]$ grep cclcgvmli03 /opt/glite/etc/myproxy-server.conf<br />
trusted_retrievers /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=cclcgvmli03.in2p3.fr<br />
authorized_retrievers /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=cclcgvmli03.in2p3.fr<br />
<br />
<br />
Sur une UI:<br />
<br />
voms-proxy-init -voms ops:/ops/Role=lcgadmin<br />
myproxy-init -c 336 -k nagios_roc_fr2-ops -s myproxy.grif.fr -l nagios -x -Z "/O=GRID-FR/C=FR/O=CNRS/OU=CC-IN2P3/CN=ccnagboxli01.in2p3.fr"<br />
<br />
== Annexe 1 ==<br />
rpm -ivh http://www.sysadmin.hep.ac.uk/rpms/egee-SA1/centos5/x86_64/sa1-release-2-1.el5.noarch.rpm<br />
rpm -ivh http://packages.sw.be/rpmforge-release/rpmforge-release-0.5.1-1.el5.rf.x86_64.rpm<br />
<br />
yum install atp<br />
yum install bouncycastle<br />
yum install broker<br />
yum install broker-cache<br />
yum install dcache-srmclient<br />
yum install dummy-ca-certs<br />
yum install egee-NAGIOS<br />
yum install egee-NAGIOS egee-NRPE<br />
yum install egee-NRPE<br />
yum install fetch-crl<br />
yum install fipscheck fipscheck-lib<br />
yum install glite-UI<br />
yum install glite-security-voms-clients<br />
yum install glite-wms-ui-commands<br />
yum install glite-yaim-core<br />
yum install glite-yaim-nagios<br />
yum install httpd<br />
yum install jdk<br />
yum install lcg-CA<br />
yum install lcg-CA egee-NAGIOS<br />
yum install lcg_util<br />
yum install mddb<br />
yum install msg-publish-simple<br />
yum install myproxy<br />
yum install mysql-client<br />
yum install mysql-server<br />
yum install nagios-proxy-refresh<br />
yum install perl-Config-Tiny<br />
yum install perl-DBD-MySQL<br />
yum install perl-rrdtool-1.3.8-2.el5.rf.x86_64<br />
yum install python-yaml<br />
yum install sun-jaf<br />
yum install uberftp-client<br />
yum install vdt_globus_rm_client<br />
<br />
yum update glite-yaim-clients<br />
yum update glite-yaim-core<br />
yum update glite-yaim-nagios<br />
yum update mysql-server<br />
yum update perl-DBI<br />
<br />
<br />
<br />
== Annexe2 ==<br />
a)Mot de passe admin mysql :<br />
Yum pour recupérer la derniere version de Mysql :<br />
''MySQL-server-community'', ne pas oublier le client (pas de dépendance dessus)<br />
Demmarrage de mysql avec --skip-grant-tables (pour ne pas avoir de mot de passe a rentrer)<br />
mysqld_safe --skip-grant-tables &<br />
[root@cclcgvmli03 ~]# mysql -u root <br />
update user set password=PASSWORD("NEW-ROOT-PASSWORD") where User='root';<br />
<br />
b)creation des users pour le nagios regional:<br />
[root@cclcgvmli03 ~]# mysql -u root -p<br />
mysql> GRANT SELECT, INSERT, UPDATE, DELETE ON nagios.* TO 'ndouser'@'localhost' IDENTIFIED by 'ROCfr2009';<br />
mysql> GRANT SELECT, INSERT, UPDATE, DELETE ON atp.* TO 'atpuser'@'localhost' IDENTIFIED by 'ROCfr2009';<br />
<br />
<br />
== Annexe 3 ==<br />
<br />
[root@cclcgvmli03 ~]# cat /etc/ncg/ncg.localdb<br />
#<br />
# Local Rules file to modify NCG configuration<br />
#<br />
SITE!AUVERGRID<br />
SITE!CGG-LCG2<br />
SITE!ESRF<br />
SITE!GRIF<br />
SITE!IBCP-GBIO<br />
SITE!IN2P3-CC<br />
SITE!IN2P3-CC-PPS<br />
SITE!IN2P3-CC-T2<br />
SITE!IN2P3-CPPM<br />
SITE!IN2P3-IPNL<br />
SITE!IN2P3-IRES<br />
SITE!IN2P3-LAPP<br />
SITE!IN2P3-LPC<br />
SITE!IN2P3-LPSC<br />
SITE!IN2P3-SUBATECH<br />
SITE!IPSL-IPGP-LCG2<br />
SITE!M3PEC<br />
SITE!MSFG<br />
SITE!MSFG-MULTI<br />
SITE!MSFG-OPEN<br />
SITE!OBSPM<br />
SITE!PARIS-UREC-IPV6<br />
SITE!SN-UCAD<br />
SITE!ROC-FR<br />
SITE!SOLEIL<br />
SITE!StratusLab<br />
[root@cclcgvmli03 ~]#<br />
<br />
== Annexe 4 ==<br />
<br />
SITE_EMAIL=c.leroy@cea.fr<br />
SITE_NAME=ROC-FR<br />
RB_HOST=node04.datagrid.cea.fr<br />
WMS_HOST=node04.datagrid.cea.fr<br />
PX_HOST=myproxy.grif.fr<br />
BDII_HOST=topbdii.grif.fr<br />
SITE_BDII_HOST=bdii.grif.fr<br />
MON_HOST=node06.datagrid.cea.fr<br />
VOS="dteam"<br />
DTEAM_GROUP_ENABLE="dteam"<br />
VO_DTEAM_SW_DIR=$VO_SW_DIR/dteam<br />
VO_DTEAM_DEFAULT_SE=$SE_HOST<br />
VO_DTEAM_STORAGE_DIR=$CLASSIC_STORAGE_DIR/dteam<br />
VO_DTEAM_VOMS_SERVERS='vomss://voms.cern.ch:8443/voms/dteam?/dteam/'<br />
VO_DTEAM_VOMSES="'dteam lcg-voms.cern.ch 15004 /DC=ch/DC=cern/OU=computers/CN=lcg-voms.cern.ch dteam 24' 'dteam voms.cern.ch 15004 /DC=ch/DC=cern/OU=computers/CN=voms.cern.ch dteam 24'"<br />
VO_DTEAM_VOMS_CA_DN="'/DC=ch/DC=cern/CN=CERN Trusted Certification Authority' '/DC=ch/DC=cern/CN=CERN Trusted Certification Authority'"<br />
NAGIOS_HOST=cclcgvmli03.in2p3.fr<br />
NAGIOS_ADMIN_DNS="/O=GRID-FR/C=FR/O=CEA/OU=IRFU/CN=Christine Leroy","/O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=Nadia Lajili","/O=GRID-FR/C=FR/O=CNRS/OU=LPC/CN=Emmanuel Medernach","/O=GRID-FR/C=FR/O=CNRS/OU=CPPM/CN=Juan Carlos Carranza"<br />
NAGIOS_NCG_ENABLE_CONFIG=true<br />
NAGIOS_NAGIOS_ENABLE_CONFIG=true<br />
NCG_GOCDB_ROC_NAME=France<br />
ROC_NAME=France<br />
NCG_PROBES_TYPE=remote,native,local<br />
NCG_VO=dteam<br />
NAGIOS_MYPROXY_NAME=nagios_roc_fr2<br />
NAGIOS_MYPROXY_USER=nagios<br />
MSG_BROKER_CACHE_NETWORK=PROD<br />
NAGIOS_ROLE=roc<br />
NAGIOS_HTTPD_ENABLE_CONFIG=true<br />
NAGIOS_SUDO_ENABLE_CONFIG=true<br />
NAGIOS_CGI_ENABLE_CONFIG=true<br />
NCG_LDAP_FILTER=GlueSiteOtherInfo=EGEE_ROC=France<br />
NAGIOS_DB_PASS=x<br />
NAGIOS_NSCA_PASS=x<br />
MYSQL_ADMIN=x<br />
ATP_DB_PASS=x<br />
MDDB_DB_PASS=x<br />
MS_DB_PASS=x<br />
MYSQL_PASSWORD=x<br />
MYEGEE_DB_PASS=x<br />
<br />
== Annexe 5 ==<br />
<br />
[root@cclcgvmli03 ~]# cat /opt/glite/yaim/examples/edgusers.conf<br />
11151:${DPMMGR_USER}:11151:${DPMMGR_GROUP}:DPM user:<br />
11152:${EDG_USER}:11152,11156:${EDG_GROUP},${INFOSYS_GROUP}:EDG user:${EDG_HOME_DIR}<br />
11153:${EDGINFO_USER}:11153,1156:${EDGINFO_USER},${INFOSYS_GROUP}:EDG info user:${EDGINFO_HOME_DIR}<br />
11154:${RGMA_USER}:11154,1156:${RGMA_GROUP},${INFOSYS_GROUP}:RGMA user:${INSTALL_ROOT}/glite/etc/rgma<br />
11155:${GLITE_USER}:11155:${GLITE_GROUP}:gLite user:${GLITE_HOME_DIR}<br />
11156:${BDII_USER}:11158:${BDII_GROUP}:BDII user:${BDII_HOME_DIR}<br />
<br />
<br />
== Annexe 6 ==<br />
<br />
Probleme rencontré sur ccnagboxli01 (arret de ypbind + rpm manquant)<br />
chown -R nagios:nagios /var/spool/pnp4nagios<br />
chown -R nagios:nagios /var/spool/msg-nagios-bridge<br />
chown root:nagios /etc/atp/atp_db.conf<br />
chown root:nagios /etc/mddb/databases.yml<br />
chown nagios:apache /var/nagios/rw<br />
chown -R nagios:apache /var/nagios/rw<br />
chown root:nagios /etc/nagios/plugins/send_to_db.ini<br />
chown -R nagios:nagios /var/cache/msg/config-cache<br />
chown -R nagios:root /var/log/mddb<br />
chown -R nagios:root /var/log/pnp4nagios<br />
chown -R nagios:root /var/log/nagios<br />
<br />
<br />
useradd -g 40011 -u 10011 nagios<br />
useradd --group mysql -u 2730 mysql<br />
useradd -g mysql -u 2730 mysql<br />
<br />
groupadd -g 40010 nagiosmaster<br />
groupadd -g 146 leftuser<br />
<br />
yum install glite-security-voms-api-c-1.8.12-2.sl5.x86_64<br />
yum update perl-Net-SSLeay<br />
yum update perl-IO-Socket-SSL-1.01-1.fc6.noarch<br />
yum install glite-wms-ui-commands<br />
yum install lcg_util-1.7.6-1.sl5.x86_64<br />
yum install GFAL-client-1.11.8-2.sl5.x86_64 GFAL-client-1.11.8-2.sl5.i386<br />
yum install CGSI_gSOAP_2.7-1.3.3-1.sl5.x86_64<br />
yum install LFC-interfaces-1.7.3-1sec.sl5.x86_64 LFC-client-1.7.3-1sec.sl5.x86_64 lcg-dm-common-1.7.3-1sec.sl5.x86_64</div>
Carranza
https://lcg.in2p3.fr/index.php?title=Nagios_regional&diff=5786
Nagios regional
2010-04-08T16:04:23Z
<p>Carranza: /* Services nagios BOX */</p>
<hr />
<div>Installation d'une NOGIOS box pour le ROC France<br />
<br />
= 1) Installation de base : =<br />
a. Machine installée par les sysadmin du CC : OS + VOBOX + certificat + pas dans les NIS<br />
<br />
b. Accessible via gsissh (port 1975)<br />
<br />
= 2) Action faite au préalable : =<br />
a. Faire la demande pour que la machine soit autorisée à récupérer les SAM tests : https://gus.fzk.de/ws/ticket_info.php?ticket=55132<br />
<br />
b. Autoriser la nagios box à récupérer les proxy en mode « retrieval », et stocker un proxy depuis une UI récuperable par la nagiosBOX voir [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe0 Annexe0]<br />
<br />
<br />
c. Certificat utilisé pour :<br />
<br />
i. Access to GOCDB PI for ROCS GOCDB PI level 2 required <br />
<br />
ii. Recuperation de proxy pour les sondes locales<br />
<br />
d. s'inscrire dans la mailing liste: regional-nagios-admins@cern.ch (très réactive)<br />
<br />
= 3) Installation de Nagios =<br />
Reference : https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgYaim<br />
== Installation des packages via yum, Ajout des repos suivant ==<br />
a. mirrors-rpmforge (rpm rpmforge-release-0.5.1-1.el5.rf.x86_64.rpm)<br />
b. rpmforge-testing.repo<br />
c. rpmforge.repo<br />
d. glite-UI.repo<br />
e. sa1-centos5-release.repo (rpm: sa1-release-2-1.el5.noarch.rpm)<br />
f. glite-BDII.repo<br />
<br />
Problèmes de dépendances rencontrées si besoin se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe1 Annexe1] (mais j’avais dû oublier de faire un : yum install egee-NAGIOS)<br />
<br />
<br />
== Installation subversion ==<br />
Certain fichier de config sont a recuperer via svn au CERN:<br />
<br />
yum install subversion<br />
svn co http://svnweb.cern.ch/guest/sam/trunk/roc-config<br />
<br />
<br />
cp /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm.orig<br />
cp roc-config/Hash.pm_55_ALL_CRIT /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm<br />
<br />
== Mysql ==<br />
<br />
1. Installer la dernière version de Mysql (server + client) ; <br />
<br />
2. configurer le mot de passe admin se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe2 Annexe2a] ;<br />
<br />
3. Configurer les users utiles à la nagios Box se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe2 Annexe2b] ;<br />
<br />
== Configuration via yaim et NCG (en 2 fois)==<br />
<br />
1. Remplir /etc/ncg/ncg.localdb avec la liste des sites se referer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe3 Annexe3]<br />
<br />
<br />
2. Remplir le /opt/glite/yaim/site-info.def voir [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe4 Annexe4] ;<br />
<br />
3. groupadd nagios<br />
<br />
4. modif des uids/gids : /opt/glite/yaim/examples/edgusers.conf [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe5 Annexe5]<br />
<br />
<br />
5. lancement de la configuration automatique via yaim (All On One Box) :<br />
<br />
/opt/glite/yaim/bin/yaim -s /opt/glite/yaim/site-info.def -c -n glite-UI -n glite-NAGIOS<br />
<br />
6. lancement de la configuration via NCG (All On One Box) :<br />
<br />
/usr/sbin/ncg.pl<br />
<br />
.....MODIFICATION importante:: voir: https://twiki.cern.ch/twiki/bin/view/EGEE/ValidateROCNagios<br />
La partie:<br />
# Configure manually /etc/ncg/ncg.conf (Template can be found here: ncg.conf.template: )<br />
- Switch off automatic generation of ncg.conf by YAIM (NAGIOS_NCG_ENABLE_CONFIG"="false")<br />
- Take ncg.conf.template and copy it to /etc/ncg/ncg.conf<br />
- Set $ROC_NAME$<br />
- Set $YOUR_MYPROXY_SERVER$ (e.g. myproxy-fts.cern.ch)<br />
- Set $MYPROXY_NAME$ (e.g.: NagiosRetrieve-sam-ap-roc.cern.ch)<br />
- Set $NAGIOS_ROLE$ (e.g.: ngi, roc)<br />
# Take Hash.pm file that we are currently using at the CERN ROC Nagios boxes. In this file, we have removed the metrics that do not belong to the SAM_Critical profile, so only the metrics defined at ROC_SAM_critical are configured, and not relevant services like SRMv1 are commented out. The file is located under /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm <br />
<br />
Pour éviter d'avoir des sondes inappropriés.<br />
<br />
== Tuning the configuration ==<br />
<br />
1. Verifier dans /etc/sysconfig/nagios:<br />
LD_LIBRARY_PATH=/opt/classads/lib64:/opt/glite/lib64:/opt/globus/lib:/opt/c-ares/lib:/opt/classads/lib64 <br />
<br />
2. Desactiver les notifications, dans les fichiers de conf: <br />
a. /etc/nagios/nagios.cfg, désactiver les notifications:enable_notifications=0 ;log_notifications=0<br />
b. /etc/nagios/wlcg.d/host.templates.cfg<br />
c. /etc/nagios/wlcg.d/service.templates.cfg<br />
<br />
4. N’autoriser que les dteam/France à visualiser notre interface nagios : modifier le fichier : <br />
/etc/voms2htpasswd.conf, avec : vomss://voms.cern.ch:8443/voms/dteam?/dteam/france<br />
Plus utile site le site-info.def est défini correctement:<br />
VO_DTEAM_VOMS_SERVERS='vomss://voms.cern.ch:8443/voms/dteam?/dteam/france'<br />
<br />
== ActiveMQ ==<br />
/usr/sbin/msg-to-queue --prefix /queue/grid.probe.metricOutput.EGEE.a635834332381123c8b296d02b682f8f --broker-uri stomp://prod-grid-msg.cern.ch:6163<br />
<br />
[root@cclcgvmli03 cron.hourly]# cat check_msg-to-queue.sh<br />
<br />
Verifier les messages:<br />
/usr/libexec/grid-monitoring/plugins/nagios/recv_from_queue -v <br />
<br />
faire une update de perl-GridMon <br />
The problem here is in the message handler <br />
(/usr/lib/perl5/vendor_perl/5.8.8/GridMon/MsgHandler/MetricOutput.pm). <br />
Probe on WN reports hostname localhost.localdomain and serviceURI CE <br />
hostname. In the previous version message handler first checked hostname <br />
value and then serviceURI. That is the reason why Christine is seeing <br />
results for localhost.localdomain. However, we fixed this and the latest <br />
version (1.0.34) parses messages correctly.<br />
<br />
yum update perl-GridMon<br />
<br />
<br />
== Systeme d'information ==<br />
La nagios Box doit etre enregistré dans la GOCDB <br />
et publié dans le site-BDII:<br />
ldapsearch -x -H ldap://ccnagboxli01.in2p3.fr:2170 -b 'Mds-vo-name=resource,o=Grid'<br />
<br />
= validation =<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/ValidateROCNagios<br />
<br />
now you should publish your Nagios in your Site BDII<br />
And we should declare the node in the GOCDB: Regional-NAGIOS ou National-Nagios, a determiner<br />
<br />
<br />
liste des sondes a valider: d'après: https://twiki.cern.ch/twiki/bin/view/LCG/SAMCriticalTestsForCODs<br />
<br />
== Services grilles ==<br />
<br />
{| border="1" width="100%"<br />
| width="5%" |<br />
Type de Noeuds<br />
| width="5%" |<br />
Validé par<br />
| width="20%" |<br />
Valid (Y or N)<br />
|----<br />
|<br />
APEL<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
N: Pas de métric ?<br />
|----<br />
|<br />
BDII (site and TOP)<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y<br />
|----<br />
|<br />
CE<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
- Probleme identifié pour la variable LCG_GFAL_INFOSYS quand c'est une liste (CE lpnce.in2p3.fr):<br />
LCG_GFAL_INFOSYS=topbdii.grif.fr:2170,cclcgtopbdii01.in2p3.fr:2170,lapp-bdii01.in2p3.fr:2170<br />
<br />
-Tout le mecanisme de recuperation des outputs n'est pas compris mais globalement on a les meme resultat que celui du CERN<br />
|----<br />
|<br />
CREAMCE<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: idem CERN nagiosBOX (mais sonde Brokerinfo toujours en erreur: probleme connu: https://savannah.cern.ch/bugs/?61322)<br />
|----<br />
|<br />
FTS<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y and NO: For the check_command those options should be added: <br />
--cert /etc/nagios/globus/hostcert.pem --key /etc/nagios/globus/hostkey.pem -x $USER2$ (this should be fixed in the next release)<br />
|----<br />
|<br />
gRB/WMS<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y:(certificate lifetime only)<br />
|----<br />
|<br />
LFC_C<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: mais il faudrait peut etre demander au site de supporter la VO ops pour que leur LFC soit testé (lfc-ls et lfc-ping)?<br />
|----<br />
|<br />
LFC_L<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: mais il faudrait peut etre demander au site de supporter la VO ops pour que leur LFC soit testé (lfc-ls et lfc-ping)?<br />
|----<br />
|<br />
MPI<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
MyProxy<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
RB<br />
| width="5%" |<br />
nobody<br />
| width="30%" |<br />
N: Service Deprecated. Does NOT apply in Nagios<br />
|----<br />
|<br />
RGMA / MON<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y (certificate lifetime only)<br />
|----<br />
|<br />
<br />
SRMv2<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
VOBOX<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y<br />
|----<br />
|<br />
VOMS<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|}<br />
<br />
<br />
<br />
<br />
== Services nagios BOX ==<br />
<br />
{| border="1" width="100%"<br />
| width="7%" |<br />
Services<br />
| width="5%" |<br />
Validé par<br />
| width="20%" |<br />
Valid (Y or N)<br />
|----<br />
|<br />
hr.srce.CAdist-Version<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Check if the CA distribution installed on the nagios boxe is up-to-date<br />
|----<br />
|<br />
hr.srce.CertLifetime<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Check the validity of the nagios boxe certificate<br />
|----<br />
|<br />
hr.srce.GridProxy-Get-ops<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Try to retrieve a proxy from the available MyProxy server@cea<br />
|----<br />
|<br />
hr.srce.GridProxy-Valid-ops<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Check if the proxy owned by nagios on the nagios boxe is valid - This is very important unless grid probes could not run<br />
|----<br />
|<br />
org.egee.ATPSync<br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.CheckConfig<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y<br />
|----<br />
|<br />
org.egee.ImportGocdbDowntimes <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Import from the GOC DB downtimes related to sites from ROC Fr<br />
|----<br />
|<br />
org.egee.MDDBSync <br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.RecvFromQueue<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y<br />
|----<br />
|<br />
org.egee.SendToMetricStore<br />
| width="5%" |<br />
cc<br />
| width="30%" | <br />
N : ca marche mal, mais return OK, je compare avec le CERN, quand on execute le plugin (user nagios) message erreur <br />
/var/spool/nagios2metricstore/outgoing/queue ( to solve )<br />
|----<br />
|<br />
org.egee.SendToMsg<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y : a identifier les differents topics ( qui remplit le repertoire outgoing ???, trois topics ??)<br />
|----<br />
|<br />
org.nagios.DiskCheck <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Check critical disk spaces - warning when 80% is full - critical when 95% is full<br />
|----<br />
|<br />
org.nagios.ProcessCrond <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Check if main processes crond are running on the nagios boxe<br />
|----<br />
|<br />
org.nagios.ProcessMsgToQueue <br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y: test if msg-to-queue proc is running<br />
|----<br />
|<br />
org.nagios.ProcessNpcd<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y: test if npcd pnp4nagios (pour les graphes de performances) proc is running<br />
|----<br />
|<br />
org.sam.CE-JobMonit-ops <br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y<br />
|----<br />
|<br />
org.sam.CREAMCE-JobMonit-ops <br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
? : je supose que le resultat est correct (?)<br />
|----<br />
|<br />
org.sam.mpi.CE-JobMonit-ops<br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
hr.srce.MyProxy-ProxyLifetime-ops<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
n<br />
|----<br />
|}<br />
<br />
= Mise à jour =<br />
Pour modifier la configuration (Exemple nouveau site a ajouter pour le FOC france):<br />
<br />
Modifier '''/etc/ncg/ncg.localdb''' en conséquence.<br />
<br />
Au prealablefaire une "sauvegarde" local de la config nagios:<br />
mv /etc/nagios/wlcg.d /etc/nagios/wlcg.d.old<br />
<br />
<br />
Puis executer le script ncg:<br />
/usr/sbin/ncg.pl<br />
<br />
Et redemarrer nagios avec la nouvelle configuration:<br />
/etc/init.d/nagios restart<br />
<br />
Verifier que la config est OK et faire un commit dans svn '''svn ci''' pour la sauvegarde de la configuration.<br />
svn ci xxxxx<br />
<br />
<br />
Source d'information pour NCG:<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgOverview<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgRecipes<br />
<br />
= bascule =<br />
Si probleme hardware sur la machine=> bascule sur la machine virtuelle de secours (Nadia ou Jacques).<br />
Faire ensuite un '''svn co''' de la config nagios pour avoir la derniere config de production.<br />
<br />
<br />
<br />
= Annexes =<br />
<br />
<br />
== Annexe0 ==<br />
<br />
Sur le myproxyserver, il faut que le nagios server soit "trusted retriever" et "authorized retrievers":<br />
[cleroy@grid08 ~]$ grep cclcgvmli03 /opt/glite/etc/myproxy-server.conf<br />
trusted_retrievers /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=cclcgvmli03.in2p3.fr<br />
authorized_retrievers /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=cclcgvmli03.in2p3.fr<br />
<br />
<br />
Sur une UI:<br />
<br />
voms-proxy-init -voms ops:/ops/Role=lcgadmin<br />
myproxy-init -c 336 -k nagios_roc_fr2-ops -s myproxy.grif.fr -l nagios -x -Z "/O=GRID-FR/C=FR/O=CNRS/OU=CC-IN2P3/CN=ccnagboxli01.in2p3.fr"<br />
<br />
== Annexe 1 ==<br />
rpm -ivh http://www.sysadmin.hep.ac.uk/rpms/egee-SA1/centos5/x86_64/sa1-release-2-1.el5.noarch.rpm<br />
rpm -ivh http://packages.sw.be/rpmforge-release/rpmforge-release-0.5.1-1.el5.rf.x86_64.rpm<br />
<br />
yum install atp<br />
yum install bouncycastle<br />
yum install broker<br />
yum install broker-cache<br />
yum install dcache-srmclient<br />
yum install dummy-ca-certs<br />
yum install egee-NAGIOS<br />
yum install egee-NAGIOS egee-NRPE<br />
yum install egee-NRPE<br />
yum install fetch-crl<br />
yum install fipscheck fipscheck-lib<br />
yum install glite-UI<br />
yum install glite-security-voms-clients<br />
yum install glite-wms-ui-commands<br />
yum install glite-yaim-core<br />
yum install glite-yaim-nagios<br />
yum install httpd<br />
yum install jdk<br />
yum install lcg-CA<br />
yum install lcg-CA egee-NAGIOS<br />
yum install lcg_util<br />
yum install mddb<br />
yum install msg-publish-simple<br />
yum install myproxy<br />
yum install mysql-client<br />
yum install mysql-server<br />
yum install nagios-proxy-refresh<br />
yum install perl-Config-Tiny<br />
yum install perl-DBD-MySQL<br />
yum install perl-rrdtool-1.3.8-2.el5.rf.x86_64<br />
yum install python-yaml<br />
yum install sun-jaf<br />
yum install uberftp-client<br />
yum install vdt_globus_rm_client<br />
<br />
yum update glite-yaim-clients<br />
yum update glite-yaim-core<br />
yum update glite-yaim-nagios<br />
yum update mysql-server<br />
yum update perl-DBI<br />
<br />
<br />
<br />
== Annexe2 ==<br />
a)Mot de passe admin mysql :<br />
Yum pour recupérer la derniere version de Mysql :<br />
''MySQL-server-community'', ne pas oublier le client (pas de dépendance dessus)<br />
Demmarrage de mysql avec --skip-grant-tables (pour ne pas avoir de mot de passe a rentrer)<br />
mysqld_safe --skip-grant-tables &<br />
[root@cclcgvmli03 ~]# mysql -u root <br />
update user set password=PASSWORD("NEW-ROOT-PASSWORD") where User='root';<br />
<br />
b)creation des users pour le nagios regional:<br />
[root@cclcgvmli03 ~]# mysql -u root -p<br />
mysql> GRANT SELECT, INSERT, UPDATE, DELETE ON nagios.* TO 'ndouser'@'localhost' IDENTIFIED by 'ROCfr2009';<br />
mysql> GRANT SELECT, INSERT, UPDATE, DELETE ON atp.* TO 'atpuser'@'localhost' IDENTIFIED by 'ROCfr2009';<br />
<br />
<br />
== Annexe 3 ==<br />
<br />
[root@cclcgvmli03 ~]# cat /etc/ncg/ncg.localdb<br />
#<br />
# Local Rules file to modify NCG configuration<br />
#<br />
SITE!AUVERGRID<br />
SITE!CGG-LCG2<br />
SITE!ESRF<br />
SITE!GRIF<br />
SITE!IBCP-GBIO<br />
SITE!IN2P3-CC<br />
SITE!IN2P3-CC-PPS<br />
SITE!IN2P3-CC-T2<br />
SITE!IN2P3-CPPM<br />
SITE!IN2P3-IPNL<br />
SITE!IN2P3-IRES<br />
SITE!IN2P3-LAPP<br />
SITE!IN2P3-LPC<br />
SITE!IN2P3-LPSC<br />
SITE!IN2P3-SUBATECH<br />
SITE!IPSL-IPGP-LCG2<br />
SITE!M3PEC<br />
SITE!MSFG<br />
SITE!MSFG-MULTI<br />
SITE!MSFG-OPEN<br />
SITE!OBSPM<br />
SITE!PARIS-UREC-IPV6<br />
SITE!SN-UCAD<br />
SITE!ROC-FR<br />
SITE!SOLEIL<br />
SITE!StratusLab<br />
[root@cclcgvmli03 ~]#<br />
<br />
== Annexe 4 ==<br />
<br />
SITE_EMAIL=c.leroy@cea.fr<br />
SITE_NAME=ROC-FR<br />
RB_HOST=node04.datagrid.cea.fr<br />
WMS_HOST=node04.datagrid.cea.fr<br />
PX_HOST=myproxy.grif.fr<br />
BDII_HOST=topbdii.grif.fr<br />
SITE_BDII_HOST=bdii.grif.fr<br />
MON_HOST=node06.datagrid.cea.fr<br />
VOS="dteam"<br />
DTEAM_GROUP_ENABLE="dteam"<br />
VO_DTEAM_SW_DIR=$VO_SW_DIR/dteam<br />
VO_DTEAM_DEFAULT_SE=$SE_HOST<br />
VO_DTEAM_STORAGE_DIR=$CLASSIC_STORAGE_DIR/dteam<br />
VO_DTEAM_VOMS_SERVERS='vomss://voms.cern.ch:8443/voms/dteam?/dteam/'<br />
VO_DTEAM_VOMSES="'dteam lcg-voms.cern.ch 15004 /DC=ch/DC=cern/OU=computers/CN=lcg-voms.cern.ch dteam 24' 'dteam voms.cern.ch 15004 /DC=ch/DC=cern/OU=computers/CN=voms.cern.ch dteam 24'"<br />
VO_DTEAM_VOMS_CA_DN="'/DC=ch/DC=cern/CN=CERN Trusted Certification Authority' '/DC=ch/DC=cern/CN=CERN Trusted Certification Authority'"<br />
NAGIOS_HOST=cclcgvmli03.in2p3.fr<br />
NAGIOS_ADMIN_DNS="/O=GRID-FR/C=FR/O=CEA/OU=IRFU/CN=Christine Leroy","/O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=Nadia Lajili","/O=GRID-FR/C=FR/O=CNRS/OU=LPC/CN=Emmanuel Medernach","/O=GRID-FR/C=FR/O=CNRS/OU=CPPM/CN=Juan Carlos Carranza"<br />
NAGIOS_NCG_ENABLE_CONFIG=true<br />
NAGIOS_NAGIOS_ENABLE_CONFIG=true<br />
NCG_GOCDB_ROC_NAME=France<br />
ROC_NAME=France<br />
NCG_PROBES_TYPE=remote,native,local<br />
NCG_VO=dteam<br />
NAGIOS_MYPROXY_NAME=nagios_roc_fr2<br />
NAGIOS_MYPROXY_USER=nagios<br />
MSG_BROKER_CACHE_NETWORK=PROD<br />
NAGIOS_ROLE=roc<br />
NAGIOS_HTTPD_ENABLE_CONFIG=true<br />
NAGIOS_SUDO_ENABLE_CONFIG=true<br />
NAGIOS_CGI_ENABLE_CONFIG=true<br />
NCG_LDAP_FILTER=GlueSiteOtherInfo=EGEE_ROC=France<br />
NAGIOS_DB_PASS=x<br />
NAGIOS_NSCA_PASS=x<br />
MYSQL_ADMIN=x<br />
ATP_DB_PASS=x<br />
MDDB_DB_PASS=x<br />
MS_DB_PASS=x<br />
MYSQL_PASSWORD=x<br />
MYEGEE_DB_PASS=x<br />
<br />
== Annexe 5 ==<br />
<br />
[root@cclcgvmli03 ~]# cat /opt/glite/yaim/examples/edgusers.conf<br />
11151:${DPMMGR_USER}:11151:${DPMMGR_GROUP}:DPM user:<br />
11152:${EDG_USER}:11152,11156:${EDG_GROUP},${INFOSYS_GROUP}:EDG user:${EDG_HOME_DIR}<br />
11153:${EDGINFO_USER}:11153,1156:${EDGINFO_USER},${INFOSYS_GROUP}:EDG info user:${EDGINFO_HOME_DIR}<br />
11154:${RGMA_USER}:11154,1156:${RGMA_GROUP},${INFOSYS_GROUP}:RGMA user:${INSTALL_ROOT}/glite/etc/rgma<br />
11155:${GLITE_USER}:11155:${GLITE_GROUP}:gLite user:${GLITE_HOME_DIR}<br />
11156:${BDII_USER}:11158:${BDII_GROUP}:BDII user:${BDII_HOME_DIR}<br />
<br />
<br />
== Annexe 6 ==<br />
<br />
Probleme rencontré sur ccnagboxli01 (arret de ypbind + rpm manquant)<br />
chown -R nagios:nagios /var/spool/pnp4nagios<br />
chown -R nagios:nagios /var/spool/msg-nagios-bridge<br />
chown root:nagios /etc/atp/atp_db.conf<br />
chown root:nagios /etc/mddb/databases.yml<br />
chown nagios:apache /var/nagios/rw<br />
chown -R nagios:apache /var/nagios/rw<br />
chown root:nagios /etc/nagios/plugins/send_to_db.ini<br />
chown -R nagios:nagios /var/cache/msg/config-cache<br />
chown -R nagios:root /var/log/mddb<br />
chown -R nagios:root /var/log/pnp4nagios<br />
chown -R nagios:root /var/log/nagios<br />
<br />
<br />
useradd -g 40011 -u 10011 nagios<br />
useradd --group mysql -u 2730 mysql<br />
useradd -g mysql -u 2730 mysql<br />
<br />
groupadd -g 40010 nagiosmaster<br />
groupadd -g 146 leftuser<br />
<br />
yum install glite-security-voms-api-c-1.8.12-2.sl5.x86_64<br />
yum update perl-Net-SSLeay<br />
yum update perl-IO-Socket-SSL-1.01-1.fc6.noarch<br />
yum install glite-wms-ui-commands<br />
yum install lcg_util-1.7.6-1.sl5.x86_64<br />
yum install GFAL-client-1.11.8-2.sl5.x86_64 GFAL-client-1.11.8-2.sl5.i386<br />
yum install CGSI_gSOAP_2.7-1.3.3-1.sl5.x86_64<br />
yum install LFC-interfaces-1.7.3-1sec.sl5.x86_64 LFC-client-1.7.3-1sec.sl5.x86_64 lcg-dm-common-1.7.3-1sec.sl5.x86_64</div>
Carranza
https://lcg.in2p3.fr/index.php?title=Nagios_regional&diff=5785
Nagios regional
2010-04-08T13:39:16Z
<p>Carranza: /* Services nagios BOX */</p>
<hr />
<div>Installation d'une NOGIOS box pour le ROC France<br />
<br />
= 1) Installation de base : =<br />
a. Machine installée par les sysadmin du CC : OS + VOBOX + certificat + pas dans les NIS<br />
<br />
b. Accessible via gsissh (port 1975)<br />
<br />
= 2) Action faite au préalable : =<br />
a. Faire la demande pour que la machine soit autorisée à récupérer les SAM tests : https://gus.fzk.de/ws/ticket_info.php?ticket=55132<br />
<br />
b. Autoriser la nagios box à récupérer les proxy en mode « retrieval », et stocker un proxy depuis une UI récuperable par la nagiosBOX voir [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe0 Annexe0]<br />
<br />
<br />
c. Certificat utilisé pour :<br />
<br />
i. Access to GOCDB PI for ROCS GOCDB PI level 2 required <br />
<br />
ii. Recuperation de proxy pour les sondes locales<br />
<br />
d. s'inscrire dans la mailing liste: regional-nagios-admins@cern.ch (très réactive)<br />
<br />
= 3) Installation de Nagios =<br />
Reference : https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgYaim<br />
== Installation des packages via yum, Ajout des repos suivant ==<br />
a. mirrors-rpmforge (rpm rpmforge-release-0.5.1-1.el5.rf.x86_64.rpm)<br />
b. rpmforge-testing.repo<br />
c. rpmforge.repo<br />
d. glite-UI.repo<br />
e. sa1-centos5-release.repo (rpm: sa1-release-2-1.el5.noarch.rpm)<br />
f. glite-BDII.repo<br />
<br />
Problèmes de dépendances rencontrées si besoin se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe1 Annexe1] (mais j’avais dû oublier de faire un : yum install egee-NAGIOS)<br />
<br />
<br />
== Installation subversion ==<br />
Certain fichier de config sont a recuperer via svn au CERN:<br />
<br />
yum install subversion<br />
svn co http://svnweb.cern.ch/guest/sam/trunk/roc-config<br />
<br />
<br />
cp /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm.orig<br />
cp roc-config/Hash.pm_55_ALL_CRIT /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm<br />
<br />
== Mysql ==<br />
<br />
1. Installer la dernière version de Mysql (server + client) ; <br />
<br />
2. configurer le mot de passe admin se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe2 Annexe2a] ;<br />
<br />
3. Configurer les users utiles à la nagios Box se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe2 Annexe2b] ;<br />
<br />
== Configuration via yaim et NCG (en 2 fois)==<br />
<br />
1. Remplir /etc/ncg/ncg.localdb avec la liste des sites se referer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe3 Annexe3]<br />
<br />
<br />
2. Remplir le /opt/glite/yaim/site-info.def voir [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe4 Annexe4] ;<br />
<br />
3. groupadd nagios<br />
<br />
4. modif des uids/gids : /opt/glite/yaim/examples/edgusers.conf [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe5 Annexe5]<br />
<br />
<br />
5. lancement de la configuration automatique via yaim (All On One Box) :<br />
<br />
/opt/glite/yaim/bin/yaim -s /opt/glite/yaim/site-info.def -c -n glite-UI -n glite-NAGIOS<br />
<br />
6. lancement de la configuration via NCG (All On One Box) :<br />
<br />
/usr/sbin/ncg.pl<br />
<br />
.....MODIFICATION importante:: voir: https://twiki.cern.ch/twiki/bin/view/EGEE/ValidateROCNagios<br />
La partie:<br />
# Configure manually /etc/ncg/ncg.conf (Template can be found here: ncg.conf.template: )<br />
- Switch off automatic generation of ncg.conf by YAIM (NAGIOS_NCG_ENABLE_CONFIG"="false")<br />
- Take ncg.conf.template and copy it to /etc/ncg/ncg.conf<br />
- Set $ROC_NAME$<br />
- Set $YOUR_MYPROXY_SERVER$ (e.g. myproxy-fts.cern.ch)<br />
- Set $MYPROXY_NAME$ (e.g.: NagiosRetrieve-sam-ap-roc.cern.ch)<br />
- Set $NAGIOS_ROLE$ (e.g.: ngi, roc)<br />
# Take Hash.pm file that we are currently using at the CERN ROC Nagios boxes. In this file, we have removed the metrics that do not belong to the SAM_Critical profile, so only the metrics defined at ROC_SAM_critical are configured, and not relevant services like SRMv1 are commented out. The file is located under /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm <br />
<br />
Pour éviter d'avoir des sondes inappropriés.<br />
<br />
== Tuning the configuration ==<br />
<br />
1. Verifier dans /etc/sysconfig/nagios:<br />
LD_LIBRARY_PATH=/opt/classads/lib64:/opt/glite/lib64:/opt/globus/lib:/opt/c-ares/lib:/opt/classads/lib64 <br />
<br />
2. Desactiver les notifications, dans les fichiers de conf: <br />
a. /etc/nagios/nagios.cfg, désactiver les notifications:enable_notifications=0 ;log_notifications=0<br />
b. /etc/nagios/wlcg.d/host.templates.cfg<br />
c. /etc/nagios/wlcg.d/service.templates.cfg<br />
<br />
4. N’autoriser que les dteam/France à visualiser notre interface nagios : modifier le fichier : <br />
/etc/voms2htpasswd.conf, avec : vomss://voms.cern.ch:8443/voms/dteam?/dteam/france<br />
Plus utile site le site-info.def est défini correctement:<br />
VO_DTEAM_VOMS_SERVERS='vomss://voms.cern.ch:8443/voms/dteam?/dteam/france'<br />
<br />
== ActiveMQ ==<br />
/usr/sbin/msg-to-queue --prefix /queue/grid.probe.metricOutput.EGEE.a635834332381123c8b296d02b682f8f --broker-uri stomp://prod-grid-msg.cern.ch:6163<br />
<br />
[root@cclcgvmli03 cron.hourly]# cat check_msg-to-queue.sh<br />
<br />
Verifier les messages:<br />
/usr/libexec/grid-monitoring/plugins/nagios/recv_from_queue -v <br />
<br />
faire une update de perl-GridMon <br />
The problem here is in the message handler <br />
(/usr/lib/perl5/vendor_perl/5.8.8/GridMon/MsgHandler/MetricOutput.pm). <br />
Probe on WN reports hostname localhost.localdomain and serviceURI CE <br />
hostname. In the previous version message handler first checked hostname <br />
value and then serviceURI. That is the reason why Christine is seeing <br />
results for localhost.localdomain. However, we fixed this and the latest <br />
version (1.0.34) parses messages correctly.<br />
<br />
yum update perl-GridMon<br />
<br />
<br />
== Systeme d'information ==<br />
La nagios Box doit etre enregistré dans la GOCDB <br />
et publié dans le site-BDII:<br />
ldapsearch -x -H ldap://ccnagboxli01.in2p3.fr:2170 -b 'Mds-vo-name=resource,o=Grid'<br />
<br />
= validation =<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/ValidateROCNagios<br />
<br />
now you should publish your Nagios in your Site BDII<br />
And we should declare the node in the GOCDB: Regional-NAGIOS ou National-Nagios, a determiner<br />
<br />
<br />
liste des sondes a valider: d'après: https://twiki.cern.ch/twiki/bin/view/LCG/SAMCriticalTestsForCODs<br />
<br />
== Services grilles ==<br />
<br />
{| border="1" width="100%"<br />
| width="5%" |<br />
Type de Noeuds<br />
| width="5%" |<br />
Validé par<br />
| width="20%" |<br />
Valid (Y or N)<br />
|----<br />
|<br />
APEL<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
N: Pas de métric ?<br />
|----<br />
|<br />
BDII (site and TOP)<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y<br />
|----<br />
|<br />
CE<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
- Probleme identifié pour la variable LCG_GFAL_INFOSYS quand c'est une liste (CE lpnce.in2p3.fr):<br />
LCG_GFAL_INFOSYS=topbdii.grif.fr:2170,cclcgtopbdii01.in2p3.fr:2170,lapp-bdii01.in2p3.fr:2170<br />
<br />
-Tout le mecanisme de recuperation des outputs n'est pas compris mais globalement on a les meme resultat que celui du CERN<br />
|----<br />
|<br />
CREAMCE<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: idem CERN nagiosBOX (mais sonde Brokerinfo toujours en erreur: probleme connu: https://savannah.cern.ch/bugs/?61322)<br />
|----<br />
|<br />
FTS<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y and NO: For the check_command those options should be added: <br />
--cert /etc/nagios/globus/hostcert.pem --key /etc/nagios/globus/hostkey.pem -x $USER2$ (this should be fixed in the next release)<br />
|----<br />
|<br />
gRB/WMS<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y:(certificate lifetime only)<br />
|----<br />
|<br />
LFC_C<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: mais il faudrait peut etre demander au site de supporter la VO ops pour que leur LFC soit testé (lfc-ls et lfc-ping)?<br />
|----<br />
|<br />
LFC_L<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: mais il faudrait peut etre demander au site de supporter la VO ops pour que leur LFC soit testé (lfc-ls et lfc-ping)?<br />
|----<br />
|<br />
MPI<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
MyProxy<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
RB<br />
| width="5%" |<br />
nobody<br />
| width="30%" |<br />
N: Service Deprecated. Does NOT apply in Nagios<br />
|----<br />
|<br />
RGMA / MON<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y (certificate lifetime only)<br />
|----<br />
|<br />
<br />
SRMv2<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
VOBOX<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y<br />
|----<br />
|<br />
VOMS<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|}<br />
<br />
<br />
<br />
<br />
== Services nagios BOX ==<br />
<br />
{| border="1" width="100%"<br />
| width="7%" |<br />
Services<br />
| width="5%" |<br />
Validé par<br />
| width="20%" |<br />
Valid (Y or N)<br />
|----<br />
|<br />
hr.srce.CAdist-Version<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Check if the CA distribution installed on the nagios boxe is up-to-date<br />
|----<br />
|<br />
hr.srce.CertLifetime<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Check the validity of the nagios boxe certificate<br />
|----<br />
|<br />
hr.srce.GridProxy-Get-ops<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Try to retrieve a proxy from the available MyProxy server@cea<br />
|----<br />
|<br />
hr.srce.GridProxy-Valid-ops<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Check if the proxy owned by nagios on the nagios boxe is valid - This is very important unless grid probes could not run<br />
|----<br />
|<br />
org.egee.ATPSync<br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.CheckConfig<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y<br />
|----<br />
|<br />
org.egee.ImportGocdbDowntimes <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Import from the GOC DB downtimes related to sites from ROC Fr<br />
|----<br />
|<br />
org.egee.MDDBSync <br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.RecvFromQueue<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y<br />
|----<br />
|<br />
org.egee.SendToMetricStore<br />
| width="5%" |<br />
cc<br />
| width="30%" | <br />
? : a comprendre la dependence avec MDDBSync ????<br />
|----<br />
|<br />
org.egee.SendToMsg<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y : a identifier les differents topics ( qui remplit le repertoire outgoing ???, trois topics ??)<br />
|----<br />
|<br />
org.nagios.DiskCheck <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Check critical disk spaces - warning when 80% is full - critical when 95% is full<br />
|----<br />
|<br />
org.nagios.ProcessCrond <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Check if main processes crond are running on the nagios boxe<br />
|----<br />
|<br />
org.nagios.ProcessMsgToQueue <br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y: test if msg-to-queue proc is running<br />
|----<br />
|<br />
org.nagios.ProcessNpcd<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y: test if npcd pnp4nagios (pour les graphes de performances) proc is running<br />
|----<br />
|<br />
org.sam.CE-JobMonit-ops <br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y<br />
|----<br />
|<br />
org.sam.CREAMCE-JobMonit-ops <br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
? : je supose que le resultat est correct (?)<br />
|----<br />
|<br />
org.sam.mpi.CE-JobMonit-ops<br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
hr.srce.MyProxy-ProxyLifetime-ops<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
n<br />
|----<br />
|}<br />
<br />
= Mise à jour =<br />
Pour modifier la configuration (Exemple nouveau site a ajouter pour le FOC france):<br />
<br />
Modifier '''/etc/ncg/ncg.localdb''' en conséquence.<br />
<br />
Au prealablefaire une "sauvegarde" local de la config nagios:<br />
mv /etc/nagios/wlcg.d /etc/nagios/wlcg.d.old<br />
<br />
<br />
Puis executer le script ncg:<br />
/usr/sbin/ncg.pl<br />
<br />
Et redemarrer nagios avec la nouvelle configuration:<br />
/etc/init.d/nagios restart<br />
<br />
Verifier que la config est OK et faire un commit dans svn '''svn ci''' pour la sauvegarde de la configuration.<br />
svn ci xxxxx<br />
<br />
<br />
Source d'information pour NCG:<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgOverview<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgRecipes<br />
<br />
= bascule =<br />
Si probleme hardware sur la machine=> bascule sur la machine virtuelle de secours (Nadia ou Jacques).<br />
Faire ensuite un '''svn co''' de la config nagios pour avoir la derniere config de production.<br />
<br />
<br />
<br />
= Annexes =<br />
<br />
<br />
== Annexe0 ==<br />
<br />
Sur le myproxyserver, il faut que le nagios server soit "trusted retriever" et "authorized retrievers":<br />
[cleroy@grid08 ~]$ grep cclcgvmli03 /opt/glite/etc/myproxy-server.conf<br />
trusted_retrievers /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=cclcgvmli03.in2p3.fr<br />
authorized_retrievers /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=cclcgvmli03.in2p3.fr<br />
<br />
<br />
Sur une UI:<br />
<br />
voms-proxy-init -voms ops:/ops/Role=lcgadmin<br />
myproxy-init -c 336 -k nagios_roc_fr2-ops -s myproxy.grif.fr -l nagios -x -Z "/O=GRID-FR/C=FR/O=CNRS/OU=CC-IN2P3/CN=ccnagboxli01.in2p3.fr"<br />
<br />
== Annexe 1 ==<br />
rpm -ivh http://www.sysadmin.hep.ac.uk/rpms/egee-SA1/centos5/x86_64/sa1-release-2-1.el5.noarch.rpm<br />
rpm -ivh http://packages.sw.be/rpmforge-release/rpmforge-release-0.5.1-1.el5.rf.x86_64.rpm<br />
<br />
yum install atp<br />
yum install bouncycastle<br />
yum install broker<br />
yum install broker-cache<br />
yum install dcache-srmclient<br />
yum install dummy-ca-certs<br />
yum install egee-NAGIOS<br />
yum install egee-NAGIOS egee-NRPE<br />
yum install egee-NRPE<br />
yum install fetch-crl<br />
yum install fipscheck fipscheck-lib<br />
yum install glite-UI<br />
yum install glite-security-voms-clients<br />
yum install glite-wms-ui-commands<br />
yum install glite-yaim-core<br />
yum install glite-yaim-nagios<br />
yum install httpd<br />
yum install jdk<br />
yum install lcg-CA<br />
yum install lcg-CA egee-NAGIOS<br />
yum install lcg_util<br />
yum install mddb<br />
yum install msg-publish-simple<br />
yum install myproxy<br />
yum install mysql-client<br />
yum install mysql-server<br />
yum install nagios-proxy-refresh<br />
yum install perl-Config-Tiny<br />
yum install perl-DBD-MySQL<br />
yum install perl-rrdtool-1.3.8-2.el5.rf.x86_64<br />
yum install python-yaml<br />
yum install sun-jaf<br />
yum install uberftp-client<br />
yum install vdt_globus_rm_client<br />
<br />
yum update glite-yaim-clients<br />
yum update glite-yaim-core<br />
yum update glite-yaim-nagios<br />
yum update mysql-server<br />
yum update perl-DBI<br />
<br />
<br />
<br />
== Annexe2 ==<br />
a)Mot de passe admin mysql :<br />
Yum pour recupérer la derniere version de Mysql :<br />
''MySQL-server-community'', ne pas oublier le client (pas de dépendance dessus)<br />
Demmarrage de mysql avec --skip-grant-tables (pour ne pas avoir de mot de passe a rentrer)<br />
mysqld_safe --skip-grant-tables &<br />
[root@cclcgvmli03 ~]# mysql -u root <br />
update user set password=PASSWORD("NEW-ROOT-PASSWORD") where User='root';<br />
<br />
b)creation des users pour le nagios regional:<br />
[root@cclcgvmli03 ~]# mysql -u root -p<br />
mysql> GRANT SELECT, INSERT, UPDATE, DELETE ON nagios.* TO 'ndouser'@'localhost' IDENTIFIED by 'ROCfr2009';<br />
mysql> GRANT SELECT, INSERT, UPDATE, DELETE ON atp.* TO 'atpuser'@'localhost' IDENTIFIED by 'ROCfr2009';<br />
<br />
<br />
== Annexe 3 ==<br />
<br />
[root@cclcgvmli03 ~]# cat /etc/ncg/ncg.localdb<br />
#<br />
# Local Rules file to modify NCG configuration<br />
#<br />
SITE!AUVERGRID<br />
SITE!CGG-LCG2<br />
SITE!ESRF<br />
SITE!GRIF<br />
SITE!IBCP-GBIO<br />
SITE!IN2P3-CC<br />
SITE!IN2P3-CC-PPS<br />
SITE!IN2P3-CC-T2<br />
SITE!IN2P3-CPPM<br />
SITE!IN2P3-IPNL<br />
SITE!IN2P3-IRES<br />
SITE!IN2P3-LAPP<br />
SITE!IN2P3-LPC<br />
SITE!IN2P3-LPSC<br />
SITE!IN2P3-SUBATECH<br />
SITE!IPSL-IPGP-LCG2<br />
SITE!M3PEC<br />
SITE!MSFG<br />
SITE!MSFG-MULTI<br />
SITE!MSFG-OPEN<br />
SITE!OBSPM<br />
SITE!PARIS-UREC-IPV6<br />
SITE!SN-UCAD<br />
SITE!ROC-FR<br />
SITE!SOLEIL<br />
SITE!StratusLab<br />
[root@cclcgvmli03 ~]#<br />
<br />
== Annexe 4 ==<br />
<br />
SITE_EMAIL=c.leroy@cea.fr<br />
SITE_NAME=ROC-FR<br />
RB_HOST=node04.datagrid.cea.fr<br />
WMS_HOST=node04.datagrid.cea.fr<br />
PX_HOST=myproxy.grif.fr<br />
BDII_HOST=topbdii.grif.fr<br />
SITE_BDII_HOST=bdii.grif.fr<br />
MON_HOST=node06.datagrid.cea.fr<br />
VOS="dteam"<br />
DTEAM_GROUP_ENABLE="dteam"<br />
VO_DTEAM_SW_DIR=$VO_SW_DIR/dteam<br />
VO_DTEAM_DEFAULT_SE=$SE_HOST<br />
VO_DTEAM_STORAGE_DIR=$CLASSIC_STORAGE_DIR/dteam<br />
VO_DTEAM_VOMS_SERVERS='vomss://voms.cern.ch:8443/voms/dteam?/dteam/'<br />
VO_DTEAM_VOMSES="'dteam lcg-voms.cern.ch 15004 /DC=ch/DC=cern/OU=computers/CN=lcg-voms.cern.ch dteam 24' 'dteam voms.cern.ch 15004 /DC=ch/DC=cern/OU=computers/CN=voms.cern.ch dteam 24'"<br />
VO_DTEAM_VOMS_CA_DN="'/DC=ch/DC=cern/CN=CERN Trusted Certification Authority' '/DC=ch/DC=cern/CN=CERN Trusted Certification Authority'"<br />
NAGIOS_HOST=cclcgvmli03.in2p3.fr<br />
NAGIOS_ADMIN_DNS="/O=GRID-FR/C=FR/O=CEA/OU=IRFU/CN=Christine Leroy","/O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=Nadia Lajili","/O=GRID-FR/C=FR/O=CNRS/OU=LPC/CN=Emmanuel Medernach","/O=GRID-FR/C=FR/O=CNRS/OU=CPPM/CN=Juan Carlos Carranza"<br />
NAGIOS_NCG_ENABLE_CONFIG=true<br />
NAGIOS_NAGIOS_ENABLE_CONFIG=true<br />
NCG_GOCDB_ROC_NAME=France<br />
ROC_NAME=France<br />
NCG_PROBES_TYPE=remote,native,local<br />
NCG_VO=dteam<br />
NAGIOS_MYPROXY_NAME=nagios_roc_fr2<br />
NAGIOS_MYPROXY_USER=nagios<br />
MSG_BROKER_CACHE_NETWORK=PROD<br />
NAGIOS_ROLE=roc<br />
NAGIOS_HTTPD_ENABLE_CONFIG=true<br />
NAGIOS_SUDO_ENABLE_CONFIG=true<br />
NAGIOS_CGI_ENABLE_CONFIG=true<br />
NCG_LDAP_FILTER=GlueSiteOtherInfo=EGEE_ROC=France<br />
NAGIOS_DB_PASS=x<br />
NAGIOS_NSCA_PASS=x<br />
MYSQL_ADMIN=x<br />
ATP_DB_PASS=x<br />
MDDB_DB_PASS=x<br />
MS_DB_PASS=x<br />
MYSQL_PASSWORD=x<br />
MYEGEE_DB_PASS=x<br />
<br />
== Annexe 5 ==<br />
<br />
[root@cclcgvmli03 ~]# cat /opt/glite/yaim/examples/edgusers.conf<br />
11151:${DPMMGR_USER}:11151:${DPMMGR_GROUP}:DPM user:<br />
11152:${EDG_USER}:11152,11156:${EDG_GROUP},${INFOSYS_GROUP}:EDG user:${EDG_HOME_DIR}<br />
11153:${EDGINFO_USER}:11153,1156:${EDGINFO_USER},${INFOSYS_GROUP}:EDG info user:${EDGINFO_HOME_DIR}<br />
11154:${RGMA_USER}:11154,1156:${RGMA_GROUP},${INFOSYS_GROUP}:RGMA user:${INSTALL_ROOT}/glite/etc/rgma<br />
11155:${GLITE_USER}:11155:${GLITE_GROUP}:gLite user:${GLITE_HOME_DIR}<br />
11156:${BDII_USER}:11158:${BDII_GROUP}:BDII user:${BDII_HOME_DIR}<br />
<br />
<br />
== Annexe 6 ==<br />
<br />
Probleme rencontré sur ccnagboxli01 (arret de ypbind + rpm manquant)<br />
chown -R nagios:nagios /var/spool/pnp4nagios<br />
chown -R nagios:nagios /var/spool/msg-nagios-bridge<br />
chown root:nagios /etc/atp/atp_db.conf<br />
chown root:nagios /etc/mddb/databases.yml<br />
chown nagios:apache /var/nagios/rw<br />
chown -R nagios:apache /var/nagios/rw<br />
chown root:nagios /etc/nagios/plugins/send_to_db.ini<br />
chown -R nagios:nagios /var/cache/msg/config-cache<br />
chown -R nagios:root /var/log/mddb<br />
chown -R nagios:root /var/log/pnp4nagios<br />
chown -R nagios:root /var/log/nagios<br />
<br />
<br />
useradd -g 40011 -u 10011 nagios<br />
useradd --group mysql -u 2730 mysql<br />
useradd -g mysql -u 2730 mysql<br />
<br />
groupadd -g 40010 nagiosmaster<br />
groupadd -g 146 leftuser<br />
<br />
yum install glite-security-voms-api-c-1.8.12-2.sl5.x86_64<br />
yum update perl-Net-SSLeay<br />
yum update perl-IO-Socket-SSL-1.01-1.fc6.noarch<br />
yum install glite-wms-ui-commands<br />
yum install lcg_util-1.7.6-1.sl5.x86_64<br />
yum install GFAL-client-1.11.8-2.sl5.x86_64 GFAL-client-1.11.8-2.sl5.i386<br />
yum install CGSI_gSOAP_2.7-1.3.3-1.sl5.x86_64<br />
yum install LFC-interfaces-1.7.3-1sec.sl5.x86_64 LFC-client-1.7.3-1sec.sl5.x86_64 lcg-dm-common-1.7.3-1sec.sl5.x86_64</div>
Carranza
https://lcg.in2p3.fr/index.php?title=Nagios_regional&diff=5780
Nagios regional
2010-04-08T13:15:43Z
<p>Carranza: /* Services nagios BOX */</p>
<hr />
<div>Installation d'une NOGIOS box pour le ROC France<br />
<br />
= 1) Installation de base : =<br />
a. Machine installée par les sysadmin du CC : OS + VOBOX + certificat + pas dans les NIS<br />
<br />
b. Accessible via gsissh (port 1975)<br />
<br />
= 2) Action faite au préalable : =<br />
a. Faire la demande pour que la machine soit autorisée à récupérer les SAM tests : https://gus.fzk.de/ws/ticket_info.php?ticket=55132<br />
<br />
b. Autoriser la nagios box à récupérer les proxy en mode « retrieval », et stocker un proxy depuis une UI récuperable par la nagiosBOX voir [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe0 Annexe0]<br />
<br />
<br />
c. Certificat utilisé pour :<br />
<br />
i. Access to GOCDB PI for ROCS GOCDB PI level 2 required <br />
<br />
ii. Recuperation de proxy pour les sondes locales<br />
<br />
d. s'inscrire dans la mailing liste: regional-nagios-admins@cern.ch (très réactive)<br />
<br />
= 3) Installation de Nagios =<br />
Reference : https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgYaim<br />
== Installation des packages via yum, Ajout des repos suivant ==<br />
a. mirrors-rpmforge (rpm rpmforge-release-0.5.1-1.el5.rf.x86_64.rpm)<br />
b. rpmforge-testing.repo<br />
c. rpmforge.repo<br />
d. glite-UI.repo<br />
e. sa1-centos5-release.repo (rpm: sa1-release-2-1.el5.noarch.rpm)<br />
f. glite-BDII.repo<br />
<br />
Problèmes de dépendances rencontrées si besoin se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe1 Annexe1] (mais j’avais dû oublier de faire un : yum install egee-NAGIOS)<br />
<br />
<br />
== Installation subversion ==<br />
Certain fichier de config sont a recuperer via svn au CERN:<br />
<br />
yum install subversion<br />
svn co http://svnweb.cern.ch/guest/sam/trunk/roc-config<br />
<br />
<br />
cp /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm.orig<br />
cp roc-config/Hash.pm_55_ALL_CRIT /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm<br />
<br />
== Mysql ==<br />
<br />
1. Installer la dernière version de Mysql (server + client) ; <br />
<br />
2. configurer le mot de passe admin se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe2 Annexe2a] ;<br />
<br />
3. Configurer les users utiles à la nagios Box se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe2 Annexe2b] ;<br />
<br />
== Configuration via yaim et NCG (en 2 fois)==<br />
<br />
1. Remplir /etc/ncg/ncg.localdb avec la liste des sites se referer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe3 Annexe3]<br />
<br />
<br />
2. Remplir le /opt/glite/yaim/site-info.def voir [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe4 Annexe4] ;<br />
<br />
3. groupadd nagios<br />
<br />
4. modif des uids/gids : /opt/glite/yaim/examples/edgusers.conf [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe5 Annexe5]<br />
<br />
<br />
5. lancement de la configuration automatique via yaim (All On One Box) :<br />
<br />
/opt/glite/yaim/bin/yaim -s /opt/glite/yaim/site-info.def -c -n glite-UI -n glite-NAGIOS<br />
<br />
6. lancement de la configuration via NCG (All On One Box) :<br />
<br />
/usr/sbin/ncg.pl<br />
<br />
.....MODIFICATION importante:: voir: https://twiki.cern.ch/twiki/bin/view/EGEE/ValidateROCNagios<br />
La partie:<br />
# Configure manually /etc/ncg/ncg.conf (Template can be found here: ncg.conf.template: )<br />
- Switch off automatic generation of ncg.conf by YAIM (NAGIOS_NCG_ENABLE_CONFIG"="false")<br />
- Take ncg.conf.template and copy it to /etc/ncg/ncg.conf<br />
- Set $ROC_NAME$<br />
- Set $YOUR_MYPROXY_SERVER$ (e.g. myproxy-fts.cern.ch)<br />
- Set $MYPROXY_NAME$ (e.g.: NagiosRetrieve-sam-ap-roc.cern.ch)<br />
- Set $NAGIOS_ROLE$ (e.g.: ngi, roc)<br />
# Take Hash.pm file that we are currently using at the CERN ROC Nagios boxes. In this file, we have removed the metrics that do not belong to the SAM_Critical profile, so only the metrics defined at ROC_SAM_critical are configured, and not relevant services like SRMv1 are commented out. The file is located under /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm <br />
<br />
Pour éviter d'avoir des sondes inappropriés.<br />
<br />
== Tuning the configuration ==<br />
<br />
1. Verifier dans /etc/sysconfig/nagios:<br />
LD_LIBRARY_PATH=/opt/classads/lib64:/opt/glite/lib64:/opt/globus/lib:/opt/c-ares/lib:/opt/classads/lib64 <br />
<br />
2. Desactiver les notifications, dans les fichiers de conf: <br />
a. /etc/nagios/nagios.cfg, désactiver les notifications:enable_notifications=0 ;log_notifications=0<br />
b. /etc/nagios/wlcg.d/host.templates.cfg<br />
c. /etc/nagios/wlcg.d/service.templates.cfg<br />
<br />
4. N’autoriser que les dteam/France à visualiser notre interface nagios : modifier le fichier : <br />
/etc/voms2htpasswd.conf, avec : vomss://voms.cern.ch:8443/voms/dteam?/dteam/france<br />
Plus utile site le site-info.def est défini correctement:<br />
VO_DTEAM_VOMS_SERVERS='vomss://voms.cern.ch:8443/voms/dteam?/dteam/france'<br />
<br />
== ActiveMQ ==<br />
/usr/sbin/msg-to-queue --prefix /queue/grid.probe.metricOutput.EGEE.a635834332381123c8b296d02b682f8f --broker-uri stomp://prod-grid-msg.cern.ch:6163<br />
<br />
[root@cclcgvmli03 cron.hourly]# cat check_msg-to-queue.sh<br />
<br />
Verifier les messages:<br />
/usr/libexec/grid-monitoring/plugins/nagios/recv_from_queue -v <br />
<br />
faire une update de perl-GridMon <br />
The problem here is in the message handler <br />
(/usr/lib/perl5/vendor_perl/5.8.8/GridMon/MsgHandler/MetricOutput.pm). <br />
Probe on WN reports hostname localhost.localdomain and serviceURI CE <br />
hostname. In the previous version message handler first checked hostname <br />
value and then serviceURI. That is the reason why Christine is seeing <br />
results for localhost.localdomain. However, we fixed this and the latest <br />
version (1.0.34) parses messages correctly.<br />
<br />
yum update perl-GridMon<br />
<br />
<br />
== Systeme d'information ==<br />
La nagios Box doit etre enregistré dans la GOCDB <br />
et publié dans le site-BDII:<br />
ldapsearch -x -H ldap://ccnagboxli01.in2p3.fr:2170 -b 'Mds-vo-name=resource,o=Grid'<br />
<br />
= validation =<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/ValidateROCNagios<br />
<br />
now you should publish your Nagios in your Site BDII<br />
And we should declare the node in the GOCDB: Regional-NAGIOS ou National-Nagios, a determiner<br />
<br />
<br />
liste des sondes a valider: d'après: https://twiki.cern.ch/twiki/bin/view/LCG/SAMCriticalTestsForCODs<br />
<br />
== Services grilles ==<br />
<br />
{| border="1" width="100%"<br />
| width="5%" |<br />
Type de Noeuds<br />
| width="5%" |<br />
Validé par<br />
| width="20%" |<br />
Valid (Y or N)<br />
|----<br />
|<br />
APEL<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
N: Pas de métric ?<br />
|----<br />
|<br />
BDII (site and TOP)<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y<br />
|----<br />
|<br />
CE<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
- Probleme identifié pour la variable LCG_GFAL_INFOSYS quand c'est une liste (CE lpnce.in2p3.fr):<br />
LCG_GFAL_INFOSYS=topbdii.grif.fr:2170,cclcgtopbdii01.in2p3.fr:2170,lapp-bdii01.in2p3.fr:2170<br />
<br />
-Tout le mecanisme de recuperation des outputs n'est pas compris mais globalement on a les meme resultat que celui du CERN<br />
|----<br />
|<br />
CREAMCE<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: idem CERN nagiosBOX (mais sonde Brokerinfo toujours en erreur: probleme connu: https://savannah.cern.ch/bugs/?61322)<br />
|----<br />
|<br />
FTS<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y and NO: For the check_command those options should be added: <br />
--cert /etc/nagios/globus/hostcert.pem --key /etc/nagios/globus/hostkey.pem -x $USER2$ (this should be fixed in the next release)<br />
|----<br />
|<br />
gRB/WMS<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y:(certificate lifetime only)<br />
|----<br />
|<br />
LFC_C<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: mais il faudrait peut etre demander au site de supporter la VO ops pour que leur LFC soit testé (lfc-ls et lfc-ping)?<br />
|----<br />
|<br />
LFC_L<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: mais il faudrait peut etre demander au site de supporter la VO ops pour que leur LFC soit testé (lfc-ls et lfc-ping)?<br />
|----<br />
|<br />
MPI<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
MyProxy<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
RB<br />
| width="5%" |<br />
nobody<br />
| width="30%" |<br />
N: Service Deprecated. Does NOT apply in Nagios<br />
|----<br />
|<br />
RGMA / MON<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y (certificate lifetime only)<br />
|----<br />
|<br />
<br />
SRMv2<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
VOBOX<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y<br />
|----<br />
|<br />
VOMS<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|}<br />
<br />
<br />
<br />
<br />
== Services nagios BOX ==<br />
<br />
{| border="1" width="100%"<br />
| width="7%" |<br />
Services<br />
| width="5%" |<br />
Validé par<br />
| width="20%" |<br />
Valid (Y or N)<br />
|----<br />
|<br />
hr.srce.CAdist-Version<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Check if the CA distribution installed on the nagios boxe is up-to-date<br />
|----<br />
|<br />
hr.srce.CertLifetime<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Check the validity of the nagios boxe certificate<br />
|----<br />
|<br />
hr.srce.GridProxy-Get-ops<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Try to retrieve a proxy from the available MyProxy server@cea<br />
|----<br />
|<br />
hr.srce.GridProxy-Valid-ops<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Check if the proxy owned by nagios on the nagios boxe is valid - This is very important unless grid probes could not run<br />
|----<br />
|<br />
org.egee.ATPSync<br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.CheckConfig<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y<br />
|----<br />
|<br />
org.egee.ImportGocdbDowntimes <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Import from the GOC DB downtimes related to sites from ROC Fr<br />
|----<br />
|<br />
org.egee.MDDBSync <br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.RecvFromQueue<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y<br />
|----<br />
|<br />
org.egee.SendToMetricStore<br />
| width="5%" |<br />
cc<br />
| width="30%" | <br />
? : a comprendre la dependence avec MDDBSync ????<br />
|----<br />
|<br />
org.egee.SendToMsg<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y : a identifier les differents topics ( qui remplit le repertoire outgoing ???, trois topics ??)<br />
|----<br />
|<br />
org.nagios.DiskCheck <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Check critical disk spaces - warning when 80% is full - critical when 95% is full<br />
|----<br />
|<br />
org.nagios.ProcessCrond <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Check if main processes crond are running on the nagios boxe<br />
|----<br />
|<br />
org.nagios.ProcessMsgToQueue <br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y: test if msg-to-queue proc is running<br />
|----<br />
|<br />
org.nagios.ProcessNpcd<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y: test if npcd pnp4nagios (pour les graphes de performances) proc is running<br />
|----<br />
|<br />
org.sam.CE-JobMonit-ops <br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y<br />
|----<br />
|<br />
org.sam.CREAMCE-JobMonit-ops <br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.sam.mpi.CE-JobMonit-ops<br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
hr.srce.MyProxy-ProxyLifetime-ops<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
n<br />
|----<br />
|}<br />
<br />
= Mise à jour =<br />
Pour modifier la configuration (Exemple nouveau site a ajouter pour le FOC france):<br />
<br />
Modifier '''/etc/ncg/ncg.localdb''' en conséquence.<br />
<br />
Au prealablefaire une "sauvegarde" local de la config nagios:<br />
mv /etc/nagios/wlcg.d /etc/nagios/wlcg.d.old<br />
<br />
<br />
Puis executer le script ncg:<br />
/usr/sbin/ncg.pl<br />
<br />
Et redemarrer nagios avec la nouvelle configuration:<br />
/etc/init.d/nagios restart<br />
<br />
Verifier que la config est OK et faire un commit dans svn '''svn ci''' pour la sauvegarde de la configuration.<br />
svn ci xxxxx<br />
<br />
<br />
Source d'information pour NCG:<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgOverview<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgRecipes<br />
<br />
= bascule =<br />
Si probleme hardware sur la machine=> bascule sur la machine virtuelle de secours (Nadia ou Jacques).<br />
Faire ensuite un '''svn co''' de la config nagios pour avoir la derniere config de production.<br />
<br />
<br />
<br />
= Annexes =<br />
<br />
<br />
== Annexe0 ==<br />
<br />
Sur le myproxyserver, il faut que le nagios server soit "trusted retriever" et "authorized retrievers":<br />
[cleroy@grid08 ~]$ grep cclcgvmli03 /opt/glite/etc/myproxy-server.conf<br />
trusted_retrievers /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=cclcgvmli03.in2p3.fr<br />
authorized_retrievers /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=cclcgvmli03.in2p3.fr<br />
<br />
<br />
Sur une UI:<br />
<br />
voms-proxy-init -voms ops:/ops/Role=lcgadmin<br />
myproxy-init -c 336 -k nagios_roc_fr2-ops -s myproxy.grif.fr -l nagios -x -Z "/O=GRID-FR/C=FR/O=CNRS/OU=CC-IN2P3/CN=ccnagboxli01.in2p3.fr"<br />
<br />
== Annexe 1 ==<br />
rpm -ivh http://www.sysadmin.hep.ac.uk/rpms/egee-SA1/centos5/x86_64/sa1-release-2-1.el5.noarch.rpm<br />
rpm -ivh http://packages.sw.be/rpmforge-release/rpmforge-release-0.5.1-1.el5.rf.x86_64.rpm<br />
<br />
yum install atp<br />
yum install bouncycastle<br />
yum install broker<br />
yum install broker-cache<br />
yum install dcache-srmclient<br />
yum install dummy-ca-certs<br />
yum install egee-NAGIOS<br />
yum install egee-NAGIOS egee-NRPE<br />
yum install egee-NRPE<br />
yum install fetch-crl<br />
yum install fipscheck fipscheck-lib<br />
yum install glite-UI<br />
yum install glite-security-voms-clients<br />
yum install glite-wms-ui-commands<br />
yum install glite-yaim-core<br />
yum install glite-yaim-nagios<br />
yum install httpd<br />
yum install jdk<br />
yum install lcg-CA<br />
yum install lcg-CA egee-NAGIOS<br />
yum install lcg_util<br />
yum install mddb<br />
yum install msg-publish-simple<br />
yum install myproxy<br />
yum install mysql-client<br />
yum install mysql-server<br />
yum install nagios-proxy-refresh<br />
yum install perl-Config-Tiny<br />
yum install perl-DBD-MySQL<br />
yum install perl-rrdtool-1.3.8-2.el5.rf.x86_64<br />
yum install python-yaml<br />
yum install sun-jaf<br />
yum install uberftp-client<br />
yum install vdt_globus_rm_client<br />
<br />
yum update glite-yaim-clients<br />
yum update glite-yaim-core<br />
yum update glite-yaim-nagios<br />
yum update mysql-server<br />
yum update perl-DBI<br />
<br />
<br />
<br />
== Annexe2 ==<br />
a)Mot de passe admin mysql :<br />
Yum pour recupérer la derniere version de Mysql :<br />
''MySQL-server-community'', ne pas oublier le client (pas de dépendance dessus)<br />
Demmarrage de mysql avec --skip-grant-tables (pour ne pas avoir de mot de passe a rentrer)<br />
mysqld_safe --skip-grant-tables &<br />
[root@cclcgvmli03 ~]# mysql -u root <br />
update user set password=PASSWORD("NEW-ROOT-PASSWORD") where User='root';<br />
<br />
b)creation des users pour le nagios regional:<br />
[root@cclcgvmli03 ~]# mysql -u root -p<br />
mysql> GRANT SELECT, INSERT, UPDATE, DELETE ON nagios.* TO 'ndouser'@'localhost' IDENTIFIED by 'ROCfr2009';<br />
mysql> GRANT SELECT, INSERT, UPDATE, DELETE ON atp.* TO 'atpuser'@'localhost' IDENTIFIED by 'ROCfr2009';<br />
<br />
<br />
== Annexe 3 ==<br />
<br />
[root@cclcgvmli03 ~]# cat /etc/ncg/ncg.localdb<br />
#<br />
# Local Rules file to modify NCG configuration<br />
#<br />
SITE!AUVERGRID<br />
SITE!CGG-LCG2<br />
SITE!ESRF<br />
SITE!GRIF<br />
SITE!IBCP-GBIO<br />
SITE!IN2P3-CC<br />
SITE!IN2P3-CC-PPS<br />
SITE!IN2P3-CC-T2<br />
SITE!IN2P3-CPPM<br />
SITE!IN2P3-IPNL<br />
SITE!IN2P3-IRES<br />
SITE!IN2P3-LAPP<br />
SITE!IN2P3-LPC<br />
SITE!IN2P3-LPSC<br />
SITE!IN2P3-SUBATECH<br />
SITE!IPSL-IPGP-LCG2<br />
SITE!M3PEC<br />
SITE!MSFG<br />
SITE!MSFG-MULTI<br />
SITE!MSFG-OPEN<br />
SITE!OBSPM<br />
SITE!PARIS-UREC-IPV6<br />
SITE!SN-UCAD<br />
SITE!ROC-FR<br />
SITE!SOLEIL<br />
SITE!StratusLab<br />
[root@cclcgvmli03 ~]#<br />
<br />
== Annexe 4 ==<br />
<br />
SITE_EMAIL=c.leroy@cea.fr<br />
SITE_NAME=ROC-FR<br />
RB_HOST=node04.datagrid.cea.fr<br />
WMS_HOST=node04.datagrid.cea.fr<br />
PX_HOST=myproxy.grif.fr<br />
BDII_HOST=topbdii.grif.fr<br />
SITE_BDII_HOST=bdii.grif.fr<br />
MON_HOST=node06.datagrid.cea.fr<br />
VOS="dteam"<br />
DTEAM_GROUP_ENABLE="dteam"<br />
VO_DTEAM_SW_DIR=$VO_SW_DIR/dteam<br />
VO_DTEAM_DEFAULT_SE=$SE_HOST<br />
VO_DTEAM_STORAGE_DIR=$CLASSIC_STORAGE_DIR/dteam<br />
VO_DTEAM_VOMS_SERVERS='vomss://voms.cern.ch:8443/voms/dteam?/dteam/'<br />
VO_DTEAM_VOMSES="'dteam lcg-voms.cern.ch 15004 /DC=ch/DC=cern/OU=computers/CN=lcg-voms.cern.ch dteam 24' 'dteam voms.cern.ch 15004 /DC=ch/DC=cern/OU=computers/CN=voms.cern.ch dteam 24'"<br />
VO_DTEAM_VOMS_CA_DN="'/DC=ch/DC=cern/CN=CERN Trusted Certification Authority' '/DC=ch/DC=cern/CN=CERN Trusted Certification Authority'"<br />
NAGIOS_HOST=cclcgvmli03.in2p3.fr<br />
NAGIOS_ADMIN_DNS="/O=GRID-FR/C=FR/O=CEA/OU=IRFU/CN=Christine Leroy","/O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=Nadia Lajili","/O=GRID-FR/C=FR/O=CNRS/OU=LPC/CN=Emmanuel Medernach","/O=GRID-FR/C=FR/O=CNRS/OU=CPPM/CN=Juan Carlos Carranza"<br />
NAGIOS_NCG_ENABLE_CONFIG=true<br />
NAGIOS_NAGIOS_ENABLE_CONFIG=true<br />
NCG_GOCDB_ROC_NAME=France<br />
ROC_NAME=France<br />
NCG_PROBES_TYPE=remote,native,local<br />
NCG_VO=dteam<br />
NAGIOS_MYPROXY_NAME=nagios_roc_fr2<br />
NAGIOS_MYPROXY_USER=nagios<br />
MSG_BROKER_CACHE_NETWORK=PROD<br />
NAGIOS_ROLE=roc<br />
NAGIOS_HTTPD_ENABLE_CONFIG=true<br />
NAGIOS_SUDO_ENABLE_CONFIG=true<br />
NAGIOS_CGI_ENABLE_CONFIG=true<br />
NCG_LDAP_FILTER=GlueSiteOtherInfo=EGEE_ROC=France<br />
NAGIOS_DB_PASS=x<br />
NAGIOS_NSCA_PASS=x<br />
MYSQL_ADMIN=x<br />
ATP_DB_PASS=x<br />
MDDB_DB_PASS=x<br />
MS_DB_PASS=x<br />
MYSQL_PASSWORD=x<br />
MYEGEE_DB_PASS=x<br />
<br />
== Annexe 5 ==<br />
<br />
[root@cclcgvmli03 ~]# cat /opt/glite/yaim/examples/edgusers.conf<br />
11151:${DPMMGR_USER}:11151:${DPMMGR_GROUP}:DPM user:<br />
11152:${EDG_USER}:11152,11156:${EDG_GROUP},${INFOSYS_GROUP}:EDG user:${EDG_HOME_DIR}<br />
11153:${EDGINFO_USER}:11153,1156:${EDGINFO_USER},${INFOSYS_GROUP}:EDG info user:${EDGINFO_HOME_DIR}<br />
11154:${RGMA_USER}:11154,1156:${RGMA_GROUP},${INFOSYS_GROUP}:RGMA user:${INSTALL_ROOT}/glite/etc/rgma<br />
11155:${GLITE_USER}:11155:${GLITE_GROUP}:gLite user:${GLITE_HOME_DIR}<br />
11156:${BDII_USER}:11158:${BDII_GROUP}:BDII user:${BDII_HOME_DIR}<br />
<br />
<br />
== Annexe 6 ==<br />
<br />
Probleme rencontré sur ccnagboxli01 (arret de ypbind + rpm manquant)<br />
chown -R nagios:nagios /var/spool/pnp4nagios<br />
chown -R nagios:nagios /var/spool/msg-nagios-bridge<br />
chown root:nagios /etc/atp/atp_db.conf<br />
chown root:nagios /etc/mddb/databases.yml<br />
chown nagios:apache /var/nagios/rw<br />
chown -R nagios:apache /var/nagios/rw<br />
chown root:nagios /etc/nagios/plugins/send_to_db.ini<br />
chown -R nagios:nagios /var/cache/msg/config-cache<br />
chown -R nagios:root /var/log/mddb<br />
chown -R nagios:root /var/log/pnp4nagios<br />
chown -R nagios:root /var/log/nagios<br />
<br />
<br />
useradd -g 40011 -u 10011 nagios<br />
useradd --group mysql -u 2730 mysql<br />
useradd -g mysql -u 2730 mysql<br />
<br />
groupadd -g 40010 nagiosmaster<br />
groupadd -g 146 leftuser<br />
<br />
yum install glite-security-voms-api-c-1.8.12-2.sl5.x86_64<br />
yum update perl-Net-SSLeay<br />
yum update perl-IO-Socket-SSL-1.01-1.fc6.noarch<br />
yum install glite-wms-ui-commands<br />
yum install lcg_util-1.7.6-1.sl5.x86_64<br />
yum install GFAL-client-1.11.8-2.sl5.x86_64 GFAL-client-1.11.8-2.sl5.i386<br />
yum install CGSI_gSOAP_2.7-1.3.3-1.sl5.x86_64<br />
yum install LFC-interfaces-1.7.3-1sec.sl5.x86_64 LFC-client-1.7.3-1sec.sl5.x86_64 lcg-dm-common-1.7.3-1sec.sl5.x86_64</div>
Carranza
https://lcg.in2p3.fr/index.php?title=Nagios_regional&diff=5779
Nagios regional
2010-04-08T09:28:12Z
<p>Carranza: /* Services nagios BOX */</p>
<hr />
<div>Installation d'une NOGIOS box pour le ROC France<br />
<br />
= 1) Installation de base : =<br />
a. Machine installée par les sysadmin du CC : OS + VOBOX + certificat + pas dans les NIS<br />
<br />
b. Accessible via gsissh (port 1975)<br />
<br />
= 2) Action faite au préalable : =<br />
a. Faire la demande pour que la machine soit autorisée à récupérer les SAM tests : https://gus.fzk.de/ws/ticket_info.php?ticket=55132<br />
<br />
b. Autoriser la nagios box à récupérer les proxy en mode « retrieval », et stocker un proxy depuis une UI récuperable par la nagiosBOX voir [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe0 Annexe0]<br />
<br />
<br />
c. Certificat utilisé pour :<br />
<br />
i. Access to GOCDB PI for ROCS GOCDB PI level 2 required <br />
<br />
ii. Recuperation de proxy pour les sondes locales<br />
<br />
d. s'inscrire dans la mailing liste: regional-nagios-admins@cern.ch (très réactive)<br />
<br />
= 3) Installation de Nagios =<br />
Reference : https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgYaim<br />
== Installation des packages via yum, Ajout des repos suivant ==<br />
a. mirrors-rpmforge (rpm rpmforge-release-0.5.1-1.el5.rf.x86_64.rpm)<br />
b. rpmforge-testing.repo<br />
c. rpmforge.repo<br />
d. glite-UI.repo<br />
e. sa1-centos5-release.repo (rpm: sa1-release-2-1.el5.noarch.rpm)<br />
f. glite-BDII.repo<br />
<br />
Problèmes de dépendances rencontrées si besoin se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe1 Annexe1] (mais j’avais dû oublier de faire un : yum install egee-NAGIOS)<br />
<br />
<br />
== Installation subversion ==<br />
Certain fichier de config sont a recuperer via svn au CERN:<br />
<br />
yum install subversion<br />
svn co http://svnweb.cern.ch/guest/sam/trunk/roc-config<br />
<br />
<br />
cp /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm.orig<br />
cp roc-config/Hash.pm_55_ALL_CRIT /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm<br />
<br />
== Mysql ==<br />
<br />
1. Installer la dernière version de Mysql (server + client) ; <br />
<br />
2. configurer le mot de passe admin se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe2 Annexe2a] ;<br />
<br />
3. Configurer les users utiles à la nagios Box se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe2 Annexe2b] ;<br />
<br />
== Configuration via yaim et NCG (en 2 fois)==<br />
<br />
1. Remplir /etc/ncg/ncg.localdb avec la liste des sites se referer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe3 Annexe3]<br />
<br />
<br />
2. Remplir le /opt/glite/yaim/site-info.def voir [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe4 Annexe4] ;<br />
<br />
3. groupadd nagios<br />
<br />
4. modif des uids/gids : /opt/glite/yaim/examples/edgusers.conf [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe5 Annexe5]<br />
<br />
<br />
5. lancement de la configuration automatique via yaim (All On One Box) :<br />
<br />
/opt/glite/yaim/bin/yaim -s /opt/glite/yaim/site-info.def -c -n glite-UI -n glite-NAGIOS<br />
<br />
6. lancement de la configuration via NCG (All On One Box) :<br />
<br />
/usr/sbin/ncg.pl<br />
<br />
.....MODIFICATION importante:: voir: https://twiki.cern.ch/twiki/bin/view/EGEE/ValidateROCNagios<br />
La partie:<br />
# Configure manually /etc/ncg/ncg.conf (Template can be found here: ncg.conf.template: )<br />
- Switch off automatic generation of ncg.conf by YAIM (NAGIOS_NCG_ENABLE_CONFIG"="false")<br />
- Take ncg.conf.template and copy it to /etc/ncg/ncg.conf<br />
- Set $ROC_NAME$<br />
- Set $YOUR_MYPROXY_SERVER$ (e.g. myproxy-fts.cern.ch)<br />
- Set $MYPROXY_NAME$ (e.g.: NagiosRetrieve-sam-ap-roc.cern.ch)<br />
- Set $NAGIOS_ROLE$ (e.g.: ngi, roc)<br />
# Take Hash.pm file that we are currently using at the CERN ROC Nagios boxes. In this file, we have removed the metrics that do not belong to the SAM_Critical profile, so only the metrics defined at ROC_SAM_critical are configured, and not relevant services like SRMv1 are commented out. The file is located under /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm <br />
<br />
Pour éviter d'avoir des sondes inappropriés.<br />
<br />
== Tuning the configuration ==<br />
<br />
1. Verifier dans /etc/sysconfig/nagios:<br />
LD_LIBRARY_PATH=/opt/classads/lib64:/opt/glite/lib64:/opt/globus/lib:/opt/c-ares/lib:/opt/classads/lib64 <br />
<br />
2. Desactiver les notifications, dans les fichiers de conf: <br />
a. /etc/nagios/nagios.cfg, désactiver les notifications:enable_notifications=0 ;log_notifications=0<br />
b. /etc/nagios/wlcg.d/host.templates.cfg<br />
c. /etc/nagios/wlcg.d/service.templates.cfg<br />
<br />
4. N’autoriser que les dteam/France à visualiser notre interface nagios : modifier le fichier : <br />
/etc/voms2htpasswd.conf, avec : vomss://voms.cern.ch:8443/voms/dteam?/dteam/france<br />
Plus utile site le site-info.def est défini correctement:<br />
VO_DTEAM_VOMS_SERVERS='vomss://voms.cern.ch:8443/voms/dteam?/dteam/france'<br />
<br />
== ActiveMQ ==<br />
/usr/sbin/msg-to-queue --prefix /queue/grid.probe.metricOutput.EGEE.a635834332381123c8b296d02b682f8f --broker-uri stomp://prod-grid-msg.cern.ch:6163<br />
<br />
[root@cclcgvmli03 cron.hourly]# cat check_msg-to-queue.sh<br />
<br />
Verifier les messages:<br />
/usr/libexec/grid-monitoring/plugins/nagios/recv_from_queue -v <br />
<br />
faire une update de perl-GridMon <br />
The problem here is in the message handler <br />
(/usr/lib/perl5/vendor_perl/5.8.8/GridMon/MsgHandler/MetricOutput.pm). <br />
Probe on WN reports hostname localhost.localdomain and serviceURI CE <br />
hostname. In the previous version message handler first checked hostname <br />
value and then serviceURI. That is the reason why Christine is seeing <br />
results for localhost.localdomain. However, we fixed this and the latest <br />
version (1.0.34) parses messages correctly.<br />
<br />
yum update perl-GridMon<br />
<br />
<br />
== Systeme d'information ==<br />
La nagios Box doit etre enregistré dans la GOCDB <br />
et publié dans le site-BDII:<br />
ldapsearch -x -H ldap://ccnagboxli01.in2p3.fr:2170 -b 'Mds-vo-name=resource,o=Grid'<br />
<br />
= validation =<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/ValidateROCNagios<br />
<br />
now you should publish your Nagios in your Site BDII<br />
And we should declare the node in the GOCDB: Regional-NAGIOS ou National-Nagios, a determiner<br />
<br />
<br />
liste des sondes a valider: d'après: https://twiki.cern.ch/twiki/bin/view/LCG/SAMCriticalTestsForCODs<br />
<br />
== Services grilles ==<br />
<br />
{| border="1" width="100%"<br />
| width="5%" |<br />
Type de Noeuds<br />
| width="5%" |<br />
Validé par<br />
| width="20%" |<br />
Valid (Y or N)<br />
|----<br />
|<br />
APEL<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
N: Pas de métric ?<br />
|----<br />
|<br />
BDII (site and TOP)<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y<br />
|----<br />
|<br />
CE<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
- Probleme identifié pour la variable LCG_GFAL_INFOSYS quand c'est une liste (CE lpnce.in2p3.fr):<br />
LCG_GFAL_INFOSYS=topbdii.grif.fr:2170,cclcgtopbdii01.in2p3.fr:2170,lapp-bdii01.in2p3.fr:2170<br />
<br />
-Tout le mecanisme de recuperation des outputs n'est pas compris mais globalement on a les meme resultat que celui du CERN<br />
|----<br />
|<br />
CREAMCE<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: idem CERN nagiosBOX (mais sonde Brokerinfo toujours en erreur: probleme connu: https://savannah.cern.ch/bugs/?61322)<br />
|----<br />
|<br />
FTS<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y and NO: For the check_command those options should be added: <br />
--cert /etc/nagios/globus/hostcert.pem --key /etc/nagios/globus/hostkey.pem -x $USER2$ (this should be fixed in the next release)<br />
|----<br />
|<br />
gRB/WMS<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y:(certificate lifetime only)<br />
|----<br />
|<br />
LFC_C<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: mais il faudrait peut etre demander au site de supporter la VO ops pour que leur LFC soit testé (lfc-ls et lfc-ping)?<br />
|----<br />
|<br />
LFC_L<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: mais il faudrait peut etre demander au site de supporter la VO ops pour que leur LFC soit testé (lfc-ls et lfc-ping)?<br />
|----<br />
|<br />
MPI<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
MyProxy<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
RB<br />
| width="5%" |<br />
nobody<br />
| width="30%" |<br />
N: Service Deprecated. Does NOT apply in Nagios<br />
|----<br />
|<br />
RGMA / MON<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y (certificate lifetime only)<br />
|----<br />
|<br />
<br />
SRMv2<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
VOBOX<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y<br />
|----<br />
|<br />
VOMS<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|}<br />
<br />
<br />
<br />
<br />
== Services nagios BOX ==<br />
<br />
{| border="1" width="100%"<br />
| width="7%" |<br />
Services<br />
| width="5%" |<br />
Validé par<br />
| width="20%" |<br />
Valid (Y or N)<br />
|----<br />
|<br />
hr.srce.CAdist-Version<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Check if the CA distribution installed on the nagios boxe is up-to-date<br />
|----<br />
|<br />
hr.srce.CertLifetime<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Check the validity of the nagios boxe certificate<br />
|----<br />
|<br />
hr.srce.GridProxy-Get-ops<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Try to retrieve a proxy from the available MyProxy server@cea<br />
|----<br />
|<br />
hr.srce.GridProxy-Valid-ops<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Check if the proxy owned by nagios on the nagios boxe is valid - This is very important unless grid probes could not run<br />
|----<br />
|<br />
org.egee.ATPSync<br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.CheckConfig<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y<br />
|----<br />
|<br />
org.egee.ImportGocdbDowntimes <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Import from the GOC DB downtimes related to sites from ROC Fr<br />
|----<br />
|<br />
org.egee.MDDBSync <br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.RecvFromQueue<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y<br />
|----<br />
|<br />
org.egee.SendToMetricStore<br />
| width="5%" |<br />
cc<br />
| width="30%" | <br />
? : a comprendre la dependence avec MDDBSync ????<br />
|----<br />
|<br />
org.egee.SendToMsg<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y : a identifier les differents topics ( qui remplit le repertoire outgoing ???, trois topics ??)<br />
|----<br />
|<br />
org.nagios.DiskCheck <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Check critical disk spaces - warning when 80% is full - critical when 95% is full<br />
|----<br />
|<br />
org.nagios.ProcessCrond <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
Y Check if main processes crond are running on the nagios boxe<br />
|----<br />
|<br />
org.nagios.ProcessMsgToQueue <br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y: test if msg-to-queue proc is running<br />
|----<br />
|<br />
org.nagios.ProcessNpcd<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y: test if npcd pnp4nagios (pour les graphes de performances) proc is running<br />
|----<br />
|<br />
org.sam.CE-JobMonit-ops <br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.sam.CREAMCE-JobMonit-ops <br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.sam.mpi.CE-JobMonit-ops<br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
hr.srce.MyProxy-ProxyLifetime-ops<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
n<br />
|----<br />
|}<br />
<br />
= Mise à jour =<br />
Pour modifier la configuration (Exemple nouveau site a ajouter pour le FOC france):<br />
<br />
Modifier '''/etc/ncg/ncg.localdb''' en conséquence.<br />
<br />
Au prealablefaire une "sauvegarde" local de la config nagios:<br />
mv /etc/nagios/wlcg.d /etc/nagios/wlcg.d.old<br />
<br />
<br />
Puis executer le script ncg:<br />
/usr/sbin/ncg.pl<br />
<br />
Et redemarrer nagios avec la nouvelle configuration:<br />
/etc/init.d/nagios restart<br />
<br />
Verifier que la config est OK et faire un commit dans svn '''svn ci''' pour la sauvegarde de la configuration.<br />
svn ci xxxxx<br />
<br />
<br />
Source d'information pour NCG:<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgOverview<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgRecipes<br />
<br />
= bascule =<br />
Si probleme hardware sur la machine=> bascule sur la machine virtuelle de secours (Nadia ou Jacques).<br />
Faire ensuite un '''svn co''' de la config nagios pour avoir la derniere config de production.<br />
<br />
<br />
<br />
= Annexes =<br />
<br />
<br />
== Annexe0 ==<br />
<br />
Sur le myproxyserver, il faut que le nagios server soit "trusted retriever" et "authorized retrievers":<br />
[cleroy@grid08 ~]$ grep cclcgvmli03 /opt/glite/etc/myproxy-server.conf<br />
trusted_retrievers /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=cclcgvmli03.in2p3.fr<br />
authorized_retrievers /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=cclcgvmli03.in2p3.fr<br />
<br />
<br />
Sur une UI:<br />
<br />
voms-proxy-init -voms ops:/ops/Role=lcgadmin<br />
myproxy-init -c 336 -k nagios_roc_fr2-ops -s myproxy.grif.fr -l nagios -x -Z "/O=GRID-FR/C=FR/O=CNRS/OU=CC-IN2P3/CN=ccnagboxli01.in2p3.fr"<br />
<br />
== Annexe 1 ==<br />
rpm -ivh http://www.sysadmin.hep.ac.uk/rpms/egee-SA1/centos5/x86_64/sa1-release-2-1.el5.noarch.rpm<br />
rpm -ivh http://packages.sw.be/rpmforge-release/rpmforge-release-0.5.1-1.el5.rf.x86_64.rpm<br />
<br />
yum install atp<br />
yum install bouncycastle<br />
yum install broker<br />
yum install broker-cache<br />
yum install dcache-srmclient<br />
yum install dummy-ca-certs<br />
yum install egee-NAGIOS<br />
yum install egee-NAGIOS egee-NRPE<br />
yum install egee-NRPE<br />
yum install fetch-crl<br />
yum install fipscheck fipscheck-lib<br />
yum install glite-UI<br />
yum install glite-security-voms-clients<br />
yum install glite-wms-ui-commands<br />
yum install glite-yaim-core<br />
yum install glite-yaim-nagios<br />
yum install httpd<br />
yum install jdk<br />
yum install lcg-CA<br />
yum install lcg-CA egee-NAGIOS<br />
yum install lcg_util<br />
yum install mddb<br />
yum install msg-publish-simple<br />
yum install myproxy<br />
yum install mysql-client<br />
yum install mysql-server<br />
yum install nagios-proxy-refresh<br />
yum install perl-Config-Tiny<br />
yum install perl-DBD-MySQL<br />
yum install perl-rrdtool-1.3.8-2.el5.rf.x86_64<br />
yum install python-yaml<br />
yum install sun-jaf<br />
yum install uberftp-client<br />
yum install vdt_globus_rm_client<br />
<br />
yum update glite-yaim-clients<br />
yum update glite-yaim-core<br />
yum update glite-yaim-nagios<br />
yum update mysql-server<br />
yum update perl-DBI<br />
<br />
<br />
<br />
== Annexe2 ==<br />
a)Mot de passe admin mysql :<br />
Yum pour recupérer la derniere version de Mysql :<br />
''MySQL-server-community'', ne pas oublier le client (pas de dépendance dessus)<br />
Demmarrage de mysql avec --skip-grant-tables (pour ne pas avoir de mot de passe a rentrer)<br />
mysqld_safe --skip-grant-tables &<br />
[root@cclcgvmli03 ~]# mysql -u root <br />
update user set password=PASSWORD("NEW-ROOT-PASSWORD") where User='root';<br />
<br />
b)creation des users pour le nagios regional:<br />
[root@cclcgvmli03 ~]# mysql -u root -p<br />
mysql> GRANT SELECT, INSERT, UPDATE, DELETE ON nagios.* TO 'ndouser'@'localhost' IDENTIFIED by 'ROCfr2009';<br />
mysql> GRANT SELECT, INSERT, UPDATE, DELETE ON atp.* TO 'atpuser'@'localhost' IDENTIFIED by 'ROCfr2009';<br />
<br />
<br />
== Annexe 3 ==<br />
<br />
[root@cclcgvmli03 ~]# cat /etc/ncg/ncg.localdb<br />
#<br />
# Local Rules file to modify NCG configuration<br />
#<br />
SITE!AUVERGRID<br />
SITE!CGG-LCG2<br />
SITE!ESRF<br />
SITE!GRIF<br />
SITE!IBCP-GBIO<br />
SITE!IN2P3-CC<br />
SITE!IN2P3-CC-PPS<br />
SITE!IN2P3-CC-T2<br />
SITE!IN2P3-CPPM<br />
SITE!IN2P3-IPNL<br />
SITE!IN2P3-IRES<br />
SITE!IN2P3-LAPP<br />
SITE!IN2P3-LPC<br />
SITE!IN2P3-LPSC<br />
SITE!IN2P3-SUBATECH<br />
SITE!IPSL-IPGP-LCG2<br />
SITE!M3PEC<br />
SITE!MSFG<br />
SITE!MSFG-MULTI<br />
SITE!MSFG-OPEN<br />
SITE!OBSPM<br />
SITE!PARIS-UREC-IPV6<br />
SITE!SN-UCAD<br />
SITE!ROC-FR<br />
SITE!SOLEIL<br />
SITE!StratusLab<br />
[root@cclcgvmli03 ~]#<br />
<br />
== Annexe 4 ==<br />
<br />
SITE_EMAIL=c.leroy@cea.fr<br />
SITE_NAME=ROC-FR<br />
RB_HOST=node04.datagrid.cea.fr<br />
WMS_HOST=node04.datagrid.cea.fr<br />
PX_HOST=myproxy.grif.fr<br />
BDII_HOST=topbdii.grif.fr<br />
SITE_BDII_HOST=bdii.grif.fr<br />
MON_HOST=node06.datagrid.cea.fr<br />
VOS="dteam"<br />
DTEAM_GROUP_ENABLE="dteam"<br />
VO_DTEAM_SW_DIR=$VO_SW_DIR/dteam<br />
VO_DTEAM_DEFAULT_SE=$SE_HOST<br />
VO_DTEAM_STORAGE_DIR=$CLASSIC_STORAGE_DIR/dteam<br />
VO_DTEAM_VOMS_SERVERS='vomss://voms.cern.ch:8443/voms/dteam?/dteam/'<br />
VO_DTEAM_VOMSES="'dteam lcg-voms.cern.ch 15004 /DC=ch/DC=cern/OU=computers/CN=lcg-voms.cern.ch dteam 24' 'dteam voms.cern.ch 15004 /DC=ch/DC=cern/OU=computers/CN=voms.cern.ch dteam 24'"<br />
VO_DTEAM_VOMS_CA_DN="'/DC=ch/DC=cern/CN=CERN Trusted Certification Authority' '/DC=ch/DC=cern/CN=CERN Trusted Certification Authority'"<br />
NAGIOS_HOST=cclcgvmli03.in2p3.fr<br />
NAGIOS_ADMIN_DNS="/O=GRID-FR/C=FR/O=CEA/OU=IRFU/CN=Christine Leroy","/O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=Nadia Lajili","/O=GRID-FR/C=FR/O=CNRS/OU=LPC/CN=Emmanuel Medernach","/O=GRID-FR/C=FR/O=CNRS/OU=CPPM/CN=Juan Carlos Carranza"<br />
NAGIOS_NCG_ENABLE_CONFIG=true<br />
NAGIOS_NAGIOS_ENABLE_CONFIG=true<br />
NCG_GOCDB_ROC_NAME=France<br />
ROC_NAME=France<br />
NCG_PROBES_TYPE=remote,native,local<br />
NCG_VO=dteam<br />
NAGIOS_MYPROXY_NAME=nagios_roc_fr2<br />
NAGIOS_MYPROXY_USER=nagios<br />
MSG_BROKER_CACHE_NETWORK=PROD<br />
NAGIOS_ROLE=roc<br />
NAGIOS_HTTPD_ENABLE_CONFIG=true<br />
NAGIOS_SUDO_ENABLE_CONFIG=true<br />
NAGIOS_CGI_ENABLE_CONFIG=true<br />
NCG_LDAP_FILTER=GlueSiteOtherInfo=EGEE_ROC=France<br />
NAGIOS_DB_PASS=x<br />
NAGIOS_NSCA_PASS=x<br />
MYSQL_ADMIN=x<br />
ATP_DB_PASS=x<br />
MDDB_DB_PASS=x<br />
MS_DB_PASS=x<br />
MYSQL_PASSWORD=x<br />
MYEGEE_DB_PASS=x<br />
<br />
== Annexe 5 ==<br />
<br />
[root@cclcgvmli03 ~]# cat /opt/glite/yaim/examples/edgusers.conf<br />
11151:${DPMMGR_USER}:11151:${DPMMGR_GROUP}:DPM user:<br />
11152:${EDG_USER}:11152,11156:${EDG_GROUP},${INFOSYS_GROUP}:EDG user:${EDG_HOME_DIR}<br />
11153:${EDGINFO_USER}:11153,1156:${EDGINFO_USER},${INFOSYS_GROUP}:EDG info user:${EDGINFO_HOME_DIR}<br />
11154:${RGMA_USER}:11154,1156:${RGMA_GROUP},${INFOSYS_GROUP}:RGMA user:${INSTALL_ROOT}/glite/etc/rgma<br />
11155:${GLITE_USER}:11155:${GLITE_GROUP}:gLite user:${GLITE_HOME_DIR}<br />
11156:${BDII_USER}:11158:${BDII_GROUP}:BDII user:${BDII_HOME_DIR}<br />
<br />
<br />
== Annexe 6 ==<br />
<br />
Probleme rencontré sur ccnagboxli01 (arret de ypbind + rpm manquant)<br />
chown -R nagios:nagios /var/spool/pnp4nagios<br />
chown -R nagios:nagios /var/spool/msg-nagios-bridge<br />
chown root:nagios /etc/atp/atp_db.conf<br />
chown root:nagios /etc/mddb/databases.yml<br />
chown nagios:apache /var/nagios/rw<br />
chown -R nagios:apache /var/nagios/rw<br />
chown root:nagios /etc/nagios/plugins/send_to_db.ini<br />
chown -R nagios:nagios /var/cache/msg/config-cache<br />
chown -R nagios:root /var/log/mddb<br />
chown -R nagios:root /var/log/pnp4nagios<br />
chown -R nagios:root /var/log/nagios<br />
<br />
<br />
useradd -g 40011 -u 10011 nagios<br />
useradd --group mysql -u 2730 mysql<br />
useradd -g mysql -u 2730 mysql<br />
<br />
groupadd -g 40010 nagiosmaster<br />
groupadd -g 146 leftuser<br />
<br />
yum install glite-security-voms-api-c-1.8.12-2.sl5.x86_64<br />
yum update perl-Net-SSLeay<br />
yum update perl-IO-Socket-SSL-1.01-1.fc6.noarch<br />
yum install glite-wms-ui-commands<br />
yum install lcg_util-1.7.6-1.sl5.x86_64<br />
yum install GFAL-client-1.11.8-2.sl5.x86_64 GFAL-client-1.11.8-2.sl5.i386<br />
yum install CGSI_gSOAP_2.7-1.3.3-1.sl5.x86_64<br />
yum install LFC-interfaces-1.7.3-1sec.sl5.x86_64 LFC-client-1.7.3-1sec.sl5.x86_64 lcg-dm-common-1.7.3-1sec.sl5.x86_64</div>
Carranza
https://lcg.in2p3.fr/index.php?title=Nagios_regional&diff=5776
Nagios regional
2010-04-07T13:48:11Z
<p>Carranza: /* Services nagios BOX */</p>
<hr />
<div>Installation d'une NOGIOS box pour le ROC France<br />
<br />
= 1) Installation de base : =<br />
a. Machine installée par les sysadmin du CC : OS + VOBOX + certificat + pas dans les NIS<br />
<br />
b. Accessible via gsissh (port 1975)<br />
<br />
= 2) Action faite au préalable : =<br />
a. Faire la demande pour que la machine soit autorisée à récupérer les SAM tests : https://gus.fzk.de/ws/ticket_info.php?ticket=55132<br />
<br />
b. Autoriser la nagios box à récupérer les proxy en mode « retrieval », et stocker un proxy depuis une UI récuperable par la nagiosBOX voir [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe0 Annexe0]<br />
<br />
<br />
c. Certificat utilisé pour :<br />
<br />
i. Access to GOCDB PI for ROCS GOCDB PI level 2 required <br />
<br />
ii. Recuperation de proxy pour les sondes locales<br />
<br />
d. s'inscrire dans la mailing liste: regional-nagios-admins@cern.ch (très réactive)<br />
<br />
= 3) Installation de Nagios =<br />
Reference : https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgYaim<br />
== Installation des packages via yum, Ajout des repos suivant ==<br />
a. mirrors-rpmforge (rpm rpmforge-release-0.5.1-1.el5.rf.x86_64.rpm)<br />
b. rpmforge-testing.repo<br />
c. rpmforge.repo<br />
d. glite-UI.repo<br />
e. sa1-centos5-release.repo (rpm: sa1-release-2-1.el5.noarch.rpm)<br />
f. glite-BDII.repo<br />
<br />
Problèmes de dépendances rencontrées si besoin se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe1 Annexe1] (mais j’avais dû oublier de faire un : yum install egee-NAGIOS)<br />
<br />
<br />
== Installation subversion ==<br />
Certain fichier de config sont a recuperer via svn au CERN:<br />
<br />
yum install subversion<br />
svn co http://svnweb.cern.ch/guest/sam/trunk/roc-config<br />
<br />
<br />
cp /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm.orig<br />
cp roc-config/Hash.pm_55_ALL_CRIT /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm<br />
<br />
== Mysql ==<br />
<br />
1. Installer la dernière version de Mysql (server + client) ; <br />
<br />
2. configurer le mot de passe admin se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe2 Annexe2a] ;<br />
<br />
3. Configurer les users utiles à la nagios Box se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe2 Annexe2b] ;<br />
<br />
== Configuration via yaim et NCG (en 2 fois)==<br />
<br />
1. Remplir /etc/ncg/ncg.localdb avec la liste des sites se referer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe3 Annexe3]<br />
<br />
<br />
2. Remplir le /opt/glite/yaim/site-info.def voir [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe4 Annexe4] ;<br />
<br />
3. groupadd nagios<br />
<br />
4. modif des uids/gids : /opt/glite/yaim/examples/edgusers.conf [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe5 Annexe5]<br />
<br />
<br />
5. lancement de la configuration automatique via yaim (All On One Box) :<br />
<br />
/opt/glite/yaim/bin/yaim -s /opt/glite/yaim/site-info.def -c -n glite-UI -n glite-NAGIOS<br />
<br />
6. lancement de la configuration via NCG (All On One Box) :<br />
<br />
/usr/sbin/ncg.pl<br />
<br />
.....MODIFICATION importante:: voir: https://twiki.cern.ch/twiki/bin/view/EGEE/ValidateROCNagios<br />
La partie:<br />
# Configure manually /etc/ncg/ncg.conf (Template can be found here: ncg.conf.template: )<br />
- Switch off automatic generation of ncg.conf by YAIM (NAGIOS_NCG_ENABLE_CONFIG"="false")<br />
- Take ncg.conf.template and copy it to /etc/ncg/ncg.conf<br />
- Set $ROC_NAME$<br />
- Set $YOUR_MYPROXY_SERVER$ (e.g. myproxy-fts.cern.ch)<br />
- Set $MYPROXY_NAME$ (e.g.: NagiosRetrieve-sam-ap-roc.cern.ch)<br />
- Set $NAGIOS_ROLE$ (e.g.: ngi, roc)<br />
# Take Hash.pm file that we are currently using at the CERN ROC Nagios boxes. In this file, we have removed the metrics that do not belong to the SAM_Critical profile, so only the metrics defined at ROC_SAM_critical are configured, and not relevant services like SRMv1 are commented out. The file is located under /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm <br />
<br />
Pour éviter d'avoir des sondes inappropriés.<br />
<br />
== Tuning the configuration ==<br />
<br />
1. Verifier dans /etc/sysconfig/nagios:<br />
LD_LIBRARY_PATH=/opt/classads/lib64:/opt/glite/lib64:/opt/globus/lib:/opt/c-ares/lib:/opt/classads/lib64 <br />
<br />
2. Desactiver les notifications, dans les fichiers de conf: <br />
a. /etc/nagios/nagios.cfg, désactiver les notifications:enable_notifications=0 ;log_notifications=0<br />
b. /etc/nagios/wlcg.d/host.templates.cfg<br />
c. /etc/nagios/wlcg.d/service.templates.cfg<br />
<br />
4. N’autoriser que les dteam/France à visualiser notre interface nagios : modifier le fichier : <br />
/etc/voms2htpasswd.conf, avec : vomss://voms.cern.ch:8443/voms/dteam?/dteam/france<br />
Plus utile site le site-info.def est défini correctement:<br />
VO_DTEAM_VOMS_SERVERS='vomss://voms.cern.ch:8443/voms/dteam?/dteam/france'<br />
<br />
== ActiveMQ ==<br />
/usr/sbin/msg-to-queue --prefix /queue/grid.probe.metricOutput.EGEE.a635834332381123c8b296d02b682f8f --broker-uri stomp://prod-grid-msg.cern.ch:6163<br />
<br />
[root@cclcgvmli03 cron.hourly]# cat check_msg-to-queue.sh<br />
<br />
Verifier les messages:<br />
/usr/libexec/grid-monitoring/plugins/nagios/recv_from_queue -v <br />
<br />
faire une update de perl-GridMon <br />
The problem here is in the message handler <br />
(/usr/lib/perl5/vendor_perl/5.8.8/GridMon/MsgHandler/MetricOutput.pm). <br />
Probe on WN reports hostname localhost.localdomain and serviceURI CE <br />
hostname. In the previous version message handler first checked hostname <br />
value and then serviceURI. That is the reason why Christine is seeing <br />
results for localhost.localdomain. However, we fixed this and the latest <br />
version (1.0.34) parses messages correctly.<br />
<br />
yum update perl-GridMon<br />
<br />
<br />
== Systeme d'information ==<br />
La nagios Box doit etre enregistré dans la GOCDB <br />
et publié dans le site-BDII:<br />
ldapsearch -x -H ldap://ccnagboxli01.in2p3.fr:2170 -b 'Mds-vo-name=resource,o=Grid'<br />
<br />
= validation =<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/ValidateROCNagios<br />
<br />
now you should publish your Nagios in your Site BDII<br />
And we should declare the node in the GOCDB: Regional-NAGIOS ou National-Nagios, a determiner<br />
<br />
<br />
liste des sondes a valider: d'après: https://twiki.cern.ch/twiki/bin/view/LCG/SAMCriticalTestsForCODs<br />
<br />
== Services grilles ==<br />
<br />
{| border="1" width="100%"<br />
| width="5%" |<br />
Type de Noeuds<br />
| width="5%" |<br />
Validé par<br />
| width="20%" |<br />
Valid (Y or N)<br />
|----<br />
|<br />
APEL<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
N: Pas de métric ?<br />
|----<br />
|<br />
BDII (site and TOP)<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y<br />
|----<br />
|<br />
CE<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
- Probleme identifié pour la variable LCG_GFAL_INFOSYS quand c'est une liste (CE lpnce.in2p3.fr):<br />
LCG_GFAL_INFOSYS=topbdii.grif.fr:2170,cclcgtopbdii01.in2p3.fr:2170,lapp-bdii01.in2p3.fr:2170<br />
<br />
-Tout le mecanisme de recuperation des outputs n'est pas compris mais globalement on a les meme resultat que celui du CERN<br />
|----<br />
|<br />
CREAMCE<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: idem CERN nagiosBOX (mais sonde Brokerinfo toujours en erreur: probleme connu: https://savannah.cern.ch/bugs/?61322)<br />
|----<br />
|<br />
FTS<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y and NO: For the check_command those options should be added: <br />
--cert /etc/nagios/globus/hostcert.pem --key /etc/nagios/globus/hostkey.pem -x $USER2$ (this should be fixed in the next release)<br />
|----<br />
|<br />
gRB/WMS<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y:(certificate lifetime only)<br />
|----<br />
|<br />
LFC_C<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: mais il faudrait peut etre demander au site de supporter la VO ops pour que leur LFC soit testé (lfc-ls et lfc-ping)?<br />
|----<br />
|<br />
LFC_L<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: mais il faudrait peut etre demander au site de supporter la VO ops pour que leur LFC soit testé (lfc-ls et lfc-ping)?<br />
|----<br />
|<br />
MPI<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
MyProxy<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
RB<br />
| width="5%" |<br />
nobody<br />
| width="30%" |<br />
N: Service Deprecated. Does NOT apply in Nagios<br />
|----<br />
|<br />
RGMA / MON<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y (certificate lifetime only)<br />
|----<br />
|<br />
<br />
SRMv2<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
VOBOX<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y<br />
|----<br />
|<br />
VOMS<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|}<br />
<br />
<br />
<br />
<br />
== Services nagios BOX ==<br />
<br />
{| border="1" width="100%"<br />
| width="7%" |<br />
Services<br />
| width="5%" |<br />
Validé par<br />
| width="20%" |<br />
Valid (Y or N)<br />
|----<br />
|<br />
hr.srce.CAdist-Version<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
hr.srce.CertLifetime<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
hr.srce.GridProxy-Get-ops<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
hr.srce.GridProxy-Valid-ops<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.ATPSync<br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.CheckConfig<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y<br />
|----<br />
|<br />
org.egee.ImportGocdbDowntimes <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.MDDBSync <br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.RecvFromQueue<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y<br />
|----<br />
|<br />
org.egee.SendToMetricStore<br />
| width="5%" |<br />
cc<br />
| width="30%" | <br />
? : a comprendre la dependence avec MDDBSync ????<br />
|----<br />
|<br />
org.egee.SendToMsg<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y : a identifier les differents topics ( ou il ecrit ? qui sont les lecteurs ?)<br />
|----<br />
|<br />
org.nagios.DiskCheck <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.nagios.ProcessCrond <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.nagios.ProcessMsgToQueue <br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y: test if msg-to-queue proc is running<br />
|----<br />
|<br />
org.nagios.ProcessNpcd<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y: test if npcd pnp4nagios (pour les graphes de performances) proc is running<br />
|----<br />
|<br />
org.sam.CE-JobMonit-ops <br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.sam.CREAMCE-JobMonit-ops <br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.sam.mpi.CE-JobMonit-ops<br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
hr.srce.MyProxy-ProxyLifetime-ops<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
n<br />
|----<br />
|}<br />
<br />
= Mise à jour =<br />
Pour modifier la configuration (Exemple nouveau site a ajouter pour le FOC france):<br />
<br />
Modifier '''/etc/ncg/ncg.localdb''' en conséquence.<br />
<br />
Au prealablefaire une "sauvegarde" local de la config nagios:<br />
mv /etc/nagios/wlcg.d /etc/nagios/wlcg.d.old<br />
<br />
<br />
Puis executer le script ncg:<br />
/usr/sbin/ncg.pl<br />
<br />
Et redemarrer nagios avec la nouvelle configuration:<br />
/etc/init.d/nagios restart<br />
<br />
Verifier que la config est OK et faire un commit dans svn '''svn ci''' pour la sauvegarde de la configuration.<br />
svn ci xxxxx<br />
<br />
<br />
Source d'information pour NCG:<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgOverview<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgRecipes<br />
<br />
= bascule =<br />
Si probleme hardware sur la machine=> bascule sur la machine virtuelle de secours (Nadia ou Jacques).<br />
Faire ensuite un '''svn co''' de la config nagios pour avoir la derniere config de production.<br />
<br />
<br />
<br />
= Annexes =<br />
<br />
<br />
== Annexe0 ==<br />
<br />
Sur le myproxyserver, il faut que le nagios server soit "trusted retriever" et "authorized retrievers":<br />
[cleroy@grid08 ~]$ grep cclcgvmli03 /opt/glite/etc/myproxy-server.conf<br />
trusted_retrievers /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=cclcgvmli03.in2p3.fr<br />
authorized_retrievers /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=cclcgvmli03.in2p3.fr<br />
<br />
<br />
Sur une UI:<br />
<br />
voms-proxy-init -voms ops:/ops/Role=lcgadmin<br />
myproxy-init -c 336 -k nagios_roc_fr2-ops -s myproxy.grif.fr -l nagios -x -Z "/O=GRID-FR/C=FR/O=CNRS/OU=CC-IN2P3/CN=ccnagboxli01.in2p3.fr"<br />
<br />
== Annexe 1 ==<br />
rpm -ivh http://www.sysadmin.hep.ac.uk/rpms/egee-SA1/centos5/x86_64/sa1-release-2-1.el5.noarch.rpm<br />
rpm -ivh http://packages.sw.be/rpmforge-release/rpmforge-release-0.5.1-1.el5.rf.x86_64.rpm<br />
<br />
yum install atp<br />
yum install bouncycastle<br />
yum install broker<br />
yum install broker-cache<br />
yum install dcache-srmclient<br />
yum install dummy-ca-certs<br />
yum install egee-NAGIOS<br />
yum install egee-NAGIOS egee-NRPE<br />
yum install egee-NRPE<br />
yum install fetch-crl<br />
yum install fipscheck fipscheck-lib<br />
yum install glite-UI<br />
yum install glite-security-voms-clients<br />
yum install glite-wms-ui-commands<br />
yum install glite-yaim-core<br />
yum install glite-yaim-nagios<br />
yum install httpd<br />
yum install jdk<br />
yum install lcg-CA<br />
yum install lcg-CA egee-NAGIOS<br />
yum install lcg_util<br />
yum install mddb<br />
yum install msg-publish-simple<br />
yum install myproxy<br />
yum install mysql-client<br />
yum install mysql-server<br />
yum install nagios-proxy-refresh<br />
yum install perl-Config-Tiny<br />
yum install perl-DBD-MySQL<br />
yum install perl-rrdtool-1.3.8-2.el5.rf.x86_64<br />
yum install python-yaml<br />
yum install sun-jaf<br />
yum install uberftp-client<br />
yum install vdt_globus_rm_client<br />
<br />
yum update glite-yaim-clients<br />
yum update glite-yaim-core<br />
yum update glite-yaim-nagios<br />
yum update mysql-server<br />
yum update perl-DBI<br />
<br />
<br />
<br />
== Annexe2 ==<br />
a)Mot de passe admin mysql :<br />
Yum pour recupérer la derniere version de Mysql :<br />
''MySQL-server-community'', ne pas oublier le client (pas de dépendance dessus)<br />
Demmarrage de mysql avec --skip-grant-tables (pour ne pas avoir de mot de passe a rentrer)<br />
mysqld_safe --skip-grant-tables &<br />
[root@cclcgvmli03 ~]# mysql -u root <br />
update user set password=PASSWORD("NEW-ROOT-PASSWORD") where User='root';<br />
<br />
b)creation des users pour le nagios regional:<br />
[root@cclcgvmli03 ~]# mysql -u root -p<br />
mysql> GRANT SELECT, INSERT, UPDATE, DELETE ON nagios.* TO 'ndouser'@'localhost' IDENTIFIED by 'ROCfr2009';<br />
mysql> GRANT SELECT, INSERT, UPDATE, DELETE ON atp.* TO 'atpuser'@'localhost' IDENTIFIED by 'ROCfr2009';<br />
<br />
<br />
== Annexe 3 ==<br />
<br />
[root@cclcgvmli03 ~]# cat /etc/ncg/ncg.localdb<br />
#<br />
# Local Rules file to modify NCG configuration<br />
#<br />
SITE!AUVERGRID<br />
SITE!CGG-LCG2<br />
SITE!ESRF<br />
SITE!GRIF<br />
SITE!IBCP-GBIO<br />
SITE!IN2P3-CC<br />
SITE!IN2P3-CC-PPS<br />
SITE!IN2P3-CC-T2<br />
SITE!IN2P3-CPPM<br />
SITE!IN2P3-IPNL<br />
SITE!IN2P3-IRES<br />
SITE!IN2P3-LAPP<br />
SITE!IN2P3-LPC<br />
SITE!IN2P3-LPSC<br />
SITE!IN2P3-SUBATECH<br />
SITE!IPSL-IPGP-LCG2<br />
SITE!M3PEC<br />
SITE!MSFG<br />
SITE!MSFG-MULTI<br />
SITE!MSFG-OPEN<br />
SITE!OBSPM<br />
SITE!PARIS-UREC-IPV6<br />
SITE!SN-UCAD<br />
SITE!ROC-FR<br />
SITE!SOLEIL<br />
SITE!StratusLab<br />
[root@cclcgvmli03 ~]#<br />
<br />
== Annexe 4 ==<br />
<br />
SITE_EMAIL=c.leroy@cea.fr<br />
SITE_NAME=ROC-FR<br />
RB_HOST=node04.datagrid.cea.fr<br />
WMS_HOST=node04.datagrid.cea.fr<br />
PX_HOST=myproxy.grif.fr<br />
BDII_HOST=topbdii.grif.fr<br />
SITE_BDII_HOST=bdii.grif.fr<br />
MON_HOST=node06.datagrid.cea.fr<br />
VOS="dteam"<br />
DTEAM_GROUP_ENABLE="dteam"<br />
VO_DTEAM_SW_DIR=$VO_SW_DIR/dteam<br />
VO_DTEAM_DEFAULT_SE=$SE_HOST<br />
VO_DTEAM_STORAGE_DIR=$CLASSIC_STORAGE_DIR/dteam<br />
VO_DTEAM_VOMS_SERVERS='vomss://voms.cern.ch:8443/voms/dteam?/dteam/'<br />
VO_DTEAM_VOMSES="'dteam lcg-voms.cern.ch 15004 /DC=ch/DC=cern/OU=computers/CN=lcg-voms.cern.ch dteam 24' 'dteam voms.cern.ch 15004 /DC=ch/DC=cern/OU=computers/CN=voms.cern.ch dteam 24'"<br />
VO_DTEAM_VOMS_CA_DN="'/DC=ch/DC=cern/CN=CERN Trusted Certification Authority' '/DC=ch/DC=cern/CN=CERN Trusted Certification Authority'"<br />
NAGIOS_HOST=cclcgvmli03.in2p3.fr<br />
NAGIOS_ADMIN_DNS="/O=GRID-FR/C=FR/O=CEA/OU=IRFU/CN=Christine Leroy","/O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=Nadia Lajili","/O=GRID-FR/C=FR/O=CNRS/OU=LPC/CN=Emmanuel Medernach","/O=GRID-FR/C=FR/O=CNRS/OU=CPPM/CN=Juan Carlos Carranza"<br />
NAGIOS_NCG_ENABLE_CONFIG=true<br />
NAGIOS_NAGIOS_ENABLE_CONFIG=true<br />
NCG_GOCDB_ROC_NAME=France<br />
ROC_NAME=France<br />
NCG_PROBES_TYPE=remote,native,local<br />
NCG_VO=dteam<br />
NAGIOS_MYPROXY_NAME=nagios_roc_fr2<br />
NAGIOS_MYPROXY_USER=nagios<br />
MSG_BROKER_CACHE_NETWORK=PROD<br />
NAGIOS_ROLE=roc<br />
NAGIOS_HTTPD_ENABLE_CONFIG=true<br />
NAGIOS_SUDO_ENABLE_CONFIG=true<br />
NAGIOS_CGI_ENABLE_CONFIG=true<br />
NCG_LDAP_FILTER=GlueSiteOtherInfo=EGEE_ROC=France<br />
NAGIOS_DB_PASS=x<br />
NAGIOS_NSCA_PASS=x<br />
MYSQL_ADMIN=x<br />
ATP_DB_PASS=x<br />
MDDB_DB_PASS=x<br />
MS_DB_PASS=x<br />
MYSQL_PASSWORD=x<br />
MYEGEE_DB_PASS=x<br />
<br />
== Annexe 5 ==<br />
<br />
[root@cclcgvmli03 ~]# cat /opt/glite/yaim/examples/edgusers.conf<br />
11151:${DPMMGR_USER}:11151:${DPMMGR_GROUP}:DPM user:<br />
11152:${EDG_USER}:11152,11156:${EDG_GROUP},${INFOSYS_GROUP}:EDG user:${EDG_HOME_DIR}<br />
11153:${EDGINFO_USER}:11153,1156:${EDGINFO_USER},${INFOSYS_GROUP}:EDG info user:${EDGINFO_HOME_DIR}<br />
11154:${RGMA_USER}:11154,1156:${RGMA_GROUP},${INFOSYS_GROUP}:RGMA user:${INSTALL_ROOT}/glite/etc/rgma<br />
11155:${GLITE_USER}:11155:${GLITE_GROUP}:gLite user:${GLITE_HOME_DIR}<br />
11156:${BDII_USER}:11158:${BDII_GROUP}:BDII user:${BDII_HOME_DIR}<br />
<br />
<br />
== Annexe 6 ==<br />
<br />
Probleme rencontré sur ccnagboxli01 (arret de ypbind + rpm manquant)<br />
chown -R nagios:nagios /var/spool/pnp4nagios<br />
chown -R nagios:nagios /var/spool/msg-nagios-bridge<br />
chown root:nagios /etc/atp/atp_db.conf<br />
chown root:nagios /etc/mddb/databases.yml<br />
chown nagios:apache /var/nagios/rw<br />
chown -R nagios:apache /var/nagios/rw<br />
chown root:nagios /etc/nagios/plugins/send_to_db.ini<br />
chown -R nagios:nagios /var/cache/msg/config-cache<br />
chown -R nagios:root /var/log/mddb<br />
chown -R nagios:root /var/log/pnp4nagios<br />
chown -R nagios:root /var/log/nagios<br />
<br />
<br />
useradd -g 40011 -u 10011 nagios<br />
useradd --group mysql -u 2730 mysql<br />
useradd -g mysql -u 2730 mysql<br />
<br />
groupadd -g 40010 nagiosmaster<br />
groupadd -g 146 leftuser<br />
<br />
yum install glite-security-voms-api-c-1.8.12-2.sl5.x86_64<br />
yum update perl-Net-SSLeay<br />
yum update perl-IO-Socket-SSL-1.01-1.fc6.noarch<br />
yum install glite-wms-ui-commands<br />
yum install lcg_util-1.7.6-1.sl5.x86_64<br />
yum install GFAL-client-1.11.8-2.sl5.x86_64 GFAL-client-1.11.8-2.sl5.i386<br />
yum install CGSI_gSOAP_2.7-1.3.3-1.sl5.x86_64<br />
yum install LFC-interfaces-1.7.3-1sec.sl5.x86_64 LFC-client-1.7.3-1sec.sl5.x86_64 lcg-dm-common-1.7.3-1sec.sl5.x86_64</div>
Carranza
https://lcg.in2p3.fr/index.php?title=Nagios_regional&diff=5775
Nagios regional
2010-04-07T12:19:55Z
<p>Carranza: /* Services nagios BOX */</p>
<hr />
<div>Installation d'une NOGIOS box pour le ROC France<br />
<br />
= 1) Installation de base : =<br />
a. Machine installée par les sysadmin du CC : OS + VOBOX + certificat + pas dans les NIS<br />
<br />
b. Accessible via gsissh (port 1975)<br />
<br />
= 2) Action faite au préalable : =<br />
a. Faire la demande pour que la machine soit autorisée à récupérer les SAM tests : https://gus.fzk.de/ws/ticket_info.php?ticket=55132<br />
<br />
b. Autoriser la nagios box à récupérer les proxy en mode « retrieval », et stocker un proxy depuis une UI récuperable par la nagiosBOX voir [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe0 Annexe0]<br />
<br />
<br />
c. Certificat utilisé pour :<br />
<br />
i. Access to GOCDB PI for ROCS GOCDB PI level 2 required <br />
<br />
ii. Recuperation de proxy pour les sondes locales<br />
<br />
d. s'inscrire dans la mailing liste: regional-nagios-admins@cern.ch (très réactive)<br />
<br />
= 3) Installation de Nagios =<br />
Reference : https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgYaim<br />
== Installation des packages via yum, Ajout des repos suivant ==<br />
a. mirrors-rpmforge (rpm rpmforge-release-0.5.1-1.el5.rf.x86_64.rpm)<br />
b. rpmforge-testing.repo<br />
c. rpmforge.repo<br />
d. glite-UI.repo<br />
e. sa1-centos5-release.repo (rpm: sa1-release-2-1.el5.noarch.rpm)<br />
f. glite-BDII.repo<br />
<br />
Problèmes de dépendances rencontrées si besoin se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe1 Annexe1] (mais j’avais dû oublier de faire un : yum install egee-NAGIOS)<br />
<br />
<br />
== Installation subversion ==<br />
Certain fichier de config sont a recuperer via svn au CERN:<br />
<br />
yum install subversion<br />
svn co http://svnweb.cern.ch/guest/sam/trunk/roc-config<br />
<br />
<br />
cp /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm.orig<br />
cp roc-config/Hash.pm_55_ALL_CRIT /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm<br />
<br />
== Mysql ==<br />
<br />
1. Installer la dernière version de Mysql (server + client) ; <br />
<br />
2. configurer le mot de passe admin se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe2 Annexe2a] ;<br />
<br />
3. Configurer les users utiles à la nagios Box se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe2 Annexe2b] ;<br />
<br />
== Configuration via yaim et NCG (en 2 fois)==<br />
<br />
1. Remplir /etc/ncg/ncg.localdb avec la liste des sites se referer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe3 Annexe3]<br />
<br />
<br />
2. Remplir le /opt/glite/yaim/site-info.def voir [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe4 Annexe4] ;<br />
<br />
3. groupadd nagios<br />
<br />
4. modif des uids/gids : /opt/glite/yaim/examples/edgusers.conf [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe5 Annexe5]<br />
<br />
<br />
5. lancement de la configuration automatique via yaim (All On One Box) :<br />
<br />
/opt/glite/yaim/bin/yaim -s /opt/glite/yaim/site-info.def -c -n glite-UI -n glite-NAGIOS<br />
<br />
6. lancement de la configuration via NCG (All On One Box) :<br />
<br />
/usr/sbin/ncg.pl<br />
<br />
.....MODIFICATION importante:: voir: https://twiki.cern.ch/twiki/bin/view/EGEE/ValidateROCNagios<br />
La partie:<br />
# Configure manually /etc/ncg/ncg.conf (Template can be found here: ncg.conf.template: )<br />
- Switch off automatic generation of ncg.conf by YAIM (NAGIOS_NCG_ENABLE_CONFIG"="false")<br />
- Take ncg.conf.template and copy it to /etc/ncg/ncg.conf<br />
- Set $ROC_NAME$<br />
- Set $YOUR_MYPROXY_SERVER$ (e.g. myproxy-fts.cern.ch)<br />
- Set $MYPROXY_NAME$ (e.g.: NagiosRetrieve-sam-ap-roc.cern.ch)<br />
- Set $NAGIOS_ROLE$ (e.g.: ngi, roc)<br />
# Take Hash.pm file that we are currently using at the CERN ROC Nagios boxes. In this file, we have removed the metrics that do not belong to the SAM_Critical profile, so only the metrics defined at ROC_SAM_critical are configured, and not relevant services like SRMv1 are commented out. The file is located under /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm <br />
<br />
Pour éviter d'avoir des sondes inappropriés.<br />
<br />
== Tuning the configuration ==<br />
<br />
1. Verifier dans /etc/sysconfig/nagios:<br />
LD_LIBRARY_PATH=/opt/classads/lib64:/opt/glite/lib64:/opt/globus/lib:/opt/c-ares/lib:/opt/classads/lib64 <br />
<br />
2. Desactiver les notifications, dans les fichiers de conf: <br />
a. /etc/nagios/nagios.cfg, désactiver les notifications:enable_notifications=0 ;log_notifications=0<br />
b. /etc/nagios/wlcg.d/host.templates.cfg<br />
c. /etc/nagios/wlcg.d/service.templates.cfg<br />
<br />
4. N’autoriser que les dteam/France à visualiser notre interface nagios : modifier le fichier : <br />
/etc/voms2htpasswd.conf, avec : vomss://voms.cern.ch:8443/voms/dteam?/dteam/france<br />
Plus utile site le site-info.def est défini correctement:<br />
VO_DTEAM_VOMS_SERVERS='vomss://voms.cern.ch:8443/voms/dteam?/dteam/france'<br />
<br />
== ActiveMQ ==<br />
/usr/sbin/msg-to-queue --prefix /queue/grid.probe.metricOutput.EGEE.a635834332381123c8b296d02b682f8f --broker-uri stomp://prod-grid-msg.cern.ch:6163<br />
<br />
[root@cclcgvmli03 cron.hourly]# cat check_msg-to-queue.sh<br />
<br />
Verifier les messages:<br />
/usr/libexec/grid-monitoring/plugins/nagios/recv_from_queue -v <br />
<br />
faire une update de perl-GridMon <br />
The problem here is in the message handler <br />
(/usr/lib/perl5/vendor_perl/5.8.8/GridMon/MsgHandler/MetricOutput.pm). <br />
Probe on WN reports hostname localhost.localdomain and serviceURI CE <br />
hostname. In the previous version message handler first checked hostname <br />
value and then serviceURI. That is the reason why Christine is seeing <br />
results for localhost.localdomain. However, we fixed this and the latest <br />
version (1.0.34) parses messages correctly.<br />
<br />
yum update perl-GridMon<br />
<br />
<br />
== Systeme d'information ==<br />
La nagios Box doit etre enregistré dans la GOCDB <br />
et publié dans le site-BDII:<br />
ldapsearch -x -H ldap://ccnagboxli01.in2p3.fr:2170 -b 'Mds-vo-name=resource,o=Grid'<br />
<br />
= validation =<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/ValidateROCNagios<br />
<br />
now you should publish your Nagios in your Site BDII<br />
And we should declare the node in the GOCDB: Regional-NAGIOS ou National-Nagios, a determiner<br />
<br />
<br />
liste des sondes a valider: d'après: https://twiki.cern.ch/twiki/bin/view/LCG/SAMCriticalTestsForCODs<br />
<br />
== Services grilles ==<br />
<br />
{| border="1" width="100%"<br />
| width="5%" |<br />
Type de Noeuds<br />
| width="5%" |<br />
Validé par<br />
| width="20%" |<br />
Valid (Y or N)<br />
|----<br />
|<br />
APEL<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
N: Pas de métric ?<br />
|----<br />
|<br />
BDII (site and TOP)<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y<br />
|----<br />
|<br />
CE<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
- Probleme identifié pour la variable LCG_GFAL_INFOSYS quand c'est une liste (CE lpnce.in2p3.fr):<br />
LCG_GFAL_INFOSYS=topbdii.grif.fr:2170,cclcgtopbdii01.in2p3.fr:2170,lapp-bdii01.in2p3.fr:2170<br />
<br />
-Tout le mecanisme de recuperation des outputs n'est pas compris mais globalement on a les meme resultat que celui du CERN<br />
|----<br />
|<br />
CREAMCE<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: idem CERN nagiosBOX (mais sonde Brokerinfo toujours en erreur: probleme connu: https://savannah.cern.ch/bugs/?61322)<br />
|----<br />
|<br />
FTS<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y and NO: For the check_command those options should be added: <br />
--cert /etc/nagios/globus/hostcert.pem --key /etc/nagios/globus/hostkey.pem -x $USER2$ (this should be fixed in the next release)<br />
|----<br />
|<br />
gRB/WMS<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y:(certificate lifetime only)<br />
|----<br />
|<br />
LFC_C<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: mais il faudrait peut etre demander au site de supporter la VO ops pour que leur LFC soit testé (lfc-ls et lfc-ping)?<br />
|----<br />
|<br />
LFC_L<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: mais il faudrait peut etre demander au site de supporter la VO ops pour que leur LFC soit testé (lfc-ls et lfc-ping)?<br />
|----<br />
|<br />
MPI<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
MyProxy<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
RB<br />
| width="5%" |<br />
nobody<br />
| width="30%" |<br />
N: Service Deprecated. Does NOT apply in Nagios<br />
|----<br />
|<br />
RGMA / MON<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y (certificate lifetime only)<br />
|----<br />
|<br />
<br />
SRMv2<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
VOBOX<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y<br />
|----<br />
|<br />
VOMS<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|}<br />
<br />
<br />
<br />
<br />
== Services nagios BOX ==<br />
<br />
{| border="1" width="100%"<br />
| width="7%" |<br />
Services<br />
| width="5%" |<br />
Validé par<br />
| width="20%" |<br />
Valid (Y or N)<br />
|----<br />
|<br />
hr.srce.CAdist-Version<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
hr.srce.CertLifetime<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
hr.srce.GridProxy-Get-ops<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
hr.srce.GridProxy-Valid-ops<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.ATPSync<br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.CheckConfig<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y<br />
|----<br />
|<br />
org.egee.ImportGocdbDowntimes <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.MDDBSync <br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.RecvFromQueue<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y<br />
|----<br />
|<br />
org.egee.SendToMetricStore<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.SendToMsg<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y : a identifier les differents topics ( ou il ecrit ? qui sont les lecteurs ?)<br />
|----<br />
|<br />
org.nagios.DiskCheck <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.nagios.ProcessCrond <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.nagios.ProcessMsgToQueue <br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y: test if msg-to-queue proc is running<br />
|----<br />
|<br />
org.nagios.ProcessNpcd<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y: test if npcd pnp4nagios (pour les graphes de performances) proc is running<br />
|----<br />
|<br />
org.sam.CE-JobMonit-ops <br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.sam.CREAMCE-JobMonit-ops <br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.sam.mpi.CE-JobMonit-ops<br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
hr.srce.MyProxy-ProxyLifetime-ops<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
n<br />
|----<br />
|}<br />
<br />
= Mise à jour =<br />
Pour modifier la configuration (Exemple nouveau site a ajouter pour le FOC france):<br />
<br />
Modifier '''/etc/ncg/ncg.localdb''' en conséquence.<br />
<br />
Au prealablefaire une "sauvegarde" local de la config nagios:<br />
mv /etc/nagios/wlcg.d /etc/nagios/wlcg.d.old<br />
<br />
<br />
Puis executer le script ncg:<br />
/usr/sbin/ncg.pl<br />
<br />
Et redemarrer nagios avec la nouvelle configuration:<br />
/etc/init.d/nagios restart<br />
<br />
Verifier que la config est OK et faire un commit dans svn '''svn ci''' pour la sauvegarde de la configuration.<br />
svn ci xxxxx<br />
<br />
<br />
Source d'information pour NCG:<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgOverview<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgRecipes<br />
<br />
= bascule =<br />
Si probleme hardware sur la machine=> bascule sur la machine virtuelle de secours (Nadia ou Jacques).<br />
Faire ensuite un '''svn co''' de la config nagios pour avoir la derniere config de production.<br />
<br />
<br />
<br />
= Annexes =<br />
<br />
<br />
== Annexe0 ==<br />
<br />
Sur le myproxyserver, il faut que le nagios server soit "trusted retriever" et "authorized retrievers":<br />
[cleroy@grid08 ~]$ grep cclcgvmli03 /opt/glite/etc/myproxy-server.conf<br />
trusted_retrievers /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=cclcgvmli03.in2p3.fr<br />
authorized_retrievers /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=cclcgvmli03.in2p3.fr<br />
<br />
<br />
Sur une UI:<br />
<br />
voms-proxy-init -voms ops:/ops/Role=lcgadmin<br />
myproxy-init -c 336 -k nagios_roc_fr2-ops -s myproxy.grif.fr -l nagios -x -Z "/O=GRID-FR/C=FR/O=CNRS/OU=CC-IN2P3/CN=ccnagboxli01.in2p3.fr"<br />
<br />
== Annexe 1 ==<br />
rpm -ivh http://www.sysadmin.hep.ac.uk/rpms/egee-SA1/centos5/x86_64/sa1-release-2-1.el5.noarch.rpm<br />
rpm -ivh http://packages.sw.be/rpmforge-release/rpmforge-release-0.5.1-1.el5.rf.x86_64.rpm<br />
<br />
yum install atp<br />
yum install bouncycastle<br />
yum install broker<br />
yum install broker-cache<br />
yum install dcache-srmclient<br />
yum install dummy-ca-certs<br />
yum install egee-NAGIOS<br />
yum install egee-NAGIOS egee-NRPE<br />
yum install egee-NRPE<br />
yum install fetch-crl<br />
yum install fipscheck fipscheck-lib<br />
yum install glite-UI<br />
yum install glite-security-voms-clients<br />
yum install glite-wms-ui-commands<br />
yum install glite-yaim-core<br />
yum install glite-yaim-nagios<br />
yum install httpd<br />
yum install jdk<br />
yum install lcg-CA<br />
yum install lcg-CA egee-NAGIOS<br />
yum install lcg_util<br />
yum install mddb<br />
yum install msg-publish-simple<br />
yum install myproxy<br />
yum install mysql-client<br />
yum install mysql-server<br />
yum install nagios-proxy-refresh<br />
yum install perl-Config-Tiny<br />
yum install perl-DBD-MySQL<br />
yum install perl-rrdtool-1.3.8-2.el5.rf.x86_64<br />
yum install python-yaml<br />
yum install sun-jaf<br />
yum install uberftp-client<br />
yum install vdt_globus_rm_client<br />
<br />
yum update glite-yaim-clients<br />
yum update glite-yaim-core<br />
yum update glite-yaim-nagios<br />
yum update mysql-server<br />
yum update perl-DBI<br />
<br />
<br />
<br />
== Annexe2 ==<br />
a)Mot de passe admin mysql :<br />
Yum pour recupérer la derniere version de Mysql :<br />
''MySQL-server-community'', ne pas oublier le client (pas de dépendance dessus)<br />
Demmarrage de mysql avec --skip-grant-tables (pour ne pas avoir de mot de passe a rentrer)<br />
mysqld_safe --skip-grant-tables &<br />
[root@cclcgvmli03 ~]# mysql -u root <br />
update user set password=PASSWORD("NEW-ROOT-PASSWORD") where User='root';<br />
<br />
b)creation des users pour le nagios regional:<br />
[root@cclcgvmli03 ~]# mysql -u root -p<br />
mysql> GRANT SELECT, INSERT, UPDATE, DELETE ON nagios.* TO 'ndouser'@'localhost' IDENTIFIED by 'ROCfr2009';<br />
mysql> GRANT SELECT, INSERT, UPDATE, DELETE ON atp.* TO 'atpuser'@'localhost' IDENTIFIED by 'ROCfr2009';<br />
<br />
<br />
== Annexe 3 ==<br />
<br />
[root@cclcgvmli03 ~]# cat /etc/ncg/ncg.localdb<br />
#<br />
# Local Rules file to modify NCG configuration<br />
#<br />
SITE!AUVERGRID<br />
SITE!CGG-LCG2<br />
SITE!ESRF<br />
SITE!GRIF<br />
SITE!IBCP-GBIO<br />
SITE!IN2P3-CC<br />
SITE!IN2P3-CC-PPS<br />
SITE!IN2P3-CC-T2<br />
SITE!IN2P3-CPPM<br />
SITE!IN2P3-IPNL<br />
SITE!IN2P3-IRES<br />
SITE!IN2P3-LAPP<br />
SITE!IN2P3-LPC<br />
SITE!IN2P3-LPSC<br />
SITE!IN2P3-SUBATECH<br />
SITE!IPSL-IPGP-LCG2<br />
SITE!M3PEC<br />
SITE!MSFG<br />
SITE!MSFG-MULTI<br />
SITE!MSFG-OPEN<br />
SITE!OBSPM<br />
SITE!PARIS-UREC-IPV6<br />
SITE!SN-UCAD<br />
SITE!ROC-FR<br />
SITE!SOLEIL<br />
SITE!StratusLab<br />
[root@cclcgvmli03 ~]#<br />
<br />
== Annexe 4 ==<br />
<br />
SITE_EMAIL=c.leroy@cea.fr<br />
SITE_NAME=ROC-FR<br />
RB_HOST=node04.datagrid.cea.fr<br />
WMS_HOST=node04.datagrid.cea.fr<br />
PX_HOST=myproxy.grif.fr<br />
BDII_HOST=topbdii.grif.fr<br />
SITE_BDII_HOST=bdii.grif.fr<br />
MON_HOST=node06.datagrid.cea.fr<br />
VOS="dteam"<br />
DTEAM_GROUP_ENABLE="dteam"<br />
VO_DTEAM_SW_DIR=$VO_SW_DIR/dteam<br />
VO_DTEAM_DEFAULT_SE=$SE_HOST<br />
VO_DTEAM_STORAGE_DIR=$CLASSIC_STORAGE_DIR/dteam<br />
VO_DTEAM_VOMS_SERVERS='vomss://voms.cern.ch:8443/voms/dteam?/dteam/'<br />
VO_DTEAM_VOMSES="'dteam lcg-voms.cern.ch 15004 /DC=ch/DC=cern/OU=computers/CN=lcg-voms.cern.ch dteam 24' 'dteam voms.cern.ch 15004 /DC=ch/DC=cern/OU=computers/CN=voms.cern.ch dteam 24'"<br />
VO_DTEAM_VOMS_CA_DN="'/DC=ch/DC=cern/CN=CERN Trusted Certification Authority' '/DC=ch/DC=cern/CN=CERN Trusted Certification Authority'"<br />
NAGIOS_HOST=cclcgvmli03.in2p3.fr<br />
NAGIOS_ADMIN_DNS="/O=GRID-FR/C=FR/O=CEA/OU=IRFU/CN=Christine Leroy","/O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=Nadia Lajili","/O=GRID-FR/C=FR/O=CNRS/OU=LPC/CN=Emmanuel Medernach","/O=GRID-FR/C=FR/O=CNRS/OU=CPPM/CN=Juan Carlos Carranza"<br />
NAGIOS_NCG_ENABLE_CONFIG=true<br />
NAGIOS_NAGIOS_ENABLE_CONFIG=true<br />
NCG_GOCDB_ROC_NAME=France<br />
ROC_NAME=France<br />
NCG_PROBES_TYPE=remote,native,local<br />
NCG_VO=dteam<br />
NAGIOS_MYPROXY_NAME=nagios_roc_fr2<br />
NAGIOS_MYPROXY_USER=nagios<br />
MSG_BROKER_CACHE_NETWORK=PROD<br />
NAGIOS_ROLE=roc<br />
NAGIOS_HTTPD_ENABLE_CONFIG=true<br />
NAGIOS_SUDO_ENABLE_CONFIG=true<br />
NAGIOS_CGI_ENABLE_CONFIG=true<br />
NCG_LDAP_FILTER=GlueSiteOtherInfo=EGEE_ROC=France<br />
NAGIOS_DB_PASS=x<br />
NAGIOS_NSCA_PASS=x<br />
MYSQL_ADMIN=x<br />
ATP_DB_PASS=x<br />
MDDB_DB_PASS=x<br />
MS_DB_PASS=x<br />
MYSQL_PASSWORD=x<br />
MYEGEE_DB_PASS=x<br />
<br />
== Annexe 5 ==<br />
<br />
[root@cclcgvmli03 ~]# cat /opt/glite/yaim/examples/edgusers.conf<br />
11151:${DPMMGR_USER}:11151:${DPMMGR_GROUP}:DPM user:<br />
11152:${EDG_USER}:11152,11156:${EDG_GROUP},${INFOSYS_GROUP}:EDG user:${EDG_HOME_DIR}<br />
11153:${EDGINFO_USER}:11153,1156:${EDGINFO_USER},${INFOSYS_GROUP}:EDG info user:${EDGINFO_HOME_DIR}<br />
11154:${RGMA_USER}:11154,1156:${RGMA_GROUP},${INFOSYS_GROUP}:RGMA user:${INSTALL_ROOT}/glite/etc/rgma<br />
11155:${GLITE_USER}:11155:${GLITE_GROUP}:gLite user:${GLITE_HOME_DIR}<br />
11156:${BDII_USER}:11158:${BDII_GROUP}:BDII user:${BDII_HOME_DIR}<br />
<br />
<br />
== Annexe 6 ==<br />
<br />
Probleme rencontré sur ccnagboxli01 (arret de ypbind + rpm manquant)<br />
chown -R nagios:nagios /var/spool/pnp4nagios<br />
chown -R nagios:nagios /var/spool/msg-nagios-bridge<br />
chown root:nagios /etc/atp/atp_db.conf<br />
chown root:nagios /etc/mddb/databases.yml<br />
chown nagios:apache /var/nagios/rw<br />
chown -R nagios:apache /var/nagios/rw<br />
chown root:nagios /etc/nagios/plugins/send_to_db.ini<br />
chown -R nagios:nagios /var/cache/msg/config-cache<br />
chown -R nagios:root /var/log/mddb<br />
chown -R nagios:root /var/log/pnp4nagios<br />
chown -R nagios:root /var/log/nagios<br />
<br />
<br />
useradd -g 40011 -u 10011 nagios<br />
useradd --group mysql -u 2730 mysql<br />
useradd -g mysql -u 2730 mysql<br />
<br />
groupadd -g 40010 nagiosmaster<br />
groupadd -g 146 leftuser<br />
<br />
yum install glite-security-voms-api-c-1.8.12-2.sl5.x86_64<br />
yum update perl-Net-SSLeay<br />
yum update perl-IO-Socket-SSL-1.01-1.fc6.noarch<br />
yum install glite-wms-ui-commands<br />
yum install lcg_util-1.7.6-1.sl5.x86_64<br />
yum install GFAL-client-1.11.8-2.sl5.x86_64 GFAL-client-1.11.8-2.sl5.i386<br />
yum install CGSI_gSOAP_2.7-1.3.3-1.sl5.x86_64<br />
yum install LFC-interfaces-1.7.3-1sec.sl5.x86_64 LFC-client-1.7.3-1sec.sl5.x86_64 lcg-dm-common-1.7.3-1sec.sl5.x86_64</div>
Carranza
https://lcg.in2p3.fr/index.php?title=Nagios_regional&diff=5774
Nagios regional
2010-04-07T12:13:27Z
<p>Carranza: /* Services nagios BOX */</p>
<hr />
<div>Installation d'une NOGIOS box pour le ROC France<br />
<br />
= 1) Installation de base : =<br />
a. Machine installée par les sysadmin du CC : OS + VOBOX + certificat + pas dans les NIS<br />
<br />
b. Accessible via gsissh (port 1975)<br />
<br />
= 2) Action faite au préalable : =<br />
a. Faire la demande pour que la machine soit autorisée à récupérer les SAM tests : https://gus.fzk.de/ws/ticket_info.php?ticket=55132<br />
<br />
b. Autoriser la nagios box à récupérer les proxy en mode « retrieval », et stocker un proxy depuis une UI récuperable par la nagiosBOX voir [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe0 Annexe0]<br />
<br />
<br />
c. Certificat utilisé pour :<br />
<br />
i. Access to GOCDB PI for ROCS GOCDB PI level 2 required <br />
<br />
ii. Recuperation de proxy pour les sondes locales<br />
<br />
d. s'inscrire dans la mailing liste: regional-nagios-admins@cern.ch (très réactive)<br />
<br />
= 3) Installation de Nagios =<br />
Reference : https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgYaim<br />
== Installation des packages via yum, Ajout des repos suivant ==<br />
a. mirrors-rpmforge (rpm rpmforge-release-0.5.1-1.el5.rf.x86_64.rpm)<br />
b. rpmforge-testing.repo<br />
c. rpmforge.repo<br />
d. glite-UI.repo<br />
e. sa1-centos5-release.repo (rpm: sa1-release-2-1.el5.noarch.rpm)<br />
f. glite-BDII.repo<br />
<br />
Problèmes de dépendances rencontrées si besoin se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe1 Annexe1] (mais j’avais dû oublier de faire un : yum install egee-NAGIOS)<br />
<br />
<br />
== Installation subversion ==<br />
Certain fichier de config sont a recuperer via svn au CERN:<br />
<br />
yum install subversion<br />
svn co http://svnweb.cern.ch/guest/sam/trunk/roc-config<br />
<br />
<br />
cp /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm.orig<br />
cp roc-config/Hash.pm_55_ALL_CRIT /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm<br />
<br />
== Mysql ==<br />
<br />
1. Installer la dernière version de Mysql (server + client) ; <br />
<br />
2. configurer le mot de passe admin se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe2 Annexe2a] ;<br />
<br />
3. Configurer les users utiles à la nagios Box se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe2 Annexe2b] ;<br />
<br />
== Configuration via yaim et NCG (en 2 fois)==<br />
<br />
1. Remplir /etc/ncg/ncg.localdb avec la liste des sites se referer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe3 Annexe3]<br />
<br />
<br />
2. Remplir le /opt/glite/yaim/site-info.def voir [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe4 Annexe4] ;<br />
<br />
3. groupadd nagios<br />
<br />
4. modif des uids/gids : /opt/glite/yaim/examples/edgusers.conf [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe5 Annexe5]<br />
<br />
<br />
5. lancement de la configuration automatique via yaim (All On One Box) :<br />
<br />
/opt/glite/yaim/bin/yaim -s /opt/glite/yaim/site-info.def -c -n glite-UI -n glite-NAGIOS<br />
<br />
6. lancement de la configuration via NCG (All On One Box) :<br />
<br />
/usr/sbin/ncg.pl<br />
<br />
.....MODIFICATION importante:: voir: https://twiki.cern.ch/twiki/bin/view/EGEE/ValidateROCNagios<br />
La partie:<br />
# Configure manually /etc/ncg/ncg.conf (Template can be found here: ncg.conf.template: )<br />
- Switch off automatic generation of ncg.conf by YAIM (NAGIOS_NCG_ENABLE_CONFIG"="false")<br />
- Take ncg.conf.template and copy it to /etc/ncg/ncg.conf<br />
- Set $ROC_NAME$<br />
- Set $YOUR_MYPROXY_SERVER$ (e.g. myproxy-fts.cern.ch)<br />
- Set $MYPROXY_NAME$ (e.g.: NagiosRetrieve-sam-ap-roc.cern.ch)<br />
- Set $NAGIOS_ROLE$ (e.g.: ngi, roc)<br />
# Take Hash.pm file that we are currently using at the CERN ROC Nagios boxes. In this file, we have removed the metrics that do not belong to the SAM_Critical profile, so only the metrics defined at ROC_SAM_critical are configured, and not relevant services like SRMv1 are commented out. The file is located under /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm <br />
<br />
Pour éviter d'avoir des sondes inappropriés.<br />
<br />
== Tuning the configuration ==<br />
<br />
1. Verifier dans /etc/sysconfig/nagios:<br />
LD_LIBRARY_PATH=/opt/classads/lib64:/opt/glite/lib64:/opt/globus/lib:/opt/c-ares/lib:/opt/classads/lib64 <br />
<br />
2. Desactiver les notifications, dans les fichiers de conf: <br />
a. /etc/nagios/nagios.cfg, désactiver les notifications:enable_notifications=0 ;log_notifications=0<br />
b. /etc/nagios/wlcg.d/host.templates.cfg<br />
c. /etc/nagios/wlcg.d/service.templates.cfg<br />
<br />
4. N’autoriser que les dteam/France à visualiser notre interface nagios : modifier le fichier : <br />
/etc/voms2htpasswd.conf, avec : vomss://voms.cern.ch:8443/voms/dteam?/dteam/france<br />
Plus utile site le site-info.def est défini correctement:<br />
VO_DTEAM_VOMS_SERVERS='vomss://voms.cern.ch:8443/voms/dteam?/dteam/france'<br />
<br />
== ActiveMQ ==<br />
/usr/sbin/msg-to-queue --prefix /queue/grid.probe.metricOutput.EGEE.a635834332381123c8b296d02b682f8f --broker-uri stomp://prod-grid-msg.cern.ch:6163<br />
<br />
[root@cclcgvmli03 cron.hourly]# cat check_msg-to-queue.sh<br />
<br />
Verifier les messages:<br />
/usr/libexec/grid-monitoring/plugins/nagios/recv_from_queue -v <br />
<br />
faire une update de perl-GridMon <br />
The problem here is in the message handler <br />
(/usr/lib/perl5/vendor_perl/5.8.8/GridMon/MsgHandler/MetricOutput.pm). <br />
Probe on WN reports hostname localhost.localdomain and serviceURI CE <br />
hostname. In the previous version message handler first checked hostname <br />
value and then serviceURI. That is the reason why Christine is seeing <br />
results for localhost.localdomain. However, we fixed this and the latest <br />
version (1.0.34) parses messages correctly.<br />
<br />
yum update perl-GridMon<br />
<br />
<br />
== Systeme d'information ==<br />
La nagios Box doit etre enregistré dans la GOCDB <br />
et publié dans le site-BDII:<br />
ldapsearch -x -H ldap://ccnagboxli01.in2p3.fr:2170 -b 'Mds-vo-name=resource,o=Grid'<br />
<br />
= validation =<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/ValidateROCNagios<br />
<br />
now you should publish your Nagios in your Site BDII<br />
And we should declare the node in the GOCDB: Regional-NAGIOS ou National-Nagios, a determiner<br />
<br />
<br />
liste des sondes a valider: d'après: https://twiki.cern.ch/twiki/bin/view/LCG/SAMCriticalTestsForCODs<br />
<br />
== Services grilles ==<br />
<br />
{| border="1" width="100%"<br />
| width="5%" |<br />
Type de Noeuds<br />
| width="5%" |<br />
Validé par<br />
| width="20%" |<br />
Valid (Y or N)<br />
|----<br />
|<br />
APEL<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
N: Pas de métric ?<br />
|----<br />
|<br />
BDII (site and TOP)<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y<br />
|----<br />
|<br />
CE<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
- Probleme identifié pour la variable LCG_GFAL_INFOSYS quand c'est une liste (CE lpnce.in2p3.fr):<br />
LCG_GFAL_INFOSYS=topbdii.grif.fr:2170,cclcgtopbdii01.in2p3.fr:2170,lapp-bdii01.in2p3.fr:2170<br />
<br />
-Tout le mecanisme de recuperation des outputs n'est pas compris mais globalement on a les meme resultat que celui du CERN<br />
|----<br />
|<br />
CREAMCE<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: idem CERN nagiosBOX (mais sonde Brokerinfo toujours en erreur: probleme connu: https://savannah.cern.ch/bugs/?61322)<br />
|----<br />
|<br />
FTS<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y and NO: For the check_command those options should be added: <br />
--cert /etc/nagios/globus/hostcert.pem --key /etc/nagios/globus/hostkey.pem -x $USER2$ (this should be fixed in the next release)<br />
|----<br />
|<br />
gRB/WMS<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y:(certificate lifetime only)<br />
|----<br />
|<br />
LFC_C<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: mais il faudrait peut etre demander au site de supporter la VO ops pour que leur LFC soit testé (lfc-ls et lfc-ping)?<br />
|----<br />
|<br />
LFC_L<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: mais il faudrait peut etre demander au site de supporter la VO ops pour que leur LFC soit testé (lfc-ls et lfc-ping)?<br />
|----<br />
|<br />
MPI<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
MyProxy<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
RB<br />
| width="5%" |<br />
nobody<br />
| width="30%" |<br />
N: Service Deprecated. Does NOT apply in Nagios<br />
|----<br />
|<br />
RGMA / MON<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y (certificate lifetime only)<br />
|----<br />
|<br />
<br />
SRMv2<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
VOBOX<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y<br />
|----<br />
|<br />
VOMS<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|}<br />
<br />
<br />
<br />
<br />
== Services nagios BOX ==<br />
<br />
{| border="1" width="100%"<br />
| width="7%" |<br />
Services<br />
| width="5%" |<br />
Validé par<br />
| width="20%" |<br />
Valid (Y or N)<br />
|----<br />
|<br />
hr.srce.CAdist-Version<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
hr.srce.CertLifetime<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
hr.srce.GridProxy-Get-ops<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
hr.srce.GridProxy-Valid-ops<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.ATPSync<br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.CheckConfig<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y<br />
|----<br />
|<br />
org.egee.ImportGocdbDowntimes <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.MDDBSync <br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.RecvFromQueue<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y<br />
|----<br />
|<br />
org.egee.SendToMetricStore<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.SendToMsg<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y : a identifier les differents topics ( ou il ecrit ? qui sont les lecteurs ?)<br />
|----<br />
|<br />
org.nagios.DiskCheck <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.nagios.ProcessCrond <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.nagios.ProcessMsgToQueue <br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y: test if msg-to-queue proc is running<br />
|----<br />
|<br />
org.nagios.ProcessNpcd<br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.sam.CE-JobMonit-ops <br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.sam.CREAMCE-JobMonit-ops <br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.sam.mpi.CE-JobMonit-ops<br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
hr.srce.MyProxy-ProxyLifetime-ops<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
n<br />
|----<br />
|}<br />
<br />
= Mise à jour =<br />
Pour modifier la configuration (Exemple nouveau site a ajouter pour le FOC france):<br />
<br />
Modifier '''/etc/ncg/ncg.localdb''' en conséquence.<br />
<br />
Au prealablefaire une "sauvegarde" local de la config nagios:<br />
mv /etc/nagios/wlcg.d /etc/nagios/wlcg.d.old<br />
<br />
<br />
Puis executer le script ncg:<br />
/usr/sbin/ncg.pl<br />
<br />
Et redemarrer nagios avec la nouvelle configuration:<br />
/etc/init.d/nagios restart<br />
<br />
Verifier que la config est OK et faire un commit dans svn '''svn ci''' pour la sauvegarde de la configuration.<br />
svn ci xxxxx<br />
<br />
<br />
Source d'information pour NCG:<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgOverview<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgRecipes<br />
<br />
= bascule =<br />
Si probleme hardware sur la machine=> bascule sur la machine virtuelle de secours (Nadia ou Jacques).<br />
Faire ensuite un '''svn co''' de la config nagios pour avoir la derniere config de production.<br />
<br />
<br />
<br />
= Annexes =<br />
<br />
<br />
== Annexe0 ==<br />
<br />
Sur le myproxyserver, il faut que le nagios server soit "trusted retriever" et "authorized retrievers":<br />
[cleroy@grid08 ~]$ grep cclcgvmli03 /opt/glite/etc/myproxy-server.conf<br />
trusted_retrievers /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=cclcgvmli03.in2p3.fr<br />
authorized_retrievers /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=cclcgvmli03.in2p3.fr<br />
<br />
<br />
Sur une UI:<br />
<br />
voms-proxy-init -voms ops:/ops/Role=lcgadmin<br />
myproxy-init -c 336 -k nagios_roc_fr2-ops -s myproxy.grif.fr -l nagios -x -Z "/O=GRID-FR/C=FR/O=CNRS/OU=CC-IN2P3/CN=ccnagboxli01.in2p3.fr"<br />
<br />
== Annexe 1 ==<br />
rpm -ivh http://www.sysadmin.hep.ac.uk/rpms/egee-SA1/centos5/x86_64/sa1-release-2-1.el5.noarch.rpm<br />
rpm -ivh http://packages.sw.be/rpmforge-release/rpmforge-release-0.5.1-1.el5.rf.x86_64.rpm<br />
<br />
yum install atp<br />
yum install bouncycastle<br />
yum install broker<br />
yum install broker-cache<br />
yum install dcache-srmclient<br />
yum install dummy-ca-certs<br />
yum install egee-NAGIOS<br />
yum install egee-NAGIOS egee-NRPE<br />
yum install egee-NRPE<br />
yum install fetch-crl<br />
yum install fipscheck fipscheck-lib<br />
yum install glite-UI<br />
yum install glite-security-voms-clients<br />
yum install glite-wms-ui-commands<br />
yum install glite-yaim-core<br />
yum install glite-yaim-nagios<br />
yum install httpd<br />
yum install jdk<br />
yum install lcg-CA<br />
yum install lcg-CA egee-NAGIOS<br />
yum install lcg_util<br />
yum install mddb<br />
yum install msg-publish-simple<br />
yum install myproxy<br />
yum install mysql-client<br />
yum install mysql-server<br />
yum install nagios-proxy-refresh<br />
yum install perl-Config-Tiny<br />
yum install perl-DBD-MySQL<br />
yum install perl-rrdtool-1.3.8-2.el5.rf.x86_64<br />
yum install python-yaml<br />
yum install sun-jaf<br />
yum install uberftp-client<br />
yum install vdt_globus_rm_client<br />
<br />
yum update glite-yaim-clients<br />
yum update glite-yaim-core<br />
yum update glite-yaim-nagios<br />
yum update mysql-server<br />
yum update perl-DBI<br />
<br />
<br />
<br />
== Annexe2 ==<br />
a)Mot de passe admin mysql :<br />
Yum pour recupérer la derniere version de Mysql :<br />
''MySQL-server-community'', ne pas oublier le client (pas de dépendance dessus)<br />
Demmarrage de mysql avec --skip-grant-tables (pour ne pas avoir de mot de passe a rentrer)<br />
mysqld_safe --skip-grant-tables &<br />
[root@cclcgvmli03 ~]# mysql -u root <br />
update user set password=PASSWORD("NEW-ROOT-PASSWORD") where User='root';<br />
<br />
b)creation des users pour le nagios regional:<br />
[root@cclcgvmli03 ~]# mysql -u root -p<br />
mysql> GRANT SELECT, INSERT, UPDATE, DELETE ON nagios.* TO 'ndouser'@'localhost' IDENTIFIED by 'ROCfr2009';<br />
mysql> GRANT SELECT, INSERT, UPDATE, DELETE ON atp.* TO 'atpuser'@'localhost' IDENTIFIED by 'ROCfr2009';<br />
<br />
<br />
== Annexe 3 ==<br />
<br />
[root@cclcgvmli03 ~]# cat /etc/ncg/ncg.localdb<br />
#<br />
# Local Rules file to modify NCG configuration<br />
#<br />
SITE!AUVERGRID<br />
SITE!CGG-LCG2<br />
SITE!ESRF<br />
SITE!GRIF<br />
SITE!IBCP-GBIO<br />
SITE!IN2P3-CC<br />
SITE!IN2P3-CC-PPS<br />
SITE!IN2P3-CC-T2<br />
SITE!IN2P3-CPPM<br />
SITE!IN2P3-IPNL<br />
SITE!IN2P3-IRES<br />
SITE!IN2P3-LAPP<br />
SITE!IN2P3-LPC<br />
SITE!IN2P3-LPSC<br />
SITE!IN2P3-SUBATECH<br />
SITE!IPSL-IPGP-LCG2<br />
SITE!M3PEC<br />
SITE!MSFG<br />
SITE!MSFG-MULTI<br />
SITE!MSFG-OPEN<br />
SITE!OBSPM<br />
SITE!PARIS-UREC-IPV6<br />
SITE!SN-UCAD<br />
SITE!ROC-FR<br />
SITE!SOLEIL<br />
SITE!StratusLab<br />
[root@cclcgvmli03 ~]#<br />
<br />
== Annexe 4 ==<br />
<br />
SITE_EMAIL=c.leroy@cea.fr<br />
SITE_NAME=ROC-FR<br />
RB_HOST=node04.datagrid.cea.fr<br />
WMS_HOST=node04.datagrid.cea.fr<br />
PX_HOST=myproxy.grif.fr<br />
BDII_HOST=topbdii.grif.fr<br />
SITE_BDII_HOST=bdii.grif.fr<br />
MON_HOST=node06.datagrid.cea.fr<br />
VOS="dteam"<br />
DTEAM_GROUP_ENABLE="dteam"<br />
VO_DTEAM_SW_DIR=$VO_SW_DIR/dteam<br />
VO_DTEAM_DEFAULT_SE=$SE_HOST<br />
VO_DTEAM_STORAGE_DIR=$CLASSIC_STORAGE_DIR/dteam<br />
VO_DTEAM_VOMS_SERVERS='vomss://voms.cern.ch:8443/voms/dteam?/dteam/'<br />
VO_DTEAM_VOMSES="'dteam lcg-voms.cern.ch 15004 /DC=ch/DC=cern/OU=computers/CN=lcg-voms.cern.ch dteam 24' 'dteam voms.cern.ch 15004 /DC=ch/DC=cern/OU=computers/CN=voms.cern.ch dteam 24'"<br />
VO_DTEAM_VOMS_CA_DN="'/DC=ch/DC=cern/CN=CERN Trusted Certification Authority' '/DC=ch/DC=cern/CN=CERN Trusted Certification Authority'"<br />
NAGIOS_HOST=cclcgvmli03.in2p3.fr<br />
NAGIOS_ADMIN_DNS="/O=GRID-FR/C=FR/O=CEA/OU=IRFU/CN=Christine Leroy","/O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=Nadia Lajili","/O=GRID-FR/C=FR/O=CNRS/OU=LPC/CN=Emmanuel Medernach","/O=GRID-FR/C=FR/O=CNRS/OU=CPPM/CN=Juan Carlos Carranza"<br />
NAGIOS_NCG_ENABLE_CONFIG=true<br />
NAGIOS_NAGIOS_ENABLE_CONFIG=true<br />
NCG_GOCDB_ROC_NAME=France<br />
ROC_NAME=France<br />
NCG_PROBES_TYPE=remote,native,local<br />
NCG_VO=dteam<br />
NAGIOS_MYPROXY_NAME=nagios_roc_fr2<br />
NAGIOS_MYPROXY_USER=nagios<br />
MSG_BROKER_CACHE_NETWORK=PROD<br />
NAGIOS_ROLE=roc<br />
NAGIOS_HTTPD_ENABLE_CONFIG=true<br />
NAGIOS_SUDO_ENABLE_CONFIG=true<br />
NAGIOS_CGI_ENABLE_CONFIG=true<br />
NCG_LDAP_FILTER=GlueSiteOtherInfo=EGEE_ROC=France<br />
NAGIOS_DB_PASS=x<br />
NAGIOS_NSCA_PASS=x<br />
MYSQL_ADMIN=x<br />
ATP_DB_PASS=x<br />
MDDB_DB_PASS=x<br />
MS_DB_PASS=x<br />
MYSQL_PASSWORD=x<br />
MYEGEE_DB_PASS=x<br />
<br />
== Annexe 5 ==<br />
<br />
[root@cclcgvmli03 ~]# cat /opt/glite/yaim/examples/edgusers.conf<br />
11151:${DPMMGR_USER}:11151:${DPMMGR_GROUP}:DPM user:<br />
11152:${EDG_USER}:11152,11156:${EDG_GROUP},${INFOSYS_GROUP}:EDG user:${EDG_HOME_DIR}<br />
11153:${EDGINFO_USER}:11153,1156:${EDGINFO_USER},${INFOSYS_GROUP}:EDG info user:${EDGINFO_HOME_DIR}<br />
11154:${RGMA_USER}:11154,1156:${RGMA_GROUP},${INFOSYS_GROUP}:RGMA user:${INSTALL_ROOT}/glite/etc/rgma<br />
11155:${GLITE_USER}:11155:${GLITE_GROUP}:gLite user:${GLITE_HOME_DIR}<br />
11156:${BDII_USER}:11158:${BDII_GROUP}:BDII user:${BDII_HOME_DIR}<br />
<br />
<br />
== Annexe 6 ==<br />
<br />
Probleme rencontré sur ccnagboxli01 (arret de ypbind + rpm manquant)<br />
chown -R nagios:nagios /var/spool/pnp4nagios<br />
chown -R nagios:nagios /var/spool/msg-nagios-bridge<br />
chown root:nagios /etc/atp/atp_db.conf<br />
chown root:nagios /etc/mddb/databases.yml<br />
chown nagios:apache /var/nagios/rw<br />
chown -R nagios:apache /var/nagios/rw<br />
chown root:nagios /etc/nagios/plugins/send_to_db.ini<br />
chown -R nagios:nagios /var/cache/msg/config-cache<br />
chown -R nagios:root /var/log/mddb<br />
chown -R nagios:root /var/log/pnp4nagios<br />
chown -R nagios:root /var/log/nagios<br />
<br />
<br />
useradd -g 40011 -u 10011 nagios<br />
useradd --group mysql -u 2730 mysql<br />
useradd -g mysql -u 2730 mysql<br />
<br />
groupadd -g 40010 nagiosmaster<br />
groupadd -g 146 leftuser<br />
<br />
yum install glite-security-voms-api-c-1.8.12-2.sl5.x86_64<br />
yum update perl-Net-SSLeay<br />
yum update perl-IO-Socket-SSL-1.01-1.fc6.noarch<br />
yum install glite-wms-ui-commands<br />
yum install lcg_util-1.7.6-1.sl5.x86_64<br />
yum install GFAL-client-1.11.8-2.sl5.x86_64 GFAL-client-1.11.8-2.sl5.i386<br />
yum install CGSI_gSOAP_2.7-1.3.3-1.sl5.x86_64<br />
yum install LFC-interfaces-1.7.3-1sec.sl5.x86_64 LFC-client-1.7.3-1sec.sl5.x86_64 lcg-dm-common-1.7.3-1sec.sl5.x86_64</div>
Carranza
https://lcg.in2p3.fr/index.php?title=Nagios_regional&diff=5773
Nagios regional
2010-04-07T12:06:51Z
<p>Carranza: /* Services nagios BOX */</p>
<hr />
<div>Installation d'une NOGIOS box pour le ROC France<br />
<br />
= 1) Installation de base : =<br />
a. Machine installée par les sysadmin du CC : OS + VOBOX + certificat + pas dans les NIS<br />
<br />
b. Accessible via gsissh (port 1975)<br />
<br />
= 2) Action faite au préalable : =<br />
a. Faire la demande pour que la machine soit autorisée à récupérer les SAM tests : https://gus.fzk.de/ws/ticket_info.php?ticket=55132<br />
<br />
b. Autoriser la nagios box à récupérer les proxy en mode « retrieval », et stocker un proxy depuis une UI récuperable par la nagiosBOX voir [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe0 Annexe0]<br />
<br />
<br />
c. Certificat utilisé pour :<br />
<br />
i. Access to GOCDB PI for ROCS GOCDB PI level 2 required <br />
<br />
ii. Recuperation de proxy pour les sondes locales<br />
<br />
d. s'inscrire dans la mailing liste: regional-nagios-admins@cern.ch (très réactive)<br />
<br />
= 3) Installation de Nagios =<br />
Reference : https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgYaim<br />
== Installation des packages via yum, Ajout des repos suivant ==<br />
a. mirrors-rpmforge (rpm rpmforge-release-0.5.1-1.el5.rf.x86_64.rpm)<br />
b. rpmforge-testing.repo<br />
c. rpmforge.repo<br />
d. glite-UI.repo<br />
e. sa1-centos5-release.repo (rpm: sa1-release-2-1.el5.noarch.rpm)<br />
f. glite-BDII.repo<br />
<br />
Problèmes de dépendances rencontrées si besoin se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe1 Annexe1] (mais j’avais dû oublier de faire un : yum install egee-NAGIOS)<br />
<br />
<br />
== Installation subversion ==<br />
Certain fichier de config sont a recuperer via svn au CERN:<br />
<br />
yum install subversion<br />
svn co http://svnweb.cern.ch/guest/sam/trunk/roc-config<br />
<br />
<br />
cp /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm.orig<br />
cp roc-config/Hash.pm_55_ALL_CRIT /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm<br />
<br />
== Mysql ==<br />
<br />
1. Installer la dernière version de Mysql (server + client) ; <br />
<br />
2. configurer le mot de passe admin se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe2 Annexe2a] ;<br />
<br />
3. Configurer les users utiles à la nagios Box se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe2 Annexe2b] ;<br />
<br />
== Configuration via yaim et NCG (en 2 fois)==<br />
<br />
1. Remplir /etc/ncg/ncg.localdb avec la liste des sites se referer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe3 Annexe3]<br />
<br />
<br />
2. Remplir le /opt/glite/yaim/site-info.def voir [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe4 Annexe4] ;<br />
<br />
3. groupadd nagios<br />
<br />
4. modif des uids/gids : /opt/glite/yaim/examples/edgusers.conf [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe5 Annexe5]<br />
<br />
<br />
5. lancement de la configuration automatique via yaim (All On One Box) :<br />
<br />
/opt/glite/yaim/bin/yaim -s /opt/glite/yaim/site-info.def -c -n glite-UI -n glite-NAGIOS<br />
<br />
6. lancement de la configuration via NCG (All On One Box) :<br />
<br />
/usr/sbin/ncg.pl<br />
<br />
.....MODIFICATION importante:: voir: https://twiki.cern.ch/twiki/bin/view/EGEE/ValidateROCNagios<br />
La partie:<br />
# Configure manually /etc/ncg/ncg.conf (Template can be found here: ncg.conf.template: )<br />
- Switch off automatic generation of ncg.conf by YAIM (NAGIOS_NCG_ENABLE_CONFIG"="false")<br />
- Take ncg.conf.template and copy it to /etc/ncg/ncg.conf<br />
- Set $ROC_NAME$<br />
- Set $YOUR_MYPROXY_SERVER$ (e.g. myproxy-fts.cern.ch)<br />
- Set $MYPROXY_NAME$ (e.g.: NagiosRetrieve-sam-ap-roc.cern.ch)<br />
- Set $NAGIOS_ROLE$ (e.g.: ngi, roc)<br />
# Take Hash.pm file that we are currently using at the CERN ROC Nagios boxes. In this file, we have removed the metrics that do not belong to the SAM_Critical profile, so only the metrics defined at ROC_SAM_critical are configured, and not relevant services like SRMv1 are commented out. The file is located under /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm <br />
<br />
Pour éviter d'avoir des sondes inappropriés.<br />
<br />
== Tuning the configuration ==<br />
<br />
1. Verifier dans /etc/sysconfig/nagios:<br />
LD_LIBRARY_PATH=/opt/classads/lib64:/opt/glite/lib64:/opt/globus/lib:/opt/c-ares/lib:/opt/classads/lib64 <br />
<br />
2. Desactiver les notifications, dans les fichiers de conf: <br />
a. /etc/nagios/nagios.cfg, désactiver les notifications:enable_notifications=0 ;log_notifications=0<br />
b. /etc/nagios/wlcg.d/host.templates.cfg<br />
c. /etc/nagios/wlcg.d/service.templates.cfg<br />
<br />
4. N’autoriser que les dteam/France à visualiser notre interface nagios : modifier le fichier : <br />
/etc/voms2htpasswd.conf, avec : vomss://voms.cern.ch:8443/voms/dteam?/dteam/france<br />
Plus utile site le site-info.def est défini correctement:<br />
VO_DTEAM_VOMS_SERVERS='vomss://voms.cern.ch:8443/voms/dteam?/dteam/france'<br />
<br />
== ActiveMQ ==<br />
/usr/sbin/msg-to-queue --prefix /queue/grid.probe.metricOutput.EGEE.a635834332381123c8b296d02b682f8f --broker-uri stomp://prod-grid-msg.cern.ch:6163<br />
<br />
[root@cclcgvmli03 cron.hourly]# cat check_msg-to-queue.sh<br />
<br />
Verifier les messages:<br />
/usr/libexec/grid-monitoring/plugins/nagios/recv_from_queue -v <br />
<br />
faire une update de perl-GridMon <br />
The problem here is in the message handler <br />
(/usr/lib/perl5/vendor_perl/5.8.8/GridMon/MsgHandler/MetricOutput.pm). <br />
Probe on WN reports hostname localhost.localdomain and serviceURI CE <br />
hostname. In the previous version message handler first checked hostname <br />
value and then serviceURI. That is the reason why Christine is seeing <br />
results for localhost.localdomain. However, we fixed this and the latest <br />
version (1.0.34) parses messages correctly.<br />
<br />
yum update perl-GridMon<br />
<br />
<br />
== Systeme d'information ==<br />
La nagios Box doit etre enregistré dans la GOCDB <br />
et publié dans le site-BDII:<br />
ldapsearch -x -H ldap://ccnagboxli01.in2p3.fr:2170 -b 'Mds-vo-name=resource,o=Grid'<br />
<br />
= validation =<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/ValidateROCNagios<br />
<br />
now you should publish your Nagios in your Site BDII<br />
And we should declare the node in the GOCDB: Regional-NAGIOS ou National-Nagios, a determiner<br />
<br />
<br />
liste des sondes a valider: d'après: https://twiki.cern.ch/twiki/bin/view/LCG/SAMCriticalTestsForCODs<br />
<br />
== Services grilles ==<br />
<br />
{| border="1" width="100%"<br />
| width="5%" |<br />
Type de Noeuds<br />
| width="5%" |<br />
Validé par<br />
| width="20%" |<br />
Valid (Y or N)<br />
|----<br />
|<br />
APEL<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
N: Pas de métric ?<br />
|----<br />
|<br />
BDII (site and TOP)<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y<br />
|----<br />
|<br />
CE<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
- Probleme identifié pour la variable LCG_GFAL_INFOSYS quand c'est une liste (CE lpnce.in2p3.fr):<br />
LCG_GFAL_INFOSYS=topbdii.grif.fr:2170,cclcgtopbdii01.in2p3.fr:2170,lapp-bdii01.in2p3.fr:2170<br />
<br />
-Tout le mecanisme de recuperation des outputs n'est pas compris mais globalement on a les meme resultat que celui du CERN<br />
|----<br />
|<br />
CREAMCE<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: idem CERN nagiosBOX (mais sonde Brokerinfo toujours en erreur: probleme connu: https://savannah.cern.ch/bugs/?61322)<br />
|----<br />
|<br />
FTS<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y and NO: For the check_command those options should be added: <br />
--cert /etc/nagios/globus/hostcert.pem --key /etc/nagios/globus/hostkey.pem -x $USER2$ (this should be fixed in the next release)<br />
|----<br />
|<br />
gRB/WMS<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y:(certificate lifetime only)<br />
|----<br />
|<br />
LFC_C<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: mais il faudrait peut etre demander au site de supporter la VO ops pour que leur LFC soit testé (lfc-ls et lfc-ping)?<br />
|----<br />
|<br />
LFC_L<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: mais il faudrait peut etre demander au site de supporter la VO ops pour que leur LFC soit testé (lfc-ls et lfc-ping)?<br />
|----<br />
|<br />
MPI<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
MyProxy<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
RB<br />
| width="5%" |<br />
nobody<br />
| width="30%" |<br />
N: Service Deprecated. Does NOT apply in Nagios<br />
|----<br />
|<br />
RGMA / MON<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y (certificate lifetime only)<br />
|----<br />
|<br />
<br />
SRMv2<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
VOBOX<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y<br />
|----<br />
|<br />
VOMS<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|}<br />
<br />
<br />
<br />
<br />
== Services nagios BOX ==<br />
<br />
{| border="1" width="100%"<br />
| width="7%" |<br />
Services<br />
| width="5%" |<br />
Validé par<br />
| width="20%" |<br />
Valid (Y or N)<br />
|----<br />
|<br />
hr.srce.CAdist-Version<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
hr.srce.CertLifetime<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
hr.srce.GridProxy-Get-ops<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
hr.srce.GridProxy-Valid-ops<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.ATPSync<br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.CheckConfig<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y<br />
|----<br />
|<br />
org.egee.ImportGocdbDowntimes <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.MDDBSync <br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.RecvFromQueue<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y<br />
|----<br />
|<br />
org.egee.SendToMetricStore<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.SendToMsg<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y : a identifier les differents topics ( ou il ecrit ? qui sont les lecteurs ?)<br />
|----<br />
|<br />
org.nagios.DiskCheck <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.nagios.ProcessCrond <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.nagios.ProcessMsgToQueue <br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.nagios.ProcessNpcd<br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.sam.CE-JobMonit-ops <br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.sam.CREAMCE-JobMonit-ops <br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.sam.mpi.CE-JobMonit-ops<br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
hr.srce.MyProxy-ProxyLifetime-ops<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
n<br />
|----<br />
|}<br />
<br />
= Mise à jour =<br />
Pour modifier la configuration (Exemple nouveau site a ajouter pour le FOC france):<br />
<br />
Modifier '''/etc/ncg/ncg.localdb''' en conséquence.<br />
<br />
Au prealablefaire une "sauvegarde" local de la config nagios:<br />
mv /etc/nagios/wlcg.d /etc/nagios/wlcg.d.old<br />
<br />
<br />
Puis executer le script ncg:<br />
/usr/sbin/ncg.pl<br />
<br />
Et redemarrer nagios avec la nouvelle configuration:<br />
/etc/init.d/nagios restart<br />
<br />
Verifier que la config est OK et faire un commit dans svn '''svn ci''' pour la sauvegarde de la configuration.<br />
svn ci xxxxx<br />
<br />
<br />
Source d'information pour NCG:<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgOverview<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgRecipes<br />
<br />
= bascule =<br />
Si probleme hardware sur la machine=> bascule sur la machine virtuelle de secours (Nadia ou Jacques).<br />
Faire ensuite un '''svn co''' de la config nagios pour avoir la derniere config de production.<br />
<br />
<br />
<br />
= Annexes =<br />
<br />
<br />
== Annexe0 ==<br />
<br />
Sur le myproxyserver, il faut que le nagios server soit "trusted retriever" et "authorized retrievers":<br />
[cleroy@grid08 ~]$ grep cclcgvmli03 /opt/glite/etc/myproxy-server.conf<br />
trusted_retrievers /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=cclcgvmli03.in2p3.fr<br />
authorized_retrievers /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=cclcgvmli03.in2p3.fr<br />
<br />
<br />
Sur une UI:<br />
<br />
voms-proxy-init -voms ops:/ops/Role=lcgadmin<br />
myproxy-init -c 336 -k nagios_roc_fr2-ops -s myproxy.grif.fr -l nagios -x -Z "/O=GRID-FR/C=FR/O=CNRS/OU=CC-IN2P3/CN=ccnagboxli01.in2p3.fr"<br />
<br />
== Annexe 1 ==<br />
rpm -ivh http://www.sysadmin.hep.ac.uk/rpms/egee-SA1/centos5/x86_64/sa1-release-2-1.el5.noarch.rpm<br />
rpm -ivh http://packages.sw.be/rpmforge-release/rpmforge-release-0.5.1-1.el5.rf.x86_64.rpm<br />
<br />
yum install atp<br />
yum install bouncycastle<br />
yum install broker<br />
yum install broker-cache<br />
yum install dcache-srmclient<br />
yum install dummy-ca-certs<br />
yum install egee-NAGIOS<br />
yum install egee-NAGIOS egee-NRPE<br />
yum install egee-NRPE<br />
yum install fetch-crl<br />
yum install fipscheck fipscheck-lib<br />
yum install glite-UI<br />
yum install glite-security-voms-clients<br />
yum install glite-wms-ui-commands<br />
yum install glite-yaim-core<br />
yum install glite-yaim-nagios<br />
yum install httpd<br />
yum install jdk<br />
yum install lcg-CA<br />
yum install lcg-CA egee-NAGIOS<br />
yum install lcg_util<br />
yum install mddb<br />
yum install msg-publish-simple<br />
yum install myproxy<br />
yum install mysql-client<br />
yum install mysql-server<br />
yum install nagios-proxy-refresh<br />
yum install perl-Config-Tiny<br />
yum install perl-DBD-MySQL<br />
yum install perl-rrdtool-1.3.8-2.el5.rf.x86_64<br />
yum install python-yaml<br />
yum install sun-jaf<br />
yum install uberftp-client<br />
yum install vdt_globus_rm_client<br />
<br />
yum update glite-yaim-clients<br />
yum update glite-yaim-core<br />
yum update glite-yaim-nagios<br />
yum update mysql-server<br />
yum update perl-DBI<br />
<br />
<br />
<br />
== Annexe2 ==<br />
a)Mot de passe admin mysql :<br />
Yum pour recupérer la derniere version de Mysql :<br />
''MySQL-server-community'', ne pas oublier le client (pas de dépendance dessus)<br />
Demmarrage de mysql avec --skip-grant-tables (pour ne pas avoir de mot de passe a rentrer)<br />
mysqld_safe --skip-grant-tables &<br />
[root@cclcgvmli03 ~]# mysql -u root <br />
update user set password=PASSWORD("NEW-ROOT-PASSWORD") where User='root';<br />
<br />
b)creation des users pour le nagios regional:<br />
[root@cclcgvmli03 ~]# mysql -u root -p<br />
mysql> GRANT SELECT, INSERT, UPDATE, DELETE ON nagios.* TO 'ndouser'@'localhost' IDENTIFIED by 'ROCfr2009';<br />
mysql> GRANT SELECT, INSERT, UPDATE, DELETE ON atp.* TO 'atpuser'@'localhost' IDENTIFIED by 'ROCfr2009';<br />
<br />
<br />
== Annexe 3 ==<br />
<br />
[root@cclcgvmli03 ~]# cat /etc/ncg/ncg.localdb<br />
#<br />
# Local Rules file to modify NCG configuration<br />
#<br />
SITE!AUVERGRID<br />
SITE!CGG-LCG2<br />
SITE!ESRF<br />
SITE!GRIF<br />
SITE!IBCP-GBIO<br />
SITE!IN2P3-CC<br />
SITE!IN2P3-CC-PPS<br />
SITE!IN2P3-CC-T2<br />
SITE!IN2P3-CPPM<br />
SITE!IN2P3-IPNL<br />
SITE!IN2P3-IRES<br />
SITE!IN2P3-LAPP<br />
SITE!IN2P3-LPC<br />
SITE!IN2P3-LPSC<br />
SITE!IN2P3-SUBATECH<br />
SITE!IPSL-IPGP-LCG2<br />
SITE!M3PEC<br />
SITE!MSFG<br />
SITE!MSFG-MULTI<br />
SITE!MSFG-OPEN<br />
SITE!OBSPM<br />
SITE!PARIS-UREC-IPV6<br />
SITE!SN-UCAD<br />
SITE!ROC-FR<br />
SITE!SOLEIL<br />
SITE!StratusLab<br />
[root@cclcgvmli03 ~]#<br />
<br />
== Annexe 4 ==<br />
<br />
SITE_EMAIL=c.leroy@cea.fr<br />
SITE_NAME=ROC-FR<br />
RB_HOST=node04.datagrid.cea.fr<br />
WMS_HOST=node04.datagrid.cea.fr<br />
PX_HOST=myproxy.grif.fr<br />
BDII_HOST=topbdii.grif.fr<br />
SITE_BDII_HOST=bdii.grif.fr<br />
MON_HOST=node06.datagrid.cea.fr<br />
VOS="dteam"<br />
DTEAM_GROUP_ENABLE="dteam"<br />
VO_DTEAM_SW_DIR=$VO_SW_DIR/dteam<br />
VO_DTEAM_DEFAULT_SE=$SE_HOST<br />
VO_DTEAM_STORAGE_DIR=$CLASSIC_STORAGE_DIR/dteam<br />
VO_DTEAM_VOMS_SERVERS='vomss://voms.cern.ch:8443/voms/dteam?/dteam/'<br />
VO_DTEAM_VOMSES="'dteam lcg-voms.cern.ch 15004 /DC=ch/DC=cern/OU=computers/CN=lcg-voms.cern.ch dteam 24' 'dteam voms.cern.ch 15004 /DC=ch/DC=cern/OU=computers/CN=voms.cern.ch dteam 24'"<br />
VO_DTEAM_VOMS_CA_DN="'/DC=ch/DC=cern/CN=CERN Trusted Certification Authority' '/DC=ch/DC=cern/CN=CERN Trusted Certification Authority'"<br />
NAGIOS_HOST=cclcgvmli03.in2p3.fr<br />
NAGIOS_ADMIN_DNS="/O=GRID-FR/C=FR/O=CEA/OU=IRFU/CN=Christine Leroy","/O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=Nadia Lajili","/O=GRID-FR/C=FR/O=CNRS/OU=LPC/CN=Emmanuel Medernach","/O=GRID-FR/C=FR/O=CNRS/OU=CPPM/CN=Juan Carlos Carranza"<br />
NAGIOS_NCG_ENABLE_CONFIG=true<br />
NAGIOS_NAGIOS_ENABLE_CONFIG=true<br />
NCG_GOCDB_ROC_NAME=France<br />
ROC_NAME=France<br />
NCG_PROBES_TYPE=remote,native,local<br />
NCG_VO=dteam<br />
NAGIOS_MYPROXY_NAME=nagios_roc_fr2<br />
NAGIOS_MYPROXY_USER=nagios<br />
MSG_BROKER_CACHE_NETWORK=PROD<br />
NAGIOS_ROLE=roc<br />
NAGIOS_HTTPD_ENABLE_CONFIG=true<br />
NAGIOS_SUDO_ENABLE_CONFIG=true<br />
NAGIOS_CGI_ENABLE_CONFIG=true<br />
NCG_LDAP_FILTER=GlueSiteOtherInfo=EGEE_ROC=France<br />
NAGIOS_DB_PASS=x<br />
NAGIOS_NSCA_PASS=x<br />
MYSQL_ADMIN=x<br />
ATP_DB_PASS=x<br />
MDDB_DB_PASS=x<br />
MS_DB_PASS=x<br />
MYSQL_PASSWORD=x<br />
MYEGEE_DB_PASS=x<br />
<br />
== Annexe 5 ==<br />
<br />
[root@cclcgvmli03 ~]# cat /opt/glite/yaim/examples/edgusers.conf<br />
11151:${DPMMGR_USER}:11151:${DPMMGR_GROUP}:DPM user:<br />
11152:${EDG_USER}:11152,11156:${EDG_GROUP},${INFOSYS_GROUP}:EDG user:${EDG_HOME_DIR}<br />
11153:${EDGINFO_USER}:11153,1156:${EDGINFO_USER},${INFOSYS_GROUP}:EDG info user:${EDGINFO_HOME_DIR}<br />
11154:${RGMA_USER}:11154,1156:${RGMA_GROUP},${INFOSYS_GROUP}:RGMA user:${INSTALL_ROOT}/glite/etc/rgma<br />
11155:${GLITE_USER}:11155:${GLITE_GROUP}:gLite user:${GLITE_HOME_DIR}<br />
11156:${BDII_USER}:11158:${BDII_GROUP}:BDII user:${BDII_HOME_DIR}<br />
<br />
<br />
== Annexe 6 ==<br />
<br />
Probleme rencontré sur ccnagboxli01 (arret de ypbind + rpm manquant)<br />
chown -R nagios:nagios /var/spool/pnp4nagios<br />
chown -R nagios:nagios /var/spool/msg-nagios-bridge<br />
chown root:nagios /etc/atp/atp_db.conf<br />
chown root:nagios /etc/mddb/databases.yml<br />
chown nagios:apache /var/nagios/rw<br />
chown -R nagios:apache /var/nagios/rw<br />
chown root:nagios /etc/nagios/plugins/send_to_db.ini<br />
chown -R nagios:nagios /var/cache/msg/config-cache<br />
chown -R nagios:root /var/log/mddb<br />
chown -R nagios:root /var/log/pnp4nagios<br />
chown -R nagios:root /var/log/nagios<br />
<br />
<br />
useradd -g 40011 -u 10011 nagios<br />
useradd --group mysql -u 2730 mysql<br />
useradd -g mysql -u 2730 mysql<br />
<br />
groupadd -g 40010 nagiosmaster<br />
groupadd -g 146 leftuser<br />
<br />
yum install glite-security-voms-api-c-1.8.12-2.sl5.x86_64<br />
yum update perl-Net-SSLeay<br />
yum update perl-IO-Socket-SSL-1.01-1.fc6.noarch<br />
yum install glite-wms-ui-commands<br />
yum install lcg_util-1.7.6-1.sl5.x86_64<br />
yum install GFAL-client-1.11.8-2.sl5.x86_64 GFAL-client-1.11.8-2.sl5.i386<br />
yum install CGSI_gSOAP_2.7-1.3.3-1.sl5.x86_64<br />
yum install LFC-interfaces-1.7.3-1sec.sl5.x86_64 LFC-client-1.7.3-1sec.sl5.x86_64 lcg-dm-common-1.7.3-1sec.sl5.x86_64</div>
Carranza
https://lcg.in2p3.fr/index.php?title=Nagios_regional&diff=5772
Nagios regional
2010-04-07T12:02:13Z
<p>Carranza: /* Services nagios BOX */</p>
<hr />
<div>Installation d'une NOGIOS box pour le ROC France<br />
<br />
= 1) Installation de base : =<br />
a. Machine installée par les sysadmin du CC : OS + VOBOX + certificat + pas dans les NIS<br />
<br />
b. Accessible via gsissh (port 1975)<br />
<br />
= 2) Action faite au préalable : =<br />
a. Faire la demande pour que la machine soit autorisée à récupérer les SAM tests : https://gus.fzk.de/ws/ticket_info.php?ticket=55132<br />
<br />
b. Autoriser la nagios box à récupérer les proxy en mode « retrieval », et stocker un proxy depuis une UI récuperable par la nagiosBOX voir [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe0 Annexe0]<br />
<br />
<br />
c. Certificat utilisé pour :<br />
<br />
i. Access to GOCDB PI for ROCS GOCDB PI level 2 required <br />
<br />
ii. Recuperation de proxy pour les sondes locales<br />
<br />
d. s'inscrire dans la mailing liste: regional-nagios-admins@cern.ch (très réactive)<br />
<br />
= 3) Installation de Nagios =<br />
Reference : https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgYaim<br />
== Installation des packages via yum, Ajout des repos suivant ==<br />
a. mirrors-rpmforge (rpm rpmforge-release-0.5.1-1.el5.rf.x86_64.rpm)<br />
b. rpmforge-testing.repo<br />
c. rpmforge.repo<br />
d. glite-UI.repo<br />
e. sa1-centos5-release.repo (rpm: sa1-release-2-1.el5.noarch.rpm)<br />
f. glite-BDII.repo<br />
<br />
Problèmes de dépendances rencontrées si besoin se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe1 Annexe1] (mais j’avais dû oublier de faire un : yum install egee-NAGIOS)<br />
<br />
<br />
== Installation subversion ==<br />
Certain fichier de config sont a recuperer via svn au CERN:<br />
<br />
yum install subversion<br />
svn co http://svnweb.cern.ch/guest/sam/trunk/roc-config<br />
<br />
<br />
cp /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm.orig<br />
cp roc-config/Hash.pm_55_ALL_CRIT /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm<br />
<br />
== Mysql ==<br />
<br />
1. Installer la dernière version de Mysql (server + client) ; <br />
<br />
2. configurer le mot de passe admin se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe2 Annexe2a] ;<br />
<br />
3. Configurer les users utiles à la nagios Box se référer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe2 Annexe2b] ;<br />
<br />
== Configuration via yaim et NCG (en 2 fois)==<br />
<br />
1. Remplir /etc/ncg/ncg.localdb avec la liste des sites se referer [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe3 Annexe3]<br />
<br />
<br />
2. Remplir le /opt/glite/yaim/site-info.def voir [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe4 Annexe4] ;<br />
<br />
3. groupadd nagios<br />
<br />
4. modif des uids/gids : /opt/glite/yaim/examples/edgusers.conf [http://lcg.in2p3.fr/wiki/index.php/Nagios_regional#Annexe5 Annexe5]<br />
<br />
<br />
5. lancement de la configuration automatique via yaim (All On One Box) :<br />
<br />
/opt/glite/yaim/bin/yaim -s /opt/glite/yaim/site-info.def -c -n glite-UI -n glite-NAGIOS<br />
<br />
6. lancement de la configuration via NCG (All On One Box) :<br />
<br />
/usr/sbin/ncg.pl<br />
<br />
.....MODIFICATION importante:: voir: https://twiki.cern.ch/twiki/bin/view/EGEE/ValidateROCNagios<br />
La partie:<br />
# Configure manually /etc/ncg/ncg.conf (Template can be found here: ncg.conf.template: )<br />
- Switch off automatic generation of ncg.conf by YAIM (NAGIOS_NCG_ENABLE_CONFIG"="false")<br />
- Take ncg.conf.template and copy it to /etc/ncg/ncg.conf<br />
- Set $ROC_NAME$<br />
- Set $YOUR_MYPROXY_SERVER$ (e.g. myproxy-fts.cern.ch)<br />
- Set $MYPROXY_NAME$ (e.g.: NagiosRetrieve-sam-ap-roc.cern.ch)<br />
- Set $NAGIOS_ROLE$ (e.g.: ngi, roc)<br />
# Take Hash.pm file that we are currently using at the CERN ROC Nagios boxes. In this file, we have removed the metrics that do not belong to the SAM_Critical profile, so only the metrics defined at ROC_SAM_critical are configured, and not relevant services like SRMv1 are commented out. The file is located under /usr/lib/perl5/vendor_perl/5.8.5/NCG/LocalMetrics/Hash.pm <br />
<br />
Pour éviter d'avoir des sondes inappropriés.<br />
<br />
== Tuning the configuration ==<br />
<br />
1. Verifier dans /etc/sysconfig/nagios:<br />
LD_LIBRARY_PATH=/opt/classads/lib64:/opt/glite/lib64:/opt/globus/lib:/opt/c-ares/lib:/opt/classads/lib64 <br />
<br />
2. Desactiver les notifications, dans les fichiers de conf: <br />
a. /etc/nagios/nagios.cfg, désactiver les notifications:enable_notifications=0 ;log_notifications=0<br />
b. /etc/nagios/wlcg.d/host.templates.cfg<br />
c. /etc/nagios/wlcg.d/service.templates.cfg<br />
<br />
4. N’autoriser que les dteam/France à visualiser notre interface nagios : modifier le fichier : <br />
/etc/voms2htpasswd.conf, avec : vomss://voms.cern.ch:8443/voms/dteam?/dteam/france<br />
Plus utile site le site-info.def est défini correctement:<br />
VO_DTEAM_VOMS_SERVERS='vomss://voms.cern.ch:8443/voms/dteam?/dteam/france'<br />
<br />
== ActiveMQ ==<br />
/usr/sbin/msg-to-queue --prefix /queue/grid.probe.metricOutput.EGEE.a635834332381123c8b296d02b682f8f --broker-uri stomp://prod-grid-msg.cern.ch:6163<br />
<br />
[root@cclcgvmli03 cron.hourly]# cat check_msg-to-queue.sh<br />
<br />
Verifier les messages:<br />
/usr/libexec/grid-monitoring/plugins/nagios/recv_from_queue -v <br />
<br />
faire une update de perl-GridMon <br />
The problem here is in the message handler <br />
(/usr/lib/perl5/vendor_perl/5.8.8/GridMon/MsgHandler/MetricOutput.pm). <br />
Probe on WN reports hostname localhost.localdomain and serviceURI CE <br />
hostname. In the previous version message handler first checked hostname <br />
value and then serviceURI. That is the reason why Christine is seeing <br />
results for localhost.localdomain. However, we fixed this and the latest <br />
version (1.0.34) parses messages correctly.<br />
<br />
yum update perl-GridMon<br />
<br />
<br />
== Systeme d'information ==<br />
La nagios Box doit etre enregistré dans la GOCDB <br />
et publié dans le site-BDII:<br />
ldapsearch -x -H ldap://ccnagboxli01.in2p3.fr:2170 -b 'Mds-vo-name=resource,o=Grid'<br />
<br />
= validation =<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/ValidateROCNagios<br />
<br />
now you should publish your Nagios in your Site BDII<br />
And we should declare the node in the GOCDB: Regional-NAGIOS ou National-Nagios, a determiner<br />
<br />
<br />
liste des sondes a valider: d'après: https://twiki.cern.ch/twiki/bin/view/LCG/SAMCriticalTestsForCODs<br />
<br />
== Services grilles ==<br />
<br />
{| border="1" width="100%"<br />
| width="5%" |<br />
Type de Noeuds<br />
| width="5%" |<br />
Validé par<br />
| width="20%" |<br />
Valid (Y or N)<br />
|----<br />
|<br />
APEL<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
N: Pas de métric ?<br />
|----<br />
|<br />
BDII (site and TOP)<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y<br />
|----<br />
|<br />
CE<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
- Probleme identifié pour la variable LCG_GFAL_INFOSYS quand c'est une liste (CE lpnce.in2p3.fr):<br />
LCG_GFAL_INFOSYS=topbdii.grif.fr:2170,cclcgtopbdii01.in2p3.fr:2170,lapp-bdii01.in2p3.fr:2170<br />
<br />
-Tout le mecanisme de recuperation des outputs n'est pas compris mais globalement on a les meme resultat que celui du CERN<br />
|----<br />
|<br />
CREAMCE<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: idem CERN nagiosBOX (mais sonde Brokerinfo toujours en erreur: probleme connu: https://savannah.cern.ch/bugs/?61322)<br />
|----<br />
|<br />
FTS<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y and NO: For the check_command those options should be added: <br />
--cert /etc/nagios/globus/hostcert.pem --key /etc/nagios/globus/hostkey.pem -x $USER2$ (this should be fixed in the next release)<br />
|----<br />
|<br />
gRB/WMS<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y:(certificate lifetime only)<br />
|----<br />
|<br />
LFC_C<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: mais il faudrait peut etre demander au site de supporter la VO ops pour que leur LFC soit testé (lfc-ls et lfc-ping)?<br />
|----<br />
|<br />
LFC_L<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y: mais il faudrait peut etre demander au site de supporter la VO ops pour que leur LFC soit testé (lfc-ls et lfc-ping)?<br />
|----<br />
|<br />
MPI<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
MyProxy<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
RB<br />
| width="5%" |<br />
nobody<br />
| width="30%" |<br />
N: Service Deprecated. Does NOT apply in Nagios<br />
|----<br />
|<br />
RGMA / MON<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y (certificate lifetime only)<br />
|----<br />
|<br />
<br />
SRMv2<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
VOBOX<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
Y<br />
|----<br />
|<br />
VOMS<br />
| width="5%" |<br />
em<br />
| width="30%" |<br />
n<br />
|----<br />
|}<br />
<br />
<br />
<br />
<br />
== Services nagios BOX ==<br />
<br />
{| border="1" width="100%"<br />
| width="7%" |<br />
Services<br />
| width="5%" |<br />
Validé par<br />
| width="20%" |<br />
Valid (Y or N)<br />
|----<br />
|<br />
hr.srce.CAdist-Version<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
hr.srce.CertLifetime<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
hr.srce.GridProxy-Get-ops<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
hr.srce.GridProxy-Valid-ops<br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.ATPSync<br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.CheckConfig<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y<br />
|----<br />
|<br />
org.egee.ImportGocdbDowntimes <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.MDDBSync <br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.RecvFromQueue<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y<br />
|----<br />
|<br />
org.egee.SendToMetricStore<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.egee.SendToMsg<br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
y<br />
|----<br />
|<br />
org.nagios.DiskCheck <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.nagios.ProcessCrond <br />
| width="5%" |<br />
nl<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.nagios.ProcessMsgToQueue <br />
| width="5%" |<br />
cc<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.nagios.ProcessNpcd<br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.sam.CE-JobMonit-ops <br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.sam.CREAMCE-JobMonit-ops <br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
org.sam.mpi.CE-JobMonit-ops<br />
| width="5%" |<br />
?<br />
| width="30%" |<br />
n<br />
|----<br />
|<br />
hr.srce.MyProxy-ProxyLifetime-ops<br />
| width="5%" |<br />
cl<br />
| width="30%" |<br />
n<br />
|----<br />
|}<br />
<br />
= Mise à jour =<br />
Pour modifier la configuration (Exemple nouveau site a ajouter pour le FOC france):<br />
<br />
Modifier '''/etc/ncg/ncg.localdb''' en conséquence.<br />
<br />
Au prealablefaire une "sauvegarde" local de la config nagios:<br />
mv /etc/nagios/wlcg.d /etc/nagios/wlcg.d.old<br />
<br />
<br />
Puis executer le script ncg:<br />
/usr/sbin/ncg.pl<br />
<br />
Et redemarrer nagios avec la nouvelle configuration:<br />
/etc/init.d/nagios restart<br />
<br />
Verifier que la config est OK et faire un commit dans svn '''svn ci''' pour la sauvegarde de la configuration.<br />
svn ci xxxxx<br />
<br />
<br />
Source d'information pour NCG:<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgOverview<br />
<br />
https://twiki.cern.ch/twiki/bin/view/EGEE/GridMonitoringNcgRecipes<br />
<br />
= bascule =<br />
Si probleme hardware sur la machine=> bascule sur la machine virtuelle de secours (Nadia ou Jacques).<br />
Faire ensuite un '''svn co''' de la config nagios pour avoir la derniere config de production.<br />
<br />
<br />
<br />
= Annexes =<br />
<br />
<br />
== Annexe0 ==<br />
<br />
Sur le myproxyserver, il faut que le nagios server soit "trusted retriever" et "authorized retrievers":<br />
[cleroy@grid08 ~]$ grep cclcgvmli03 /opt/glite/etc/myproxy-server.conf<br />
trusted_retrievers /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=cclcgvmli03.in2p3.fr<br />
authorized_retrievers /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=cclcgvmli03.in2p3.fr<br />
<br />
<br />
Sur une UI:<br />
<br />
voms-proxy-init -voms ops:/ops/Role=lcgadmin<br />
myproxy-init -c 336 -k nagios_roc_fr2-ops -s myproxy.grif.fr -l nagios -x -Z "/O=GRID-FR/C=FR/O=CNRS/OU=CC-IN2P3/CN=ccnagboxli01.in2p3.fr"<br />
<br />
== Annexe 1 ==<br />
rpm -ivh http://www.sysadmin.hep.ac.uk/rpms/egee-SA1/centos5/x86_64/sa1-release-2-1.el5.noarch.rpm<br />
rpm -ivh http://packages.sw.be/rpmforge-release/rpmforge-release-0.5.1-1.el5.rf.x86_64.rpm<br />
<br />
yum install atp<br />
yum install bouncycastle<br />
yum install broker<br />
yum install broker-cache<br />
yum install dcache-srmclient<br />
yum install dummy-ca-certs<br />
yum install egee-NAGIOS<br />
yum install egee-NAGIOS egee-NRPE<br />
yum install egee-NRPE<br />
yum install fetch-crl<br />
yum install fipscheck fipscheck-lib<br />
yum install glite-UI<br />
yum install glite-security-voms-clients<br />
yum install glite-wms-ui-commands<br />
yum install glite-yaim-core<br />
yum install glite-yaim-nagios<br />
yum install httpd<br />
yum install jdk<br />
yum install lcg-CA<br />
yum install lcg-CA egee-NAGIOS<br />
yum install lcg_util<br />
yum install mddb<br />
yum install msg-publish-simple<br />
yum install myproxy<br />
yum install mysql-client<br />
yum install mysql-server<br />
yum install nagios-proxy-refresh<br />
yum install perl-Config-Tiny<br />
yum install perl-DBD-MySQL<br />
yum install perl-rrdtool-1.3.8-2.el5.rf.x86_64<br />
yum install python-yaml<br />
yum install sun-jaf<br />
yum install uberftp-client<br />
yum install vdt_globus_rm_client<br />
<br />
yum update glite-yaim-clients<br />
yum update glite-yaim-core<br />
yum update glite-yaim-nagios<br />
yum update mysql-server<br />
yum update perl-DBI<br />
<br />
<br />
<br />
== Annexe2 ==<br />
a)Mot de passe admin mysql :<br />
Yum pour recupérer la derniere version de Mysql :<br />
''MySQL-server-community'', ne pas oublier le client (pas de dépendance dessus)<br />
Demmarrage de mysql avec --skip-grant-tables (pour ne pas avoir de mot de passe a rentrer)<br />
mysqld_safe --skip-grant-tables &<br />
[root@cclcgvmli03 ~]# mysql -u root <br />
update user set password=PASSWORD("NEW-ROOT-PASSWORD") where User='root';<br />
<br />
b)creation des users pour le nagios regional:<br />
[root@cclcgvmli03 ~]# mysql -u root -p<br />
mysql> GRANT SELECT, INSERT, UPDATE, DELETE ON nagios.* TO 'ndouser'@'localhost' IDENTIFIED by 'ROCfr2009';<br />
mysql> GRANT SELECT, INSERT, UPDATE, DELETE ON atp.* TO 'atpuser'@'localhost' IDENTIFIED by 'ROCfr2009';<br />
<br />
<br />
== Annexe 3 ==<br />
<br />
[root@cclcgvmli03 ~]# cat /etc/ncg/ncg.localdb<br />
#<br />
# Local Rules file to modify NCG configuration<br />
#<br />
SITE!AUVERGRID<br />
SITE!CGG-LCG2<br />
SITE!ESRF<br />
SITE!GRIF<br />
SITE!IBCP-GBIO<br />
SITE!IN2P3-CC<br />
SITE!IN2P3-CC-PPS<br />
SITE!IN2P3-CC-T2<br />
SITE!IN2P3-CPPM<br />
SITE!IN2P3-IPNL<br />
SITE!IN2P3-IRES<br />
SITE!IN2P3-LAPP<br />
SITE!IN2P3-LPC<br />
SITE!IN2P3-LPSC<br />
SITE!IN2P3-SUBATECH<br />
SITE!IPSL-IPGP-LCG2<br />
SITE!M3PEC<br />
SITE!MSFG<br />
SITE!MSFG-MULTI<br />
SITE!MSFG-OPEN<br />
SITE!OBSPM<br />
SITE!PARIS-UREC-IPV6<br />
SITE!SN-UCAD<br />
SITE!ROC-FR<br />
SITE!SOLEIL<br />
SITE!StratusLab<br />
[root@cclcgvmli03 ~]#<br />
<br />
== Annexe 4 ==<br />
<br />
SITE_EMAIL=c.leroy@cea.fr<br />
SITE_NAME=ROC-FR<br />
RB_HOST=node04.datagrid.cea.fr<br />
WMS_HOST=node04.datagrid.cea.fr<br />
PX_HOST=myproxy.grif.fr<br />
BDII_HOST=topbdii.grif.fr<br />
SITE_BDII_HOST=bdii.grif.fr<br />
MON_HOST=node06.datagrid.cea.fr<br />
VOS="dteam"<br />
DTEAM_GROUP_ENABLE="dteam"<br />
VO_DTEAM_SW_DIR=$VO_SW_DIR/dteam<br />
VO_DTEAM_DEFAULT_SE=$SE_HOST<br />
VO_DTEAM_STORAGE_DIR=$CLASSIC_STORAGE_DIR/dteam<br />
VO_DTEAM_VOMS_SERVERS='vomss://voms.cern.ch:8443/voms/dteam?/dteam/'<br />
VO_DTEAM_VOMSES="'dteam lcg-voms.cern.ch 15004 /DC=ch/DC=cern/OU=computers/CN=lcg-voms.cern.ch dteam 24' 'dteam voms.cern.ch 15004 /DC=ch/DC=cern/OU=computers/CN=voms.cern.ch dteam 24'"<br />
VO_DTEAM_VOMS_CA_DN="'/DC=ch/DC=cern/CN=CERN Trusted Certification Authority' '/DC=ch/DC=cern/CN=CERN Trusted Certification Authority'"<br />
NAGIOS_HOST=cclcgvmli03.in2p3.fr<br />
NAGIOS_ADMIN_DNS="/O=GRID-FR/C=FR/O=CEA/OU=IRFU/CN=Christine Leroy","/O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=Nadia Lajili","/O=GRID-FR/C=FR/O=CNRS/OU=LPC/CN=Emmanuel Medernach","/O=GRID-FR/C=FR/O=CNRS/OU=CPPM/CN=Juan Carlos Carranza"<br />
NAGIOS_NCG_ENABLE_CONFIG=true<br />
NAGIOS_NAGIOS_ENABLE_CONFIG=true<br />
NCG_GOCDB_ROC_NAME=France<br />
ROC_NAME=France<br />
NCG_PROBES_TYPE=remote,native,local<br />
NCG_VO=dteam<br />
NAGIOS_MYPROXY_NAME=nagios_roc_fr2<br />
NAGIOS_MYPROXY_USER=nagios<br />
MSG_BROKER_CACHE_NETWORK=PROD<br />
NAGIOS_ROLE=roc<br />
NAGIOS_HTTPD_ENABLE_CONFIG=true<br />
NAGIOS_SUDO_ENABLE_CONFIG=true<br />
NAGIOS_CGI_ENABLE_CONFIG=true<br />
NCG_LDAP_FILTER=GlueSiteOtherInfo=EGEE_ROC=France<br />
NAGIOS_DB_PASS=x<br />
NAGIOS_NSCA_PASS=x<br />
MYSQL_ADMIN=x<br />
ATP_DB_PASS=x<br />
MDDB_DB_PASS=x<br />
MS_DB_PASS=x<br />
MYSQL_PASSWORD=x<br />
MYEGEE_DB_PASS=x<br />
<br />
== Annexe 5 ==<br />
<br />
[root@cclcgvmli03 ~]# cat /opt/glite/yaim/examples/edgusers.conf<br />
11151:${DPMMGR_USER}:11151:${DPMMGR_GROUP}:DPM user:<br />
11152:${EDG_USER}:11152,11156:${EDG_GROUP},${INFOSYS_GROUP}:EDG user:${EDG_HOME_DIR}<br />
11153:${EDGINFO_USER}:11153,1156:${EDGINFO_USER},${INFOSYS_GROUP}:EDG info user:${EDGINFO_HOME_DIR}<br />
11154:${RGMA_USER}:11154,1156:${RGMA_GROUP},${INFOSYS_GROUP}:RGMA user:${INSTALL_ROOT}/glite/etc/rgma<br />
11155:${GLITE_USER}:11155:${GLITE_GROUP}:gLite user:${GLITE_HOME_DIR}<br />
11156:${BDII_USER}:11158:${BDII_GROUP}:BDII user:${BDII_HOME_DIR}<br />
<br />
<br />
== Annexe 6 ==<br />
<br />
Probleme rencontré sur ccnagboxli01 (arret de ypbind + rpm manquant)<br />
chown -R nagios:nagios /var/spool/pnp4nagios<br />
chown -R nagios:nagios /var/spool/msg-nagios-bridge<br />
chown root:nagios /etc/atp/atp_db.conf<br />
chown root:nagios /etc/mddb/databases.yml<br />
chown nagios:apache /var/nagios/rw<br />
chown -R nagios:apache /var/nagios/rw<br />
chown root:nagios /etc/nagios/plugins/send_to_db.ini<br />
chown -R nagios:nagios /var/cache/msg/config-cache<br />
chown -R nagios:root /var/log/mddb<br />
chown -R nagios:root /var/log/pnp4nagios<br />
chown -R nagios:root /var/log/nagios<br />
<br />
<br />
useradd -g 40011 -u 10011 nagios<br />
useradd --group mysql -u 2730 mysql<br />
useradd -g mysql -u 2730 mysql<br />
<br />
groupadd -g 40010 nagiosmaster<br />
groupadd -g 146 leftuser<br />
<br />
yum install glite-security-voms-api-c-1.8.12-2.sl5.x86_64<br />
yum update perl-Net-SSLeay<br />
yum update perl-IO-Socket-SSL-1.01-1.fc6.noarch<br />
yum install glite-wms-ui-commands<br />
yum install lcg_util-1.7.6-1.sl5.x86_64<br />
yum install GFAL-client-1.11.8-2.sl5.x86_64 GFAL-client-1.11.8-2.sl5.i386<br />
yum install CGSI_gSOAP_2.7-1.3.3-1.sl5.x86_64<br />
yum install LFC-interfaces-1.7.3-1sec.sl5.x86_64 LFC-client-1.7.3-1sec.sl5.x86_64 lcg-dm-common-1.7.3-1sec.sl5.x86_64</div>
Carranza
https://lcg.in2p3.fr/index.php?title=CPU-Benches&diff=5534
CPU-Benches
2009-11-18T07:57:10Z
<p>Carranza: /* Résultats des benchs effectués par les sites */</p>
<hr />
<div>'''Transition vers les nouvelles unités specs HEP-SPEC06'''<br />
--MàJ --[[User:Chollet|Chollet]] 09:37, 11 septembre 2009 (CEST)--<br />
<br />
=== Page HEPiX de référence === <br />
* https://hepix.caspur.it/benchmarks<br />
<br />
=== Stratégie LCG ===<br />
* LCG Overview Board - Change of CPU accounting unit (I.Bird):<br />
''The working group on benchmarking has now concluded, both on the new benchmark and on the transition process from SI2K. A new benchmark, based on the SPEC 2006 suite has been agreed upon. This uses a combination of the SPEC2006 FP and INT benchmarks, and has been shown to scale well with the experiments’ applications. This benchmark, labelled HEP-SPEC06, will be used in future to specify requirements and resources. '''There is an agreement to use a simple conversion factor of 4 representing the benchmarks ratio HEP-SPEC06/kSI2K'''. Sites will be requested to benchmark their existing resources, and the results will be published on a web site. Future procurements should require the vendor to run the benchmark – provided as a simple script. Planning for changing the reporting in the accounting system is under way. The new unit will be used in the April RRB.''<br />
<br />
* LCG Management Board : [https://twiki.cern.ch/twiki/pub/LCG/MbMeetingsMinutes/LCG_Management_Board_2009_01_27.htm Décision du MB du 27 janvier 2009] s'appuyant sur la [http://indico.cern.ch/materialDisplay.py?contribId=3&sessionId=0&materialId=0&confId=49388 proposition du groupe technique (G.Merino)] <br />
* Pledges WLCG en HEP-SPEC06 : http://lcg.web.cern.ch/LCG/resources.htm<br />
<br />
=== HEP-SPEC06 Benchmark ===<br />
*Le script dispo à https://twiki.cern.ch/twiki/bin/view/FIOgroup/TsiBenchHEPSPEC (Voir les attachements en bas de page tar.gz)<br />
<br />
* La distribution de la suite SPEC CPU2006 version 1.1 est disponible (sous AFS au CC).<br />
Pour plus d'infos contacter F.Chollet ou Pierre Larrieu<br />
<br />
=== Conversion des kSI2k ===<br />
* Facteur de conversion HEP-SPEC06/kSI2k : 4<br />
* 1 kSI2k = 4 HEP-SPEC06<br />
<br />
=== Publication des capacités CPU ===<br />
* Document de référence pour la publication dans le contexte actuel (Glue schema 1.3): <br />
https://twiki.cern.ch/twiki/pub/LCG/WLCGCommonComputingReadinessChallenges/WLCG_GlueSchemaUsage-1.8.pdf <br><br />
<br />
Tentative de synthèse --[[User:Chollet|Chollet]] 09:46, 11 septembre 2009 (CEST)<br />
** PhysicalCPUs = processeurs c.a.d chipset<br />
Un subcluster de 113 machines bi processeurs quadricoeurs = 226 CPUs physiques<br />
** LogicalCPUs = processeurs logiques ou vus de l'OS correspond au nombre de cœurs pour <br />
autant que l'hyperthreading ne soit pas activé<br />
Un subcluster de 113 machines bi processeurs quadricoeurs = 904 CPUs logiques<br />
Le nombre de cœurs par CPU physique (par chipset) étant de 4 <br />
** A noter : Un SubCluster est a priori défini comme un ensemble homogène de workers mais <br />
il est "admis que dans la pratique" cela ne soit pas le cas. Dans ce cas, les sites sont<br />
sensés publier des spécifications moyennes pour certains attributs.<br />
<br />
* Consignes pour les sites / Advices for sites (Juin 2009):<br />
[http://indico.cern.ch/getFile.py/access?sessionId=2&resId=1&materialId=0&confId=63028 Présentation J.Gordon]<br />
<br />
Tentative de synthèse --[[User:Chollet|Chollet]] 17:50, 10 septembre 2009 (CEST)<br />
- Effectuer la mesure de la '''capacité CPU de la machine''' à partir du benchmark HEP-SPEC06<br />
en utilisant le script mis à disposition ci-dessous. '''ATTENTION''' le bench fournit <br />
un score par machine et la publication se fait par cœur<br />
- Publier la '''capacité par cœur''' en HEP-SPEC06 via <br />
''GlueHostProcessorOtherDescription: Benchmark=<value>-HEP-SPEC06''<br />
Cet attribut est également utilisé pour publier le nombre moyen de cœurs par processeur<br />
(ou chipset)<br />
''GlueHostProcessorOtherDescription: Cores=<typical number of cores per CPU>,Benchmark=<br />
<value>-HEP-SPEC06'' <br />
- Convertir la capacité CPU par coeur en SI2K en mulipliant par 250<br />
- Mettre à jour l'attribut ''GlueHostBenchmarkSI00'' <br />
En cas de clusteur ou sous-clusteur hétérogène, GlueHostBenchmarkSI00 étant défini comme "Average SpecInt2000 rating per logical CPU" c.a.d par coeur pourvu que l'hyperthreading soit désactivé, vous êtes invités à effectuer à publier une valeur moyenne.<br />
<br />
-----<br />
<br />
=== Résultats des benchs effectués par les sites ===<br />
SPEC CPU2000 <br />
Des tests de puissance des CPU ont été réalisés au LAPP (Eric Fede) et à Subatech (Jean-Michel Barbet) avecla suite SPEC CPU2000 suivant la méthodologie recommandée : http://hepix.caspur.it/processors/<br />
Ajout des tests au CPPM (Edith Knoops)<br />
<br />
HEP-SPEC06<br />
Des mesures avec le benchmark suite HEP-SPEC06 sont également disponibles ( fond bleu des tableaux)<br />
<br />
<br />
Tests réalisés par Jean-Michel :<br />
<br />
A noter que les tests ont été réalisés sur des machines en configuration opérationnelles pour la grille (avec tous les daemons).<br />
<br />
'''Scientific-Linux V4.3 i386, gcc v3.4.5'''<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3] !! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits/machine [4]''' !! '''SPEC HEP 64bits/machine [5]''' <br />
|-<br />
| Dell PE1955 || Woodcrest 5160 3.00GHz || 4 || 8Go || 1409 || 1830 || 2113 || bgcolor="#0066FF" | 39.48 || bgcolor="#0066FF" | -<br />
|-<br />
| IBM || Clovertown 2.33GHz || 8 || 16Go || 979 || 1875 || 1468 || bgcolor="#0066FF" | 53.12 || bgcolor="#0066FF" | -<br />
|-<br />
|}<br />
<br />
'''Scientific Linux SL release 4.5 (Beryllium) x86_64, gcc v3.4.6'''<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3] !! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits/machine [4]''' !! '''SPEC HEP 64bits/machine [5]''' <br />
|-<br />
| Dell P21950 || Clovertown E5420 2.50GHz || 8 || 16Go || - || - || - || bgcolor="#0066FF" | 63.18 || bgcolor="#0066FF" | 57.63<br />
|-<br />
|}<br />
<br />
'''Scientific Linux SL release 5.3 (Boron) x86_64 gcc version 4.1.2 20080704 (Red Hat 4.1.2-44)'''<br />
<br />
Ce test est suspendu car je suis tombé sur le problème suivant : https://www.jiscmail.ac.uk/cgi-bin/webadmin?A2=ind0909&L=LCG-ROLLOUT&P=R3371<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3] !! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits/machine [4]''' !! '''SPEC HEP 64bits/machine [5]''' <br />
|-<br />
| Dell P21950 || Clovertown E5420 2.50GHz || 8 || 16Go || - || - || - || bgcolor="#0066FF" | - || bgcolor="#0066FF" | -<br />
|-<br />
|}<br />
<br />
'''Fiches SPEC des machines :'''<br />
<br />
Dell PowerEdge 1955 Woodcrest 5160 : http://www.spec.org/osg/cpu2000/results/res2006q3/cpu2000-20060626-06298.html<br />
<br />
Dell PowerEdge 1950 Clovertown E5420 2.33GHz : <br />
<br />
Dell PowerEdge 1950 E5420 2.50GHz : <br />
<br />
IBM 3550 Woodcrest 5160 : http://www.spec.org/osg/cpu2000/results/res2006q3/cpu2000-20060623-06219.html<br />
<br />
IBM 3350 Clovertown E5345 : http://www.spec.org/osg/cpu2000/results/res2006q4/cpu2000-20061113-07918.html<br />
<br />
'''Notes :'''<br />
<br />
[1] : Moyenne de 3 exécutions successives avec les optimisations CERN, chaque exécution démarrant un benchmark CPU2000 par CPU core. <br />
<br />
[2] : Correction : La valeur moyenne ci-dessus + 50%. C'est la valeur à publier via le système d'information de la grille.<br />
<br />
[3] : Une exécution unique avec les optimisations FZK à titre indicatif.<br />
<br />
[4] : Benchmark suite HEP SPEC, en suivant les recommandations : https://twiki.cern.ch/twiki/bin/view/FIOgroup//TsiBenchHEPSPEC <br />
<br />
[5] : A titre indicatif : résultats avec les binaires 64bits (HEP-SEPC06 n'est défini que pour des binaires 32bits)<br />
<br />
----<br />
<br />
Tests réalisés au LAPP (eric) :<br />
<br />
Scientific-Linux V3.08 i386, gcc v3.4.3<br />
<br />
A noter que les tests ont été réalisés sur des machines dont tous les services non nécéssaires étaient desactivés<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3]!! CERN SI2K/core corrigé [2] <br />
|-<br />
| HP BL 460c || Woodcrest 2.66GHz || 4 || 8Go || 1367 || 1665 || 2050 <br />
|-<br />
|}<br />
<br />
<br />
Scientific-Linux V4.5 x86_64, gcc v3.4<br />
<br />
A noter que les tests ont été réalisés sur des machines dont tous les services non nécéssaires étaient desactivés. Un tuning "simple" au niveau du bios donne des disparités dans les résultats des bench qui depassent les 10 %.<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3]!! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits [4] per machin''' !! '''HEP-SPEC06 64bits [4] per machin''' <br />
|-<br />
| HP BL 460c || Woodcrest 2.66GHz || 4 || 8Go || 1485 || 1592 || 2227 || bgcolor="#0066FF" | 36.58 || bgcolor="#0066FF" | 34.6 <br />
|-<br />
| HP BL 460c || Clovertown 2.33GHz || 8 || 16Go || 1225 || x || 1837 || bgcolor="#0066FF" | 56.04 || bgcolor="#0066FF" | 51.18<br />
|-<br />
| DELL 1950 || Intel 5335 2GHz || 8 || 8Go || 1060 || 1139 || 1590 || bgcolor="#0066FF" | x || bgcolor="#0066FF" | x<br />
|-<br />
| HP BL 460c || Harpertown 3GHz || 8 || 16Go || 1620 || 1715 || 2430 || bgcolor="#0066FF" | 70.83 || bgcolor="#0066FF" | 63.99<br />
|-<br />
| DELL M600 || Harpertown 2.66GHz || 8 || 32Go || 1481 || 1588 || 2221 || bgcolor="#0066FF" | x || bgcolor="#0066FF" | x<br />
|}<br />
<br />
<br />
[1] : Moyenne de 3 exécutions successives avec les optimisations CERN, chaque exécution démarrant un benchmark CPU2000 par CPU core. <br />
<br />
[2] : Correction : La valeur moyenne ci-dessus + 50%. C'est la valeur à publier via le système d'information de la grille.<br />
<br />
[3] : Une exécution unique avec les optimisations FZK à titre indicatif.<br />
<br />
[4] : Benchmark suite HEP SPEC, en suivant les recommandations : https://twiki.cern.ch/twiki/bin/view/FIOgroup//TsiBenchHEPSPEC <br />
<br />
----<br />
<br />
Tests réalisés au CPPM (Edith/Carlos) :<br />
<br />
Scientific-Linux 4.6 x86_64, gcc v3.4.6<br />
<br />
Scientific-Linux 5.3 x86_64, gcc 4.1.2 <br />
<br />
A noter que les tests ont été réalisés sur des machines dont tous les services non nécéssaires étaient desactivés<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN32 SI2K/core || CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits (SL4)''' || '''HEP-SPEC06 32bits (SL5.3)'''<br />
|-<br />
| HP DL145 || Opteron 250 2.4Ghz || 2 || 4Go || 1149 || 1278 || 972 || 1725 || 15.14 || bgcolor="#0066FF" | 16.16<br />
|-<br />
| SUN || Opteron 250 2.4Ghz || 2 || 4Go || 1173 || 1298 || 988 || 1760<br />
|-<br />
| HP DL145G2 || Opteron 275 2.2 Ghz || 4 ||6Go || 981 || 1087 || 857 || 1471 || 26.52 || bgcolor="#0066FF" | 27.41<br />
|-<br />
| DELL || Opteron 2218 2.6 Ghz || 4 || 8Go || 1199 || 1073 ||1045 || 1798 || 32.24 || bgcolor="#0066FF" | 31.68<br />
|-<br />
| DELL || Xeon E5420 2.5Ghz || 8 || 16 Go || 1418 ||1528 || x ||2128 || 63.12 || bgcolor="#0066FF" | 68.64<br />
|-<br />
|DELL || Xeon X5550 2.67GHz || 8 || 24 Go || || || || || || bgcolor="#0066FF" | 116<br />
|-<br />
|DELL || Xeon X5550 2.67GHz || 16 [1] || 24 Go || || || || || || bgcolor="#0066FF" | 145.82<br />
<br />
|}<br />
<br />
[1] 8 cores / 16 virtual cpu<br />
<br />
----<br />
<br />
Tests réalisés à l'IPHC (Jérôme) :<br />
<br />
Scientific-Linux 4.6 x86_64, gcc v3.4.6<br />
<br />
Pour la réalisation de ces tests, seuls les services indispensables étaient activés.<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits [1] per machin'''<br />
|-<br />
| DELL M600 || Xeon E5410 2.33Ghz || 8 || 16Go || N/A || N/A || N/A || bgcolor="#0066FF" | 61.05<br />
|}<br />
<br />
[1] Moyenne des résultats obtenus sur quatre tests.<br />
<br />
<br />
----<br />
<br />
Tests réalisés au LPC (Jean-Claude) :<br />
<br />
Scientific-Linux 4.6 x86_64, gcc v3.4.6<br />
<br />
Pour la réalisation de ces tests, seuls les services indispensables étaient activés.<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits [1] per machin'''<br />
|-<br />
| IBM Blade || Xeon E5345 2.33Ghz || 8 || 16Go || N/A || N/A || N/A || bgcolor="#0066FF" | 57.41<br />
|}<br />
<br />
[1] Moyenne des résultats obtenus sur trois tests.<br />
<br />
<br />
Scientific-Linux 5.3 x86_64, gcc v4.1.2<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits [2] per machin'''<br />
|-<br />
| IBM Blade || Xeon E5430 2.66Ghz || 8 || 12Go || N/A || N/A || N/A || bgcolor="#0066FF" | 70.64<br />
|}<br />
<br />
[2] Moyenne des résultats obtenus sur quatre tests.<br />
<br />
<br />
----<br />
<br />
Tests réalisés au LLR (pascale):<br />
Scientific-Linux 5.3 x86_64, gcc v4.1.2<br />
<br />
les machines ont ete installees comme les WN standard de la grille<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! Virtual CPU enabled !! '''HEP-SPEC06 32bits per machin''' !! HEP-SPEC06 64bits [1] per machin''' <br />
|-<br />
| DELL R410 || E 5520 || 16[1] || 24Go || YES || 118.57 || 143.44<br />
|-<br />
| || E 5540 || 16[1] || 24Go || YES || 128.38 || 151.03<br />
|-<br />
| DELL R410 || E 5520 || 8 || 24Go || NO || 96.51 || 113.35<br />
|-<br />
| || E 5540 || 8 || 24Go || NO || 103.41|| 121.47<br />
|-<br />
| DELL R410 || E 5520 || 16[1] || 16Go || YES || Pas fait || Pas fait<br />
|-<br />
| || E 5540 || 16[1] || 16Go || YES || Pas fait || 148.64<br />
|-<br />
| DELL R410 || E 5520 || 8 || 16Go || NO || 94.97 || 109.42<br />
|-<br />
| || E 5540 || 8 || 16Go || NO || 102.41|| 117.5<br />
<br />
<br />
<br />
|}<br />
<br />
<br />
[1] Sur les serveurs il y a réellement 8 cores en tout. A cause de l'activation du "Virtual CPU" , le systeme d'exploitation pense qu'il y a 16 procs : la commande /proc/cpuinfo donne 16 coeurs. D'après les tests il est interessant d'activer le "Virtual CPU". Mais, combien de jobs faut-il activer en parallele? Et comment allons-nous les déclarer dans la grille?<br />
Voici les résultats des tests avec 8, 10, 12, 14 et 16 jobs lancés en parallèle pour la <br />
configuration suivante : R410, 16g ram, Virtual CPU activé.<br />
<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Nb jobs !! HEP-SPEC06 64bits [1] per machin''' <br />
|-<br />
| 8 jobs || 115.66 <br />
|-<br />
| 10 jobs || 130.66 <br />
|-<br />
| 12 jobs || 139.29 <br />
|-<br />
| 14 jobs || 144.38 <br />
|-<br />
| 16 jobs || 148.64<br />
<br />
|}<br />
<br />
----</div>
Carranza
https://lcg.in2p3.fr/index.php?title=CPU-Benches&diff=5533
CPU-Benches
2009-11-17T08:11:28Z
<p>Carranza: /* Résultats des benchs effectués par les sites */</p>
<hr />
<div>'''Transition vers les nouvelles unités specs HEP-SPEC06'''<br />
--MàJ --[[User:Chollet|Chollet]] 09:37, 11 septembre 2009 (CEST)--<br />
<br />
=== Page HEPiX de référence === <br />
* https://hepix.caspur.it/benchmarks<br />
<br />
=== Stratégie LCG ===<br />
* LCG Overview Board - Change of CPU accounting unit (I.Bird):<br />
''The working group on benchmarking has now concluded, both on the new benchmark and on the transition process from SI2K. A new benchmark, based on the SPEC 2006 suite has been agreed upon. This uses a combination of the SPEC2006 FP and INT benchmarks, and has been shown to scale well with the experiments’ applications. This benchmark, labelled HEP-SPEC06, will be used in future to specify requirements and resources. '''There is an agreement to use a simple conversion factor of 4 representing the benchmarks ratio HEP-SPEC06/kSI2K'''. Sites will be requested to benchmark their existing resources, and the results will be published on a web site. Future procurements should require the vendor to run the benchmark – provided as a simple script. Planning for changing the reporting in the accounting system is under way. The new unit will be used in the April RRB.''<br />
<br />
* LCG Management Board : [https://twiki.cern.ch/twiki/pub/LCG/MbMeetingsMinutes/LCG_Management_Board_2009_01_27.htm Décision du MB du 27 janvier 2009] s'appuyant sur la [http://indico.cern.ch/materialDisplay.py?contribId=3&sessionId=0&materialId=0&confId=49388 proposition du groupe technique (G.Merino)] <br />
* Pledges WLCG en HEP-SPEC06 : http://lcg.web.cern.ch/LCG/resources.htm<br />
<br />
=== HEP-SPEC06 Benchmark ===<br />
*Le script dispo à https://twiki.cern.ch/twiki/bin/view/FIOgroup/TsiBenchHEPSPEC (Voir les attachements en bas de page tar.gz)<br />
<br />
* La distribution de la suite SPEC CPU2006 version 1.1 est disponible (sous AFS au CC).<br />
Pour plus d'infos contacter F.Chollet ou Pierre Larrieu<br />
<br />
=== Conversion des kSI2k ===<br />
* Facteur de conversion HEP-SPEC06/kSI2k : 4<br />
* 1 kSI2k = 4 HEP-SPEC06<br />
<br />
=== Publication des capacités CPU ===<br />
* Document de référence pour la publication dans le contexte actuel (Glue schema 1.3): <br />
https://twiki.cern.ch/twiki/pub/LCG/WLCGCommonComputingReadinessChallenges/WLCG_GlueSchemaUsage-1.8.pdf <br><br />
<br />
Tentative de synthèse --[[User:Chollet|Chollet]] 09:46, 11 septembre 2009 (CEST)<br />
** PhysicalCPUs = processeurs c.a.d chipset<br />
Un subcluster de 113 machines bi processeurs quadricoeurs = 226 CPUs physiques<br />
** LogicalCPUs = processeurs logiques ou vus de l'OS correspond au nombre de cœurs pour <br />
autant que l'hyperthreading ne soit pas activé<br />
Un subcluster de 113 machines bi processeurs quadricoeurs = 904 CPUs logiques<br />
Le nombre de cœurs par CPU physique (par chipset) étant de 4 <br />
** A noter : Un SubCluster est a priori défini comme un ensemble homogène de workers mais <br />
il est "admis que dans la pratique" cela ne soit pas le cas. Dans ce cas, les sites sont<br />
sensés publier des spécifications moyennes pour certains attributs.<br />
<br />
* Consignes pour les sites / Advices for sites (Juin 2009):<br />
[http://indico.cern.ch/getFile.py/access?sessionId=2&resId=1&materialId=0&confId=63028 Présentation J.Gordon]<br />
<br />
Tentative de synthèse --[[User:Chollet|Chollet]] 17:50, 10 septembre 2009 (CEST)<br />
- Effectuer la mesure de la '''capacité CPU de la machine''' à partir du benchmark HEP-SPEC06<br />
en utilisant le script mis à disposition ci-dessous. '''ATTENTION''' le bench fournit <br />
un score par machine et la publication se fait par cœur<br />
- Publier la '''capacité par cœur''' en HEP-SPEC06 via <br />
''GlueHostProcessorOtherDescription: Benchmark=<value>-HEP-SPEC06''<br />
Cet attribut est également utilisé pour publier le nombre moyen de cœurs par processeur<br />
(ou chipset)<br />
''GlueHostProcessorOtherDescription: Cores=<typical number of cores per CPU>,Benchmark=<br />
<value>-HEP-SPEC06'' <br />
- Convertir la capacité CPU par coeur en SI2K en mulipliant par 250<br />
- Mettre à jour l'attribut ''GlueHostBenchmarkSI00'' <br />
En cas de clusteur ou sous-clusteur hétérogène, GlueHostBenchmarkSI00 étant défini comme "Average SpecInt2000 rating per logical CPU" c.a.d par coeur pourvu que l'hyperthreading soit désactivé, vous êtes invités à effectuer à publier une valeur moyenne.<br />
<br />
-----<br />
<br />
=== Résultats des benchs effectués par les sites ===<br />
SPEC CPU2000 <br />
Des tests de puissance des CPU ont été réalisés au LAPP (Eric Fede) et à Subatech (Jean-Michel Barbet) avecla suite SPEC CPU2000 suivant la méthodologie recommandée : http://hepix.caspur.it/processors/<br />
Ajout des tests au CPPM (Edith Knoops)<br />
<br />
HEP-SPEC06<br />
Des mesures avec le benchmark suite HEP-SPEC06 sont également disponibles ( fond bleu des tableaux)<br />
<br />
<br />
Tests réalisés par Jean-Michel :<br />
<br />
A noter que les tests ont été réalisés sur des machines en configuration opérationnelles pour la grille (avec tous les daemons).<br />
<br />
'''Scientific-Linux V4.3 i386, gcc v3.4.5'''<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3] !! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits/machine [4]''' !! '''SPEC HEP 64bits/machine [5]''' <br />
|-<br />
| Dell PE1955 || Woodcrest 5160 3.00GHz || 4 || 8Go || 1409 || 1830 || 2113 || bgcolor="#0066FF" | 39.48 || bgcolor="#0066FF" | -<br />
|-<br />
| IBM || Clovertown 2.33GHz || 8 || 16Go || 979 || 1875 || 1468 || bgcolor="#0066FF" | 53.12 || bgcolor="#0066FF" | -<br />
|-<br />
|}<br />
<br />
'''Scientific Linux SL release 4.5 (Beryllium) x86_64, gcc v3.4.6'''<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3] !! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits/machine [4]''' !! '''SPEC HEP 64bits/machine [5]''' <br />
|-<br />
| Dell P21950 || Clovertown E5420 2.50GHz || 8 || 16Go || - || - || - || bgcolor="#0066FF" | 63.18 || bgcolor="#0066FF" | 57.63<br />
|-<br />
|}<br />
<br />
'''Scientific Linux SL release 5.3 (Boron) x86_64 gcc version 4.1.2 20080704 (Red Hat 4.1.2-44)'''<br />
<br />
Ce test est suspendu car je suis tombé sur le problème suivant : https://www.jiscmail.ac.uk/cgi-bin/webadmin?A2=ind0909&L=LCG-ROLLOUT&P=R3371<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3] !! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits/machine [4]''' !! '''SPEC HEP 64bits/machine [5]''' <br />
|-<br />
| Dell P21950 || Clovertown E5420 2.50GHz || 8 || 16Go || - || - || - || bgcolor="#0066FF" | - || bgcolor="#0066FF" | -<br />
|-<br />
|}<br />
<br />
'''Fiches SPEC des machines :'''<br />
<br />
Dell PowerEdge 1955 Woodcrest 5160 : http://www.spec.org/osg/cpu2000/results/res2006q3/cpu2000-20060626-06298.html<br />
<br />
Dell PowerEdge 1950 Clovertown E5420 2.33GHz : <br />
<br />
Dell PowerEdge 1950 E5420 2.50GHz : <br />
<br />
IBM 3550 Woodcrest 5160 : http://www.spec.org/osg/cpu2000/results/res2006q3/cpu2000-20060623-06219.html<br />
<br />
IBM 3350 Clovertown E5345 : http://www.spec.org/osg/cpu2000/results/res2006q4/cpu2000-20061113-07918.html<br />
<br />
'''Notes :'''<br />
<br />
[1] : Moyenne de 3 exécutions successives avec les optimisations CERN, chaque exécution démarrant un benchmark CPU2000 par CPU core. <br />
<br />
[2] : Correction : La valeur moyenne ci-dessus + 50%. C'est la valeur à publier via le système d'information de la grille.<br />
<br />
[3] : Une exécution unique avec les optimisations FZK à titre indicatif.<br />
<br />
[4] : Benchmark suite HEP SPEC, en suivant les recommandations : https://twiki.cern.ch/twiki/bin/view/FIOgroup//TsiBenchHEPSPEC <br />
<br />
[5] : A titre indicatif : résultats avec les binaires 64bits (HEP-SEPC06 n'est défini que pour des binaires 32bits)<br />
<br />
----<br />
<br />
Tests réalisés au LAPP (eric) :<br />
<br />
Scientific-Linux V3.08 i386, gcc v3.4.3<br />
<br />
A noter que les tests ont été réalisés sur des machines dont tous les services non nécéssaires étaient desactivés<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3]!! CERN SI2K/core corrigé [2] <br />
|-<br />
| HP BL 460c || Woodcrest 2.66GHz || 4 || 8Go || 1367 || 1665 || 2050 <br />
|-<br />
|}<br />
<br />
<br />
Scientific-Linux V4.5 x86_64, gcc v3.4<br />
<br />
A noter que les tests ont été réalisés sur des machines dont tous les services non nécéssaires étaient desactivés. Un tuning "simple" au niveau du bios donne des disparités dans les résultats des bench qui depassent les 10 %.<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3]!! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits [4] per machin''' !! '''HEP-SPEC06 64bits [4] per machin''' <br />
|-<br />
| HP BL 460c || Woodcrest 2.66GHz || 4 || 8Go || 1485 || 1592 || 2227 || bgcolor="#0066FF" | 36.58 || bgcolor="#0066FF" | 34.6 <br />
|-<br />
| HP BL 460c || Clovertown 2.33GHz || 8 || 16Go || 1225 || x || 1837 || bgcolor="#0066FF" | 56.04 || bgcolor="#0066FF" | 51.18<br />
|-<br />
| DELL 1950 || Intel 5335 2GHz || 8 || 8Go || 1060 || 1139 || 1590 || bgcolor="#0066FF" | x || bgcolor="#0066FF" | x<br />
|-<br />
| HP BL 460c || Harpertown 3GHz || 8 || 16Go || 1620 || 1715 || 2430 || bgcolor="#0066FF" | 70.83 || bgcolor="#0066FF" | 63.99<br />
|-<br />
| DELL M600 || Harpertown 2.66GHz || 8 || 32Go || 1481 || 1588 || 2221 || bgcolor="#0066FF" | x || bgcolor="#0066FF" | x<br />
|}<br />
<br />
<br />
[1] : Moyenne de 3 exécutions successives avec les optimisations CERN, chaque exécution démarrant un benchmark CPU2000 par CPU core. <br />
<br />
[2] : Correction : La valeur moyenne ci-dessus + 50%. C'est la valeur à publier via le système d'information de la grille.<br />
<br />
[3] : Une exécution unique avec les optimisations FZK à titre indicatif.<br />
<br />
[4] : Benchmark suite HEP SPEC, en suivant les recommandations : https://twiki.cern.ch/twiki/bin/view/FIOgroup//TsiBenchHEPSPEC <br />
<br />
----<br />
<br />
Tests réalisés au CPPM (Edith/Carlos) :<br />
<br />
Scientific-Linux 4.6 x86_64, gcc v3.4.6<br />
<br />
Scientific-Linux 5.3 x86_64, gcc 4.1.2 <br />
<br />
A noter que les tests ont été réalisés sur des machines dont tous les services non nécéssaires étaient desactivés<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN32 SI2K/core || CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits (SL4)''' || '''HEP-SPEC06 32bits (SL5.3)'''<br />
|-<br />
| HP DL145 || Opteron 250 2.4Ghz || 2 || 4Go || 1149 || 1278 || 972 || 1725 || 15.14 || bgcolor="#0066FF" | 16.16<br />
|-<br />
| SUN || Opteron 250 2.4Ghz || 2 || 4Go || 1173 || 1298 || 988 || 1760<br />
|-<br />
| HP DL145G2 || Opteron 275 2.2 Ghz || 4 ||6Go || 981 || 1087 || 857 || 1471 || 26.52 || bgcolor="#0066FF" | 27.41<br />
|-<br />
| DELL || Opteron 2218 2.6 Ghz || 4 || 8Go || 1199 || 1073 ||1045 || 1798 || 32.24 || bgcolor="#0066FF" | 31.68<br />
|-<br />
| DELL || Xeon E5420 2.5Ghz || 8 || 16 Go || 1418 ||1528 || x ||2128 || 63.12 || bgcolor="#0066FF" | 68.64<br />
|-<br />
|DELL || Xeon X5550 @ 2.67GHz || 16 [1] || 24 Go || || || || || || bgcolor="#0066FF" | 145.82<br />
<br />
|}<br />
<br />
[1] 8 cores / 16 virtual cpu<br />
<br />
----<br />
<br />
Tests réalisés à l'IPHC (Jérôme) :<br />
<br />
Scientific-Linux 4.6 x86_64, gcc v3.4.6<br />
<br />
Pour la réalisation de ces tests, seuls les services indispensables étaient activés.<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits [1] per machin'''<br />
|-<br />
| DELL M600 || Xeon E5410 2.33Ghz || 8 || 16Go || N/A || N/A || N/A || bgcolor="#0066FF" | 61.05<br />
|}<br />
<br />
[1] Moyenne des résultats obtenus sur quatre tests.<br />
<br />
<br />
----<br />
<br />
Tests réalisés au LPC (Jean-Claude) :<br />
<br />
Scientific-Linux 4.6 x86_64, gcc v3.4.6<br />
<br />
Pour la réalisation de ces tests, seuls les services indispensables étaient activés.<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits [1] per machin'''<br />
|-<br />
| IBM Blade || Xeon E5345 2.33Ghz || 8 || 16Go || N/A || N/A || N/A || bgcolor="#0066FF" | 57.41<br />
|}<br />
<br />
[1] Moyenne des résultats obtenus sur trois tests.<br />
<br />
<br />
Scientific-Linux 5.3 x86_64, gcc v4.1.2<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits [2] per machin'''<br />
|-<br />
| IBM Blade || Xeon E5430 2.66Ghz || 8 || 12Go || N/A || N/A || N/A || bgcolor="#0066FF" | 70.64<br />
|}<br />
<br />
[2] Moyenne des résultats obtenus sur quatre tests.<br />
<br />
<br />
----<br />
<br />
Tests réalisés au LLR (pascale):<br />
Scientific-Linux 5.3 x86_64, gcc v4.1.2<br />
<br />
les machines ont ete installees comme les WN standard de la grille<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! Virtual CPU enabled !! '''HEP-SPEC06 32bits per machin''' !! HEP-SPEC06 64bits [1] per machin''' <br />
|-<br />
| DELL R410 || E 5520 || 16[1] || 24Go || YES || 118.57 || 143.44<br />
|-<br />
| || E 5540 || 16[1] || 24Go || YES || 128.38 || 151.03<br />
|-<br />
| DELL R410 || E 5520 || 8 || 24Go || NO || 96.51 || 113.35<br />
|-<br />
| || E 5540 || 8 || 24Go || NO || 103.41|| 121.47<br />
|-<br />
| DELL R410 || E 5520 || 16[1] || 16Go || YES || Pas fait || Pas fait<br />
|-<br />
| || E 5540 || 16[1] || 16Go || YES || Pas fait || 148.64<br />
|-<br />
| DELL R410 || E 5520 || 8 || 16Go || NO || 94.97 || 109.42<br />
|-<br />
| || E 5540 || 8 || 16Go || NO || 102.41|| 117.5<br />
<br />
<br />
<br />
|}<br />
<br />
<br />
[1] Sur les serveurs il y a réellement 8 cores en tout. A cause de l'activation du "Virtual CPU" , le systeme d'exploitation pense qu'il y a 16 procs : la commande /proc/cpuinfo donne 16 coeurs. D'après les tests il est interessant d'activer le "Virtual CPU". Mais, combien de jobs faut-il activer en parallele? Et comment allons-nous les déclarer dans la grille?<br />
Voici les résultats des tests avec 8, 10, 12, 14 et 16 jobs lancés en parallèle pour la <br />
configuration suivante : R410, 16g ram, Virtual CPU activé.<br />
<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Nb jobs !! HEP-SPEC06 64bits [1] per machin''' <br />
|-<br />
| 8 jobs || 115.66 <br />
|-<br />
| 10 jobs || 130.66 <br />
|-<br />
| 12 jobs || 139.29 <br />
|-<br />
| 14 jobs || 144.38 <br />
|-<br />
| 16 jobs || 148.64<br />
<br />
|}<br />
<br />
----</div>
Carranza
https://lcg.in2p3.fr/index.php?title=CPU-Benches&diff=5532
CPU-Benches
2009-11-17T08:00:08Z
<p>Carranza: /* Résultats des benchs effectués par les sites */</p>
<hr />
<div>'''Transition vers les nouvelles unités specs HEP-SPEC06'''<br />
--MàJ --[[User:Chollet|Chollet]] 09:37, 11 septembre 2009 (CEST)--<br />
<br />
=== Page HEPiX de référence === <br />
* https://hepix.caspur.it/benchmarks<br />
<br />
=== Stratégie LCG ===<br />
* LCG Overview Board - Change of CPU accounting unit (I.Bird):<br />
''The working group on benchmarking has now concluded, both on the new benchmark and on the transition process from SI2K. A new benchmark, based on the SPEC 2006 suite has been agreed upon. This uses a combination of the SPEC2006 FP and INT benchmarks, and has been shown to scale well with the experiments’ applications. This benchmark, labelled HEP-SPEC06, will be used in future to specify requirements and resources. '''There is an agreement to use a simple conversion factor of 4 representing the benchmarks ratio HEP-SPEC06/kSI2K'''. Sites will be requested to benchmark their existing resources, and the results will be published on a web site. Future procurements should require the vendor to run the benchmark – provided as a simple script. Planning for changing the reporting in the accounting system is under way. The new unit will be used in the April RRB.''<br />
<br />
* LCG Management Board : [https://twiki.cern.ch/twiki/pub/LCG/MbMeetingsMinutes/LCG_Management_Board_2009_01_27.htm Décision du MB du 27 janvier 2009] s'appuyant sur la [http://indico.cern.ch/materialDisplay.py?contribId=3&sessionId=0&materialId=0&confId=49388 proposition du groupe technique (G.Merino)] <br />
* Pledges WLCG en HEP-SPEC06 : http://lcg.web.cern.ch/LCG/resources.htm<br />
<br />
=== HEP-SPEC06 Benchmark ===<br />
*Le script dispo à https://twiki.cern.ch/twiki/bin/view/FIOgroup/TsiBenchHEPSPEC (Voir les attachements en bas de page tar.gz)<br />
<br />
* La distribution de la suite SPEC CPU2006 version 1.1 est disponible (sous AFS au CC).<br />
Pour plus d'infos contacter F.Chollet ou Pierre Larrieu<br />
<br />
=== Conversion des kSI2k ===<br />
* Facteur de conversion HEP-SPEC06/kSI2k : 4<br />
* 1 kSI2k = 4 HEP-SPEC06<br />
<br />
=== Publication des capacités CPU ===<br />
* Document de référence pour la publication dans le contexte actuel (Glue schema 1.3): <br />
https://twiki.cern.ch/twiki/pub/LCG/WLCGCommonComputingReadinessChallenges/WLCG_GlueSchemaUsage-1.8.pdf <br><br />
<br />
Tentative de synthèse --[[User:Chollet|Chollet]] 09:46, 11 septembre 2009 (CEST)<br />
** PhysicalCPUs = processeurs c.a.d chipset<br />
Un subcluster de 113 machines bi processeurs quadricoeurs = 226 CPUs physiques<br />
** LogicalCPUs = processeurs logiques ou vus de l'OS correspond au nombre de cœurs pour <br />
autant que l'hyperthreading ne soit pas activé<br />
Un subcluster de 113 machines bi processeurs quadricoeurs = 904 CPUs logiques<br />
Le nombre de cœurs par CPU physique (par chipset) étant de 4 <br />
** A noter : Un SubCluster est a priori défini comme un ensemble homogène de workers mais <br />
il est "admis que dans la pratique" cela ne soit pas le cas. Dans ce cas, les sites sont<br />
sensés publier des spécifications moyennes pour certains attributs.<br />
<br />
* Consignes pour les sites / Advices for sites (Juin 2009):<br />
[http://indico.cern.ch/getFile.py/access?sessionId=2&resId=1&materialId=0&confId=63028 Présentation J.Gordon]<br />
<br />
Tentative de synthèse --[[User:Chollet|Chollet]] 17:50, 10 septembre 2009 (CEST)<br />
- Effectuer la mesure de la '''capacité CPU de la machine''' à partir du benchmark HEP-SPEC06<br />
en utilisant le script mis à disposition ci-dessous. '''ATTENTION''' le bench fournit <br />
un score par machine et la publication se fait par cœur<br />
- Publier la '''capacité par cœur''' en HEP-SPEC06 via <br />
''GlueHostProcessorOtherDescription: Benchmark=<value>-HEP-SPEC06''<br />
Cet attribut est également utilisé pour publier le nombre moyen de cœurs par processeur<br />
(ou chipset)<br />
''GlueHostProcessorOtherDescription: Cores=<typical number of cores per CPU>,Benchmark=<br />
<value>-HEP-SPEC06'' <br />
- Convertir la capacité CPU par coeur en SI2K en mulipliant par 250<br />
- Mettre à jour l'attribut ''GlueHostBenchmarkSI00'' <br />
En cas de clusteur ou sous-clusteur hétérogène, GlueHostBenchmarkSI00 étant défini comme "Average SpecInt2000 rating per logical CPU" c.a.d par coeur pourvu que l'hyperthreading soit désactivé, vous êtes invités à effectuer à publier une valeur moyenne.<br />
<br />
-----<br />
<br />
=== Résultats des benchs effectués par les sites ===<br />
SPEC CPU2000 <br />
Des tests de puissance des CPU ont été réalisés au LAPP (Eric Fede) et à Subatech (Jean-Michel Barbet) avecla suite SPEC CPU2000 suivant la méthodologie recommandée : http://hepix.caspur.it/processors/<br />
Ajout des tests au CPPM (Edith Knoops)<br />
<br />
HEP-SPEC06<br />
Des mesures avec le benchmark suite HEP-SPEC06 sont également disponibles ( fond bleu des tableaux)<br />
<br />
<br />
Tests réalisés par Jean-Michel :<br />
<br />
A noter que les tests ont été réalisés sur des machines en configuration opérationnelles pour la grille (avec tous les daemons).<br />
<br />
'''Scientific-Linux V4.3 i386, gcc v3.4.5'''<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3] !! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits/machine [4]''' !! '''SPEC HEP 64bits/machine [5]''' <br />
|-<br />
| Dell PE1955 || Woodcrest 5160 3.00GHz || 4 || 8Go || 1409 || 1830 || 2113 || bgcolor="#0066FF" | 39.48 || bgcolor="#0066FF" | -<br />
|-<br />
| IBM || Clovertown 2.33GHz || 8 || 16Go || 979 || 1875 || 1468 || bgcolor="#0066FF" | 53.12 || bgcolor="#0066FF" | -<br />
|-<br />
|}<br />
<br />
'''Scientific Linux SL release 4.5 (Beryllium) x86_64, gcc v3.4.6'''<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3] !! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits/machine [4]''' !! '''SPEC HEP 64bits/machine [5]''' <br />
|-<br />
| Dell P21950 || Clovertown E5420 2.50GHz || 8 || 16Go || - || - || - || bgcolor="#0066FF" | 63.18 || bgcolor="#0066FF" | 57.63<br />
|-<br />
|}<br />
<br />
'''Scientific Linux SL release 5.3 (Boron) x86_64 gcc version 4.1.2 20080704 (Red Hat 4.1.2-44)'''<br />
<br />
Ce test est suspendu car je suis tombé sur le problème suivant : https://www.jiscmail.ac.uk/cgi-bin/webadmin?A2=ind0909&L=LCG-ROLLOUT&P=R3371<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3] !! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits/machine [4]''' !! '''SPEC HEP 64bits/machine [5]''' <br />
|-<br />
| Dell P21950 || Clovertown E5420 2.50GHz || 8 || 16Go || - || - || - || bgcolor="#0066FF" | - || bgcolor="#0066FF" | -<br />
|-<br />
|}<br />
<br />
'''Fiches SPEC des machines :'''<br />
<br />
Dell PowerEdge 1955 Woodcrest 5160 : http://www.spec.org/osg/cpu2000/results/res2006q3/cpu2000-20060626-06298.html<br />
<br />
Dell PowerEdge 1950 Clovertown E5420 2.33GHz : <br />
<br />
Dell PowerEdge 1950 E5420 2.50GHz : <br />
<br />
IBM 3550 Woodcrest 5160 : http://www.spec.org/osg/cpu2000/results/res2006q3/cpu2000-20060623-06219.html<br />
<br />
IBM 3350 Clovertown E5345 : http://www.spec.org/osg/cpu2000/results/res2006q4/cpu2000-20061113-07918.html<br />
<br />
'''Notes :'''<br />
<br />
[1] : Moyenne de 3 exécutions successives avec les optimisations CERN, chaque exécution démarrant un benchmark CPU2000 par CPU core. <br />
<br />
[2] : Correction : La valeur moyenne ci-dessus + 50%. C'est la valeur à publier via le système d'information de la grille.<br />
<br />
[3] : Une exécution unique avec les optimisations FZK à titre indicatif.<br />
<br />
[4] : Benchmark suite HEP SPEC, en suivant les recommandations : https://twiki.cern.ch/twiki/bin/view/FIOgroup//TsiBenchHEPSPEC <br />
<br />
[5] : A titre indicatif : résultats avec les binaires 64bits (HEP-SEPC06 n'est défini que pour des binaires 32bits)<br />
<br />
----<br />
<br />
Tests réalisés au LAPP (eric) :<br />
<br />
Scientific-Linux V3.08 i386, gcc v3.4.3<br />
<br />
A noter que les tests ont été réalisés sur des machines dont tous les services non nécéssaires étaient desactivés<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3]!! CERN SI2K/core corrigé [2] <br />
|-<br />
| HP BL 460c || Woodcrest 2.66GHz || 4 || 8Go || 1367 || 1665 || 2050 <br />
|-<br />
|}<br />
<br />
<br />
Scientific-Linux V4.5 x86_64, gcc v3.4<br />
<br />
A noter que les tests ont été réalisés sur des machines dont tous les services non nécéssaires étaient desactivés. Un tuning "simple" au niveau du bios donne des disparités dans les résultats des bench qui depassent les 10 %.<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3]!! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits [4] per machin''' !! '''HEP-SPEC06 64bits [4] per machin''' <br />
|-<br />
| HP BL 460c || Woodcrest 2.66GHz || 4 || 8Go || 1485 || 1592 || 2227 || bgcolor="#0066FF" | 36.58 || bgcolor="#0066FF" | 34.6 <br />
|-<br />
| HP BL 460c || Clovertown 2.33GHz || 8 || 16Go || 1225 || x || 1837 || bgcolor="#0066FF" | 56.04 || bgcolor="#0066FF" | 51.18<br />
|-<br />
| DELL 1950 || Intel 5335 2GHz || 8 || 8Go || 1060 || 1139 || 1590 || bgcolor="#0066FF" | x || bgcolor="#0066FF" | x<br />
|-<br />
| HP BL 460c || Harpertown 3GHz || 8 || 16Go || 1620 || 1715 || 2430 || bgcolor="#0066FF" | 70.83 || bgcolor="#0066FF" | 63.99<br />
|-<br />
| DELL M600 || Harpertown 2.66GHz || 8 || 32Go || 1481 || 1588 || 2221 || bgcolor="#0066FF" | x || bgcolor="#0066FF" | x<br />
|}<br />
<br />
<br />
[1] : Moyenne de 3 exécutions successives avec les optimisations CERN, chaque exécution démarrant un benchmark CPU2000 par CPU core. <br />
<br />
[2] : Correction : La valeur moyenne ci-dessus + 50%. C'est la valeur à publier via le système d'information de la grille.<br />
<br />
[3] : Une exécution unique avec les optimisations FZK à titre indicatif.<br />
<br />
[4] : Benchmark suite HEP SPEC, en suivant les recommandations : https://twiki.cern.ch/twiki/bin/view/FIOgroup//TsiBenchHEPSPEC <br />
<br />
----<br />
<br />
Tests réalisés au CPPM (Edith/Carlos) :<br />
<br />
Scientific-Linux 4.6 x86_64, gcc v3.4.6<br />
<br />
Scientific-Linux 5.3 x86_64, gcc 4.1.2 <br />
<br />
A noter que les tests ont été réalisés sur des machines dont tous les services non nécéssaires étaient desactivés<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN32 SI2K/core || CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits [4] (SL4)''' || '''HEP-SPEC06 32bits [4] (SL5.3)'''<br />
|-<br />
| HP DL145 || Opteron 250 2.4Ghz || 2 || 4Go || 1149 || 1278 || 972 || 1725 || 15.14 || bgcolor="#0066FF" | 16.16<br />
|-<br />
| SUN || Opteron 250 2.4Ghz || 2 || 4Go || 1173 || 1298 || 988 || 1760<br />
|-<br />
| HP DL145G2 || Opteron 275 2.2 Ghz || 4 ||6Go || 981 || 1087 || 857 || 1471 || 26.52 || bgcolor="#0066FF" | 27.41<br />
|-<br />
| DELL || Opteron 2218 2.6 Ghz || 4 || 8Go || 1199 || 1073 ||1045 || 1798 || 32.24 || bgcolor="#0066FF" | 31.68<br />
|-<br />
| DELL || Xeon E5420 2.5Ghz || 8 || 16 Go || 1418 ||1528 || x ||2128 || 63.12 || bgcolor="#0066FF" | 68.64<br />
<br />
|}<br />
<br />
----<br />
<br />
Tests réalisés à l'IPHC (Jérôme) :<br />
<br />
Scientific-Linux 4.6 x86_64, gcc v3.4.6<br />
<br />
Pour la réalisation de ces tests, seuls les services indispensables étaient activés.<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits [1] per machin'''<br />
|-<br />
| DELL M600 || Xeon E5410 2.33Ghz || 8 || 16Go || N/A || N/A || N/A || bgcolor="#0066FF" | 61.05<br />
|}<br />
<br />
[1] Moyenne des résultats obtenus sur quatre tests.<br />
<br />
<br />
----<br />
<br />
Tests réalisés au LPC (Jean-Claude) :<br />
<br />
Scientific-Linux 4.6 x86_64, gcc v3.4.6<br />
<br />
Pour la réalisation de ces tests, seuls les services indispensables étaient activés.<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits [1] per machin'''<br />
|-<br />
| IBM Blade || Xeon E5345 2.33Ghz || 8 || 16Go || N/A || N/A || N/A || bgcolor="#0066FF" | 57.41<br />
|}<br />
<br />
[1] Moyenne des résultats obtenus sur trois tests.<br />
<br />
<br />
Scientific-Linux 5.3 x86_64, gcc v4.1.2<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits [2] per machin'''<br />
|-<br />
| IBM Blade || Xeon E5430 2.66Ghz || 8 || 12Go || N/A || N/A || N/A || bgcolor="#0066FF" | 70.64<br />
|}<br />
<br />
[2] Moyenne des résultats obtenus sur quatre tests.<br />
<br />
<br />
----<br />
<br />
Tests réalisés au LLR (pascale):<br />
Scientific-Linux 5.3 x86_64, gcc v4.1.2<br />
<br />
les machines ont ete installees comme les WN standard de la grille<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! Virtual CPU enabled !! '''HEP-SPEC06 32bits per machin''' !! HEP-SPEC06 64bits [1] per machin''' <br />
|-<br />
| DELL R410 || E 5520 || 16[1] || 24Go || YES || 118.57 || 143.44<br />
|-<br />
| || E 5540 || 16[1] || 24Go || YES || 128.38 || 151.03<br />
|-<br />
| DELL R410 || E 5520 || 8 || 24Go || NO || 96.51 || 113.35<br />
|-<br />
| || E 5540 || 8 || 24Go || NO || 103.41|| 121.47<br />
|-<br />
| DELL R410 || E 5520 || 16[1] || 16Go || YES || Pas fait || Pas fait<br />
|-<br />
| || E 5540 || 16[1] || 16Go || YES || Pas fait || 148.64<br />
|-<br />
| DELL R410 || E 5520 || 8 || 16Go || NO || 94.97 || 109.42<br />
|-<br />
| || E 5540 || 8 || 16Go || NO || 102.41|| 117.5<br />
<br />
<br />
<br />
|}<br />
<br />
<br />
[1] Sur les serveurs il y a réellement 8 cores en tout. A cause de l'activation du "Virtual CPU" , le systeme d'exploitation pense qu'il y a 16 procs : la commande /proc/cpuinfo donne 16 coeurs. D'après les tests il est interessant d'activer le "Virtual CPU". Mais, combien de jobs faut-il activer en parallele? Et comment allons-nous les déclarer dans la grille?<br />
Voici les résultats des tests avec 8, 10, 12, 14 et 16 jobs lancés en parallèle pour la <br />
configuration suivante : R410, 16g ram, Virtual CPU activé.<br />
<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Nb jobs !! HEP-SPEC06 64bits [1] per machin''' <br />
|-<br />
| 8 jobs || 115.66 <br />
|-<br />
| 10 jobs || 130.66 <br />
|-<br />
| 12 jobs || 139.29 <br />
|-<br />
| 14 jobs || 144.38 <br />
|-<br />
| 16 jobs || 148.64<br />
<br />
|}<br />
<br />
----</div>
Carranza
https://lcg.in2p3.fr/index.php?title=CPU-Benches&diff=5531
CPU-Benches
2009-11-17T07:57:26Z
<p>Carranza: /* Résultats des benchs effectués par les sites */</p>
<hr />
<div>'''Transition vers les nouvelles unités specs HEP-SPEC06'''<br />
--MàJ --[[User:Chollet|Chollet]] 09:37, 11 septembre 2009 (CEST)--<br />
<br />
=== Page HEPiX de référence === <br />
* https://hepix.caspur.it/benchmarks<br />
<br />
=== Stratégie LCG ===<br />
* LCG Overview Board - Change of CPU accounting unit (I.Bird):<br />
''The working group on benchmarking has now concluded, both on the new benchmark and on the transition process from SI2K. A new benchmark, based on the SPEC 2006 suite has been agreed upon. This uses a combination of the SPEC2006 FP and INT benchmarks, and has been shown to scale well with the experiments’ applications. This benchmark, labelled HEP-SPEC06, will be used in future to specify requirements and resources. '''There is an agreement to use a simple conversion factor of 4 representing the benchmarks ratio HEP-SPEC06/kSI2K'''. Sites will be requested to benchmark their existing resources, and the results will be published on a web site. Future procurements should require the vendor to run the benchmark – provided as a simple script. Planning for changing the reporting in the accounting system is under way. The new unit will be used in the April RRB.''<br />
<br />
* LCG Management Board : [https://twiki.cern.ch/twiki/pub/LCG/MbMeetingsMinutes/LCG_Management_Board_2009_01_27.htm Décision du MB du 27 janvier 2009] s'appuyant sur la [http://indico.cern.ch/materialDisplay.py?contribId=3&sessionId=0&materialId=0&confId=49388 proposition du groupe technique (G.Merino)] <br />
* Pledges WLCG en HEP-SPEC06 : http://lcg.web.cern.ch/LCG/resources.htm<br />
<br />
=== HEP-SPEC06 Benchmark ===<br />
*Le script dispo à https://twiki.cern.ch/twiki/bin/view/FIOgroup/TsiBenchHEPSPEC (Voir les attachements en bas de page tar.gz)<br />
<br />
* La distribution de la suite SPEC CPU2006 version 1.1 est disponible (sous AFS au CC).<br />
Pour plus d'infos contacter F.Chollet ou Pierre Larrieu<br />
<br />
=== Conversion des kSI2k ===<br />
* Facteur de conversion HEP-SPEC06/kSI2k : 4<br />
* 1 kSI2k = 4 HEP-SPEC06<br />
<br />
=== Publication des capacités CPU ===<br />
* Document de référence pour la publication dans le contexte actuel (Glue schema 1.3): <br />
https://twiki.cern.ch/twiki/pub/LCG/WLCGCommonComputingReadinessChallenges/WLCG_GlueSchemaUsage-1.8.pdf <br><br />
<br />
Tentative de synthèse --[[User:Chollet|Chollet]] 09:46, 11 septembre 2009 (CEST)<br />
** PhysicalCPUs = processeurs c.a.d chipset<br />
Un subcluster de 113 machines bi processeurs quadricoeurs = 226 CPUs physiques<br />
** LogicalCPUs = processeurs logiques ou vus de l'OS correspond au nombre de cœurs pour <br />
autant que l'hyperthreading ne soit pas activé<br />
Un subcluster de 113 machines bi processeurs quadricoeurs = 904 CPUs logiques<br />
Le nombre de cœurs par CPU physique (par chipset) étant de 4 <br />
** A noter : Un SubCluster est a priori défini comme un ensemble homogène de workers mais <br />
il est "admis que dans la pratique" cela ne soit pas le cas. Dans ce cas, les sites sont<br />
sensés publier des spécifications moyennes pour certains attributs.<br />
<br />
* Consignes pour les sites / Advices for sites (Juin 2009):<br />
[http://indico.cern.ch/getFile.py/access?sessionId=2&resId=1&materialId=0&confId=63028 Présentation J.Gordon]<br />
<br />
Tentative de synthèse --[[User:Chollet|Chollet]] 17:50, 10 septembre 2009 (CEST)<br />
- Effectuer la mesure de la '''capacité CPU de la machine''' à partir du benchmark HEP-SPEC06<br />
en utilisant le script mis à disposition ci-dessous. '''ATTENTION''' le bench fournit <br />
un score par machine et la publication se fait par cœur<br />
- Publier la '''capacité par cœur''' en HEP-SPEC06 via <br />
''GlueHostProcessorOtherDescription: Benchmark=<value>-HEP-SPEC06''<br />
Cet attribut est également utilisé pour publier le nombre moyen de cœurs par processeur<br />
(ou chipset)<br />
''GlueHostProcessorOtherDescription: Cores=<typical number of cores per CPU>,Benchmark=<br />
<value>-HEP-SPEC06'' <br />
- Convertir la capacité CPU par coeur en SI2K en mulipliant par 250<br />
- Mettre à jour l'attribut ''GlueHostBenchmarkSI00'' <br />
En cas de clusteur ou sous-clusteur hétérogène, GlueHostBenchmarkSI00 étant défini comme "Average SpecInt2000 rating per logical CPU" c.a.d par coeur pourvu que l'hyperthreading soit désactivé, vous êtes invités à effectuer à publier une valeur moyenne.<br />
<br />
-----<br />
<br />
=== Résultats des benchs effectués par les sites ===<br />
SPEC CPU2000 <br />
Des tests de puissance des CPU ont été réalisés au LAPP (Eric Fede) et à Subatech (Jean-Michel Barbet) avecla suite SPEC CPU2000 suivant la méthodologie recommandée : http://hepix.caspur.it/processors/<br />
Ajout des tests au CPPM (Edith Knoops)<br />
<br />
HEP-SPEC06<br />
Des mesures avec le benchmark suite HEP-SPEC06 sont également disponibles ( fond bleu des tableaux)<br />
<br />
<br />
Tests réalisés par Jean-Michel :<br />
<br />
A noter que les tests ont été réalisés sur des machines en configuration opérationnelles pour la grille (avec tous les daemons).<br />
<br />
'''Scientific-Linux V4.3 i386, gcc v3.4.5'''<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3] !! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits/machine [4]''' !! '''SPEC HEP 64bits/machine [5]''' <br />
|-<br />
| Dell PE1955 || Woodcrest 5160 3.00GHz || 4 || 8Go || 1409 || 1830 || 2113 || bgcolor="#0066FF" | 39.48 || bgcolor="#0066FF" | -<br />
|-<br />
| IBM || Clovertown 2.33GHz || 8 || 16Go || 979 || 1875 || 1468 || bgcolor="#0066FF" | 53.12 || bgcolor="#0066FF" | -<br />
|-<br />
|}<br />
<br />
'''Scientific Linux SL release 4.5 (Beryllium) x86_64, gcc v3.4.6'''<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3] !! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits/machine [4]''' !! '''SPEC HEP 64bits/machine [5]''' <br />
|-<br />
| Dell P21950 || Clovertown E5420 2.50GHz || 8 || 16Go || - || - || - || bgcolor="#0066FF" | 63.18 || bgcolor="#0066FF" | 57.63<br />
|-<br />
|}<br />
<br />
'''Scientific Linux SL release 5.3 (Boron) x86_64 gcc version 4.1.2 20080704 (Red Hat 4.1.2-44)'''<br />
<br />
Ce test est suspendu car je suis tombé sur le problème suivant : https://www.jiscmail.ac.uk/cgi-bin/webadmin?A2=ind0909&L=LCG-ROLLOUT&P=R3371<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3] !! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits/machine [4]''' !! '''SPEC HEP 64bits/machine [5]''' <br />
|-<br />
| Dell P21950 || Clovertown E5420 2.50GHz || 8 || 16Go || - || - || - || bgcolor="#0066FF" | - || bgcolor="#0066FF" | -<br />
|-<br />
|}<br />
<br />
'''Fiches SPEC des machines :'''<br />
<br />
Dell PowerEdge 1955 Woodcrest 5160 : http://www.spec.org/osg/cpu2000/results/res2006q3/cpu2000-20060626-06298.html<br />
<br />
Dell PowerEdge 1950 Clovertown E5420 2.33GHz : <br />
<br />
Dell PowerEdge 1950 E5420 2.50GHz : <br />
<br />
IBM 3550 Woodcrest 5160 : http://www.spec.org/osg/cpu2000/results/res2006q3/cpu2000-20060623-06219.html<br />
<br />
IBM 3350 Clovertown E5345 : http://www.spec.org/osg/cpu2000/results/res2006q4/cpu2000-20061113-07918.html<br />
<br />
'''Notes :'''<br />
<br />
[1] : Moyenne de 3 exécutions successives avec les optimisations CERN, chaque exécution démarrant un benchmark CPU2000 par CPU core. <br />
<br />
[2] : Correction : La valeur moyenne ci-dessus + 50%. C'est la valeur à publier via le système d'information de la grille.<br />
<br />
[3] : Une exécution unique avec les optimisations FZK à titre indicatif.<br />
<br />
[4] : Benchmark suite HEP SPEC, en suivant les recommandations : https://twiki.cern.ch/twiki/bin/view/FIOgroup//TsiBenchHEPSPEC <br />
<br />
[5] : A titre indicatif : résultats avec les binaires 64bits (HEP-SEPC06 n'est défini que pour des binaires 32bits)<br />
<br />
----<br />
<br />
Tests réalisés au LAPP (eric) :<br />
<br />
Scientific-Linux V3.08 i386, gcc v3.4.3<br />
<br />
A noter que les tests ont été réalisés sur des machines dont tous les services non nécéssaires étaient desactivés<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3]!! CERN SI2K/core corrigé [2] <br />
|-<br />
| HP BL 460c || Woodcrest 2.66GHz || 4 || 8Go || 1367 || 1665 || 2050 <br />
|-<br />
|}<br />
<br />
<br />
Scientific-Linux V4.5 x86_64, gcc v3.4<br />
<br />
A noter que les tests ont été réalisés sur des machines dont tous les services non nécéssaires étaient desactivés. Un tuning "simple" au niveau du bios donne des disparités dans les résultats des bench qui depassent les 10 %.<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core [1] !! FZK SI2K/core [3]!! CERN SI2K/core corrigé [2] !! '''HEP-SPEC06 32bits [4] per machin''' !! '''HEP-SPEC06 64bits [4] per machin''' <br />
|-<br />
| HP BL 460c || Woodcrest 2.66GHz || 4 || 8Go || 1485 || 1592 || 2227 || bgcolor="#0066FF" | 36.58 || bgcolor="#0066FF" | 34.6 <br />
|-<br />
| HP BL 460c || Clovertown 2.33GHz || 8 || 16Go || 1225 || x || 1837 || bgcolor="#0066FF" | 56.04 || bgcolor="#0066FF" | 51.18<br />
|-<br />
| DELL 1950 || Intel 5335 2GHz || 8 || 8Go || 1060 || 1139 || 1590 || bgcolor="#0066FF" | x || bgcolor="#0066FF" | x<br />
|-<br />
| HP BL 460c || Harpertown 3GHz || 8 || 16Go || 1620 || 1715 || 2430 || bgcolor="#0066FF" | 70.83 || bgcolor="#0066FF" | 63.99<br />
|-<br />
| DELL M600 || Harpertown 2.66GHz || 8 || 32Go || 1481 || 1588 || 2221 || bgcolor="#0066FF" | x || bgcolor="#0066FF" | x<br />
|}<br />
<br />
<br />
[1] : Moyenne de 3 exécutions successives avec les optimisations CERN, chaque exécution démarrant un benchmark CPU2000 par CPU core. <br />
<br />
[2] : Correction : La valeur moyenne ci-dessus + 50%. C'est la valeur à publier via le système d'information de la grille.<br />
<br />
[3] : Une exécution unique avec les optimisations FZK à titre indicatif.<br />
<br />
[4] : Benchmark suite HEP SPEC, en suivant les recommandations : https://twiki.cern.ch/twiki/bin/view/FIOgroup//TsiBenchHEPSPEC <br />
<br />
----<br />
<br />
Tests réalisés au CPPM (Edith/Carlos) :<br />
<br />
Scientific-Linux 4.6 x86_64, gcc v3.4.6<br />
<br />
Scientific-Linux 5.3 x86_64, gcc 4.1.2 <br />
<br />
A noter que les tests ont été réalisés sur des machines dont tous les services non nécéssaires étaient desactivés<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN32 SI2K/core || CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits [4] (SL4)''' || '''HEP-SPEC06 32bits [4] (SL5.3)'''<br />
|-<br />
| HP DL145 || Opteron 250 2.4Ghz || 2 || 4Go || 1149 || 1278 || 972 || 1725 || bgcolor="#0066FF" | 15.14 || bgcolor="#0066FF" | 16.16<br />
|-<br />
| SUN || Opteron 250 2.4Ghz || 2 || 4Go || 1173 || 1298 || 988 || 1760<br />
|-<br />
| HP DL145G2 || Opteron 275 2.2 Ghz || 4 ||6Go || 981 || 1087 || 857 || 1471 || bgcolor="#0066FF" | 26.52 || bgcolor="#0066FF" | 27.41<br />
|-<br />
| DELL || Opteron 2218 2.6 Ghz || 4 || 8Go || 1199 || 1073 ||1045 || 1798 || bgcolor="#0066FF" | 32.24 || bgcolor="#0066FF" | 31.68<br />
|-<br />
| DELL || Xeon E5420 2.5Ghz || 8 || 16 Go || 1418 ||1528 || x ||2128 || bgcolor="#0066FF" | 63.12 || bgcolor="#0066FF" | 68.64<br />
<br />
|}<br />
<br />
----<br />
<br />
Tests réalisés à l'IPHC (Jérôme) :<br />
<br />
Scientific-Linux 4.6 x86_64, gcc v3.4.6<br />
<br />
Pour la réalisation de ces tests, seuls les services indispensables étaient activés.<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits [1] per machin'''<br />
|-<br />
| DELL M600 || Xeon E5410 2.33Ghz || 8 || 16Go || N/A || N/A || N/A || bgcolor="#0066FF" | 61.05<br />
|}<br />
<br />
[1] Moyenne des résultats obtenus sur quatre tests.<br />
<br />
<br />
----<br />
<br />
Tests réalisés au LPC (Jean-Claude) :<br />
<br />
Scientific-Linux 4.6 x86_64, gcc v3.4.6<br />
<br />
Pour la réalisation de ces tests, seuls les services indispensables étaient activés.<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits [1] per machin'''<br />
|-<br />
| IBM Blade || Xeon E5345 2.33Ghz || 8 || 16Go || N/A || N/A || N/A || bgcolor="#0066FF" | 57.41<br />
|}<br />
<br />
[1] Moyenne des résultats obtenus sur trois tests.<br />
<br />
<br />
Scientific-Linux 5.3 x86_64, gcc v4.1.2<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! CERN SI2K/core !! FZK SI2K/core !! CERN SI2K/core corrigé !! '''HEP-SPEC06 32bits [2] per machin'''<br />
|-<br />
| IBM Blade || Xeon E5430 2.66Ghz || 8 || 12Go || N/A || N/A || N/A || bgcolor="#0066FF" | 70.64<br />
|}<br />
<br />
[2] Moyenne des résultats obtenus sur quatre tests.<br />
<br />
<br />
----<br />
<br />
Tests réalisés au LLR (pascale):<br />
Scientific-Linux 5.3 x86_64, gcc v4.1.2<br />
<br />
les machines ont ete installees comme les WN standard de la grille<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Machine !! CPU !! Nb cores !! Mémoire RAM !! Virtual CPU enabled !! '''HEP-SPEC06 32bits per machin''' !! HEP-SPEC06 64bits [1] per machin''' <br />
|-<br />
| DELL R410 || E 5520 || 16[1] || 24Go || YES || 118.57 || 143.44<br />
|-<br />
| || E 5540 || 16[1] || 24Go || YES || 128.38 || 151.03<br />
|-<br />
| DELL R410 || E 5520 || 8 || 24Go || NO || 96.51 || 113.35<br />
|-<br />
| || E 5540 || 8 || 24Go || NO || 103.41|| 121.47<br />
|-<br />
| DELL R410 || E 5520 || 16[1] || 16Go || YES || Pas fait || Pas fait<br />
|-<br />
| || E 5540 || 16[1] || 16Go || YES || Pas fait || 148.64<br />
|-<br />
| DELL R410 || E 5520 || 8 || 16Go || NO || 94.97 || 109.42<br />
|-<br />
| || E 5540 || 8 || 16Go || NO || 102.41|| 117.5<br />
<br />
<br />
<br />
|}<br />
<br />
<br />
[1] Sur les serveurs il y a réellement 8 cores en tout. A cause de l'activation du "Virtual CPU" , le systeme d'exploitation pense qu'il y a 16 procs : la commande /proc/cpuinfo donne 16 coeurs. D'après les tests il est interessant d'activer le "Virtual CPU". Mais, combien de jobs faut-il activer en parallele? Et comment allons-nous les déclarer dans la grille?<br />
Voici les résultats des tests avec 8, 10, 12, 14 et 16 jobs lancés en parallèle pour la <br />
configuration suivante : R410, 16g ram, Virtual CPU activé.<br />
<br />
<br />
{| class="wikitable" style="text-align:center" border="1" cellpadding="5" cellspacing="0"<br />
|+<br />
|-<br />
! style="background:#efefef;" | Nb jobs !! HEP-SPEC06 64bits [1] per machin''' <br />
|-<br />
| 8 jobs || 115.66 <br />
|-<br />
| 10 jobs || 130.66 <br />
|-<br />
| 12 jobs || 139.29 <br />
|-<br />
| 14 jobs || 144.38 <br />
|-<br />
| 16 jobs || 148.64<br />
<br />
|}<br />
<br />
----</div>
Carranza