lcgwiki - Contributions [en]

MemJobs

2017-03-20T17:12:44Z

Victor.mendoza:

=== Introduction ===

Cette page est destinée à centraliser les informations concernant la gestion de la mémoire des jobs LHC sur les worker des sites LCG France.
Les membres du projet LCG France sont invités à fournir sur cette page tout type d'information permettant au projet d'améliorer la gestion de la mémoire.
Voici quelques finalités :

* les achats de RAM sont-il adaptés ?
* les expériences sont-elles contente avec la façon dont les sites gèrent la mémoire
* des efforts doivent-ils être fournis par les sites pour répondre à d'éventuels problèmes liés à la consommation de mémoire
* ...

=== Configuration des worker nodes ===

Merci d'indiquer dans cette section comment vos machines sont configurées pour gérer la mémoire consommée par les jobs.

{| class="wikitable"
|-
! Site

! Système de batch

! RAM/core

! Limitation mémoire
sur jobs (Y/N)

! Type de limite

! Seuil (GB)

! Dependance
selon VO (Y/N)

! Informations
Supplémentaires
|-
| CCIN2P3
| UGE
| 3GB
| Y
| vmem & rss
| [3-4] GB RSS
| Y
| Limites suffisent en general mais certains workloads speciaux ou temporaires peuvent necessiter des queues plus permissives.
|-
| CPPM
| Torque Maui
|
|
|
|
|
|
|-
| GRIF-LAL
| HTCondor
| 2Go
| N
|
|
|
|
|-
| GRIF-LLR
| HTCondor
| 2Go
| N
|
|
|
|
|-
| GRIF-LPNHE
| Torque Maui
| 2Go
| Y
| vmem (pvmem)
| 4Go vmem, 3Go vmem/core (multicore)
| N
|
|-
|}

=== Consommation des jobs ===

On reporte ici les valeurs typiques de consommation mémoire moyenne ''observée'' sur les workers (sur dashboard de site ou dashboard expérience). La mémoire peut être exprimée en VMEM, RSS ou PSS, et en GB/core

{| class="wikitable"
|-
! Site
! ALICE
! ATLAS
! CMS
! LHCb
! Observations
|-
| CCIN2P3
| x
| x
| x
| x
|
|-
| GRIF-LAL
| x
| x
| x
| 3.44 Go VMEM
|
|-
| GRIF-LLR
| x
| x
| x
| 3.31 Go VMEM
|
|-
| GRIF-LPNHE
| x
| x
| x
| 3.18 Go VMEM
|
|-
|}

=== Vision des expériences ===

Insérez ici ce que l’expérience souhaite comme type de limitation ou de gestion de la mémoire par les sites.
La VMEM est-elle OK ? La RSS suffisante ? La PSS souhaitable ? ...

===== ALICE =====

===== ATLAS =====

===== CMS =====

===== LHCb =====

=== Besoins des sites ===

Insérez ici ce qu'il vous semble utile pour gérer efficacement la consommation de mémoire dans votre site.
Vous pouvez parler de monitoring, de communication avec les VOs ou sites, d'infrastructure matérielle, de documentation, ce que vous n'avez pas et que vous voudriez avoir.

MemJobs

2017-03-20T17:11:36Z

Victor.mendoza:

=== Introduction ===

Cette page est destinée à centraliser les informations concernant la gestion de la mémoire des jobs LHC sur les worker des sites LCG France.
Les membres du projet LCG France sont invités à fournir sur cette page tout type d'information permettant au projet d'améliorer la gestion de la mémoire.
Voici quelques finalités :

* les achats de RAM sont-il adaptés ?
* les expériences sont-elles contente avec la façon dont les sites gèrent la mémoire
* des efforts doivent-ils être fournis par les sites pour répondre à d'éventuels problèmes liés à la consommation de mémoire
* ...

=== Configuration des worker nodes ===

Merci d'indiquer dans cette section comment vos machines sont configurées pour gérer la mémoire consommée par les jobs.

{| class="wikitable"
|-
! Site

! Système de batch

! RAM/core

! Limitation mémoire
sur jobs (Y/N)

! Type de limite

! Seuil (GB)

! Dependance
selon VO (Y/N)

! Informations
Supplémentaires
|-
| CCIN2P3
| UGE
| 3GB
| Y
| vmem & rss
| [3-4] GB RSS
| Y
| Limites suffisent en general mais certains workloads speciaux ou temporaires peuvent necessiter des queues plus permissives.
|-
| CPPM
| Torque Maui
| N
|
|
|
|
|
|-
| GRIF-LAL
| HTCondor
| 2Go
| N
|
|
|
|
|-
| GRIF-LLR
| HTCondor
| 2Go
| N
|
|
|
|
|-
| GRIF-LPNHE
| Torque Maui
| 2Go
| Y
| vmem (pvmem)
| 4Go vmem, 3Go vmem/core (multicore)
| N
|
|-
|}

=== Consommation des jobs ===

On reporte ici les valeurs typiques de consommation mémoire moyenne ''observée'' sur les workers (sur dashboard de site ou dashboard expérience). La mémoire peut être exprimée en VMEM, RSS ou PSS, et en GB/core

{| class="wikitable"
|-
! Site
! ALICE
! ATLAS
! CMS
! LHCb
! Observations
|-
| CCIN2P3
| x
| x
| x
| x
|
|-
| GRIF-LAL
| x
| x
| x
| 3.44 Go VMEM
|
|-
| GRIF-LLR
| x
| x
| x
| 3.31 Go VMEM
|
|-
| GRIF-LPNHE
| x
| x
| x
| 3.18 Go VMEM
|
|-
|}

=== Vision des expériences ===

Insérez ici ce que l’expérience souhaite comme type de limitation ou de gestion de la mémoire par les sites.
La VMEM est-elle OK ? La RSS suffisante ? La PSS souhaitable ? ...

===== ALICE =====

===== ATLAS =====

===== CMS =====

===== LHCb =====

=== Besoins des sites ===

Insérez ici ce qu'il vous semble utile pour gérer efficacement la consommation de mémoire dans votre site.
Vous pouvez parler de monitoring, de communication avec les VOs ou sites, d'infrastructure matérielle, de documentation, ce que vous n'avez pas et que vous voudriez avoir.