Difference between revisions of "LCG-FR / SA1-FR Accounting WG"

Un article de lcgwiki.
Jump to: navigation, search
(Journées, Réunions...)
(Policies)
Ligne 34: Ligne 34:
 
In order to satisfy the traceability requirements, software deployed in the Grid MUST produce sufficient and relevant logging.  
 
In order to satisfy the traceability requirements, software deployed in the Grid MUST produce sufficient and relevant logging.  
 
...
 
...
The required information which MUST be retained for a minimum of 90 days. Grid Security Operations MAY define longer periods of retention for specific services and/or operational requirements. The logs MUST be put into a safe repository.
+
The required information which MUST be retained for a minimum of 90 days. Grid Security Operations MAY define longer periods of retention for specific services and/or operational requirements. The logs MUST be put into a safe repository.<br>
 
'''Grid Acceptable Use policy : https://edms.cern.ch/document/428036'''<br>
 
'''Grid Acceptable Use policy : https://edms.cern.ch/document/428036'''<br>
 
'''VO Operations policy : https://edms.cern.ch/document/853968'''<br>
 
'''VO Operations policy : https://edms.cern.ch/document/853968'''<br>
 
'''Approval of CA (within IGTF) : https://edms.cern.ch/document/428038'''<br>  '''[http://www.eugridpma.org/members/worldmap/ EU Grid Policy Management Authority] as part of [http://www.gridpma.org/ the International Grid Trust federation]'''<br>
 
'''Approval of CA (within IGTF) : https://edms.cern.ch/document/428038'''<br>  '''[http://www.eugridpma.org/members/worldmap/ EU Grid Policy Management Authority] as part of [http://www.gridpma.org/ the International Grid Trust federation]'''<br>
 +
'''User-Level Job Accounting Data Handling Policy : https://edms.cern.ch/document/855382/1'''<br>
  
 
== Trucs et astuces ==
 
== Trucs et astuces ==

Version du 11:28, 13 novembre 2008

Contacts (Mailing list)

LCG-SA1FR-ACCOUNTING-L@IN2P3.FR mailing list : List managers : Cécile Barbier (CNRS/IN2P3/LAPP) / Frédéric Schaer (CEA/IRFU)

Mandat du Groupe

Document consultable: https://edms.in2p3.fr/file/I-013702/1/LCG-France-SA1-FR_WGAccounting.pdf

Journées, Réunions...

  • Visio/téléconférence du 25 juin 2008 : Minutes
  • Visio/téléconférence du 7 novembre 2008 : Minutes

Accounting

Policies

LCG/EGEE Joint Security Policy Group from EGEE Security activity : http://www.eu-egee.org/security

Last meeting held at CERN, Oct 9 and 10 2008 See David Kelsey's slides about EGEE policy precedence and long term issues.

Grid Security Traceability and Logging policy : https://edms.cern.ch/document/428037
.. In order to satisfy the traceability requirements, software deployed in the Grid MUST produce sufficient and relevant logging. ... The required information which MUST be retained for a minimum of 90 days. Grid Security Operations MAY define longer periods of retention for specific services and/or operational requirements. The logs MUST be put into a safe repository.
Grid Acceptable Use policy : https://edms.cern.ch/document/428036
VO Operations policy : https://edms.cern.ch/document/853968
Approval of CA (within IGTF) : https://edms.cern.ch/document/428038
EU Grid Policy Management Authority as part of the International Grid Trust federation
User-Level Job Accounting Data Handling Policy : https://edms.cern.ch/document/855382/1

Trucs et astuces

Vous avez l'impression que les données d'accounting ne sont pas à jour sur le portail de CESGA .

1) Vérifier la présence de vos données dans R-GMA

rgma>select max(EventDate), ExecutingSite from LcgRecords where ExecutingSite like 'nom de votre site' group by ExecutingSite;

Vous aurez la date de vos dernières données d'accounting insérées.

2) Vérifier le nombre de sites publiant .

http://www3.egee.cesga.es/acctenfor/

Si le nombre de sites est inférieur à la moitié des sites ( 150 sites au total environ donc 75 pour la moitié !!), c'est qu'il y a certainement un problème central

3) Vérifier l'état du registre principal

https://rgma19.pp.rl.ac.uk:8443/Inspector/Main.do/getSiteStatus?serviceType=registry&siteName=lcgic01.gridpp.rl.ac.uk&portNumber=8443&lookupType=statusDetails

Si il n'y a pas de connections sur celui-ci , c'est qu'il y a certainement aussi un problème .

4) Faire un dump d'un mois de base de donnée d'accounting, en supprimant les DNs utilisateurs

Faire un dump entier de la base de données est inutile : on peut se commenter de la table LcgRecords. en supposant que la base s'appelle 'accounting', on peut effectuer un dump sélectif en fonction de la date de l'enregistrement par exemple, reste à filtrer les DNs des utilisateurs :

mysqldump -u root -p --where "EventDate like '2008-06%'" --insert-ignore -e --skip-opt accounting LcgRecords | gawk -F ',' \
'/INSERT/{for(i=1 ; i<NF ; i++) { if(i!=6) {printf "%s,", $i } else { printf "%s,", "'""'"} } ; print $NF } \
!/INSERT/{print $0}' | gzip - > 200806_GRIF_dump2.sql.gz

Le gawk se charge de remplacer le 6e champ (DN) par un champ vide. Notez qu'il ne semble pas possible d'échapper un simple quote (') à l'intérieur d'une commande gawk en utilisant bash, on a donc recours à une astuce :

"'""'" correspond à :

"'             : caractère ", puis fermeture du simplquote gawk
"' suivi de '" : 2 caractères simple quote qui doivent être encadrés de double quotes dans bash
'"             : ouverture de la fin de chaine pour la commande gawk, et fermeture de l'argument à printf via un "