Difference between revisions of "LCG-FR / SA1-FR Accounting WG"

Un article de lcgwiki.
Jump to: navigation, search
(Accounting)
 
(44 intermediate revisions by 4 users not shown)
Ligne 1: Ligne 1:
 +
'''''<span style="color:#FF0000;"> PAGE OBSOLÈTE....  REMPLACÉE PAR LE NOUVEAU WIKI OPERATIONS FRANCE-GRILLES '''''<br>
 +
 +
'''''<span style="color:#FF0000;"> https://forge.in2p3.fr/projects/francegrilles-ops/wiki/Infrastructure_et_Expertise_Accounting '''''
 +
 
== Contacts (Mailing list) ==
 
== Contacts (Mailing list) ==
 
<b>LCG-SA1FR-ACCOUNTING-L@IN2P3.FR mailing list</b> :  
 
<b>LCG-SA1FR-ACCOUNTING-L@IN2P3.FR mailing list</b> :  
List managers : Christine Leroy (Irfu/CEA)<br>
+
List managers : Cécile Barbier (CNRS/IN2P3/LAPP) / Frédéric Schaer (CEA/IRFU)<br>
  
 
== Mandat du Groupe ==
 
== Mandat du Groupe ==
 +
Document consultable:
 +
https://edms.in2p3.fr/file/I-013702/1/LCG-France-SA1-FR_WGAccounting.pdf
  
 
== Journées, Réunions... ==
 
== Journées, Réunions... ==
 +
 +
* Visio/téléconférence du 25 juin 2008 : [http://indico.in2p3.fr/conferenceDisplay.py?confId=989 Minutes]
 +
 +
* GDB meeting @CERN du 8 octobre 2008 : [http://indico.cern.ch/materialDisplay.py?sessionId=2&materialId=0&confId=20234 Accounting Status and Plans] by John Gordon
 +
 +
* Visio/téléconférence du 7 novembre 2008 : [http://indico.in2p3.fr/conferenceDisplay.py?confId=1451 Minutes]
 +
 +
* GDB meeting @CERN du 12 novembre 2008 : [http://indico.cern.ch/materialDisplay.py?contribId=0&sessionId=3&materialId=slides&confId=20235 Local job accounting] by Cristina del Cano Novales
 +
 +
* GDB meeting @CERN du 11 mars 2009 : [http://indico.cern.ch/getFile.py/access?sessionId=1&resId=0&materialId=0&confId=45473 Accounting Policies and other new/revised security policies] by David Kelsey
  
 
== Accounting ==
 
== Accounting ==
* [http://www.ukiroc.eu/content/view/95/249/ EGEE Accounting Service]
+
* [http://www3.egee.cesga.es/gridsite/accounting/CESGA/links.html Various links]
 
* [http://www3.egee.cesga.es/gridsite/accounting/CESGA/egee_view.php EGEE Accounting Charts]
 
* [http://www3.egee.cesga.es/gridsite/accounting/CESGA/egee_view.php EGEE Accounting Charts]
 +
* [https://twiki.cern.ch/twiki/bin/view/EMI/APELFAQ Apel FAQ]
 +
* [http://www3.egee.cesga.es/gridsite/accounting/CESGA/links/demo_estambul.pdf Intra-VO and individual user level accounting in EGEE] by Sergio Diaz at EGEE'08 Istanbul
 +
* [http://lappweb.in2p3.fr/informatique/GRID/accounting_mensuel/ Outil d'accounting local du LAPP (Contact : Cécile Barbier)]
 +
* [http://wwwires.in2p3.fr/accounting/ Lien vers la page Accounting IPHC]
  
 
== Policies ==
 
== Policies ==
=== EGEE Security activity : http://www.eu-egee.org/security ===
+
'''[http://proj-lcg-security.web.cern.ch/ LCG/EGEE Joint Security Policy Group]''' from '''[http://www.eu-egee.org/security EGEE Security]''' activity<br>
==== [http://proj-lcg-security.web.cern.ch/ LCG/EGEE Joint Security Policy Group]====
+
* '''JSPG meetings : http://indico.cern.ch/categoryDisplay.py?categId=68'''
* Réunions JSPG :http://indico.cern.ch/categoryDisplay.py?categId=68
+
Meeting held at CERN, Oct 9 and 10 2008 : see David Kelsey's slides about EGEE policy precedence and long term issues.
* Documents de référence JSPG : http://proj-lcg-security.web.cern.ch/proj-lcg-security/documents.html
+
 
'''Security policy : https://edms.cern.ch/document/428008'''<br>
+
Meeting held at CERN, Jan 22 and 23 2009 : see User-Level Job Accounting Data topic
'''Grid Acceptable Use policy : https://edms.cern.ch/document/428036'''<br>
+
 
'''VO Security policy : https://edms.cern.ch/document/573348'''<br>
+
* '''New JSPG Documents''' (some approved, some other not yet approved) : '''http://www.jspg.org/wiki/JSPG_Docs''' with a link to the old approved reference documents
'''Approval of CA (within IGTF) : https://edms.cern.ch/document/428038'''<br>  '''[http://www.eugridpma.org/members/worldmap/ EU Grid Policy Management Authority] as part of [http://www.gridpma.org/ the International Grid Trust federation]'''<br>
+
 
 +
including '''Approval of CA (within IGTF) : https://edms.cern.ch/document/428038'''<br>  '''[http://www.eugridpma.org/members/worldmap/ EU Grid Policy Management Authority] as part of [http://www.gridpma.org/ the International Grid Trust Federation]'''<br>
 +
 
 +
== Documents accounting nominatif ==
 +
* [https://edms.in2p3.fr/file/I-017535/3/2009-03-CNRS-Elaboration_Statistiques_Usage_Grille-v2.pdf Document technique transmis à IdG et au CNRS en vue d'une déclaration à la CNIL]
 +
* [https://edms.in2p3.fr/file/I-017535/3/DN_UPS3107_v0_R1379423.pdf Récépissé déclaration CNIL 1379423]
 +
 
 +
== [http://lcg.in2p3.fr/wiki/index.php?title=CPU-Benches Transition to HEP-SPEC06] ==
 +
 
 +
== Trucs et astuces ==
 +
 
 +
Vous avez l'impression que les données d'accounting ne sont pas à jour sur le portail de CESGA .
 +
 
 +
'''1) Vérifier la présence de vos données dans R-GMA'''
 +
 
 +
rgma>select max(EventDate), ExecutingSite from LcgRecords where ExecutingSite like 'nom de votre site' group by ExecutingSite;
 +
 
 +
Vous aurez la date de vos dernières données d'accounting insérées.
 +
 
 +
'''2) Vérifier le nombre de sites publiant .'''
 +
 
 +
http://www3.egee.cesga.es/acctenfor/
 +
 
 +
Si le nombre de sites est inférieur à la moitié des sites ( 150 sites au total environ donc 75 pour la moitié !!), c'est qu'il y a certainement un problème central
 +
 
 +
'''3) Vérifier l'état du registre principal'''
 +
 
 +
https://rgma19.pp.rl.ac.uk:8443/Inspector/Main.do/getSiteStatus?serviceType=registry&siteName=lcgic01.gridpp.rl.ac.uk&portNumber=8443&lookupType=statusDetails
 +
 
 +
Si il n'y a pas de connections sur celui-ci , c'est qu'il y a certainement aussi un problème .
 +
 
 +
'''4) Faire un dump d'un mois de base de donnée d'accounting, en supprimant les DNs utilisateurs'''
 +
 
 +
Faire un dump entier de la base de données est inutile : on peut se commenter de la table LcgRecords. en supposant que la base s'appelle 'accounting', on peut effectuer un dump sélectif en fonction de la date de l'enregistrement par exemple, reste à filtrer les DNs des utilisateurs :
 +
 
 +
mysqldump -u root -p --where "EventDate like '2008-06%'" --insert-ignore -e --skip-opt accounting LcgRecords | gawk -F ',' \
 +
'/INSERT/{for(i=1 ; i<NF ; i++) { if(i!=6) {printf "%s,", $i } else { printf "%s,", "'"''"'"} } ; print $NF } \
 +
!/INSERT/{print $0}' | gzip - > 200806_GRIF_dump2.sql.gz
 +
 
 +
Le gawk se charge de remplacer le 6e champ (DN) par un champ vide. Notez qu'il ne semble pas possible d'échapper un simple quote (') à l'intérieur d'une commande gawk en utilisant bash, on a donc recours à une astuce :
 +
 
 +
"'"''"'" correspond à :
 +
"'            : caractère ", puis fermeture du simplquote gawk
 +
"' suivi de '" : 2 caractères simple quote qui doivent être encadrés de double quotes dans bash
 +
'"            : ouverture de la fin de chaine pour la commande gawk, et fermeture de l'argument à printf via un "

Latest revision as of 10:33, 7 juin 2012

PAGE OBSOLÈTE.... REMPLACÉE PAR LE NOUVEAU WIKI OPERATIONS FRANCE-GRILLES

https://forge.in2p3.fr/projects/francegrilles-ops/wiki/Infrastructure_et_Expertise_Accounting

Contacts (Mailing list)

LCG-SA1FR-ACCOUNTING-L@IN2P3.FR mailing list : List managers : Cécile Barbier (CNRS/IN2P3/LAPP) / Frédéric Schaer (CEA/IRFU)

Mandat du Groupe

Document consultable: https://edms.in2p3.fr/file/I-013702/1/LCG-France-SA1-FR_WGAccounting.pdf

Journées, Réunions...

  • Visio/téléconférence du 25 juin 2008 : Minutes
  • Visio/téléconférence du 7 novembre 2008 : Minutes

Accounting

Policies

LCG/EGEE Joint Security Policy Group from EGEE Security activity

Meeting held at CERN, Oct 9 and 10 2008 : see David Kelsey's slides about EGEE policy precedence and long term issues.

Meeting held at CERN, Jan 22 and 23 2009 : see User-Level Job Accounting Data topic

including Approval of CA (within IGTF) : https://edms.cern.ch/document/428038
EU Grid Policy Management Authority as part of the International Grid Trust Federation

Documents accounting nominatif

Transition to HEP-SPEC06

Trucs et astuces

Vous avez l'impression que les données d'accounting ne sont pas à jour sur le portail de CESGA .

1) Vérifier la présence de vos données dans R-GMA

rgma>select max(EventDate), ExecutingSite from LcgRecords where ExecutingSite like 'nom de votre site' group by ExecutingSite;

Vous aurez la date de vos dernières données d'accounting insérées.

2) Vérifier le nombre de sites publiant .

http://www3.egee.cesga.es/acctenfor/

Si le nombre de sites est inférieur à la moitié des sites ( 150 sites au total environ donc 75 pour la moitié !!), c'est qu'il y a certainement un problème central

3) Vérifier l'état du registre principal

https://rgma19.pp.rl.ac.uk:8443/Inspector/Main.do/getSiteStatus?serviceType=registry&siteName=lcgic01.gridpp.rl.ac.uk&portNumber=8443&lookupType=statusDetails

Si il n'y a pas de connections sur celui-ci , c'est qu'il y a certainement aussi un problème .

4) Faire un dump d'un mois de base de donnée d'accounting, en supprimant les DNs utilisateurs

Faire un dump entier de la base de données est inutile : on peut se commenter de la table LcgRecords. en supposant que la base s'appelle 'accounting', on peut effectuer un dump sélectif en fonction de la date de l'enregistrement par exemple, reste à filtrer les DNs des utilisateurs :

mysqldump -u root -p --where "EventDate like '2008-06%'" --insert-ignore -e --skip-opt accounting LcgRecords | gawk -F ',' \
'/INSERT/{for(i=1 ; i<NF ; i++) { if(i!=6) {printf "%s,", $i } else { printf "%s,", "'""'"} } ; print $NF } \
!/INSERT/{print $0}' | gzip - > 200806_GRIF_dump2.sql.gz

Le gawk se charge de remplacer le 6e champ (DN) par un champ vide. Notez qu'il ne semble pas possible d'échapper un simple quote (') à l'intérieur d'une commande gawk en utilisant bash, on a donc recours à une astuce :

"'""'" correspond à :

"'             : caractère ", puis fermeture du simplquote gawk
"' suivi de '" : 2 caractères simple quote qui doivent être encadrés de double quotes dans bash
'"             : ouverture de la fin de chaine pour la commande gawk, et fermeture de l'argument à printf via un "