Difference between revisions of "LCG-FR / SA1-FR Accounting WG"

Un article de lcgwiki.
Jump to: navigation, search
(→‎Utilisation des infos nominatives)
 
(54 intermediate revisions by 4 users not shown)
Ligne 1: Ligne 1:
 +
'''''<span style="color:#FF0000;"> PAGE OBSOLÈTE....  REMPLACÉE PAR LE NOUVEAU WIKI OPERATIONS FRANCE-GRILLES '''''<br>
 +
 +
'''''<span style="color:#FF0000;"> https://forge.in2p3.fr/projects/francegrilles-ops/wiki/Infrastructure_et_Expertise_Accounting '''''
 +
 
== Contacts (Mailing list) ==
 
== Contacts (Mailing list) ==
 
<b>LCG-SA1FR-ACCOUNTING-L@IN2P3.FR mailing list</b> :  
 
<b>LCG-SA1FR-ACCOUNTING-L@IN2P3.FR mailing list</b> :  
−
List managers : Christine Leroy (Irfu/CEA)<br>
+
List managers : Cécile Barbier (CNRS/IN2P3/LAPP) / Frédéric Schaer (CEA/IRFU)<br>
  
 
== Mandat du Groupe ==
 
== Mandat du Groupe ==
 +
Document consultable:
 +
https://edms.in2p3.fr/file/I-013702/1/LCG-France-SA1-FR_WGAccounting.pdf
  
 
== Journées, Réunions... ==
 
== Journées, Réunions... ==
  
−
== Utilisation des infos nominatives ==
+
* Visio/téléconférence du 25 juin 2008 : [http://indico.in2p3.fr/conferenceDisplay.py?confId=989 Minutes]
−
=== LCG/EGEE Joint Security Policy Group : http://proj-lcg-security.web.cern.ch/ ===
+
 
−
* Réunions JSPG :http://indico.cern.ch/categoryDisplay.py?categId=68
+
* GDB meeting @CERN du 8 octobre 2008 : [http://indico.cern.ch/materialDisplay.py?sessionId=2&materialId=0&confId=20234 Accounting Status and Plans] by John Gordon
−
* Documents de référence JSPG : http://proj-lcg-security.web.cern.ch/proj-lcg-security/documents.html
+
 
−
** Security policy for LCG : https://edms.cern.ch/file/428008/LAST_RELEASED/LCG_Policy.pdf
+
* Visio/téléconférence du 7 novembre 2008 : [http://indico.in2p3.fr/conferenceDisplay.py?confId=1451 Minutes]
−
7.2 Compliance with legislation :
+
 
−
''The areas of information systems security which are covered by legislation in many countries include encryption, interception of telecommunications and data protection.  This legislation, where it exists, is not uniform or consistent across all the countries participating in LCG.
+
* GDB meeting @CERN du 12 novembre 2008 : [http://indico.cern.ch/materialDisplay.py?contribId=0&sessionId=3&materialId=slides&confId=20235 Local job accounting] by Cristina del Cano Novales
 +
 
 +
* GDB meeting @CERN du 11 mars 2009 : [http://indico.cern.ch/getFile.py/access?sessionId=1&resId=0&materialId=0&confId=45473 Accounting Policies and other new/revised security policies] by David Kelsey
 +
 
 +
== Accounting ==
 +
* [http://www3.egee.cesga.es/gridsite/accounting/CESGA/links.html Various links]
 +
* [http://www3.egee.cesga.es/gridsite/accounting/CESGA/egee_view.php EGEE Accounting Charts]
 +
* [https://twiki.cern.ch/twiki/bin/view/EMI/APELFAQ Apel FAQ]
 +
* [http://www3.egee.cesga.es/gridsite/accounting/CESGA/links/demo_estambul.pdf Intra-VO and individual user level accounting in EGEE] by Sergio Diaz at EGEE'08 Istanbul
 +
* [http://lappweb.in2p3.fr/informatique/GRID/accounting_mensuel/ Outil d'accounting local du LAPP (Contact : Cécile Barbier)]
 +
* [http://wwwires.in2p3.fr/accounting/ Lien vers la page Accounting IPHC]
 +
 
 +
== Policies ==
 +
'''[http://proj-lcg-security.web.cern.ch/ LCG/EGEE Joint Security Policy Group]''' from '''[http://www.eu-egee.org/security EGEE Security]''' activity<br>
 +
* '''JSPG meetings : http://indico.cern.ch/categoryDisplay.py?categId=68'''
 +
Meeting held at CERN, Oct 9 and 10 2008 : see David Kelsey's slides about EGEE policy precedence and long term issues.
 +
 
 +
Meeting held at CERN, Jan 22 and 23 2009 : see User-Level Job Accounting Data topic
 +
 
 +
* '''New JSPG Documents''' (some approved, some other not yet approved) : '''http://www.jspg.org/wiki/JSPG_Docs''' with a link to the old approved reference documents
 +
 
 +
including '''Approval of CA (within IGTF) : https://edms.cern.ch/document/428038'''<br>  '''[http://www.eugridpma.org/members/worldmap/ EU Grid Policy Management Authority] as part of [http://www.gridpma.org/ the International Grid Trust Federation]'''<br>
 +
 
 +
== Documents accounting nominatif ==
 +
* [https://edms.in2p3.fr/file/I-017535/3/2009-03-CNRS-Elaboration_Statistiques_Usage_Grille-v2.pdf Document technique transmis à IdG et au CNRS en vue d'une déclaration à la CNIL]
 +
* [https://edms.in2p3.fr/file/I-017535/3/DN_UPS3107_v0_R1379423.pdf Récépissé déclaration CNIL 1379423]
 +
 
 +
== [http://lcg.in2p3.fr/wiki/index.php?title=CPU-Benches Transition to HEP-SPEC06] ==
 +
 
 +
== Trucs et astuces ==
 +
 
 +
Vous avez l'impression que les données d'accounting ne sont pas à jour sur le portail de CESGA .
 +
 
 +
'''1) Vérifier la présence de vos données dans R-GMA'''
 +
 
 +
rgma>select max(EventDate), ExecutingSite from LcgRecords where ExecutingSite like 'nom de votre site' group by ExecutingSite;
 +
 
 +
Vous aurez la date de vos dernières données d'accounting insérées.
 +
 
 +
'''2) Vérifier le nombre de sites publiant .'''
 +
 
 +
http://www3.egee.cesga.es/acctenfor/
 +
 
 +
Si le nombre de sites est inférieur à la moitié des sites ( 150 sites au total environ donc 75 pour la moitié !!), c'est qu'il y a certainement un problème central
 +
 
 +
'''3) Vérifier l'état du registre principal'''
 +
 
 +
https://rgma19.pp.rl.ac.uk:8443/Inspector/Main.do/getSiteStatus?serviceType=registry&siteName=lcgic01.gridpp.rl.ac.uk&portNumber=8443&lookupType=statusDetails
 +
 
 +
Si il n'y a pas de connections sur celui-ci , c'est qu'il y a certainement aussi un problème .
 +
 
 +
'''4) Faire un dump d'un mois de base de donnée d'accounting, en supprimant les DNs utilisateurs'''
 +
 
 +
Faire un dump entier de la base de données est inutile : on peut se commenter de la table LcgRecords. en supposant que la base s'appelle 'accounting', on peut effectuer un dump sélectif en fonction de la date de l'enregistrement par exemple, reste à filtrer les DNs des utilisateurs :
 +
 
 +
  mysqldump -u root -p --where "EventDate like '2008-06%'" --insert-ignore -e --skip-opt accounting LcgRecords | gawk -F ',' \
 +
'/INSERT/{for(i=1 ; i<NF ; i++) { if(i!=6) {printf "%s,", $i } else { printf "%s,", "'"''"'"} } ; print $NF } \
 +
!/INSERT/{print $0}' | gzip - > 200806_GRIF_dump2.sql.gz
 +
 
 +
Le gawk se charge de remplacer le 6e champ (DN) par un champ vide. Notez qu'il ne semble pas possible d'échapper un simple quote (') à l'intérieur d'une commande gawk en utilisant bash, on a donc recours à une astuce :
  
−
Wherever possible, LCG policies, practices and procedures will be designed so that they may be applied uniformly across all sites without violating the legislation in force in any participating country. If this is not possible, country-specific exceptions or extensions will be made to this policy and its associated practices and procedures to ensure the legislation of all countries can observed. Such exceptions or extensions will be described explicitly in an Annex to the appropriate document and in the appropriate SLAs, with the reasons for the exception or extension clearly stated.''
+
"'"''"'" correspond à :
 +
"'            : caractère ", puis fermeture du simplquote gawk
 +
  "' suivi de '" : 2 caractères simple quote qui doivent être encadrés de double quotes dans bash
 +
  '"            : ouverture de la fin de chaine pour la commande gawk, et fermeture de l'argument à printf via un "

Latest revision as of 10:33, 7 juin 2012

PAGE OBSOLÈTE.... REMPLACÉE PAR LE NOUVEAU WIKI OPERATIONS FRANCE-GRILLES

https://forge.in2p3.fr/projects/francegrilles-ops/wiki/Infrastructure_et_Expertise_Accounting

Contacts (Mailing list)

LCG-SA1FR-ACCOUNTING-L@IN2P3.FR mailing list : List managers : Cécile Barbier (CNRS/IN2P3/LAPP) / Frédéric Schaer (CEA/IRFU)

Mandat du Groupe

Document consultable: https://edms.in2p3.fr/file/I-013702/1/LCG-France-SA1-FR_WGAccounting.pdf

Journées, Réunions...

  • Visio/téléconférence du 25 juin 2008 : Minutes
  • Visio/téléconférence du 7 novembre 2008 : Minutes

Accounting

Policies

LCG/EGEE Joint Security Policy Group from EGEE Security activity

Meeting held at CERN, Oct 9 and 10 2008 : see David Kelsey's slides about EGEE policy precedence and long term issues.

Meeting held at CERN, Jan 22 and 23 2009 : see User-Level Job Accounting Data topic

including Approval of CA (within IGTF) : https://edms.cern.ch/document/428038
EU Grid Policy Management Authority as part of the International Grid Trust Federation

Documents accounting nominatif

Transition to HEP-SPEC06

Trucs et astuces

Vous avez l'impression que les données d'accounting ne sont pas à jour sur le portail de CESGA .

1) Vérifier la présence de vos données dans R-GMA

rgma>select max(EventDate), ExecutingSite from LcgRecords where ExecutingSite like 'nom de votre site' group by ExecutingSite;

Vous aurez la date de vos dernières données d'accounting insérées.

2) Vérifier le nombre de sites publiant .

http://www3.egee.cesga.es/acctenfor/

Si le nombre de sites est inférieur à la moitié des sites ( 150 sites au total environ donc 75 pour la moitié !!), c'est qu'il y a certainement un problème central

3) Vérifier l'état du registre principal

https://rgma19.pp.rl.ac.uk:8443/Inspector/Main.do/getSiteStatus?serviceType=registry&siteName=lcgic01.gridpp.rl.ac.uk&portNumber=8443&lookupType=statusDetails

Si il n'y a pas de connections sur celui-ci , c'est qu'il y a certainement aussi un problème .

4) Faire un dump d'un mois de base de donnée d'accounting, en supprimant les DNs utilisateurs

Faire un dump entier de la base de données est inutile : on peut se commenter de la table LcgRecords. en supposant que la base s'appelle 'accounting', on peut effectuer un dump sélectif en fonction de la date de l'enregistrement par exemple, reste à filtrer les DNs des utilisateurs : 

mysqldump -u root -p --where "EventDate like '2008-06%'" --insert-ignore -e --skip-opt accounting LcgRecords | gawk -F ',' \
'/INSERT/{for(i=1 ; i<NF ; i++) { if(i!=6) {printf "%s,", $i } else { printf "%s,", "'""'"} } ; print $NF } \
!/INSERT/{print $0}' | gzip - > 200806_GRIF_dump2.sql.gz

Le gawk se charge de remplacer le 6e champ (DN) par un champ vide. Notez qu'il ne semble pas possible d'échapper un simple quote (') à l'intérieur d'une commande gawk en utilisant bash, on a donc recours à une astuce :

"'""'" correspond à : 

"'             : caractère ", puis fermeture du simplquote gawk
"' suivi de '" : 2 caractères simple quote qui doivent être encadrés de double quotes dans bash
'"             : ouverture de la fin de chaine pour la commande gawk, et fermeture de l'argument à printf via un "
Récupérée de « http://lcg.in2p3.fr/wiki/index.php?title=LCG-FR_/_SA1-FR_Accounting_WG&oldid=6455 »