Difference between revisions of "MultiCoreAccounting"

Un article de lcgwiki.
Jump to: navigation, search
(Etape 1 (info de Frédéric Schaer))
Ligne 19: Ligne 19:
 
Donc pour le CPPM comme exemple :
 
Donc pour le CPPM comme exemple :
  
 +
mysql> select * from ProcessedFiles where filename like '%20141111%' limit 5 ;
 +
[[Image:Mysql.png]]
  
<nowiki>mysql> select * from ProcessedFiles where filename like '%20141111%' limit 5 ;
+
Si le CPPM voulait reparser /var/torque/server_priv/accounting/20141111 et ce *uniquement* pour marsched, alors il devrait faire un truc du genre :
[[Image:mysql.jpg]]
 
 
 
+-------------------+---------------------------------------------+----------------------------------+----------+--------+
 
| HostName          | FileName                                    | Hash                            | StopLine | Parsed |
 
+-------------------+---------------------------------------------+----------------------------------+----------+--------+
 
| marsched.in2p3.fr | /var/log/accounting/blahp.log-20141111      | 5303099b2ca659eb6cb84cd522b52904 |      26 |    27 |
 
| marsched.in2p3.fr | /var/torque/server_priv/accounting/20141111 | 35baed86e035a5e895e5da2faf1d118e |    1277 |    339 |
 
| marsched.in2p3.fr | /var/log/accounting/blahp.log-20141111      | a405753d785cc70c59d65240919353de |      106 |    107 |
 
| marsched.in2p3.fr | /var/log/accounting/blahp.log-20141111      | 488c79c23a90c71bd5d58cd819e7ba58 |    6420 |  6421 |
 
| marsched.in2p3.fr | /var/torque/server_priv/accounting/20141111 | de7c3a80bb3344d75d662b6889ca7091 |    37818 |  12652 |
 
+-------------------+---------------------------------------------+----------------------------------+----------+--------+</nowiki>
 
 
 
Si Edith voulait reparser /var/torque/server_priv/accounting/20141111 et ce *uniquement* pour marsched, alors elle devrait faire un truc du genre :
 
 
mysql> explain delete from ProcessedFiles where HostName='marsched.in2p3.fr' and filename like '%20141111%';
 
mysql> explain delete from ProcessedFiles where HostName='marsched.in2p3.fr' and filename like '%20141111%';
  
Si elle veut forcer le reparsing de l'ensemble du mois et pour toutes ses machines, alors :
+
Si le CPPM veut forcer le reparsing de l'ensemble du mois et pour toutes ses machines, alors :
 
<nowiki>mysql> explain delete from ProcessedFiles where filename like '%201411%';</nowiki>
 
<nowiki>mysql> explain delete from ProcessedFiles where filename like '%201411%';</nowiki>
  

Version du 16:56, 27 novembre 2014

Multicore Deployment

Accounting: Publishing multicore accounting to APEL works. ARC CEs publish correctly. For CREAM CEs to make it work it has to be an EMI-3 CE and it has to be enabled in the configuration.

Edit /etc/apel/parser.cfg and set the attribute parallel=true.

If the site was running multicore already, before upgrading and/or applying this modification, they need to reparse and republish the corrected accounts.

Mise en place de la solution

Une fois avoir corriger l'attribut sur les CREAM_CE (parallel=true), il faut reparser et republier les comptes. La solution vient en deux étapes : 1- les sites doivent reparser leur accounting 2- F. Schaer doit forcer une nouvelle publication

Etape 1 (info de Frédéric Schaer)

Pour forcer un reparsing il faut modifier la database sur node56 directement, ce que peut faire chaque site pour ses machines.

Donc pour le CPPM comme exemple :

mysql> select * from ProcessedFiles where filename like '%20141111%' limit 5 ; Mysql.png

Si le CPPM voulait reparser /var/torque/server_priv/accounting/20141111 et ce *uniquement* pour marsched, alors il devrait faire un truc du genre : mysql> explain delete from ProcessedFiles where HostName='marsched.in2p3.fr' and filename like '%20141111%';

Si le CPPM veut forcer le reparsing de l'ensemble du mois et pour toutes ses machines, alors : mysql> explain delete from ProcessedFiles where filename like '%201411%';

Etape 2

MAIS : le reparsing n'est pas suffisant, il faut ensuite que je force une republication, et pour cela il faut me dire quels mois republier (i.e : la publication va forcer le join sur les fichiers reparsés) Encore une fois, merci le middleware...


Sites affectés :

  • CPPM (depuis le 29 septembre)
  • IPHC ("peu d'impact")
  • LAPP (depuis)
  • LPC ("peu d'impact")
  • LPSC (depuis le 1 octobre)