Difference between revisions of "MultiCoreAccounting"
(Created page with " == WLCG operations announcement == Multicore Deployment Accounting: Publishing multicore accounting to APEL works. ARC CEs publish correctly. For CREAM CEs to make it work...") |
|||
| Ligne 1: | Ligne 1: | ||
| − | == | + | == Multicore Deployment == |
| − | |||
| − | |||
Accounting: Publishing multicore accounting to APEL works. ARC CEs publish correctly. For CREAM CEs to make it work it has to be an EMI-3 CE and it has to be enabled in the configuration. | Accounting: Publishing multicore accounting to APEL works. ARC CEs publish correctly. For CREAM CEs to make it work it has to be an EMI-3 CE and it has to be enabled in the configuration. | ||
| Ligne 11: | Ligne 9: | ||
== Mise en place de la solution == | == Mise en place de la solution == | ||
| + | Une fois avoir corriger l'attribut sur les CREAM_CE (parallel=true), il faut reparser et republier les comptes. | ||
| + | La solution vient en deux étapes : | ||
| + | 1- les sites doivent reparser leur accounting | ||
| + | 2- F. Schaer doit forcer une nouvelle publication | ||
| + | |||
| + | = Etape 1 (info de Frédéric Schaer)= | ||
| + | Pour forcer un reparsing il faut modifier la database sur node56 directement, ce que peut faire chaque site pour ses machines. | ||
| + | |||
| + | Donc pour le CPPM comme exemple : | ||
| + | |||
| + | <nowiki>mysql> select * from ProcessedFiles where filename like '%20141111%' limit 5 ; | ||
| + | +-------------------+---------------------------------------------+----------------------------------+----------+--------+ | ||
| + | | HostName | FileName | Hash | StopLine | Parsed | | ||
| + | +-------------------+---------------------------------------------+----------------------------------+----------+--------+ | ||
| + | | marsched.in2p3.fr | /var/log/accounting/blahp.log-20141111 | 5303099b2ca659eb6cb84cd522b52904 | 26 | 27 | | ||
| + | | marsched.in2p3.fr | /var/torque/server_priv/accounting/20141111 | 35baed86e035a5e895e5da2faf1d118e | 1277 | 339 | | ||
| + | | marsched.in2p3.fr | /var/log/accounting/blahp.log-20141111 | a405753d785cc70c59d65240919353de | 106 | 107 | | ||
| + | | marsched.in2p3.fr | /var/log/accounting/blahp.log-20141111 | 488c79c23a90c71bd5d58cd819e7ba58 | 6420 | 6421 | | ||
| + | | marsched.in2p3.fr | /var/torque/server_priv/accounting/20141111 | de7c3a80bb3344d75d662b6889ca7091 | 37818 | 12652 | | ||
| + | +-------------------+---------------------------------------------+----------------------------------+----------+--------+</nowiki> | ||
| + | |||
| + | Si Edith voulait reparser /var/torque/server_priv/accounting/20141111 et ce *uniquement* pour marsched, alors elle devrait faire un truc du genre : | ||
| + | mysql> explain delete from ProcessedFiles where HostName='marsched.in2p3.fr' and filename like '%20141111%'; | ||
| + | |||
| + | Si elle veut forcer le reparsing de l'ensemble du mois et pour toutes ses machines, alors : | ||
| + | <nowiki>mysql> explain delete from ProcessedFiles where filename like '%201411%';</nowiki> | ||
| + | |||
| + | |||
| + | = Etape 2 = | ||
| + | MAIS : le reparsing n'est pas suffisant, il faut ensuite que je force une republication, et pour cela il faut me dire quels mois republier (i.e : la publication va forcer le join sur les fichiers reparsés) | ||
| + | Encore une fois, merci le middleware... | ||
| + | |||
| + | |||
| + | |||
| + | === Sites affectés : === | ||
| + | |||
| + | * CPPM (depuis le 29 septembre) | ||
| + | * IPHC ("peu d'impact") | ||
| + | * LAPP (depuis) | ||
| + | * LPC ("peu d'impact") | ||
| + | * LPSC (depuis le 1 octobre) | ||
Version du 16:17, 27 novembre 2014
Sommaire
Multicore Deployment
Accounting: Publishing multicore accounting to APEL works. ARC CEs publish correctly. For CREAM CEs to make it work it has to be an EMI-3 CE and it has to be enabled in the configuration.
Edit /etc/apel/parser.cfg and set the attribute parallel=true.
If the site was running multicore already, before upgrading and/or applying this modification, they need to reparse and republish the corrected accounts.
Mise en place de la solution
Une fois avoir corriger l'attribut sur les CREAM_CE (parallel=true), il faut reparser et republier les comptes. La solution vient en deux étapes : 1- les sites doivent reparser leur accounting 2- F. Schaer doit forcer une nouvelle publication
Etape 1 (info de Frédéric Schaer)
Pour forcer un reparsing il faut modifier la database sur node56 directement, ce que peut faire chaque site pour ses machines.
Donc pour le CPPM comme exemple :
mysql> select * from ProcessedFiles where filename like '%20141111%' limit 5 ; +-------------------+---------------------------------------------+----------------------------------+----------+--------+ | HostName | FileName | Hash | StopLine | Parsed | +-------------------+---------------------------------------------+----------------------------------+----------+--------+ | marsched.in2p3.fr | /var/log/accounting/blahp.log-20141111 | 5303099b2ca659eb6cb84cd522b52904 | 26 | 27 | | marsched.in2p3.fr | /var/torque/server_priv/accounting/20141111 | 35baed86e035a5e895e5da2faf1d118e | 1277 | 339 | | marsched.in2p3.fr | /var/log/accounting/blahp.log-20141111 | a405753d785cc70c59d65240919353de | 106 | 107 | | marsched.in2p3.fr | /var/log/accounting/blahp.log-20141111 | 488c79c23a90c71bd5d58cd819e7ba58 | 6420 | 6421 | | marsched.in2p3.fr | /var/torque/server_priv/accounting/20141111 | de7c3a80bb3344d75d662b6889ca7091 | 37818 | 12652 | +-------------------+---------------------------------------------+----------------------------------+----------+--------+
Si Edith voulait reparser /var/torque/server_priv/accounting/20141111 et ce *uniquement* pour marsched, alors elle devrait faire un truc du genre : mysql> explain delete from ProcessedFiles where HostName='marsched.in2p3.fr' and filename like '%20141111%';
Si elle veut forcer le reparsing de l'ensemble du mois et pour toutes ses machines, alors : mysql> explain delete from ProcessedFiles where filename like '%201411%';
Etape 2
MAIS : le reparsing n'est pas suffisant, il faut ensuite que je force une republication, et pour cela il faut me dire quels mois republier (i.e : la publication va forcer le join sur les fichiers reparsés) Encore une fois, merci le middleware...
Sites affectés :
- CPPM (depuis le 29 septembre)
- IPHC ("peu d'impact")
- LAPP (depuis)
- LPC ("peu d'impact")
- LPSC (depuis le 1 octobre)
