MultiCoreAccounting - Revision history

Catherine Biscarat: /* Questions ouvertes */

2014-12-17T08:19:19Z

Questions ouvertes

← Version précédente		Version du 10:19, 17 décembre 2014
Ligne 53:		Ligne 53:
	Q (Edith Knoops) - Si on met reparse = true dans /etc/apel/parser.config cela va pas tout reparser ?		Q (Edith Knoops) - Si on met reparse = true dans /etc/apel/parser.config cela va pas tout reparser ?

	~~R (Fred. Schaer) - Je le crains, mais comme~~ la ~~doc n'existe pas... donc à éviter !~~		Solution : pas la pein de mettre reparse =true


	~~Q (Edith Knoops) - Il faut aussi voir dans ce cas de ne pas reparser depuis mathusalem.~~

	~~R (Fred. Schaer) - oui, à voir~~

Catherine Biscarat: /* Etape 1 */

2014-12-17T08:18:25Z

Etape 1

← Version précédente		Version du 10:18, 17 décembre 2014
Ligne 33:		Ligne 33:

	mysql> explain delete from ProcessedFiles where filename like '%201411%';		mysql> explain delete from ProcessedFiles where filename like '%201411%';


			- pas besoin de mettre "reparse = true" dans /etc/apel/parser.config

			- il suffit de faire une "delete" des fichiers que l'on veut remplacer

			- et de relancer le "apel-pbs-log-parser", ce que nous avons fait sur nos trois CREAM-CE et notre TORQUE (apres avoir mis "parallel=true")

			- seuls les fichiers "deletés" (et le fichier du jour) sont alors reloadés dans la DB de node65.

	=== Etape 2 ===		=== Etape 2 ===

Fede: /* Status des sites affectés */

2014-11-28T08:30:38Z

Status des sites affectés

← Version précédente		Version du 10:30, 28 novembre 2014
Ligne 90:		Ligne 90:
	! scope="row" \| LAPP		! scope="row" \| LAPP
	\| grand		\| grand
	\| -		\| 15 juillet
	\| non		\| non
	\| non		\| non

Catherine Biscarat at 16:47, 27 novembre 2014

2014-11-27T16:47:29Z

@@ Ligne 57: / Ligne 57: @@
 R (Fred. Schaer) - à voir
-=== Sites affectés : ===
+=== Status des sites affectés ===
-* CPPM (depuis le 29 septembre)
-* IPHC ("peu d'impact")
+{| class="wikitable alternance centre"
-* LAPP (depuis)
+ |+
-* LPC ("peu d'impact")
+ |-
-* LPSC (depuis le 1 octobre)

Catherine Biscarat at 16:33, 27 novembre 2014

2014-11-27T16:33:47Z

Catherine Biscarat at 16:13, 27 novembre 2014

2014-11-27T16:13:01Z

← Version précédente		Version du 18:13, 27 novembre 2014
Ligne 14:		Ligne 14:
	* 2- F. Schaer doit forcer une nouvelle publication		* 2- F. Schaer doit forcer une nouvelle publication

	= Etape 1 (info de Frédéric Schaer)=		=== Etape 1===
			(info de Frédéric Schaer)

	Pour forcer un reparsing il faut modifier la database sur node56 directement, ce que peut faire chaque site pour ses machines.		Pour forcer un reparsing il faut modifier la database sur node56 directement, ce que peut faire chaque site pour ses machines.

Ligne 30:		Ligne 32:
	mysql> explain delete from ProcessedFiles where filename like '%201411%';		mysql> explain delete from ProcessedFiles where filename like '%201411%';

	= Etape 2 =		=== Etape 2 ===
	MAIS : le reparsing n'est pas suffisant, il faut ensuite que que F. Schaer force une republication, et pour cela il faut lui dire quels mois republier (i.e : la publication va forcer le joint sur les fichiers reparsés)		MAIS : le reparsing n'est pas suffisant, il faut ensuite que que F. Schaer force une republication, et pour cela il faut lui dire quels mois republier (i.e : la publication va forcer le joint sur les fichiers reparsés)

Ligne 39:		Ligne 41:
	=== Questions ouvertes ===		=== Questions ouvertes ===
	Q (Edith Knoops) - Si on met reparse = true dans /etc/apel/parser.config cela va pas tout reparser ?		Q (Edith Knoops) - Si on met reparse = true dans /etc/apel/parser.config cela va pas tout reparser ?

	R (Fred. Schaer) - Je le crains, mais comme la doc n'existe pas... donc à éviter !		R (Fred. Schaer) - Je le crains, mais comme la doc n'existe pas... donc à éviter !


	Q (Edith Knoops) - Il faut aussi voir dans ce cas de ne pas reparser depuis mathusalem.		Q (Edith Knoops) - Il faut aussi voir dans ce cas de ne pas reparser depuis mathusalem.

	R (Fred. Schaer) - oui, à voir		R (Fred. Schaer) - oui, à voir


	Q (Edith Knoops) - il faut reparser uniquement le scheduler ou aussi les creams ? Dans mon		Q (Edith Knoops) - il faut reparser uniquement le scheduler ou aussi les creams ? Dans mon
	cas les 2 creams ont du multicoeurs et utilise un scheduler unique.		cas les 2 creams ont du multicoeurs et utilise un scheduler unique.

	R (Fred. Schaer) - à voir		R (Fred. Schaer) - à voir

Catherine Biscarat at 16:08, 27 novembre 2014

2014-11-27T16:08:45Z

← Version précédente		Version du 18:08, 27 novembre 2014
Ligne 11:		Ligne 11:
	Une fois avoir corriger l'attribut sur les CREAM_CE (parallel=true), il faut reparser et republier les comptes.		Une fois avoir corriger l'attribut sur les CREAM_CE (parallel=true), il faut reparser et republier les comptes.
	La solution vient en deux étapes :		La solution vient en deux étapes :
	1- les sites doivent reparser leur accounting		* 1- les sites doivent reparser leur accounting
	2- F. Schaer doit forcer une nouvelle publication		* 2- F. Schaer doit forcer une nouvelle publication

	= Etape 1 (info de Frédéric Schaer)=		= Etape 1 (info de Frédéric Schaer)=
Ligne 23:		Ligne 23:

	Si le CPPM voulait reparser /var/torque/server_priv/accounting/20141111 et ce uniquement pour marsched, alors il devrait faire un truc du genre :		Si le CPPM voulait reparser /var/torque/server_priv/accounting/20141111 et ce uniquement pour marsched, alors il devrait faire un truc du genre :

	mysql> explain delete from ProcessedFiles where HostName='marsched.in2p3.fr' and filename like '%20141111%';		mysql> explain delete from ProcessedFiles where HostName='marsched.in2p3.fr' and filename like '%20141111%';

	Si le CPPM veut forcer le reparsing de l'ensemble du mois et pour toutes ses machines, alors :		Si le CPPM veut forcer le reparsing de l'ensemble du mois et pour toutes ses machines, alors :
	~~<nowiki>~~mysql> explain delete from ProcessedFiles where filename like '%201411%';~~</nowiki>~~
			mysql> explain delete from ProcessedFiles where filename like '%201411%';

	= Etape 2 =		= Etape 2 =
	MAIS : le reparsing n'est pas suffisant, il faut ensuite que je force une republication, et pour cela il faut me dire quels mois republier (i.e : la publication va forcer le ~~join~~ sur les fichiers reparsés)		MAIS : le reparsing n'est pas suffisant, il faut ensuite que que F. Schaer force une republication, et pour cela il faut lui dire quels mois republier (i.e : la publication va forcer le joint sur les fichiers reparsés)
	~~Encore une fois~~, ~~merci~~ le ~~middleware~~...
			A noter :
			Frédéric doit faire un fichier de config spécifique par site (ça n'utilise pas d'arguments CLLI), et lancer un process apel
			sur chacun de ces fichiers. Comme chaque site n'a pas les même dates, Frédéric doit faire cette manipulation à la main.

			=== Questions ouvertes ===
			Q (Edith Knoops) - Si on met reparse = true dans /etc/apel/parser.config cela va pas tout reparser ?
			R (Fred. Schaer) - Je le crains, mais comme la doc n'existe pas... donc à éviter !

			Q (Edith Knoops) - Il faut aussi voir dans ce cas de ne pas reparser depuis mathusalem.
			R (Fred. Schaer) - oui, à voir

			Q (Edith Knoops) - il faut reparser uniquement le scheduler ou aussi les creams ? Dans mon
			cas les 2 creams ont du multicoeurs et utilise un scheduler unique.
			R (Fred. Schaer) - à voir

Catherine Biscarat at 15:56, 27 novembre 2014

2014-11-27T15:56:11Z

← Version précédente		Version du 17:56, 27 novembre 2014
Ligne 19:		Ligne 19:
	Donc pour le CPPM comme exemple :		Donc pour le CPPM comme exemple :

			mysql> select * from ProcessedFiles where filename like '%20141111%' limit 5 ;
			[[Image:Mysql.png]]

	~~<nowiki>mysql> select * from ProcessedFiles where filename like '%20141111%' limit 5 ;~~		Si le CPPM voulait reparser /var/torque/server_priv/accounting/20141111 et ce uniquement pour marsched, alors il devrait faire un truc du genre :
	~~[[Image:mysql.jpg]]~~

	~~+-------------------+---------------------------------------------+----------------------------------+----------+--------+~~
	~~\| HostName \| FileName \| Hash \| StopLine \| Parsed \|~~
	~~+-------------------+---------------------------------------------+----------------------------------+----------+--------+~~
	~~\| marsched.in2p3.fr \| /var/log/accounting/blahp.log-20141111 \| 5303099b2ca659eb6cb84cd522b52904 \| 26 \| 27 \|~~
	~~\| marsched.in2p3.fr \| /var/torque/server_priv/accounting/20141111 \| 35baed86e035a5e895e5da2faf1d118e \| 1277 \| 339 \|~~
	~~\| marsched.in2p3.fr \| /var/log/accounting/blahp.log-20141111 \| a405753d785cc70c59d65240919353de \| 106 \| 107 \|~~
	~~\| marsched.in2p3.fr \| /var/log/accounting/blahp.log-20141111 \| 488c79c23a90c71bd5d58cd819e7ba58 \| 6420 \| 6421 \|~~
	~~\| marsched.in2p3.fr \| /var/torque/server_priv/accounting/20141111 \| de7c3a80bb3344d75d662b6889ca7091 \| 37818 \| 12652 \|~~
	~~+-------------------+---------------------------------------------+----------------------------------+----------+--------+</nowiki>~~

	Si ~~Edith~~ voulait reparser /var/torque/server_priv/accounting/20141111 et ce uniquement pour marsched, alors ~~elle~~ devrait faire un truc du genre :
	mysql> explain delete from ProcessedFiles where HostName='marsched.in2p3.fr' and filename like '%20141111%';		mysql> explain delete from ProcessedFiles where HostName='marsched.in2p3.fr' and filename like '%20141111%';

	Si ~~elle~~ veut forcer le reparsing de l'ensemble du mois et pour toutes ses machines, alors :		Si le CPPM veut forcer le reparsing de l'ensemble du mois et pour toutes ses machines, alors :
	<nowiki>mysql> explain delete from ProcessedFiles where filename like '%201411%';</nowiki>		<nowiki>mysql> explain delete from ProcessedFiles where filename like '%201411%';</nowiki>

Catherine Biscarat: /* Etape 1 (info de Frédéric Schaer) */

2014-11-27T15:51:38Z

Etape 1 (info de Frédéric Schaer)

← Version précédente		Version du 17:51, 27 novembre 2014
Ligne 21:		Ligne 21:

	<nowiki>mysql> select * from ProcessedFiles where filename like '%20141111%' limit 5 ;		<nowiki>mysql> select * from ProcessedFiles where filename like '%20141111%' limit 5 ;
	[[~~File~~:mysql.jpg]]		[[Image:mysql.jpg]]

	+-------------------+---------------------------------------------+----------------------------------+----------+--------+		+-------------------+---------------------------------------------+----------------------------------+----------+--------+

Catherine Biscarat: /* Etape 1 (info de Frédéric Schaer) */

2014-11-27T15:45:41Z

Etape 1 (info de Frédéric Schaer)

← Version précédente		Version du 17:45, 27 novembre 2014
Ligne 18:		Ligne 18:

	Donc pour le CPPM comme exemple :		Donc pour le CPPM comme exemple :


	<nowiki>mysql> select * from ProcessedFiles where filename like '%20141111%' limit 5 ;		<nowiki>mysql> select * from ProcessedFiles where filename like '%20141111%' limit 5 ;
			[[File:mysql.jpg]]

	+-------------------+---------------------------------------------+----------------------------------+----------+--------+		+-------------------+---------------------------------------------+----------------------------------+----------+--------+
	\| HostName \| FileName \| Hash \| StopLine \| Parsed \|		\| HostName \| FileName \| Hash \| StopLine \| Parsed \|
Ligne 35:		Ligne 38:
	Si elle veut forcer le reparsing de l'ensemble du mois et pour toutes ses machines, alors :		Si elle veut forcer le reparsing de l'ensemble du mois et pour toutes ses machines, alors :
	<nowiki>mysql> explain delete from ProcessedFiles where filename like '%201411%';</nowiki>		<nowiki>mysql> explain delete from ProcessedFiles where filename like '%201411%';</nowiki>


	= Etape 2 =		= Etape 2 =

← Version précédente		Version du 18:33, 27 novembre 2014
Ligne 9:		Ligne 9:

	== Mise en place de la solution ==		== Mise en place de la solution ==
	Une fois ~~avoir corriger~~ l'attribut sur les CREAM_CE (parallel=true), il faut reparser et republier les ~~comptes~~.		Une fois l'attribut corrigé sur les CREAM_CE (parallel=true), il faut reparser et republier les accountings.
	La solution vient en deux étapes :		La solution vient en deux étapes :
	* 1- les sites doivent reparser leur accounting		* 1- les sites doivent reparser leur accounting
Ligne 21:		Ligne 21:
	Donc pour le CPPM comme exemple :		Donc pour le CPPM comme exemple :

	mysql> select * from ProcessedFiles where filename like '%20141111%' limit 5 ;		mysql> select * from ProcessedFiles where filename like '%20141111%' limit 5 ;

			Ce qui renvoie :
	[[Image:Mysql.png]]		[[Image:Mysql.png]]

	Si le CPPM voulait reparser /var/torque/server_priv/accounting/20141111 et ce uniquement pour marsched, alors il devrait faire un truc du genre :		Si le CPPM voulait reparser /var/torque/server_priv/accounting/20141111 et ce uniquement pour marsched, alors il devrait faire un truc du genre :

	mysql> explain delete from ProcessedFiles where HostName='marsched.in2p3.fr' and filename like '%20141111%';		mysql> explain delete from ProcessedFiles where HostName='marsched.in2p3.fr' and filename like '%20141111%';

	Si le CPPM veut forcer le reparsing de l'ensemble du mois et pour toutes ses machines, alors :		Si le CPPM veut forcer le reparsing de l'ensemble du mois et pour toutes ses machines, alors :

	mysql> explain delete from ProcessedFiles where filename like '%201411%';		mysql> explain delete from ProcessedFiles where filename like '%201411%';

	=== Etape 2 ===		=== Etape 2 ===
	~~MAIS : le~~ reparsing n'est pas suffisant, il faut ensuite que que F. Schaer force une republication, et pour cela il faut lui dire quels mois republier (i.e : la publication va forcer le joint sur les fichiers reparsés)		Le reparsing n'est pas suffisant, il faut ensuite que que F. Schaer force une republication, et pour cela il faut lui dire quels mois republier (i.e : la publication va forcer le joint sur les fichiers reparsés)

	A noter :		A noter :