TCP-Tuning - Revision history

Pansanel: /* Tuning disk I/O */

2016-06-24T12:08:43Z

Tuning disk I/O

← Version précédente		Version du 14:08, 24 juin 2016
Ligne 49:		Ligne 49:

	= Tuning disk I/O =		= Tuning disk I/O =

			This section details disk I/O tuning. The benchmarking of disk is detailed on a [[Storage-Benches\|separate page]].

	== Kernel tuning ==		== Kernel tuning ==

Pansanel at 11:41, 24 juin 2016

2016-06-24T11:41:10Z

Show changes

Pansanel at 11:06, 24 juin 2016

2016-06-24T11:06:59Z

@@ Ligne 1: / Ligne 1: @@
 = TCP Performance =
 == Quattor ==
@@ Ligne 218: / Ligne 219: @@
 * http://mylabfr.kaminoweb.com/increase-disk-queue-depth-on-linux/
 * http://www.redhat.com/magazine/008jun05/features/schedulers/

Diarra: /* Kernel tuning */

2016-03-03T14:54:46Z

Kernel tuning

← Version précédente		Version du 16:54, 3 mars 2016
Ligne 100:		Ligne 100:

	Par exemple sur un SUN X4500 si vous faites "echo 256 > /sys/block/sda/device/queue_depth", vous aurez en fait 31 (la valeur max autorisée) dans queue_depth.		Par exemple sur un SUN X4500 si vous faites "echo 256 > /sys/block/sda/device/queue_depth", vous aurez en fait 31 (la valeur max autorisée) dans queue_depth.

			Voici le script que je lance automatiquement à l'IPNO sur chaque disk server après le boot (je ne suis pas sur qu'il est universel et il a été écrit il y a des années). A tester voir s'il peut marcher chez vous:

			<pre>
			[root@ipngridxrd2 bin]# pwd
			/usr/local/bin
			[root@ipngridxrd2 bin]# cat tune_disks_io.sh
			#!/bin/bash

			function f_get_disks_list {
			# Obtenir la liste des disques de donnes
			# Je suppose qu'il n'y a pas de melange RAID linux (/dev/mdXX) et hardware (/dev/sdXX) sur la meme machine

			# On supprime les disques systemes de la liste fournie par df
			# Liste des disks avec le type de fs (xfs, ext3, ext4)
			local l_disks_type_list=$(df -P -T \|egrep -v "Filesystem\|\/$\|\/opt\|\/tmp\|\/var\|\/usr\|\/boot\|tmpfs\|varvol\|tmpvol\|usrvol\|optvol" \|egrep 'xfs\|ext4\|ext3' \| awk '{print $1 " " $2 }')
			echo ${l_disks_type_list}
			}

			function f_tune_io {
			# Usage : f_tune_io block_device
			# Exemple : f_tune_io.sh sdb
			[ $# != 1 ] && echo "Usage: f_tune_io block_device" && return 1
			local blockdev=$1
			#echo ${blockdev}
			echo "....................... Avant le tuning .........................."
			f_check_tune ${blockdev}
			QUEUE_DEPTH=$(cat /sys/block/${blockdev}/device/queue_depth)
			[ $QUEUE_DEPTH -lt 128 ] && QUEUE_DEPTH=128 # si c'est plus grand on le garde
			dmidecode -s system-product-name \| egrep -q 'Sun Fire X4500'
			[ $? -eq 0 ] && QUEUE_DEPTH=31
			dmidecode -s system-product-name \| egrep -q 'Sun Fire X4540'
			[ $? -eq 0 ] && QUEUE_DEPTH=127
			echo ${QUEUE_DEPTH} > /sys/block/${blockdev}/device/queue_depth # 31 sur les SUN X4500, 128 ou 256 sur Dell
			echo 512 > /sys/block/${blockdev}/queue/nr_requests # (au lieu de 128)
			echo deadline > /sys/block/${blockdev}/queue/scheduler #(au lieu de cfq)
			blockdev --setra 16384 /dev/${blockdev} #(au lieu de 256)
			echo "....................... Apres le tuning .........................."
			f_check_tune ${blockdev}
			}

			function f_tune_md_io {
			# Usage : f_tune_md_io md_device
			# Exemple : f_tune_md_io .sh md11
			[ $# != 1 ] && echo "Usage: $0 md_device. Exemple: f_tune_md_io md11" && return 1

			local mddev=$1
			echo "+++++++++++++++++++++++++ MD DEVICE = ${mddev} +++++++++++++++++++++++"

			local disks=$(mdadm --query --detail /dev/${mddev}\|grep 'active sync'\|awk '{print $NF}')
			local i
			local j
			for i in ${disks}; do
			# /dev/sde1 deviendra sde
			j=$(echo $i \| awk -F/ '{print $NF}') # /dev/sde1 ==> sde1
			j=${j%%[0-9]} # sde1 ==> sde
			echo "Tuning ${j} ....................................................."
			f_tune_io $j
			done
			}


			function f_check_tune {
			# Usage : f_check_tune block_device
			# Exemple : f_check_tune sdb
			[ $# != 1 ] && echo "Usage: f_check_tune block_device. Exemple: f_check_tune sdb" && return 1

			local i=$1

			echo -n "blockdev --getra /dev/$i : "
			blockdev --getra /dev/$i
			echo -n "cat /sys/block/$i/device/queue_depth : "
			cat /sys/block/$i/device/queue_depth
			echo -n "cat /sys/block/$i/queue/nr_requests : "
			cat /sys/block/$i/queue/nr_requests
			echo -n "cat /sys/block/$i/queue/scheduler : "
			cat /sys/block/$i/queue/scheduler
			}

			# Debut tuning
			echo " ======= I/O tuning : $(date) ======= "
			disks_type_list=$(f_get_disks_list)
			disks_list=$(echo ${disks_type_list} \| sed -e 's/\b$xfs\\|ext4\\|ext3$\b//g' \|sort -u)
			echo ${disks_list}

			#NB: effet su sed :remplace par exemple /dev/sda1 par sda
			sd_devices=$(echo ${disks_list} \| grep "\/dev\/sd" \| sed 's/$\/dev\/\\|[0-9]$//g' \| tr '[:space:]' "\n" \| sort -u \| tr "\n" " ")
			#NB: effet su sed :remplace par exemple /dev/md11 par md11
			md_devices=$(echo ${disks_list} \| grep "\/dev\/md" \| sed 's/\/dev\///g')
			lvm_devices=$(echo ${disks_list} \| grep "\/dev\/mapper")

			echo "sd_devices = ${sd_devices}"
			echo "md_devices = ${md_devices}"
			echo "lvm_devices = ${lvm_devices}"
			[ ! -z "${sd_devices}" ] && for d in ${sd_devices}; do
			echo f_tune_io ${d}
			f_tune_io ${d}
			done

			[ ! -z "${md_devices}" ] && for d in ${md_devices}; do
			echo f_tune_md_io ${d}
			f_tune_md_io ${d}
			done

			# Rechercher les VG puis les PV et les disque entiers puis tuner
			#[ ! -z "${lvm_devices}" ] && for d in ${lvm_devices}; do
			# echo "tune_lvm_io ${d} not implemented yet"
			#done
			</pre>

	== External links ==		== External links ==

Diarra: /* External links */

2016-02-26T11:52:02Z

External links

← Version précédente		Version du 13:52, 26 février 2016
Ligne 104:		Ligne 104:

	* https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/6/html/Performance_Tuning_Guide/main-io.html		* https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/6/html/Performance_Tuning_Guide/main-io.html
			* https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/6/html/Performance_Tuning_Guide/main-fs.html
	* http://www.gluster.org/community/documentation/index.php/Linux_Kernel_Tuning		* http://www.gluster.org/community/documentation/index.php/Linux_Kernel_Tuning
	* http://insights.oetiker.ch/linux/raidoptimization/		* http://insights.oetiker.ch/linux/raidoptimization/
	* http://mylabfr.kaminoweb.com/increase-disk-queue-depth-on-linux/		* http://mylabfr.kaminoweb.com/increase-disk-queue-depth-on-linux/
	* http://www.redhat.com/magazine/008jun05/features/schedulers/		* http://www.redhat.com/magazine/008jun05/features/schedulers/

Diarra: /* Kernel tuning */

2016-02-26T11:16:32Z

Kernel tuning

← Version précédente		Version du 13:16, 26 février 2016
Ligne 67:		Ligne 67:
	cat /sys/block/sdb/queue/nr_requests		cat /sys/block/sdb/queue/nr_requests
	cat /sys/block/sdb/queue/scheduler		cat /sys/block/sdb/queue/scheduler
	<pre>		</pre>

	Exemple:		Exemple:

Diarra: /* Kernel tuning */

2016-02-26T11:16:17Z

Kernel tuning

← Version précédente		Version du 13:16, 26 février 2016
Ligne 55:		Ligne 55:
	Voici les valeurs recommandées pour un disque /dev/sdb par exemple :		Voici les valeurs recommandées pour un disque /dev/sdb par exemple :

	getra : 16384		* getra : 16384
	queue_depth : 256		* queue_depth : 256
	nr_requests : 512		* nr_requests : 512
	scheduler : deadline (au lieu de cfq)		* scheduler : deadline (au lieu de cfq)

	Pour lire les valeurs actuelles de votre serveur pour le disque /dev/sdb, faire:		Pour lire les valeurs actuelles de votre serveur pour le disque /dev/sdb, faire:

			<pre>
	blockdev --getra /dev/sdb		blockdev --getra /dev/sdb
	cat /sys/block/sdb/device/queue_depth		cat /sys/block/sdb/device/queue_depth
	cat /sys/block/sdb/queue/nr_requests		cat /sys/block/sdb/queue/nr_requests
	cat /sys/block/sdb/queue/scheduler		cat /sys/block/sdb/queue/scheduler
			<pre>

			Exemple:

	<pre>		<pre>
Ligne 96:		Ligne 100:

	Par exemple sur un SUN X4500 si vous faites "echo 256 > /sys/block/sda/device/queue_depth", vous aurez en fait 31 (la valeur max autorisée) dans queue_depth.		Par exemple sur un SUN X4500 si vous faites "echo 256 > /sys/block/sda/device/queue_depth", vous aurez en fait 31 (la valeur max autorisée) dans queue_depth.

	== External links ==		== External links ==

Diarra at 11:15, 26 février 2016

2016-02-26T11:15:34Z

@@ Ligne 37: / Ligne 37: @@
 * <code>net.ipv4.tcp_timestamps = 0</code>
 * <code>net.core.netdev_max_backlog = 10000</code>
 == External links ==
@@ Ligne 47: / Ligne 46: @@
 * http://onlamp.com/pub/a/onlamp/2005/11/17/tcp_tuning.html
 * http://en.wikipedia.org/wiki/TCP_tuning

Pansanel at 13:37, 8 avril 2010

2010-04-08T13:37:58Z

← Version précédente		Version du 15:37, 8 avril 2010
Ligne 4:		Ligne 4:

	== Quattor ==		== Quattor ==
	~~The [http://lcg.in2p3.fr/wiki/index.php/Image:Quattor_tcp_tuning.pdf Quattor TCP Tuning] guide aims to be a good documentation for helping you tuning your TCP Performance with Quattor.~~

	~~== Kernel parameters ==~~		The [http://lcg.in2p3.fr/wiki/images/Quattor_tcp_tuning.pdf Quattor TCP Tuning guide] aims to be a good documentation for helping you tuning your TCP Performance with Quattor.

	The following are important for TCP tuning:
			== Kernel tuning ==

			The following parameters are important for TCP tuning:
	* <code>net.ipv4.tcp_rmem</code>		* <code>net.ipv4.tcp_rmem</code>
	* <code>net.ipv4.tcp_wmem</code>		* <code>net.ipv4.tcp_wmem</code>
Ligne 20:		Ligne 22:
	* <code>net.core.netdev_max_backlog</code>		* <code>net.core.netdev_max_backlog</code>

	They can be modified ~~with~~:		They can be modified:
	* ~~Quattor ;~~		* By directly passing the parameter to the '''sysctl''' command. This method is useful for testing a parameter, as the modification will not persist after the next reboot.
	* ~~YAIM ;~~		* By adding the parameter to the <code>/etc/sysctl.conf</code> file and loading it with the '''sysctl''' command. This way is interesting when you want to preserve the modification over a reboot.
	* Manually by modifying the <code>/etc/sysctl.conf</code> file.


	~~== Recommended values ==~~

			The following values are recommended:
	* <code>net.ipv4.tcp_rmem = 131072 1048576 2097152</code>		* <code>net.ipv4.tcp_rmem = 131072 1048576 2097152</code>
	* <code>net.ipv4.tcp_wmem = 131072 1048576 2097152</code>		* <code>net.ipv4.tcp_wmem = 131072 1048576 2097152</code>
Ligne 41:		Ligne 40:

	== External links ==		== External links ==

	* http://fasterdata.es.net/		* http://fasterdata.es.net/
	* http://monalisa.cern.ch/FDT/documentation_syssettings.html		* http://monalisa.cern.ch/FDT/documentation_syssettings.html

Pansanel: /* TCP Performance */

2010-04-08T13:25:43Z

TCP Performance

← Version précédente		Version du 15:25, 8 avril 2010
Ligne 2:		Ligne 2:

	This page describes how to enhance the performance of data transfers. It mainly focus on the optimization of the Linux kernel parameters.		This page describes how to enhance the performance of data transfers. It mainly focus on the optimization of the Linux kernel parameters.

			== Quattor ==
			The [http://lcg.in2p3.fr/wiki/index.php/Image:Quattor_tcp_tuning.pdf Quattor TCP Tuning] guide aims to be a good documentation for helping you tuning your TCP Performance with Quattor.

	== Kernel parameters ==		== Kernel parameters ==