で示されています。
- ixgbeのTxRxデーモンが、shieldコマンドで制御できない 最終更新 2023.03.15
ixgbeのTxRxデーモンは、shieldコマンドでは制御できないため、IRQ個別に/proc/irq/IRQ番号/smp_affinityを調整する必要があります。
以下に、shieldの状態に沿って、smp_affinityを調整するシェルスクリプトsmp_affinity.shを示します。
このシェルスクリプトは、-s オプションでshieldのirqsの状態に合わせて、smp_affinityを調整し、-r オプションでディフォルト状態に戻すものです。
shield.serviceで利用する/etc/sysconfig/shield ファイルに追加する情報を得るためには、shieldコマンドを実行後、-d オプションを利用してください。
但し、shield.service は KVM-RT と競合するようになったため、一緒に使用しないでください。
#!/bin/bash
# smp_affinity.sh version 2.3(2023.03.15)
#
export LANG=C
shield_result=`shield -c`
mask=0
cpus=0
cpu_list=""
while read CPUID irqs ltmrs_procs_mem
do
if [ "$irqs" == "no" ]
then
if [ -z "$cpu_list" ]
then
cpu_list="$cpus"
else
cpu_list="$cpu_list,$cpus"
fi
cpus=`expr $cpus + 1`
id=`echo "2 ^ $CPUID" | bc`
mask=`echo "$mask + $id"|bc`
fi
if [ "$irqs" == "yes" ]
then
cpus=`expr $cpus + 1`
fi
done << EOI
${shield_result}
EOI
#
set_affinity=`echo "ibase=10;obase=16;$mask"|bc`
#
len=${#set_affinity}
if [ $len -gt 8 ]
then
low=`echo ${set_affinity:$len-8}`
hi=`echo ${set_affinity::$len-8}`
set_affinity="$hi $low"
fi
#
#
if [ "$1" == "-d" ]
then
CPUS=`echo $cpu_list| perl -pe 's/\b(\d+)(?{$q=$1+1})(?:,(??{$q})\b(?{$p=$q++})){2,}/$1-$p/g'`
echo -e "IRQ_ASSIGN=\"$CPUS:rcim;\""
cat /proc/interrupts |grep megasas |while read IRQNO Other
do
if [ -f /proc/irq/$IRQNO/smp_affinity ]
then
echo -e "IRQ_ASSIGN+=\"$CPUS:$IRQNO;\""
fi
done
lsirq|grep -e "Network" -e "Ethernet" |while read IRQNO Bus Vendor Comment
do
if [ -f /proc/irq/$IRQNO/smp_affinity ]
then
echo -e "IRQ_ASSIGN+=\"$CPUS:$IRQNO;\""
fi
done
exit 0;
fi
if [ "$1" == "-s" ]
then
echo "cpus=$cpus"
echo "set_affinity=$set_affinity"
cat /proc/interrupts |grep megasas |while read IRQNO Other
do
if [ -f /proc/irq/$IRQNO/smp_affinity ]
then
echo "echo $set_affinity > /proc/irq/$IRQNO/smp_affinity"
echo "$set_affinity" > /proc/irq/$IRQNO/smp_affinity
fi
done
lsirq|grep -e "Network" -e "Ethernet" |while read IRQNO Bus Vendor Comment
do
if [ -f /proc/irq/$IRQNO/smp_affinity ]
then
echo "echo $set_affinity > /proc/irq/$IRQNO/smp_affinity"
echo "$set_affinity" > /proc/irq/$IRQNO/smp_affinity
fi
done
for name in `ls /proc/irq/*/*-TxRx-* 2> /dev/null | cut -d: -f1`
do
IRQNO=`echo $name|cut -d / -f 4`
if [ -f /proc/irq/$IRQNO/smp_affinity ]
then
echo "echo $set_affinity > /proc/irq/$IRQNO/smp_affinity"
echo "$set_affinity" > /proc/irq/$IRQNO/smp_affinity
fi
done
exit 0;
fi
if [ "$1" == "-r" ]
then
echo "cpus=$cpus"
list=`cat /proc/interrupts |grep CPU|sed s/CPU//g`
if [ -n "$list" ]
then
cpu=0
cpus=0
for CPUID in $list
do
cpu=`echo "2 ^ $CPUID" | bc`
cpus=`expr $cpus + $cpu`
done
reset_affinity=`echo "ibase=10;obase=16;$cpus"|bc`
fi
#
len=${#reset_affinity}
if [ $len -gt 8 ]
then
low=`echo ${reset_affinity:$len-8}`
hi=`echo ${reset_affinity::$len-8}`
reset_affinity="$hi $low"
fi
#
echo "reset_affinity=$reset_affinity"
cat /proc/interrupts |grep megasas |while read IRQNO Other
do
if [ -f /proc/irq/$IRQNO/smp_affinity ]
then
echo "echo $reset_affinity > /proc/irq/$IRQNO/smp_affinity"
echo "$reset_affinity" > /proc/irq/$IRQNO/smp_affinity
fi
done
lsirq|grep -e "Network" -e "Ethernet" |while read IRQNO Bus Vendor Comment
do
if [ -f /proc/irq/$IRQNO/smp_affinity ]
then
echo "echo $reset_affinity > /proc/irq/$IRQNO/smp_affinity"
echo "$reset_affinity" > /proc/irq/$IRQNO/smp_affinity
fi
done
for name in `ls /proc/irq/*/*-TxRx-* 2> /dev/null| cut -d: -f1`
do
irq=`echo $name|cut -d / -f 4`
echo "echo $reset_affinity > /proc/irq/$irq/smp_affinity"
echo "$reset_affinity" > /proc/irq/$irq/smp_affinity
done
exit 0;
fi
echo
echo "$0 [-s -r -d]"
echo "-s:set affinity for IRQ"
echo "ex:"
echo " # shield -r -a 1-3"
echo " # $0 -s"
echo ""
echo "-r:reset affinity for IRQ"
echo "ex:"
echo " # $0 -r"
echo " # shield -r"
echo ""
echo
echo "-d:set affinity for shield.service configuration file (/etc/sysconfig/shield)"
echo "ex:"
echo " # shield -r -a 1-3"
echo " # $0 -d"
echo ""
exit 0;
-
ixgbeのTxRxデーモンは、shieldコマンドでは制御できないため、IRQ個別に/proc/irq/IRQ番号/smp_affinityを調整する必要があります。
以下に、shieldの状態に沿って、smp_affinityを調整するシェルスクリプトsmp_affinity.shを示します。 このシェルスクリプトは、-s オプションでshieldのirqsの状態に合わせて、smp_affinityを調整し、-r オプションでディフォルト状態に戻すものです。
shield.serviceで利用する/etc/sysconfig/shield ファイルに追加する情報を得るためには、shieldコマンドを実行後、-d オプションを利用してください。
但し、shield.service は KVM-RT と競合するようになったため、一緒に使用しないでください。
#!/bin/bash
# smp_affinity.sh version 2.3(2023.03.15)
#
export LANG=C
shield_result=`shield -c`
mask=0
cpus=0
cpu_list=""
while read CPUID irqs ltmrs_procs_mem
do
if [ "$irqs" == "no" ]
then
if [ -z "$cpu_list" ]
then
cpu_list="$cpus"
else
cpu_list="$cpu_list,$cpus"
fi
cpus=`expr $cpus + 1`
id=`echo "2 ^ $CPUID" | bc`
mask=`echo "$mask + $id"|bc`
fi
if [ "$irqs" == "yes" ]
then
cpus=`expr $cpus + 1`
fi
done << EOI
${shield_result}
EOI
#
set_affinity=`echo "ibase=10;obase=16;$mask"|bc`
#
len=${#set_affinity}
if [ $len -gt 8 ]
then
low=`echo ${set_affinity:$len-8}`
hi=`echo ${set_affinity::$len-8}`
set_affinity="$hi $low"
fi
#
#
if [ "$1" == "-d" ]
then
CPUS=`echo $cpu_list| perl -pe 's/\b(\d+)(?{$q=$1+1})(?:,(??{$q})\b(?{$p=$q++})){2,}/$1-$p/g'`
echo -e "IRQ_ASSIGN=\"$CPUS:rcim;\""
cat /proc/interrupts |grep megasas |while read IRQNO Other
do
if [ -f /proc/irq/$IRQNO/smp_affinity ]
then
echo -e "IRQ_ASSIGN+=\"$CPUS:$IRQNO;\""
fi
done
lsirq|grep -e "Network" -e "Ethernet" |while read IRQNO Bus Vendor Comment
do
if [ -f /proc/irq/$IRQNO/smp_affinity ]
then
echo -e "IRQ_ASSIGN+=\"$CPUS:$IRQNO;\""
fi
done
exit 0;
fi
if [ "$1" == "-s" ]
then
echo "cpus=$cpus"
echo "set_affinity=$set_affinity"
cat /proc/interrupts |grep megasas |while read IRQNO Other
do
if [ -f /proc/irq/$IRQNO/smp_affinity ]
then
echo "echo $set_affinity > /proc/irq/$IRQNO/smp_affinity"
echo "$set_affinity" > /proc/irq/$IRQNO/smp_affinity
fi
done
lsirq|grep -e "Network" -e "Ethernet" |while read IRQNO Bus Vendor Comment
do
if [ -f /proc/irq/$IRQNO/smp_affinity ]
then
echo "echo $set_affinity > /proc/irq/$IRQNO/smp_affinity"
echo "$set_affinity" > /proc/irq/$IRQNO/smp_affinity
fi
done
for name in `ls /proc/irq/*/*-TxRx-* 2> /dev/null | cut -d: -f1`
do
IRQNO=`echo $name|cut -d / -f 4`
if [ -f /proc/irq/$IRQNO/smp_affinity ]
then
echo "echo $set_affinity > /proc/irq/$IRQNO/smp_affinity"
echo "$set_affinity" > /proc/irq/$IRQNO/smp_affinity
fi
done
exit 0;
fi
if [ "$1" == "-r" ]
then
echo "cpus=$cpus"
list=`cat /proc/interrupts |grep CPU|sed s/CPU//g`
if [ -n "$list" ]
then
cpu=0
cpus=0
for CPUID in $list
do
cpu=`echo "2 ^ $CPUID" | bc`
cpus=`expr $cpus + $cpu`
done
reset_affinity=`echo "ibase=10;obase=16;$cpus"|bc`
fi
#
len=${#reset_affinity}
if [ $len -gt 8 ]
then
low=`echo ${reset_affinity:$len-8}`
hi=`echo ${reset_affinity::$len-8}`
reset_affinity="$hi $low"
fi
#
echo "reset_affinity=$reset_affinity"
cat /proc/interrupts |grep megasas |while read IRQNO Other
do
if [ -f /proc/irq/$IRQNO/smp_affinity ]
then
echo "echo $reset_affinity > /proc/irq/$IRQNO/smp_affinity"
echo "$reset_affinity" > /proc/irq/$IRQNO/smp_affinity
fi
done
lsirq|grep -e "Network" -e "Ethernet" |while read IRQNO Bus Vendor Comment
do
if [ -f /proc/irq/$IRQNO/smp_affinity ]
then
echo "echo $reset_affinity > /proc/irq/$IRQNO/smp_affinity"
echo "$reset_affinity" > /proc/irq/$IRQNO/smp_affinity
fi
done
for name in `ls /proc/irq/*/*-TxRx-* 2> /dev/null| cut -d: -f1`
do
irq=`echo $name|cut -d / -f 4`
echo "echo $reset_affinity > /proc/irq/$irq/smp_affinity"
echo "$reset_affinity" > /proc/irq/$irq/smp_affinity
done
exit 0;
fi
echo
echo "$0 [-s -r -d]"
echo "-s:set affinity for IRQ"
echo "ex:"
echo " # shield -r -a 1-3"
echo " # $0 -s"
echo ""
echo "-r:reset affinity for IRQ"
echo "ex:"
echo " # $0 -r"
echo " # shield -r"
echo ""
echo
echo "-d:set affinity for shield.service configuration file (/etc/sysconfig/shield)"
echo "ex:"
echo " # shield -r -a 1-3"
echo " # $0 -d"
echo ""
exit 0;
![[back]](images/back.gif){kind=small}