Linux怎么查看系统锁竞争_Linux futex与锁等待分析【性能】

定位Linux锁竞争需综合perf、/proc/PID/stack、ftrace、mtxstat和pstack/gdb：一、perf捕获futex系统调用并统计WAIT次数；二、查/proc/PID/stack确认futex_wait阻塞；三、ftrace跟踪futex_wait/wake路径；四、读/proc/sys/kernel/mtxstat的mutex_contended值；五、pstack/gdb分析pthread_mutex用户态阻塞点。

如果您在排查Linux系统性能瓶颈时怀疑存在锁竞争问题，尤其是线程频繁阻塞于互斥操作，则很可能是futex等待或内核锁争用所致。以下是定位和分析锁竞争状态的具体方法：

一、使用perf工具捕获futex相关事件

perf可直接追踪内核中与futex系统调用相关的调度行为，识别高频率的FUTEX_WAIT/FUTEX_WAKE路径，反映锁争用强度。

1、执行perf record命令捕获futex系统调用事件，持续30秒：
perf record -e 'syscalls:sys_enter_futex' -g -- sleep 30

2、生成火焰图或调用栈报告：
perf script | stackcollapse-perf.pl | flamegraph.pl > futex_flame.svg

3、过滤并统计FUTEX_WAIT调用次数：
perf script | awk '$3 ~ /sys_enter_futex/ && $NF ~ /FUTEX_WAIT/ {count++} END {print "FUTEX_WAIT count:", count}'

二、解析/proc/[pid]/stack与/proc/[pid]/status中的锁状态

每个进程的内核栈快照可暴露当前是否阻塞在futex_wait_queue_me等函数上，/proc/[pid]/status则提供线程锁等待的直观标识。

1、查找处于TASK_INTERRUPTIBLE或TASK_UNINTERRUPTIBLE状态的线程：
ps -eo pid,comm,wchan:20,state,tid --sort=-time | head -20

2、对疑似阻塞线程（state为D或S），查看其内核栈：
cat /proc/PID/stack

3、检查该线程是否停在futex_wait或__x64_sys_futex调用点：
grep -q "futex_wait\|__x64_sys_futex" /proc/PID/stack && echo "thread is futex-blocked"

三、利用ftrace动态跟踪futex关键路径

ftrace提供低开销的内核函数级追踪能力，可精确捕获mutex_lock、mutex_unlock及底层futex_wait/wake的调用链与耗时分布。

1、启用futex相关tracepoint：
echo 1 > /sys/kernel/debug/tracing/events/futex/futex_wait/enable
echo 1 > /sys/kernel/debug/tracing/events/futex/futex_wake/enable

2、启动追踪并限定输出长度：
echo 1 > /sys/kernel/debug/tracing/tracing_on
sleep 10
echo 0 > /sys/kernel/debug/tracing/tracing_on

3、读取原始trace日志并提取关键字段：
cat /sys/kernel/debug/tracing/trace | awk '/futex_wait|futex_wake/ {print $1,$2,$3,$4,$5,$6,$7}' | head -50

四、检查/proc/sys/kernel/mtxstat中的mutex_contended计数

Linux内核自4.12起在某些配置下导出mutex_contended统计值，该值表示因互斥锁不可用而进入内核等待队列的次数，是锁竞争的直接量化指标。

1、确认内核是否启用CONFIG_DEBUG_MUTEXES选项：
zcat /proc/config.gz | grep CONFIG_DEBUG_MUTEXES 2>/dev/null || grep CON

2、若已启用，读取全局锁竞争计数：
cat /proc/sys/kernel/mtxstat 2>/dev/null | grep -o "mutex_contended:[0-9]*"

3、对比不同时间段增长速率：
watch -n 5 'cat /proc/sys/kernel/mtxstat 2>/dev/null | grep mutex_contended'

五、通过pstack与gdb分析用户态pthread_mutex阻塞点

当应用层使用pthread_mutex_t时，glibc通过futex实现阻塞，pstack可快速定位线程是否卡在__lll_lock_wait_private等内部函数，表明已进入内核等待。

1、获取目标进程所有线程的C语言级调用栈：
pstack PID > stack.txt

2、筛选含锁等待特征的栈帧：
grep -A5 -B5 "__lll_lock_wait\|futex_wait\|pthread_mutex_lock" stack.txt

3、对特定线程使用gdb附加并检查mutex结构体状态：
gdb -p TID -ex "p ((pthread_mutex_t*)0xADDR)->__data.__lock" -ex "quit"

# ai  # 尤其是  # 不可用  # 您在  # 很可能  # 可直接  # 工具  # linux  # linux系统  # svg  # 线程  # 栈  # 事件  # NULL  # 结构体  # Thread  # echo  # 卡在  # count  # sort  # print  # 性能瓶颈  # c语言  # 互斥  # 中与  # 停在  # 看其 

相关栏目： <？ｍｕｍａ $count = M('archives')->where(['typeid'=>$field['id']])->count(); ?> 【 AI推广<？ｍｕｍａ echo $count; ?> 】 <？ｍｕｍａ $count = M('archives')->where(['typeid'=>$field['id']])->count(); ?> 【 SEO优化<？ｍｕｍａ echo $count; ?> 】 <？ｍｕｍａ $count = M('archives')->where(['typeid'=>$field['id']])->count(); ?> 【 技术百科<？ｍｕｍａ echo $count; ?> 】 <？ｍｕｍａ $count = M('archives')->where(['typeid'=>$field['id']])->count(); ?> 【 谷歌推广<？ｍｕｍａ echo $count; ?> 】 <？ｍｕｍａ $count = M('archives')->where(['typeid'=>$field['id']])->count(); ?> 【 百度推广<？ｍｕｍａ echo $count; ?> 】 <？ｍｕｍａ $count = M('archives')->where(['typeid'=>$field['id']])->count(); ?> 【 网络营销<？ｍｕｍａ echo $count; ?> 】 <？ｍｕｍａ $count = M('archives')->where(['typeid'=>$field['id']])->count(); ?> 【 案例网站<？ｍｕｍａ echo $count; ?> 】 <？ｍｕｍａ $count = M('archives')->where(['typeid'=>$field['id']])->count(); ?> 【 精选文章<？ｍｕｍａ echo $count; ?> 】