实践：配置、调优、验证与红线

10.1先建立全局图：每个旋钮管哪一段延迟

RT 内核只解决"内核软件造成的不可抢占"。一个实时系统的最坏延迟还取决于硬件/固件和你怎样摆放负载。下图把旋钮按层次排开，后面各节逐层展开。

10.2内核配置（6.12 · ARM64）

打开 PREEMPT_RT

6.12 里 PREEMPT_RT 仍然 depends on EXPERT && ARCH_SUPPORTS_RT kernel/Kconfig.preempt:70，ARM64 通过 select ARCH_SUPPORTS_RT 满足后者 arch/arm64/Kconfig:107。所以菜单路径是：

General setup  --->
    [*] Configure standard kernel features (expert users)      ← CONFIG_EXPERT
    Preemption Model (Fully Preemptible Kernel (Real-Time))  --->
        ( ) No Forced Preemption (Server)
        ( ) Voluntary Kernel Preemption (Desktop)
        ( ) Preemptible Kernel (Low-Latency Desktop)
        (X) Fully Preemptible Kernel (Real-Time)               ← CONFIG_PREEMPT_RT

命令行方式（在一份 arm64 defconfig 的基础上）：

make ARCH=arm64 defconfig
./scripts/config -e EXPERT -d PREEMPT_NONE -d PREEMPT_VOLUNTARY -d PREEMPT \
                 -e PREEMPT_RT -d PREEMPT_DYNAMIC
make ARCH=arm64 olddefconfig
grep -E 'PREEMPT_RT|PREEMPT_RCU|RCU_BOOST|RT_MUTEXES|IRQ_FORCED' .config

打开它之后，自动随之改变的选项

建议一并调整的选项

确认跑的是 RT 内核

$ uname -v
#1 SMP PREEMPT_RT Thu Oct  9 12:00:00 CST 2026     # init/Makefile:29 把 PREEMPT_RT 写进版本串
$ zcat /proc/config.gz | grep PREEMPT_RT              # 需要 CONFIG_IKCONFIG_PROC
CONFIG_PREEMPT_RT=y
$ ps -eo comm | grep -E '^irq/|^irq_work/|^rcuc/' | head  # RT 特有线程（第 9 章）

10.3启动参数：把干扰赶出实时核

以一台 8 核 ARM64 为例：CPU 0–1 做 housekeeping（系统杂务、普通中断），CPU 2–7 跑实时任务。

isolcpus=nohz,domain,managed_irq,2-7 nohz_full=2-7 rcu_nocbs=2-7 irqaffinity=0-1
rcu_nocb_poll rcutree.kthread_prio=… skew_tick=1 nosoftlockup
cpuidle.off=1                       # 或者运行时用 /dev/cpu_dma_latency 精细控制
irqchip.gicv3_pseudo_nmi=1          # 可选，需 CONFIG_ARM64_PSEUDO_NMI

10.4运行期调优

# 1) 看清所有 RT 线程的现状
ps -eLo pid,cls,rtprio,ni,psr,comm --sort=-rtprio | head -40

# 2) 关键中断线程抬到应用之上（或之下，取决于依赖关系，见第 9 章）
pgrep -f 'irq/[0-9]+-can0'   | xargs -n1 chrt -f -p 85
# 不重要的大流量中断绑到 housekeeping 核（线程会跟着迁移）
echo 0-1 > /proc/irq/45/smp_affinity_list

# 3) 用户态 RT 线程
chrt -f 80 taskset -c 3 ./rt_app

# 4) RT throttling：默认每 1s 留 50ms 给非 RT 任务
cat /proc/sys/kernel/sched_rt_runtime_us      # 950000（kernel/sched/rt.c:21）
#   设成 -1 关闭；只在确定应用不会失控时做，否则一个死循环就挂死整核
# 6.12 另有 fair_server（deadline server），每 CPU 默认 50ms/1000ms
cat /sys/kernel/debug/sched/fair_server/cpu3/runtime

# 5) 频率：固定在高频
for c in /sys/devices/system/cpu/cpufreq/policy*; do echo performance > $c/scaling_governor; done

# 6) idle 深度：持有 /dev/cpu_dma_latency 打开期间生效，写 0 = 只允许最浅 idle
exec 3>/dev/cpu_dma_latency; printf '\x00\x00\x00\x00' >&3   # 进程退出即恢复

# 7) 停掉会搬动中断的守护进程
systemctl stop irqbalance

第 6 条的原理：cpu_dma_latency 是 PM QoS 的全局约束 kernel/power/qos.c:414，cpuidle governor 选状态时会排除退出延迟超过该值的 idle 状态；它只在文件保持打开期间生效，所以不要 echo 0 > 了事。

10.5测量：工具各测哪一段

cyclictest

# rt-tests 包；每核一个 FIFO 95 线程，1ms 周期，mlockall，用 clock_nanosleep 绝对时间
cyclictest --mlockall --smp --priority=95 --interval=1000 --distance=0 \
           --duration=12h --histogram=400 --histfile=hist.txt -q
# 同时施加负载：stress-ng --cpu 4 --io 2 --vm 2 --vm-bytes 512M、hackbench、iperf3 …

只看最大值和直方图尾部，平均值对实时系统几乎没有意义；测试要足够长（小时级），并且在有代表性的负载下进行——空载下的 cyclictest 数字只说明硬件和空闲路径。

rtla timerlat / osnoise

rtla 在 tools/tracing/rtla/，是内核 timerlat/osnoise tracer 的前端。timerlat 每核起一个 FIFO 95 的内核线程 kernel/trace/trace_osnoise.c:49，用 HRTIMER_MODE_ABS_PINNED_HARD 的 hrtimer 周期唤醒自己 trace_osnoise.c:1868——HARD 意味着即使在 RT 内核上，定时器回调 timerlat_irq() 也在硬中断里执行，因此能单独量出 IRQ latency。

# 实时观察，单位 us；超过 50us 自动停止并做自动分析（-a = -T 50 -s 50 -t 等组合）
rtla timerlat top -c 2-7 -a 50
# 直方图
rtla timerlat hist -c 2-7 -d 1h -E 200 --dma-latency 0
# 用户态线程模式（-u）：测量路径经过真实的系统调用返回
rtla timerlat top -u -c 2-7
# 噪声：线程在跑时被打断了多少
rtla osnoise top -c 2-7

-a 触发的 auto analysis（timerlat_aa.c）会把超标那一次拆成：IRQ handler 之前的延迟、被哪些中断/软中断/线程挡住、各自耗时多少，以及最后阻塞的内核栈——这是 RT 排障最省事的第一步。

ftrace tracer

cd /sys/kernel/tracing
echo wakeup_rt > current_tracer      # 最高优先级 RT 任务的唤醒延迟最大值
echo 0 > tracing_max_latency; echo 1 > tracing_on
sleep 60; cat tracing_max_latency; cat trace | head -80
echo preemptirqsoff > current_tracer  # 最长"关中断或关抢占"区，含起止调用栈
echo nop > current_tracer
# 事件：谁在什么时候占着 CPU
echo 'sched:sched_switch sched:sched_wakeup irq:irq_handler_entry irq:softirq_entry' > set_event

排障决策流程

flowchart TD
  A["cyclictest / timerlat 最大值超标"] --> B{"timerlat 的 IRQ latency 高吗"}
  B -- "高" --> C["问题在中断到达之前"]
  C --> C1["preemptirqsoff 或 irqsoff tracer 找最长关中断区"]
  C --> C2["检查 idle 深度、cpufreq、EL3 固件调用、SDEI"]
  C --> C3["是否有 IRQF_NO_THREAD 的慢 handler 或 raw 锁长临界区"]
  B -- "不高，但 Thread latency 高" --> D["问题在中断之后"]
  D --> E{"同核上有更高或同优先级的 RT 线程吗"}
  E -- "有" --> E1["调整优先级或绑核，见第 9 章依赖链原则"]
  E -- "没有" --> F{"阻塞在锁上吗，看 auto analysis 的栈"}
  F -- "是" --> F1["找持锁者，看 PI 是否生效，是否在 raw 区里"]
  F -- "否" --> G["preemptoff 区：preempt_disable、raw 锁区、HARD hrtimer 与 irq_work 回调"]
  D --> H["osnoise 看是否有周期性干扰：tick、RCU、workqueue、softlockup"]
  H --> H1["nohz_full、rcu_nocbs、workqueue cpumask、nosoftlockup"]

10.6编码红线（错误写法 vs 正确写法）

每条都源自前面章节的某个机制。共同的根：RT 把"顺带"的语义拆开了——非 RT 下 spinlock 顺带关抢占、spin_lock_irqsave 顺带关中断、local_bh_disable 顺带关抢占，RT 下这些"白嫖"都不存在了，必须显式写出真实意图。

① raw 区 / 关中断区里不能分配或释放内存

raw_spin_lock(&dev->hw_lock);
buf = kmalloc(len, GFP_ATOMIC);   /* RT: slub 用 local_lock → 睡眠锁 */
...
raw_spin_unlock(&dev->hw_lock);

buf = kmalloc(len, GFP_KERNEL);   /* 锁外预分配 */
raw_spin_lock(&dev->hw_lock);
...                               /* 只做寄存器级操作 */
raw_spin_unlock(&dev->hw_lock);
kfree(old);                       /* 锁外释放 */

原因见 第 7 章：SLUB 的 per-CPU 快路径由 local_lock_t 保护 mm/slub.c:396，RT 下它是 spinlock_t。GFP_ATOMIC 只说明"不进回收"，不说明"不拿睡眠锁"。

② spin_lock_irqsave 挡不住硬中断

/* 任务侧 */
spin_lock_irqsave(&d->lock, flags);  /* RT: 不关中断, flags=0 */
d->state = X;
spin_unlock_irqrestore(&d->lock, flags);
/* 硬中断侧（未线程化）*/
spin_lock(&d->lock);   /* RT: 硬中断里拿睡眠锁 → BUG */

/* 真要和硬中断互斥，就用 raw 锁，并保持临界区极短 */
raw_spin_lock_irqsave(&d->lock, flags);
d->state = X;
raw_spin_unlock_irqrestore(&d->lock, flags);
/* 更好：去掉 IRQF_NO_THREAD，让 handler 线程化，
 * 两侧都用 spinlock_t 即可 */

出处：spin_lock_irqsave 在 RT 下的定义里只有 flags = 0 include/linux/spinlock_rt.h:96。之所以普通驱动不出事，是因为 handler 已被线程化，它和任务侧都在线程上下文里，用睡眠锁互斥完全正确（第 5 章）。

③ 保护 per-CPU 数据用 local_lock，别裸用 preempt_disable

preempt_disable();
p = this_cpu_ptr(&pcp_cache);
spin_lock(&p->lock);    /* RT: 关抢占区里拿睡眠锁 */
...
spin_unlock(&p->lock);
preempt_enable();

static DEFINE_PER_CPU(struct pcp, pcp_cache) = {
	.llock = INIT_LOCAL_LOCK(llock),
};
local_lock(&pcp_cache.llock);  /* RT: migrate_disable + per-CPU spinlock */
p = this_cpu_ptr(&pcp_cache);
...
local_unlock(&pcp_cache.llock);

local_lock 在非 RT 下编译成 preempt_disable()，零额外开销；在 RT 下是 typedef spinlock_t local_lock_t include/linux/local_lock_internal.h:127，可抢占且有名字、可被 lockdep 追踪（第 3 章）。

④ 不要"先关中断，再拿 spinlock_t"

local_irq_save(flags);
spin_lock(&q->lock);     /* RT: 关中断区里拿睡眠锁 */
...
spin_unlock(&q->lock);
local_irq_restore(flags);

spin_lock_irqsave(&q->lock, flags);  /* RT 下自动退化为普通加锁 */
...
spin_unlock_irqrestore(&q->lock, flags);

⑤ 必须在硬中断里到期的 hrtimer 要显式标 HARD

hrtimer_init(&t, CLOCK_MONOTONIC, HRTIMER_MODE_REL);
/* RT: __hrtimer_init 把非 HARD 的改成 soft，
 * 回调在 ksoftirqd（SCHED_OTHER）里跑 */

hrtimer_init(&t, CLOCK_MONOTONIC, HRTIMER_MODE_REL_HARD);

出处：if (IS_ENABLED(CONFIG_PREEMPT_RT) && !(mode & HRTIMER_MODE_HARD)) kernel/time/hrtimer.c:1622。反过来，别为了"低延迟"把所有 hrtimer 都标 HARD——HARD 回调执行在不可抢占的硬中断里，正是 RT 想消灭的东西（第 6 章）。

⑥ 自旋等待另一个上下文完成，在 RT 下可能是活锁

while (!READ_ONCE(d->done))   /* d->done 由某个线程置位 */
	cpu_relax();
/* RT: 置位的线程可能比你优先级低、在同一核上，
 * 你自旋它就永远跑不了 */

wait_for_completion(&d->done);  /* 对方 complete(&d->done) */
/* 或 wait_event(d->wq, d->done)；
 * 内核自己的例子：tasklet_unlock_spin_wait() 在 RT 下
 * 改用 local_bh_disable/enable 让出 CPU */

⑦ 不要用上下文谓词做决策

gfp_t gfp = in_atomic() ? GFP_ATOMIC : GFP_KERNEL;
/* RT: 持 spinlock_t 时 in_atomic() 为假，
 * 选了 GFP_KERNEL 后在锁内进入回收 */

int foo_alloc(struct foo *f, gfp_t gfp);  /* 由调用者明确传入 */

⑧ 别把 kernel_neon_begin() 当成"关抢占"

kernel_neon_begin();
p = this_cpu_ptr(&scratch);   /* 以为 NEON 区间里不会换 CPU */
neon_transform(p, src, len);
kernel_neon_end();

local_lock(&scratch.llock);   /* 显式声明 per-CPU 保护 */
p = this_cpu_ptr(&scratch);
kernel_neon_begin();
neon_transform(p, src, len);
kernel_neon_end();
local_unlock(&scratch.llock);

6.12 的 kernel_neon_begin() 只在内部用 get_cpu_fpsimd_context()（RT 下即 preempt_disable()，arch/arm64/kernel/fpsimd.c:226）短暂保护"保存用户态 FPSIMD 状态"这一步，随后就 put_cpu_fpsimd_context() 放开；它给任务打上 TIF_KERNEL_FPSTATE，让内核态 NEON 寄存器随上下文切换保存/恢复 fpsimd.c:1886–1924。所以任务上下文里的 NEON 区间本身是可抢占、可迁移的——好消息是长的加密/校验计算不再是不可抢占区；坏消息是任何依赖"NEON 区间不会换 CPU"的代码都是错的（第 8 章）。

⑨ 新驱动：线程化中断，不用 tasklet

/* primary：只做"确认硬件 + 屏蔽设备中断源"，返回 IRQ_WAKE_THREAD */
static irqreturn_t mydev_hardirq(int irq, void *data) { ... return IRQ_WAKE_THREAD; }
/* thread：可以睡眠、拿 mutex、分配内存 */
static irqreturn_t mydev_thread(int irq, void *data)  { ... return IRQ_HANDLED; }

ret = request_threaded_irq(irq, mydev_hardirq, mydev_thread,
                           IRQF_ONESHOT, "mydev", dev);

RT 下 request_irq() 也会被强制线程化，但显式写成 threaded 能在非 RT 内核上获得同样的行为，并让 primary/thread 的分工清楚。tasklet 已被标注 "Do not use in new code"，替代品是 threaded IRQ 或 BH workqueue（第 6 章）。

10.7常见故障模式

剖析一次 "sleeping function called from invalid context"

以红线 ① 为例（raw 锁里 kmalloc(GFP_ATOMIC)），RT 内核上报错时的调用链如下。读这类 splat 时，先看 in_atomic()/irqs_disabled()/preempt_count 那几行判断"外层是什么原子区"，再沿栈往下找"是谁要睡"。

注意这里即使锁没有争用也会报错：__rt_spin_lock() 在尝试获取之前就无条件调用 rtlock_might_resched() 做检查。这是 RT 的设计选择——问题在"可能睡眠"而不在"这次睡没睡"，所以一跑到就报，不必等到极小概率的争用时才暴露。

10.86.12 之后的演进（以实际版本为准）

本手册只描述 6.12。下面这些是 6.12 之后主线陆续发生的变化，用 6.12 LTS 时不要假设它们存在，升级时要重新评估：

• PREEMPT_LAZY / NEED_RESCHED_LAZY（6.13 起）：对 SCHED_OTHER 的抢占推迟到 tick 或返回用户态，挽回 RT 内核上普通负载的吞吐；6.12 全树 grep 不到。
• 去掉 PREEMPT_RT 对 EXPERT 的依赖：之后不再需要先开 CONFIG_EXPERT。
• ktimers 线程：RT 下把 timer/hrtimer 软中断从 ksoftirqd 分离出来，用专门的高优先级线程执行，解决 10.7 表中"soft timer 被饿住"的问题。
• 更多 nbcon console 驱动（如 8250）：printk 可以在 emergency 时原子输出且不再需要 pr/legacy。

10.9附录：代码位置速查索引

全部基于 linux-6.12.y @ fa5b06866b64（v6.12.110），本章写作时逐条 grep 核验。行号会随 stable 更新漂移，核对时请按符号名搜索。

配置与使能

锁与 PI

中断、软中断、定时器

RCU、printk、调度

ARM64

推荐阅读（均在 6.12 源码树内）

• Documentation/locking/locktypes.rst —— 锁类型与 RT 语义的权威说明
• Documentation/trace/timerlat-tracer.rst、Documentation/trace/osnoise-tracer.rst
• Documentation/tools/rtla/ —— rtla timerlat / osnoise / hwnoise 手册
• Documentation/RCU/Design/Requirements/Requirements.rst —— RCU 的正式需求，含实时部分
• Documentation/admin-guide/kernel-parameters.txt —— 本章所有启动参数的原文
• kernel/locking/rtmutex.c 顶部注释 —— PI 链遍历的逐步说明

10.10小结

• 配置：EXPERT → PREEMPT_RT，它会带出 PREEMPT_RCU、RCU_BOOST、RT_MUTEXES 等；测延迟时关掉调试选项。
• 启动参数和运行期调优的本质是把干扰从实时核搬走：tick、RCU 回调、中断、迁移、idle 退出、频率切换。
• 测量先用 timerlat 把问题切成"中断前 / 中断后"，再用对应 tracer 定位。
• 编码红线的共同根源：RT 拆掉了 spinlock / irqsave / bh_disable 的"顺带语义"，必须把真实意图写出来。