负载均衡情景分析
背景介绍
负载均衡是分布式系统中用于分配工作负载，以确保系统各部分不过载并且最大化资源利用率和吞吐量的关键机制，在现代计算机系统中，负载均衡广泛应用于服务器集群、云计算环境和并行计算中，本文将详细分析几种常见的负载均衡情景，包括周期性负载均衡（tick balance）、NOHZ空闲负载均衡（nohz idle balance）和新空闲负载均衡（new idle balance）。
负载均衡类型
周期性负载均衡（tick balance）：这种负载均衡方式在系统的每个时钟中断（tick）期间执行，目的是在繁忙的CPU之间进行任务迁移以平衡负载，它适用于那些已经处于忙碌状态的CPU。
NOHZ空闲负载均衡（nohz idle balance）：当某些CPU处于空闲状态时，通过中断将这些空闲CPU唤醒，并将繁忙CPU上的任务迁移到这些空闲CPU上，这适用于系统配置了NOHZ（无滴答模式）的情况。
新空闲负载均衡（new idle balance）：当一个CPU即将进入空闲状态时，检查其他CPU是否需要帮助，如果是则从繁忙的CPU上拉取任务进行均衡，这种方式仅涉及即将进入空闲状态的CPU。
负载均衡过程
周期性负载均衡过程
周期性负载均衡通常由时钟中断触发，其主要步骤如下：
触发条件：每个时钟中断到来时，系统会调用trigger_load_balance函数。
寻找最繁忙的调度域：系统扫描所有调度域，找到当前负载最重的调度域。
选择最繁忙的CPU：在选定的最繁忙调度域中，进一步找到负载最重的CPU。
任务迁移：将选定的最繁忙CPU上的可运行任务迁移到当前CPU或其他适合的CPU上，以实现负载均衡。
void trigger_load_balance(struct rq *rq) {
if (in_atomic())
return;
select_victim(rq);
balance(rq, false);
}
NOHZ空闲负载均衡过程
NOHZ空闲负载均衡通过中断空闲CPU来实现任务迁移，主要步骤如下：
选择目标CPU：从所有空闲CPU中选择一个目标CPU。
发送中断：通过IPI（中断处理程序）发送中断信号给目标CPU。
任务迁移：目标CPU被唤醒后，从繁忙CPU上拉取任务并在本地执行。
void nohz_balancer_kick(const struct cpumask *idle_cpus) {
u64 key;
int i, cpu;
struct task_struct *tsk;
unsigned long victim_idx;
int kickee;
int kicker = smp_processor_id();
bool found = false;
for_each_cpu(i, idle_cpus) {
cpu = per_cpu(idle_cpu_mask, i);
if (!cpu_online(cpu))
continue;
if (!cpumask_test_cpu(cpu, idle_cpu_mask))
continue;
if (found) {
cpumask_set_cpu(cpu, idle_cpu_mask);
break;
}
found = true;
}
kickee = cpumask_first(idle_cpu_mask);
send_ipi_mask(kickee, ipi_nohz_balancer);
}
新空闲负载均衡过程
新空闲负载均衡在新CPU即将进入空闲状态时触发，主要步骤如下：
检查任务队列：如果当前CPU的任务队列为空，则检查其他CPU是否需要帮助。
任务迁移：从繁忙的CPU上拉取任务到当前CPU上执行，以实现负载均衡。
void new_idle_balance() {
if (need_resched()) {
schedule();
return;
}
if (idle_balance()) {
return;
}
if (unlikely(!current->group_cpus)) {
set_tsk_cpus_allowed(current, cpumask_of(smp_processor_id()));
}
if (unlikely(!cpumask_test_cpu(smp_processor_id(), current->group_cpus))) {
resched_curr();
}
}
数据结构说明
`struct lb_env`
表示本次负载均衡的上下文：
struct lb_env {
struct sched_domain *sd; // 要进行负载均衡的调度域
struct rq *src_rq; // 此sd中最忙的cpu和rq，均衡目标就是从其中拉取任务
int src_cpu; // 源CPU编号
int dst_cpu; // 目标CPU编号
struct rq *dst_rq; // 目标CPU的运行队列
struct cpumask *dst_grpmask; // 目标CPU所在sched group的cpu mask
int new_dst_cpu; // 新的均衡目标CPU编号
enum cpu_idle_type idle; // 目标CPU的空闲状态
long imbalance; // 需要迁移的负载量或任务数
struct list_head tasks; // 需要迁移的任务链表
struct rq_flags *src_rq_rf; // 源RQ的标志位
};
`struct sd_lb_stats`
表示调度域的负载统计信息：
struct sd_lb_stats {
struct sched_group *busiest; // 此sd中最忙的sg，非local group
struct sched_group *local; // 均衡时用于标记sd中哪个group是local group即dst cpu所在的group
unsigned long total_load; // 此sd中所有sg的负载之和
unsigned long total_capacity; // 此sd中所有sg的cpu算力之和
unsigned long avg_load; // 此sd中所有sg的平均负载
unsigned int prefer_sibling; // 标记任务应该先去到同cluster的cpu
struct sg_lb_stats busiest_stat; // 此sd中最忙的那个sg的负载统计信息
int loop; // 循环次数限制
int loop_max; // 最大循环次数
enum fbq_type fbq_type; // 本次迁移的类型是什么，迁移一定量的负载、一定量的utility、一些任务还是misfit task
};
`struct sg_lb_stats`
表示调度组的负载统计信息：
struct sg_lb_stats {
unsigned long load; // 此sg的负载和
unsigned long capacity; // 此sg的cpu算力之和(可用于cfs任务的算力)
};
示例分析
假设有一个四核处理器系统，其中两个核心处于忙碌状态，另外两个核心处于空闲状态，我们将分析如何通过不同的负载均衡策略来实现系统的负载均衡。
场景1：周期性负载均衡（tick balance）
初始状态：CPU0和CPU1忙碌，CPU2和CPU3空闲。
触发条件：时钟中断到来。
操作步骤：
系统扫描所有调度域，找到最繁忙的调度域（例如域0）。
在域0中找到最繁忙的CPU（假设为CPU0）。
将CPU0上的可运行任务迁移到CPU2或CPU3上。
结果：CPU0的部分任务被迁移到CPU2或CPU3，系统负载更加均衡。
场景2：NOHZ空闲负载均衡（nohz idle balance）
初始状态：CPU0和CPU1忙碌，CPU2和CPU3空闲，系统处于NOHZ模式。
触发条件：CPU0和CPU1超载，需要唤醒空闲CPU。
操作步骤：
选择CPU2作为目标CPU。
发送IPI中断信号给CPU2。
CPU2被唤醒后，从CPU0或CPU1上拉取任务并执行。
结果：CPU2开始处理部分原本属于CPU0或CPU1的任务，系统负载更加均衡。
场景3：新空闲负载均衡（new idle balance）
初始状态：CPU0忙碌，CPU1空闲，即将进入空闲状态。
触发条件：CPU1即将进入空闲状态。
操作步骤：
CPU1检查其他CPU是否需要帮助。
如果需要，将CPU0上的部分任务迁移到CPU1上。
结果：CPU1处理部分原本属于CPU0的任务，系统负载更加均衡。
负载均衡是确保系统资源高效利用的关键机制，不同类型的负载均衡策略在不同的系统状态下发挥重要作用，周期性负载均衡在每个时钟中断期间对繁忙的CPU进行任务迁移，NOHZ空闲负载均衡通过中断唤醒空闲CPU来分担任务，新空闲负载均衡则在新CPU即将进入空闲状态时进行检查和任务迁移，通过合理使用这些策略，可以显著提高系统的整体性能和响应速度。
以上内容就是解答有关“负载均衡情景分析”的详细内容了，我相信这篇文章可以为您解决一些疑惑，有任何问题欢迎留言反馈，谢谢阅读。
