1. YARN Capacity Scheduler的基本原理

YARN Capacity Scheduler通过将集群资源划分为多个队列，并为每个队列分配一定的资源容量，从而实现资源的多租户隔离和共享。每个队列的容量由两部分参数控制：

• capacity：定义该队列相对于整个集群资源的份额比例。
• weight：用于在队列之间分配剩余资源时的优先级权重。

Capacity Scheduler的核心思想是保证公平性的同时，提供一定的资源隔离性，从而满足不同业务线或团队的资源需求。

2. 权重配置的详细参数解析

在YARN Capacity Scheduler中，权重配置主要涉及以下两个关键参数：

2.1 weight参数

weight参数决定了队列在资源分配中的优先级。当所有队列的资源需求未达到其容量限制时，系统会根据weight值来分配剩余资源。

• 默认值：1
• 范围：1到100
• 作用：权重值越高，队列在资源分配中获得的优先级越高。

示例：假设队列A的weight为2，队列B的weight为3，则队列B在资源分配时会比队列A优先获得更多资源。

2.2 capacity参数

capacity参数定义了队列的最大资源使用限制，通常以集群总资源的百分比表示。

• 默认值：0.25（25%）
• 范围：0到1
• 作用：确保队列在任何时候都不会超过其分配的资源上限。

示例：如果集群总资源为1000核，队列A的capacity为0.3，则队列A最多可以使用300核的资源。

3. 权重配置的优化实践

在实际生产环境中，权重配置需要根据业务需求和资源使用情况动态调整。以下是一些常见的优化实践：

3.1 根据业务优先级调整权重

对于高优先级的业务，可以通过提高其队列的weight值来确保资源的优先分配。例如：

• 生产任务队列：weight=5
• 测试任务队列：weight=2

这种配置方式能够有效避免测试任务占用过多资源，影响生产任务的执行效率。

3.2 动态调整权重以应对负载变化

在不同的时间段，集群的资源需求会发生变化。通过动态调整队列的权重，可以更好地适应负载波动。

• 白天高峰期：提高在线任务队列的weight值，确保用户请求的响应速度。
• 晚上低谷期：降低在线任务队列的weight值，将资源释放给后台任务队列。

3.3 使用Fair Scheduler作为补充

虽然Capacity Scheduler提供了资源隔离和优先级控制，但在某些场景下，可能无法满足完全的公平性需求。此时，可以结合Fair Scheduler来实现更灵活的资源分配策略。

4. 权重配置的注意事项

• 避免权重过高：单个队列的weight值过高可能会挤占其他队列的资源，导致资源分配不均。
• 保持权重平衡：根据业务需求和资源使用情况，合理分配各队列的weight值，确保资源的公平性和高效性。
• 定期监控和调整：通过监控集群资源使用情况和任务执行效率，定期优化权重配置，确保资源分配策略的有效性。