k8s调度和yarn调度对比

原创

mob64ca12dfd1d5 2024-04-16 04:44:12 ©著作权

©著作权归作者所有：来自51CTO博客作者mob64ca12dfd1d5的原创作品，请联系作者获取转载授权，否则将追究法律责任

Kubernetes调度与YARN调度对比

Kubernetes（K8s）和YARN（Yet Another Resource Negotiator）都是流行的集群管理和作业调度工具，它们在大规模计算中起着至关重要的作用。在本文中，我们将对比K8s调度和YARN调度的特点和使用方式。

Kubernetes调度

Kubernetes是一个用于自动部署、扩展和管理容器化应用程序的开源平台。K8s调度器是Kubernetes集群中的一个核心组件，负责将Pod调度到合适的节点上以确保资源利用率和高可用性。K8s调度器使用调度算法来选择最佳节点，考虑因素包括资源需求、节点负载、亲和性和反亲和性等。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  replicas: 2
  template:
    spec:
      containers:
      - name: nginx
        image: nginx:latest
      nodeSelector:
        disktype: ssd

上面的示例展示了一个简单的Kubernetes Deployment配置文件，其中指定了Pod需要的资源和节点选择器。

YARN调度

YARN是Apache Hadoop生态系统中的资源管理器，用于分配和调度作业运行在Hadoop集群上的资源。YARN调度器负责分配资源给不同的应用程序，并确保资源的高效利用。YARN支持多种调度器，如Capacity Scheduler和Fair Scheduler，可以根据需求选择最适合的调度器。

<property>
  <name>yarn.resourcemanager.scheduler.class</name>
  <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

上面的示例展示了YARN配置文件中选择Capacity Scheduler作为调度器的设置。

调度器对比

Kubernetes调度和YARN调度在调度策略和资源管理方面有一些不同之处。Kubernetes调度器更加灵活，支持亲和性、反亲和性和节点污点等特性，适用于容器化应用程序的动态调度。而YARN调度器更专注于作业的资源调度和管理，适用于大数据处理和批处理作业。

序列图

sequenceDiagram
    participant User
    participant Kubernetes
    participant YARN

    User->>Kubernetes: 提交Pod
    Kubernetes->>Kubernetes: 调度Pod
    Kubernetes->>User: 返回Pod调度结果

    User->>YARN: 提交作业
    YARN->>YARN: 调度作业
    YARN->>User: 返回作业调度结果

旅行图

journey
    title Kubernetes调度流程
    section 提交Pod
        Kubernetes: 收到Pod请求
    section 调度Pod
        Kubernetes: 筛选节点
        Kubernetes: 分配资源
    section 返回结果
        Kubernetes: 返回Pod调度结果

    title YARN调度流程
    section 提交作业
        YARN: 收到作业请求
    section 调度作业
        YARN: 分配资源
        YARN: 等待任务完成
    section 返回结果
        YARN: 返回作业调度结果