张新科

张新科

一名纯粹的软件开发者。

Posts by Tags

HDFS

Hadoop-HDFS

less than 1 minute read

Published:

HDFS

Hadoop

Hadoop-Yarn

less than 1 minute read

Published:

Yarn

任务提交流程

资源调度模型

Yarn中有三种调度器可以选择：FIFO、Capacity、Fair。 apache版本默认使用capacity。CHD版本默认使用fair。

  1. FIFO Scheduler 先来先服务
    • FIFO Scheduler 把应用按提交的顺序排成一个队列，这是一个先进先出队列，在进行资源分配的时候，先给队列中最头上的应用进行分配资源，待最头上的应用需求满足后再给下一个分配，以此类推。
    • FIFO Scheduler 是最简单也是最容易理解的调度器，也不需要任何配置，但它并不适用于共享集群。大的应用可能会占用所有集群资源，这就导致其它应用被阻塞，比如有个大任务在执行，占用了全部的资源，再提交一个小任务，则此小任务会一直被阻塞。
  2. Capacity Scheduler 能力调度器
  3. Fair Scheduler 公平调度器

Hadoop-HDFS

less than 1 minute read

Published:

HDFS

JVM

Java

Java-集合概述

less than 1 minute read

Published:

Java 集合， 也叫作容器，主要是由两大接口派生而来：一个是 Collection接口，主要用于存放单一元素；另一个是 Map 接口，主要用于存放键值对。对于Collection 接口，下面又有三个主要的子接口：List、Set 和 Queue。

Kafka

MapReduce

Python

Yarn

Hadoop-Yarn

less than 1 minute read

Published:

Yarn

任务提交流程

资源调度模型

Yarn中有三种调度器可以选择：FIFO、Capacity、Fair。 apache版本默认使用capacity。CHD版本默认使用fair。

  1. FIFO Scheduler 先来先服务
    • FIFO Scheduler 把应用按提交的顺序排成一个队列，这是一个先进先出队列，在进行资源分配的时候，先给队列中最头上的应用进行分配资源，待最头上的应用需求满足后再给下一个分配，以此类推。
    • FIFO Scheduler 是最简单也是最容易理解的调度器，也不需要任何配置，但它并不适用于共享集群。大的应用可能会占用所有集群资源，这就导致其它应用被阻塞，比如有个大任务在执行，占用了全部的资源，再提交一个小任务，则此小任务会一直被阻塞。
  2. Capacity Scheduler 能力调度器
  3. Fair Scheduler 公平调度器

强化学习

数据结构

Java-集合概述

less than 1 minute read

Published:

Java 集合， 也叫作容器，主要是由两大接口派生而来：一个是 Collection接口，主要用于存放单一元素；另一个是 Map 接口，主要用于存放键值对。对于Collection 接口，下面又有三个主要的子接口：List、Set 和 Queue。

机器学习

消息队列

蒙特卡洛树搜索

集合

Java-集合概述

less than 1 minute read

Published:

Java 集合， 也叫作容器，主要是由两大接口派生而来：一个是 Collection接口，主要用于存放单一元素；另一个是 Map 接口，主要用于存放键值对。对于Collection 接口，下面又有三个主要的子接口：List、Set 和 Queue。