设置
- 关键性的参数 replication factor(复制因子),是每个block要复制几份副本到其他的机器上去，如果某台机器挂了,其他机器上有一模一样的block副本。
- 这个replication factor可以整体设置一下,也可以对每个文件设置一下,后续还可以修改
过程
- 写文件的时候,假如说默认的每个block就是3副本,此时namenode会先根据一个复制算法挑选出来3个datanode
- 每个datanode放一个block
- 客户端先第一个datanode写入一个block
- 接着datanode将这个block复制给第二个datanode
- 然后第二个datanode再将block复制给第三个datanode。
rack aware(机架感知)
- namenode默认一般一个block是3个副本，你就可以把2个副本放在一个机架上，然后第3个副本放在另外一个机架上。
- 在一个机架里，同步复制2个副本，通信速度很好，仅仅只有一个副本是同步到另外一个机架上去的,确实会影响一点写的速度,但是总比你在三个机架上各方一个副本好
- 如果一个机架完全挂了，还有另外一个机架上有一个副本。
心跳
- namenode每隔一段时间就会从各个datanode那里获取一个heartbeat，这是用来确定那个datanode还活着的
- 获取心跳的同时还会获取一份block report，就是每个datanode报告自己本地可用的block
- namenode不断的获取整个集群中的block的情况,新创建文件分配block给datanode的时候,可以根据各个datanode当前的block数量来均匀的分配
数据读取
- 在读数据的时候，会优先找离自己最近的那个副本所在的机器，保证读取性能最高
