滚动升级HDFS cluster

前言

• 1、首先需要是一个HA HDFS，即最少有两个namenode，否则不能进行滚动升级
• 2、一般journalnode和zookeeper非常稳定，不需要升级。如果升级这两个组件则需要停机。

升级步骤

1. 创建fsimage，用于保证在升级失败时回滚

hdfs dfsadmin -rollingUpgrade prepare
hdfs dfsadmin -rollingUpgrade query   检查fsimage是否创建成功

2. 升级namenode

关闭和升级NN2
hdfs namenode -rollingUpgrade started   开启NN2作为standby
hdfs haadmin -failover [NN1 service_id] [NN2 service_id]   NN2变为active，NN1变为standby
关闭和升级NN1
hdfs namenode -rollingUpgrade started   启动NN1作为standby

3. 升级datanode

hdfs dfsadmin -shutdownDatanode <DATANODE_HOST:IPC_PORT> upgrade   关闭一个datanode节点
hdfs dfsadmin -getDatanodeInfo <DATANODE_HOST:IPC_PORT>   检查datanode是否已经关闭
升级和重启datanode
重复上面的步骤，直到所有datanode升级完成

4. 完成滚动升级

hdfs dfsadmin -rollingUpgrade finalize