- recoverClose的目的
- recoverClose的过程
- recoverClose的调用点
一、前言
HDFS客户端写文件时,如果某个datanode发生错误或者异常。客户端会把这个datanode从pipeline里踢除,然后进行pipiline recovery,用剩余datanodes去写或者满足一定的条件时补充新的datanode到pipeline中写。在继续向新的pipeline写数据之前,要把已经写了的副本用一个newGS去给finalized掉,并且添加到datanode的volumeMap里。 之后客户端的DataStreamer会根据当前的pipeline的状态去选择继续写还是endBlock(这取决于packet是否是block的最后一个packet)。如果发生错误时传输的packet不是block的最后一个packet,那么就把stage置为BlockConstructionStage.DATA_STREAMING
,然后继续用剩余的datanodes写,注意这里已经做了pipeline recovery,执行过了updatePipeline,因此写的副本的GS是newGS。
这么做的原因是:把已经写入的部分给成功落盘并添加副本集合里,防止后续pipeline里的节点再出问题导致副本又丢了一份。而且在pipeline恢复成功时,DataNode侧的DataXceiver#writeBlock方法里,会调用notifyNamenodeReceivedBlock,向namenode进行此block的IBR汇报。
二、recoverClose的逻辑
目标:用于恢复一个failed pipeline的close。
此方法会增加repli