【HDFS】一天一个RPC系列--updatePipeline

news/2024/5/20 3:09:27 标签: hdfs, rpc, hadoop

updatePipeline这个RPC一般都会配合updateBlockForPipeline RPC一起使用。
先updateBlockForPipeline、然后再updatePipeline。

建议先阅读【HDFS】一天一个RPC系列–updateBlockForPipeline

本文目标是弄清楚以下问题:

  • 弄清updatePipeline这个RPC的作用。
  • 弄清updatePipeline RPC的使用场景,代码里的调用点。

一、updatePipeline这个RPC的作用是什么?

看代码注释,为处于under construction状态的block更新pipeline信息(更新在namenode侧)。

参数含义如下:

  • clientName:客户端的名字
  • oldBlock:更新GS和access token之前的block对象,也即没有updateBlockForPipeline之前
  • newBlock:更新GS之后的block对象,此时已经调用完了updateBlockForPipeline RPC
  • DatanodeID[] newNodes:存储新block副本的datanode节点
  • String[] newStorageIDs:datanoe节点对应的storageID
  /**
   * Update a pipeline for a blo

http://www.niftyadmin.cn/n/5350009.html

相关文章

S275智慧煤矿4G物联网网关:矿山开采的未来已来

随着经济发展煤矿需求不断激增,矿山矿井普遍处于偏远山区,生产管理、人员安全、生产效率是每个矿山矿井都需要考虑的问题,利用网关对现场终端设备连接组网,实现智慧煤矿远程管理。 各矿山矿井分布范围比较广泛,户外环…

排序(1)——直接插入排序、希尔排序

目录 一、直接插入排序 1.简介 2.思路与代码 3.复杂度与稳定性分析 (1)时间复杂度 (2)空间复杂度 (3)稳定性 二、希尔排序 1.简介 2.思路与代码 (1)分组排序 &#xff08…

力扣:116. 填充每个节点的下一个右侧节点指针

广度优先搜索解法: 1.该题的解法主要在于给每层节点的下一个右侧节点来进行赋值,所以我们只要再没遍历到每层最后一个节点时都给之前弹出的节点赋上当前对列中队首的节点就解决了这题。 /* // Definition for a Node. class Node {public int val;publ…

·迭代器模式

迭代器模式 迭代器模式 迭代器模式 介绍:提供一种方法来访问聚合对象,而不用暴露这个对象的内部表示,也叫做游标。 实现:抽象迭代器类,定义抽象方法first,next和hasNext。具体迭代器继承抽象迭代器类&…

QT实现USB摄像头接入显示

一、UVC协议简介 UVC全称是USB Video Class(USB视频类),是一种标准化的USB视频设备通信协议,它定义了摄像头与主机之间的数据传输协议和格式。 UVC协议的出现,解决了摄像头厂商之间互不兼容,以及摄像头应…

k8s Ingress部署应用

Deployment(部署) Deployment处于master节点,master会选择合适的work节点创建Container Container会被包含在Pod中 通过k8s部署一个nginx kubectl create deployment my-nginx --imagenginx创建一个tomcat 镜像 创建一个tomcat-svc.yaml文件 创建service类型…

Spark——Spark读写Greenplum/Greenplum-Spark Connector高速写Greenplum

文章目录 问题背景解决方式代码实现Spark写GreenplumSpark读Greenplum 参考 问题背景 通过数据平台上的DataX把Hive表数据同步至Greenplum(因为DataX原生不支持Greenplum Writer,只能采用PostgreSQL驱动的方式),但是同步速度太慢…

力扣hot100 除自身以外数组的乘积 前后缀积

Problem: 238. 除自身以外数组的乘积 文章目录 思路前后缀积 思路 前后缀积 ⏰ 时间复杂度: O ( n ) O(n) O(n) 🌎 空间复杂度: O ( n ) O(n) O(n) class Solution {public int[] productExceptSelf(int[] nums){int n nums.length;int[] p new int[n];//除…