【HDFS】DFSPacket中lastPacketInBlock字段的关键作用

news/2024/5/20 1:56:23 标签: hdfs, hadoop, 大数据

这篇文章介绍了DFSPacket对象的lastPacketInBlock字段相关的知识。
【HDFS Client】DFSPacket对象什么情况下是lastPacketInBlock?

本文继续深挖lastPacketInBlock这个字段在HDFS Client写数据时的重要作用。

可以这么说,如果这个lastPacketInBlock出问题的话,是会影响增量块汇报(IBR)的,继而导致Block Missing丢块的问题。

我们先给出结论,lastPacketInBlock的两个重要作用:
1、在客户端侧控制endBlock,结束一个block,进而向namenode新申请新的块。
2、在datanode侧,控制block的finalize。

一、DataNode侧的作用

因为last packet in block只是一个标记packet,并没有真实的数据。
所以,在datanode侧,如果发现当前receive的packet是lastPacketInBlock的话,就会看是否有sync标记,
如果需要sync block,则flushOrSync(true, seqno),把块给同步到磁盘上。

if (lastPacketInBlock || len 

http://www.niftyadmin.cn/n/5262653.html

相关文章

【三维重建】对极几何

极几何描述了同一场景或者物体的两个视点图像间的几何关系 可以发现P在左右相机的投影点一定在各自的极线上,如果求出极线就能缩小求解对应点的范围。 本质矩阵对规范化摄像机拍摄的两个视点图像间的极几何关系进行代数描述 规范化相机指的是相机的内参…

【C语言数据结构】拓扑排序(代码演示)

一.简介: 拓扑排序是什么? 拓扑排序是对有向图进行排序的一种算法,它可以得到一个顶点的线性序列,使得对于图中的任意一条有向边 (u, v),顶点 u 在序列中都出现在顶点 v 的前面。换句话说,如果存在一条有向…

OWASP ESAPI 预防XSS跨站脚本攻击

跨站脚本攻击XSS案例&#xff1a;跨站脚本攻击XSS案例及其解决方案_xss攻击案例-CSDN博客 Java集成&#xff1a; 1、引入maven <!--OWASP ESAPI&#xff0c;防御 XSS跨站攻击--><dependency><groupId>org.owasp.esapi</groupId><artifactId>esa…

Unity与Android交互通信系列(1)

运行于Android平台的原生App直接调用Android接口&#xff0c;可以享受近水楼台先得月的优势&#xff0c;而使用Unity开发的Android应用App则像是二等公民&#xff0c;使用Android原生功能特性就要麻烦得多&#xff0c;比如WiFi、蓝牙等&#xff0c;特别是一些高级功能特性&…

3分钟打造私人微信ChatGPT助手:新手友好指南!

接上文&#xff1a; https://mp.weixin.qq.com/s/RCqX0rx7TEu1gIwHEBBWKQ 本文适用于小白用户&#xff0c;技术大佬勿入&#xff01; 前言 这里教大家如何快速的拥有一个属于自己的微信GPT助手 我个人其实不是这么部署的&#xff0c;但是为了方便小白用户&#xff0c;探索了一个…

【开源软件】最好的开源软件-2023-第17名 Gravite

自我介绍 做一个简单介绍&#xff0c;酒架年近48 &#xff0c;有20多年IT工作经历&#xff0c;目前在一家500强做企业架构&#xff0e;因为工作需要&#xff0c;另外也因为兴趣涉猎比较广&#xff0c;为了自己学习建立了三个博客&#xff0c;分别是【全球IT瞭望】&#xff0c;【…

关于阿里云的云数据库RDS(新手必看)

由背后中剑……是剑士的耻辱!!——索隆 数据库主要存的叫做结构化数据&#xff0c;也被称为定量数据&#xff0c;是能够用数据或统一的结构加以表示的信息&#xff0c;如数字、符号。 通俗理解就是Excel表格里的内容&#xff0c;保存和管理这些数据的一般为关系数据库。 RDS跟…

Linux——Web网站服务(二)

一、httpd服务的访问控制 1、客户机地址限制 通过Require配置项&#xff0c;可以根据主机的主机名或P地址来决定是否允许客户端访问。在 httpd服务器的主配置文件的<Location>&#xff0c;<Directory>、<Files>、<Limit>配置段中均可以使用Require配置…