【HDFS】调试慢节点pipiline ack信息

news/2024/5/20 5:30:30 标签: hadoop, hdfs

Client - DN1 - DN2 - DN3

DN3 send ack:[0][d3]。
DN2 send ack: [从dn2入队到收到dn3的ack耗时,0] [d2,d3]。
DN1 send ack: [pkt从dn1入队到收到dn2的ack耗时,pkt从dn2入队到收到dn3的ack耗时,0] [d1,d2,d3]。

Client receive: 就是DN1发送过来数据。

客户端收到的第一个节点汇报过来的downstream acktime = 花在第二个+花在第三个dn上的时间。

下面图里:
Client收到的downstreamAckTimeNanos值为 52352708300 纳秒,即52.352708秒。为什么这么久?因为我们在debug呀。暂停下来看变量的值就是很慢。

可以看到单机调试时, downstreamAckTimeNanos的值等于 downstreamTimeNanos[0] + downstreamTimeNanos[1] 的值。

因为datanode在接受packet的时候是 while (re


http://www.niftyadmin.cn/n/5241890.html

相关文章

案例052:用于日语词汇学习的微信小程序

文末获取源码 开发语言:Java 框架:SSM JDK版本:JDK1.8 数据库:mysql 5.7 开发软件:eclipse/myeclipse/idea Maven包:Maven3.5.4 小程序框架:uniapp 小程序开发软件:HBuilder X 小程序…

【漏洞复现】狮子鱼任意文件上传漏洞

漏洞描述 狮子鱼CMS(Content Management System)是一种网站管理系统,旨在帮助用户更轻松地创建和管理网站。它具有用户友好的界面和丰富的功能,包括页面管理、博客、新闻、产品展示等。 狮子鱼CMS使用简单直观的管理界面,使得网站所有者可以方便地进行内容的发布、管理和…

超完整的mysql安装配置方法(包含idea和navicat连接mysql,并实现建表)

mysql安装配置方法 1、下载mysql2、解压到指定的安装目录3、配置初始化文件my.ini4、配置用户变量和系统变量5、初始化mysql6、安装mysql服务并启动修改密码7、使用idea连接mysql8、使用Navicat可视化工具连接mysql,并实现新建数据库,新建表 1、下载mysq…

【虚拟机】Docker基础 【一】

1.1.部署MySQL 首先,我们利用Docker来安装一个MySQL软件,大家可以对比一下之前传统的安装方式,看看哪个效率更高一些。 如果是利用传统方式部署MySQL,大概的步骤有: 搜索并下载MySQL安装包上传至Linux环境编译和配置…

09.复刻ChatGPT,自我进化,AI多智能体

文章目录 复刻ChatGPT原因准备开整ALpacaVicuna GPT-4 EvaluationDolly 2.0其他合集Self-improve 自我进化表现形式法1:自我催眠法2:Agent交互法3:ReasonAct AI多智能体AI规划角色的一天加入亿点点细节(外界刺激)Refle…

DHCP Host Name

文章目录 前言DHCP OptionOption (12) Host Namednsmasq 前言 打开路由器页面,看到下面连接的设备,有的显示设备名称 Tmall-Genie、ESP-C37CE8,而有的直接显示 MAC 地址 D2:B0:XX:XX:XX:XX。 这个名称是哪里来的呢? 这就是我们今…

深度学习实战64-黑白照片着色的模型应用,快速部署实现黑白图片快速上色的功能

大家好,我是微学AI,今天给大家介绍一下深度学习实战64-黑白照片着色的模型应用,快速部署实现黑白图片快速上色的功能。图片上色是一个具有多模态不确定性和高度不适定性的挑战性问题。直接训练深度神经网络通常会导致错误的语义颜色和低色彩丰富度。虽然基于Transformer的方…

Vue2学习笔记(数据监测)

Vue监视数据的原理: 1. vue可以监视data中所有层次的数据。 2. 如何监测对象中的数据? 通过setter实现监视,且要在new Vue时就传入要监测的数据。 (1).对象中后追加的属性,Vue默认不做响应式处理 (2).如需给后添加的属性做响应式&…