hadoop hdfs读写

news/2024/5/20 3:39:46 标签: hadoop, hdfs

hadoop hdfs读写

 

hdfs读取文件

1.FSDataInputStream,open创建输入流,建立与nameNode的连接

2.调用getBlockLoction获得hdfs文件的数据块位置

3.FSDataInputStream, read根据数据块位置,建立与datanode的连接,读取数据块

4.在读取到数据块末端的时候,关闭与datanode的连接

5.重复2,3,4,直到文件读取完成,调用close关闭nameNode的连接

 

 

hdfs写入文件

1.FSDataOutputStream,create创建输出流,创建于nameNode的连接,创建空文件

2.addBlock申请数据块,返回LocatedBlock对象(包括LocatedBlock.locs提供数据流管道),对dataNode建立连接

3.write方法,就数据写入,数据被分成文件包存在dfsoutputstream队列中,数据包,发送到管道

4.dataNode之间传送数据包,实例化到本地,心跳nameNode blockReport上报数据块信息,兵反向发送确认包

5.client端收到确认包,从队列中删除文件包

6.当数据写完,close关闭与datanode的连接,文件包都收到了确认包,就complete关闭namenode连接

 

 

 

 


http://www.niftyadmin.cn/n/1694572.html

相关文章

spring 事务注解@Transactional

spring 事务注解 默认遇到throw newRuntimeException("...");会回滚 需要捕获的throw newException("...");不会回滚 // 指定回滚 Transactional(rollbackForException.class) public void methodName() { // 不会回滚 throw new Excepti…

如何降低数据中心机柜的局部高热

数据中心内设备众多,内部虽然有完善的空调系统,但实际上内部温度分布是不够均衡的。即便现在的数据中心部署了出入通风道,机柜前面是入风道,后面是出风道,这样可以及时将热量带走。不过,由于不同的设备发热…

java学习笔记(中级篇)—java实现高质量图片压缩

使用java几十行代码实现一个高质量图片压缩程序,再也不用去自己找网络的压缩程序啦!而且很多网上的工具还有水印或者其他的限制,自己动手写一个简单的应用,是再合适不过了。 一、实现原理 1、声明两个字符串变量,分别是…

编码 URLEncoder 和 解码 URLDecoder

2019独角兽企业重金招聘Python工程师标准>>> 1、使用URLEncoder进行编码 String encode URLEncoder.encode(keyWord, "UTF-8"); 2、使用 URLDecoder进行解码 String decode URLDecoder.decode(encode, "UTF-8"); 示例代码: public static voi…

对数组对象处理及其他小问题

1.在函数传参很多的情况下,可以使用Object.assign()合并成一个对象,只传一个值。在接收后进行解构。如下例子 creates() {const { ctx } this;const body ctx.request.body; // post请求const action { action: developer.contact.create };const par…

debian8安装percona-toolkit检测mysql的索引和慢查询分析

今天打算安装体验:percona-toolkit_3.0.4-1.jessie_amd64.deb 来检测mysql的索引和慢查询分析但是遇到了缺少:libmysqlclient18和libdbd-mysql-perl的问题解决方案: https://packages.debian.org/jessie/amd64/libdbd-mysql-perl/download h…

Maven搭建hadoop环境报Missing artifact jdk.tools:jdk.tools:jar:1.6

转http://blog.csdn.net/honglei915/article/details/38087959 Maven引入Hadoop依赖报错&#xff1a;Missing artifact jdk.tools:jdk.tools:jar:1.6 [html] view plaincopy<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>…

Jquery动态bind绑定已有函数,函数自动执行的问题解决方法

在bind后面的方法,不能带括号,带括号函数就自动执行了... <script> //通过子元素删除某行 function deleteRow() {var flag confirm(确认要删除吗&#xff1f;);if(flag true) {console.log($(this).parents("tr").remove())bootbox.alert("删除成功&am…