hadoop组件HDFS

news/2024/5/20 4:51:45 标签: hadoop, hdfs, 大数据

HDFS里面的几个组件,分别有哪些功能和作用?

  1. Namenode:主角色,负责和客户端进行沟通.
  2. Datanode:从角色,负责存储数据
  3. Secondary namenode:秘书,服务器数据的收集,将信息传递给namenode
  4. 注:Namenode宕机时集群会通过选举机制(standby)重新选取新Namenode,Secondary namenode自始至终都无法替代Namenode

HDFS是Hadoop生态下的分布式文件系统,基于Linux本地文件系统上的文件系统。HDFS的工作流程如下:

HDFS客户端向NameNode发送请求,获取文件或目录的元数据信息。
NameNode返回元数据信息给客户端。
客户端根据元数据信息在本地文件中查找数据块。
数据块被分成多个数据块块,每个数据块块都被复制到不同的机器上。
当客户端需要读取数据时,NameNode会返回数据块块的地址给客户端。

HDFS数据写入

 (1)客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。

(2)NameNode返回是否可以上传。

(3)客户端请求第一个 Block上传到哪几个DataNode服务器上。

(4)NameNode返回DataNode节点。

(5)客户端通过FSDataOutputStream模块请求第一个节点上传数据,第一个节点收到请求会继续调用第二个节点,然后第二个节点调用点三个节点,将这个通信管道建立完成。

(6)dn1、dn2、dn3逐级应答客户端。

(7)客户端开始往dn1上传第一个Block(先从磁盘读取数据放到一个本地内存缓存),以Packet为单位,dn1收到一个Packet就会传给dn2,dn2传给dn3;dn1每传一个packet会放入一个应答队列等待应答

(8)当一个Block传输完成之后,客户端再次请求NameNode上传第二个Block的服务器。(重复执行3-7步)。

HDFS数据读取

(1)客户端通过DistributedFileSystem(分布式文件系统)向NameNode请求下载文件,NameNode通过查询元数据,找到文件块所在的DataNode地址。

(2)挑选一台DataNode(就近原则,然后随机)服务器,请求读取数据。

(3)DataNode开始传输数据给客户端(从磁盘里面读取数据输入流,以Packet为单位来做校验)。

(4)客户端以Packet为单位接收,先在本地缓存,然后写入目标文件。


http://www.niftyadmin.cn/n/5050764.html

相关文章

笔试强训Day3

学了一坤时Linux,赶紧来俩道题目放松放松。 T1:在字符串中找出连续最长的数字串 链接:在字符串中找出连续最长的数字串__牛客网 输入一个字符串,返回其最长的数字子串,以及其长度。若有多个最长的数字子串&#xff0c…

实现人工智能的去中心化,权力下放是最佳途径!

Web3和人工智能(AI)的交集,已成为加密社区中最热门的争论话题之一。毕竟,生成式AI正在彻底改变传统软件堆栈的所有领域,Web3也不例外。鉴于去中心化是Web3的核心价值主张,许多新兴的Web3生成AI项目和场景都…

Python:pyts库中的GramianAngularField

您想要使用pyts库中的GramianAngularField类,这是一个用于时间序列数据图像转换的工具。要使用这个类,首先确保您已经安装了pyts库。如果尚未安装,您可以使用以下命令来安装它: pip install pyts一旦安装完成,您可以通…

spring一个项目多个模块聚合打包问题解决方案

文章目录 1.问题描述:2.解决方案一、创建聚合父工程二、创建子模块(module)三、编写子模块代码1.模块1(demo-one)2.模块2(demo-tow) 四、创建聚合模块 (demo-starter)1. …

【Vue.js】使用Element中的Mock.js搭建首页导航左侧菜单---【超高级教学】

一,Mock.js 1.1 认识Mock.js Mock.js是一个用于前端开发中生成随机数据、模拟接口响应的 JavaScript 库。模拟数据的生成器,用来帮助前端调试开发、进行前后端的原型分离以及用来提高自动化测试效率 总结来说,Element中的Mock.js是一个用于…

【postgresql】ERROR: cannot alter type of a column used by a view or rule

修改字段类型 由varchar 改为int8。 具体sql alter table company alter column city_id type int8 using city_id::int8; 返回错误信息 > ERROR: cannot alter type of a column used by a view or rule DETAIL: rule _RETURN on view search_qy depends on column …

微信小程序写一个将图片对象转成base64字符串的函数

这个我只能比较遗憾的说 小程序中大部分操作文件的API都是异步的 所以这个函数 我们还是要异步返回 其实大家肯定也都喜欢同步的 imageToBase64(image) {return new Promise((resolve, reject) > {const filePath image.path;// 获取图片文件大小wx.getFileInfo({filePath…

ORACLE 自增分区

-- 1. 创建一个序列,用于生成唯一的分区键值 CREATE SEQUENCE SALS_SEQ START WITH 1 INCREMENT BY 1 NOCACHE--禁用缓存 NOCYCLE--禁用达到最大值循环回到最小值 -- 2.创建一个分区表 CREATE TABLE SALS_DATA ( SAL_ID NUMBER, SAL_DATE DATE, SAL_AMOUNT NUMBER ) PARTITI…