分布式文件系统HDFS(林子雨慕课课程)

news/2024/5/20 4:09:18 标签: hdfs, hadoop, 大数据

文章目录

    • 3. 分布式文件系统HDFS
      • 3.1 分布式文件系统HDFS简介
      • 3.2 HDFS相关概念
      • 3.3 HDFS的体系结构
      • 3.4 HDFS的存储原理
      • 3.5 HDFS数据读写
        • 3.5.1 HDFS的读数据过程
        • 3.5.2 HDFS的写数据过程
      • 3.6 HDFS编程实战

3. 分布式文件系统HDFS

3.1 分布式文件系统HDFS简介

  • HDFS就是解决海量数据的分布式存储问题
    ​ image-20231007184204043

  • 为什么会出现分布式文件系统？

    image-20231007184422101

  • 计算机集群基本架构

    • 每个机架由若干个节点构成

    image-20231007185008914

  • 机架的内部之间是通过光纤交换机进行连接，机架与机架通过带宽更高的光纤交换机进行连接

    image-20231007185237064

  • 分布式文件系统的存储结构

    • 主节点存储相关的元数据服务：目录存储服务，从节点需要完成相关的数据存储任务

      image-20231007185455319

  • HDFS是非常流行的一个分布式存储系统

    image-20231007185555670

  • HDFS实现的目标

    • 兼容廉价的硬件设备
    • 实现流数据读写
    • 支持大数据集
    • 支持简单的文件模型
    • 强大的跨平台兼容性：基于JAVA语言开发，JAVA语言有着良好的跨平台特性

  • HDFS局限性

    • 不适合低延迟数据访问：不能满足实时的处理需求
    • 无法高效存储大量小文件：因为HDFS是通过元数据指引到客户端的哪个节点找文件，这些namenode会被保存到内存中去，到内存中检索索引数据结构，如果小文件太多，这个索引结构会过于庞大，在索引结构中搜索的效率会越来越低
    • 不支持多用户写入以及任意修改文件

3.2 HDFS相关概念

  • 块的概念

    • 块的大小比普通文件系统大很多，普通文件系统可能几字节，它可以达到64M或者128M

    image-20231007190438988

    • HDFS采用这种抽象的块的概念设计好处？为什么要这样设计块？
      • 为了支持面向大规模的数据存储：对大文件进行切割，可以分别存储在不同的数据节点，可以突破单机存储的上线
      • 简化系统设计：通过块设计方便元数据管理，块大小固定，可以很容易知道一个文件需要几个块进行存储
      • 适合数据备份：一个块可以冗余的存储到多个不同的节点上
      • 同时降低分布式节点的寻址开销：访问HDFS数据需要经过三级寻址：元数据目录–>数据节点–>取数据
    • 块是否是设置的越大越好？
      • 不是，如果块过大会导致MapReduce就一两个任务时，在执行完全牺牲了MapReduce的并行度，发挥不了分布式并行处理的效果

  • HDFS的两大组件

    • 名称节点（NameNode）:整个HDFS集群的管家，假如客户端访问一个特别大的文件，通过NameNode可以知道这个大文件的每一个块被放置在哪个机器节点之上

    • 数据节点（DateNode）:负责存储实际数据，将数据保存到本地的Linux文件系统中去

      image-20231007191635266

  • 元数据的作用？

    image-20231007191714382

  • 名称节点包含的两大结构：FsImage和EditLog

    image-20231007191912022

    • FsImage包含内容

      注意FsImage不保存块具体在数据节点的位置，这个在单独的内存区域维护的

      数据节点中加入新数据–>向名称节点汇报数据节点中包含哪些块–>名称节点构建清单：包含各个块的位置分布

      image-20231007192051935

  • HDFS要如何利用NameNode的数据结构

    • shell命令启动NameNode–>将FsImage从后台加载到内存中去，和EditLog中的内容进行合并（对数据结构的修改记录存储在EditLog中）–>得到最新元数据–>将新版FsImage保留，创建空的EditLog
    • EditLog永远保存的是更新操作（增量操作），然后再将EditLog合并到FsImage中去

image-20231007193050764

  • 但是若是不断的修改操作，会使得EditLog不断增加，影响整体使用的性能？怎么办？

  • 引入第二名称节点（SecondNameNode）:

    • 作为名称节点的冷备份
    • 对EditLog的处理

    image-20231007193341520

    • 在第一名称节点的EditLog较大时，第二名称节点会告诉第一名称节点停止使用EditLog文件，并将EditLog写入自己机器

    image-20231007193415994

    • 1.此时NameNode会马上停止，此时生成edits.new,将新到达的更新写到edits.new中，将原来旧的editlog内容由secondNameNode取走

      image-20231007194717745

    • 2.SecondNameNode会通过http的get方式，将NameNode的FsImage和EditLog都下载到本地，然后在SecondNameNode做合并操作，得到新的FsImage,然后发送给NameNode

      image-20231007194939029

    • 3.NameNode再将Edits.new更改为EditLog:即实现了不断增加的Editlog和FsImage合并，又实现了冷备份效果

      image-20231007195126055

  • 数据节点：存储数据，数据节点拿到存储数据的文件目录，又将数据保留到各自的linux文件系统中去

    image-20231007195324803

3.3 HDFS的体系结构

  • 主节点：管家作用；从节点：数据存储作用

    image-20231007195605954

  • HDFS的命名空间

    • HDFS的目录访问和普通目录相同，都是通过/进行访问

      image-20231007195715117

    • 所有的HDFS基于TCP/IP的通信协议，不同组件之间的通信协议有差异：例如客户端向名称节点发起TCP连接，使用客户端协议和名称节点进行交互；客户端和数据节点进行交互是通过远程调用：RPC来进行实现的

      image-20231007200100150

  • HDFS体系结构的局限性：

    image-20231007200154491

    注意secondNamenode并不能保证集群的可用性：

    因为secondNameNode是冷备份，就是在故障发生时，必须停止一段时间，慢慢恢复，这个恢复的过程会导致整个集群的不可用

image-20231007200402623

  • 如何解决？HDFS2.0

    ​ image-20231007200501421

3.4 HDFS的存储原理

  • 冗余数据保存问题

    • HDFS建立在廉价机器上，其缺点是会不停出故障，因此以块为单位，会将数据进行冗余保存，一般情况下一份数据会被保存为3份

      image-20231007200755388

    • 有何好处？

      • 加快数据传输速度：因为假设3个客户端ABC，需要访问同一个数据块，在冗余数据存储可以使三个客户端并行进行访问

        image-20231007200937628

      • 很容易检查数据错误：可以通过三个副本之间对照来检查数据是否有误

      • 保证数据可靠性：即使有机器down了，仍然能保有其他机器是可用的

  • 数据保存策略问题

    image-20231007201203030

    • 假设此时有一个块存入

      • 首先创建三个副本，假设块是由数据节点1发起的，这个副本称为第一副本，其则直接将其放在数据节点1上，不需要通过网络复制到其他节点上

      • 若是集群外部的某个节点发起了写数据请求，HDFS会随机挑选一个磁盘不太满，cpu不太忙的节点作为第一副本。

      • 第二副本会放置在和第一个副本不同的机架上

      • 第三副本放置在第一个副本相同机架的其他节点上

      • 若还有其他副本，则通过随机算法，放置在任意节点上

        image-20231007201828997

    • 数据读取问题：

      image-20231007202044890

  • 数据恢复的问题

    • 名称节点出错？

      • HDFS1.0:会将整个HDFS暂停一段时间，即从secondNameNode中进行冷备份恢复一段时间，再进行对外服务

      • HDFS2.0：不需要暂停，直接热备份

        image-20231007202350004

    • 数据节点出错？

      • 数据节点会隔一段时间向名称节点发送心跳信息，说明其还活着，若是名称节点收不到该数据节点的心跳信息，说明该数据节点发生故障

      • 名称节点会在该数据节点列表上将其标记为宕机，即不可用，把存储在这个节点上的数据重新分发到其他的机器上去

      • 当负载不均衡的时候，某个节点的负载过重，也会将这个节点的数据迁移到其他节点

        image-20231007202840257

    • 数据本身出错？

      • 客户端读取数据会对它进行校验码校验，如果发现校验码不正确，说明数据出错

      • 这个校验码是在客户端写入数据时，为数据块生成校验码，保存在同一个文件目录中去，下次读数据块时，会对读到的数据进行校验码计算，

        将计算的校验码和原来得到的校验码进行对比，不一致说明发生错误

        image-20231007203203892

3.5 HDFS数据读写

3.5.1 HDFS的读数据过程

  • HDFS的FileSystem的基类，会有很有子类继承它而实现不同的功能

  • FileSystem基本方法：open read close 。open创建输入流封装了DFSInputStream, 是专门针对 HDFS的实现；create方法创建了FSoutputstream,同样封装了DFSoutputstream

    image-20231007204448453

  • FileSystem.get(conf):获得工程目录下的两个配置文件 hdfs-site.xml 和core-site.xml

    image-20231007204701148

  • HDFS读数据的整个流程

    • 1.打开文件：用FileSystem声明文件对象，生成DistributedFileSystem的实例对象；创建输入流：FSDataInputStream,获取数据块信息，与名称节点通过远程过程调用进行沟通

      image-20231007205057155

    • 2.获取数据块信息：获取读取的数据块被保存在的数据节点位置信息，名称节点会把包含这个文件开始部分（文件可能包含很多块）的数据块位置信息返回

      image-20231007205234434

    • 3.客户端获得输入流，可以调用read函数读取数据，会根据数据节点距离客户端的远近进行排序，客户端拿到排序后的数据节点位置列表，选择距离客户端最近的数据节点建立连接，读数据

      image-20231007205643646

      1. 将数据从数据节点读取到客户端

      image-20231007205809929

    • 5.因为文件可能分为多个块，需要读取这个文件其他块的信息，通过ClientProtocal.getBlockLocations()查找下一数据块的位置

      image-20231007205935512

    • 6.然后又读取该块节点的数据，又关闭输入流；一直循环直到完成这个文件所有块的读取

      image-20231007210021115

    • 7.最后关闭文件

      image-20231007210205703

3.5.2 HDFS的写数据过程

  • 1.创建文件请求，实例化Distributed FileSystem；创建FSDataOutputStream,其内部封装DFSOutputStream,与名称节点打交道

    image-20231007210435519

    1. 输出流通过远程过程调用rpc,让名称节点在文件系统命名空间中新建一个文件，名称节点会检查文件是否存在，以及客户端是否有权限创建这个文件，若是通过，则该名称节点会创建这个文件

      image-20231007211004578

  • 3.写入数据

    将整个数据分包：并将其放入DFSOutputStream的内部队列中去，DFSOutputStream向名称节点申请保存这个数据包的数据节点

image-20231007211518227

    1. 写入数据包

      流水线复制：将数据包复制到第一个节点，再由第一个节点复制到第二个节点，形成流水线复制

      image-20231007211633020

  • 5.接受确认包

    • 确认包由最后一个数据节点传到前一个数据节点，一直往前传，客户端收到确认信息，说明全都写完

    image-20231007211957114

  • 6.最后关闭文件

    image-20231007211943223

3.6 HDFS编程实战

见：HDFS编程实践（Hadoop3.3.5）_厦大数据库实验室博客 (xmu.edu.cn)


http://www.niftyadmin.cn/n/5074098.html

相关文章

python学习——各种基础知识

python学习——各种基础知识

python学习——各种基础知识 python学习——各种基础知识1. Linux命令行使用python2. 变量类型2.1 num类型2.2 布尔类型2.3 str类型2.4 list类型2.5 array类型2.6 字典类型2.7 tuple类型 3. 重点常用结构语句3.1 if判断语句3.2 format()函数的使用3.3 for循环，while…
阅读更多...
Vue14 深度监视

Vue14 深度监视

深度监视 深度监视： (1).Vue中的watch默认不监测对象内部值的改变（一层）。 (2).配置deep:true可以监测对象内部值改变（多层）。备注： (1).Vue自身可以监测对象内部值的改变，但Vue提供的watch默认…
阅读更多...
分享几个通用个人简历模板|行业通用

分享几个通用个人简历模板|行业通用

Home(https://cvjury.com/) 专业设计的简历模板。 在竞争激烈的就业市场中脱颖而出的有效策略。 侧重于向招聘人员传达独特的价值主张。 帮助创建引人注目的简历、求职信和LinkedIn资料。 面向毕业生和学生的个性化简历解决方案。 添加图片注释，不超过 140 字&…
阅读更多...
js----箭头函数的this指向详解

js----箭头函数的this指向详解

JS 箭头函数的this指向详解 这篇文章主要给大家介绍了关JS 箭头函数的this指向，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧 箭头函数是ES6中的新增特性&#x…
阅读更多...
Ubuntu 22.04 安装系统 手动分区 针对只有一块硬盘 lvm 单独分出/home

Ubuntu 22.04 安装系统 手动分区 针对只有一块硬盘 lvm 单独分出/home

自动安装的信息 参考自动安装时产生的分区信息 rootyeqiang-MS-7B23:~# fdisk /dev/sdb -l Disk /dev/sdb：894.25 GiB，960197124096 字节，1875385008 个扇区 Disk model: INTEL SSDSC2KB96 单元：扇区 / 1 * 512 512 字节 扇区大…
阅读更多...
MySQL — 事务的传播级别有什么作用？有哪些事务的传播级别？

MySQL — 事务的传播级别有什么作用？有哪些事务的传播级别？

置顶 学习专栏：【Java后端面试题】 1.Java面试题—基础知识、面向对象、【容器】、IO & 【设计模式】、泛型 & 异常 & 反射 & 注解、快速排序2.Java面试题—并发基础、【同步 & 互斥】、JUC & 并发容器、【线程池】、异步编程、【Lambda表达…
阅读更多...
ARM-day5作业

ARM-day5作业

.text .global _start _start: 1、设置GPIOE、GPIOF寄存器的时钟使能 RCC_MP_AHB4ENSETR[4]->1 0x50000a28 LDR R0,0x50000a28 LDR R1,[R0] ORR R1,R1,#(0x3<<4) STR R1,[R0]2、设置PE10、PF10、PE8管脚为输出模式 GPIOE_MODER[21:20]->01 0x50006000…
阅读更多...
ctrl+d和ctrl+c的区别

ctrl+d和ctrl+c的区别

CtrlD和CtrlC都是常用的键盘快捷键&#xff0c;但它们的功能不同。 CtrlD 在不同的操作系统和应用程序中可以有不同的功能。在Unix/Linux系统的命令行终端中&#xff0c;CtrlD的作用是发送EOF&#xff08;End of File&#xff09;信号&#xff0c;表示输入结束。在Windows系统中…
阅读更多...
最新文章

Copyright @ 2022~2023