HDFS中的file与block块之间的对应关系举例

news/2024/5/20 2:22:16 标签: HDFS, linux, block
block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);">

linux中的jdk-6u24-linux-i586.bin是81M

[root@hadoop local]# du -sh *
211M    hadoop
60M     hadoop-1.1.2.tar.gz
250M    jdk
81M     jdk-6u24-linux-i586.bin
8.0K    mydata
4.0K    word2.txt
4.0K    word.txt

将jdk-6u24-linux-i586.bin上传到HDFS

[root@hadoop local]# hadoop fs -put jdk-6u24-linux-i586.bin  /

通过hadoop fsck查看HDFS中jdk-6u24-linux-i586.bin文件对应的block块以及block块的分布情况

[root@hadoop local]# hadoop fsck /jdk-6u24-linux-i586.bin   -files -blocks -locations -racks
FSCK started by root from /192.168.80.100 for path /jdk-6u24-linux-i586.bin at Mon Oct 10 05:37:20 PDT 2016
/jdk-6u24-linux-i586.bin 84927175 bytes, 2 block(s):  OK
0. blk_-8238180044705517797_5753 len=67108864 repl=1 [/default-rack/192.168.80.100:50010]
1. blk_136889878628398312_5753 len=17818311 repl=1 [/default-rack/192.168.80.100:50010]

我们到DataNode存放数据的目录下查看一下:

[root@hadoop current]# ll
total 83592
-rw-r--r--. 1 root root 17818311 Oct 10 05:34 blk_136889878628398312
-rw-r--r--. 1 root root   139215 Oct 10 05:34 blk_136889878628398312_5753.meta
-rw-r--r--. 1 root root 67108864 Oct 10 05:34 blk_-8238180044705517797
-rw-r--r--. 1 root root   524295 Oct 10 05:34 blk_-8238180044705517797_5753.meta

或者

[root@hadoop current]# du -sh *
17M     blk_136889878628398312
136K    blk_136889878628398312_5753.meta
64M     blk_-8238180044705517797
516K    blk_-8238180044705517797_5753.meta

通过查看,我们发现文件的存储和我们的预想是相同的,说明HDFS中的文件归根到底是要存储到Linux文件系统中的。


http://www.niftyadmin.cn/n/1159385.html

相关文章

二分--LIGHTOJ 1088查找区间(水题)

二分--LIGHTOJ 1088查找区间(水题) #include <iostream> #include <cstdio> #include <cmath> using namespace std; const int maxN 100005; int a[maxN]; int t, tt; int n, q, x, y;int Bsearch_lower_bound(int x) {int l 0, r n - 1, mid 0;while (…

大数据系列修炼-Scala课程89

大数据系列修炼-Scala课程89 核心内容: 1、Scala中使用For表达式实现内幕思考 1、Scala中使用For表达式实现内幕思考1>for循环的方式更简洁、更具有表现力,在编程的时候尽量用for循环取代filter、map、foreach、 flatMap这些操作。 实例程序1: object App6 {def main(…

Material Design之Snackbar

对于FloatingActionButton可以参考这个文档 ! 添加依赖&#xff1a; implementation com.google.android.material:material:1.3.0xml&#xff1a; <com.google.android.material.floatingactionbutton.FloatingActionButtonandroid:id"id/test_fab"android:layo…

大数据系列修炼-Scala课程90

大数据系列修炼-Scala课程90 核心内容: 1、基于Scala的Actor之上的分布式并发消息驱动框架Akka初体验 1、基于Scala的Actor之上的分布式并发消息驱动框架Akka初体验1>Akka是一个用Scala编写的库,用于简化编写容错的、高可伸缩性的Java和Scala的Actor模型应用。它分为开发库…

Material Design之CoordinatorLayout

CoordinatorLayout是一个加强版的FrameLayout&#xff0c;可以监听其所有子控件的各种事件&#xff0c;然后自动做出最为合理的响应&#xff1b; 如 上一个博文 中提到的Snackbar挡住了悬浮按钮&#xff0c;让CoordinatorLayout监听到Snackbar的弹出事件&#xff0c;自动将…

大数据系列修炼-Scala课程91

大数据系列修炼-Scala课程91 核心内容: 1、Akka第一个案例动手实战架构设计 1、Akka第一个案例动手实战架构设计 1、基于Akka的分布式消息处理系统案例研究设计思路&#xff1a; 一共需要&#xff14;个actor。首先需要一个总调度的actor,也就是master actor。这将会把传入…

活动的启动模式 android:launchMode

有四种启动模式&#xff1a; standard、singleTop、singleTask、singleInstance 1&#xff09;standard 标准模式&#xff0c;系统默认模式&#xff1b; 每次启动一个Activity都会创建一个新的实例&#xff0c;不管这个实例是否存在。 a) 演示 在MainActivity 基础上…

大数据系列修炼-Scala课程92

大数据系列修炼-Scala课程92 核心内容: 1、Akka第一个案例动手实战开发环境的搭建 1、Akka第一个案例动手实战开发环境的搭建1> Java版本的第一个Akka程序:使用maven的方式进行创建;Scala版本的第一个Akka程序:使用SBT的方式进行创建 2>在IDEA集成开发环境中可以直接…