4.HDFS概述

news/2024/5/20 4:29:17 标签: hdfs, hadoop, 大数据

如果说HDFS是存储,则Yarn就是cpu和内存,mapreduce就是程序。

1.HDFS文件块大小

HDFS中的文件在物理.上是分块存储(Block) ,block默认保存3份块的大小可以通过配置参数(dfs blocksize)来规定,默认大小在Hadoop2 .x版本中是128M,老版本中是64M

解释:块的大小:10ms*100*100M/s = 100M,约等于128M,如图

            

ps.为什么块的大小不能设置的太小,也不能设置的太大

(1) HDFS的块设置太小,会增加寻址时间,程序一直在找块的开始位置
(2)如果块设置的太大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时,会非常慢。
总结: HDFS块的大小设置主要取决于磁盘传输速率

2.HDFS的常用指令

定位到 /opt/module/hadoop-3.1.3文件夹下

1.上传操作

1)-moveFromLocal:从本地剪切粘贴到HDFS

vim shuguo.txt
输入:
shuguo
hadoop fs -moveFromLocal ./shuguo.txt /sanguo   

2)


http://www.niftyadmin.cn/n/244930.html

相关文章

OpenHarmony的线程间通信EventHandler

一、初识EventHandler ​ 在OpenHarmony的开发过程中,如果遇到处理下载、运算等较为耗时的操作时,会阻塞当前线程,但是实际操作中又不希望当前线程受到阻塞。比如:我们的app在界面上有一个下载文件的处理按钮,如果在按…

算法训练day3:字符串

344&#xff1a;反转字符串 class Solution { public:void reverseString(vector<char>& s) {for(int i 0,j s.size()-1;i<s.size()/2;i,j--){swap(s[i],s[j]);}} }; 541&#xff1a;反转字符串II class Solution { public:string reverseStr(string s, int …

对表中数据进行删改,基础查询

目录 一.DML&#xff1a;对表中的数据进行增删改 二.DQL 一.DML&#xff1a;对表中的数据进行增删改 1.添加:insert 2.修改&#xff1a;update 3.删除&#xff1a;delete 二.DQL 1.基础查询&#xff1a; 2. 排序查询 3.聚合函数 概念&#xff1a;将一列数据作为一个整体&am…

Python进阶项目--只因博客(bootstrap+flask+mysql)

前言 1.全民制作人们大家好&#xff0c;我是练习时长两年半的个人练习生只因坤坤&#xff0c; 喜欢唱&#xff0c;跳&#xff0c;rap&#xff0c;篮球&#xff0c;music...... 在今后的节目中&#xff0c;我还准备了很多我自己作词、作曲、编舞的原创作品&#xff0c; 期待的话…

Keil5----显示空白符和设置使用空白格表示Tab键

一、Keil5界面----显示空白符 首先打开Keil5-MDK界面&#xff0c;然后按照下面步骤操作。 步骤1&#xff1a;点击 Edit(编辑)&#xff0c;然后点击 Configuration(配置) 步骤2&#xff1a;勾选 View White Spaces(查看空白) 步骤3&#xff1a;显示设置后的结果 具体显示结果分…

软件工程开发文档写作教程(01)—开发文档的意义与作用

版权声明 本文原创作者&#xff1a;谷哥的小弟作者博客地址&#xff1a;http://blog.csdn.net/lfdfhl本文参考资料&#xff1a;电子工业出版社《软件文档写作教程》 马平&#xff0c;黄冬梅编著 软件工程开发文档的意义 软件文档是整个软件开发工作的基础&#xff0c;现代工程…

day1-Django 视图

1.基础的视图 from django.http import HttpResponse import datetimedef current_datetime(request):now datetime.datetime.now()html "<html><body>It is now %s.</body></html>" % nowreturn HttpResponse(html) 首先&#xff0c;我们…

力扣刷题2023-04-20-2——题目:剑指 Offer II 042. 最近请求次数

题目&#xff1a; 写一个 RecentCounter 类来计算特定时间范围内最近的请求。 请实现 RecentCounter 类&#xff1a; RecentCounter() 初始化计数器&#xff0c;请求数为 0 。int ping(int t) 在时间 t 添加一个新请求&#xff0c;其中 t 表示以毫秒为单位的某个时间&#x…