4.Hadoop三件套(1)

news/2024/5/20 4:29:32 标签: hdfs, hadoop, 大数据

如果说HDFS是存储,则Yarn就是cpu和内存,mapreduce就是程序。

1.HDFS文件块大小

HDFS中的文件在物理.上是分块存储(Block) ,block默认保存3份块的大小可以通过配置参数(dfs blocksize)来规定,默认大小在Hadoop2 .x版本中是128M,老版本中是64M

解释:块的大小:10ms*100*100M/s = 100M,约等于128M,如图

            

ps.为什么块的大小不能设置的太小,也不能设置的太大

(1) HDFS的块设置太小,会增加寻址时间,程序一直在找块的开始位置
(2)如果块设置的太大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时,会非常慢。
总结: HDFS块的大小设置主要取决于磁盘传输速率

2.HDFS的常用指令

定位到 /opt/module/hadoop-3.1.3文件夹下

1.上传操作

1)-moveFromLocal:从本地剪切粘贴到HDFS

vim shuguo.txt
输入:
shuguo
hadoop fs -moveFromLocal ./shuguo.txt /sanguo   

2)


http://www.niftyadmin.cn/n/232073.html

相关文章

redis 主从模式、哨兵模式、cluster模式的区别

参考: ​https://blog.csdn.net/qq_41071876/category_11284995.html https://blog.csdn.net/weixin_45821811/article/details/119421774 https://blog.csdn.net/weixin_43001336/article/details/122816402 Redis有三种模式,分别是:主…

UUID无处不在,你就是唯一(2023.4.16)

六种语言生成UUID 2023.4.16引言1、UUID简介2、UUID格式和编码3、UUID各历史版本4、UUID代码具体调用实现4.1 C# 生成UUID4.2 Java 生成UUID4.3 Python 生成UUID4.4 C 生成UUID4.5 C 生成UUID4.6 JavaScript 生成UUID(较为实用)4.6.1 控制台运行&#xf…

华为OD机试-货币单位换算-2022Q4 A卷-Py/Java/JS

记账本上记录了若干条多国货币金额,需要转换成人民币分 (fen),汇总后输出每行记录一条金额,金额带有货币单位,格式为数字单位,可能是单独元,或者单独分,或者元与分的组合要求将这些货币全部换算…

Excel VBA 之IF判断语句和比较运算符

VBA的分支结构中,最常用的就是IF…Then…Else结构,其语法为 (单行形式) If condition Then [statements] [Else elsestatements] 或(换行的话,需要在末尾添加END IF) If condition [statements]…

折叠屏:手机厂商的「续命良药」

【潮汐商业评论/文】 作为办公室的“时尚达人”,Wendy又为自己添置了一款新时尚单品——折叠手机。 “没有哪个女孩子能拒绝一款小巧又时尚的折叠手机吧,我心动了好久,终于狠狠心买了一部。”提起自己的折叠手机,Wendy的眼里满是…

小红书养号需要几天?新账号为什么要养号

很多品牌在运营小红书的时候,通常都会注意些方向的问题,却极少的留意小细节。但是小细节往往就是决定成败的关键,比如说养号。今天就来和大家一起聊一聊养号,小红书养号需要几天,小红书怎么进行养号,这篇文…

【Spring】SpringAOP打印被注解的方法的执行时间

下面是一个 Java 注解,可以用于打印被注解的方法的执行时间: import java.lang.annotation.ElementType; import java.lang.annotation.Retention; import java.lang.annotation.RetentionPolicy; import java.lang.annotation.Target;Retention(Retent…

第三十章 配置镜像 - 激活和更新镜像数据库

文章目录第三十章 配置镜像 - 激活和更新镜像数据库激活和更新镜像数据库编辑或删除镜像成员清除报告异步镜像成员上的 FailoverDB 标志第三十章 配置镜像 - 激活和更新镜像数据库 激活和更新镜像数据库 可以使用镜像监视器在备份故障转移成员和异步成员上激活和/或赶上镜像数…