Hadoop学习篇(二)——HDFS实践操作

news/2024/5/20 5:09:36 标签: 大数据, linux, hdfs

上篇博客中,我们学习了HDFS的理论基础,了解了HDFS的架构模式,并且是如何进行读写操作的。那么本篇就要开始HDFS的实战操作了。(实战操作将以伪分布式为例)

上篇链接:Hadoop学习篇(二)——HDFS

Hadoop学习篇(二)——HDFS实践操作

说明:如涉及到侵权,请及时联系我,并在第一时间删除文章。

2.2 HDFS命令行操作

HDFS的基本操作主要进行命令行操作,以伪分布式为例。

Shell命令格式有三种:

./bin/hadoop fs	    # 适用于任何不同的文件系统,比如本地文件系统和HDFS文件系统
./bin/hadoop dfs	# 只能适用于HDFS文件系统
./bin/hdfs dfs		# 与hadoop dfs的命令作用一样,也只能适用于HDFS文件系统

基本操作有如下:

2.2.1 创建目录

命令格式:

./bin/hdfs dfs -mkdir -p hdfs_dir_path

(-p表示递归生成)

2.2.2 查看目录信息

命令格式:

./bin/hdfs dfs -ls hdfs_dir_path

(这里会显示目录修改时间)

在这里插入图片描述

2.2.3 上传文件

命令格式:

./bin/hdfs dfs -put local_file_path hdfs_file_path

2.2.4 查看HDFS文件

命令格式:

./bin/hdfs dfs -cat hdfs_file_path

2.2.5 下载文件

命令格式:

./bin/hdfs dfs -get hdfs_file_path local_file_path

2.2.6 删除目录

命令格式:

./bin/hdfs dfs -rmr hdfs_dir_path

在这里插入图片描述
那么,HDFS的基本命令行操作也介绍完毕。

下一篇本作会为大家介绍HDFS编程操作案例。


http://www.niftyadmin.cn/n/939691.html

相关文章

[Yii Framework] yii中如何在查询的时候使用数据库函数

比如要使用mySQL中的md5函数, Test::model()->findAll(new CDbExpression("md5(name) 1"));

Hadoop学习篇(二)——HDFS编程操作1

在前两篇文章中,我们已经介绍了HDFS的理论基础以及命令行的基本操作。 但是,在实际中我们使用HDFS的平台时,是不可能全部进行命令行操作的。一定是要与编程结合起来进行的。所以,本篇将介绍HDFS相关的一些编程操作。 上篇链接&a…

Hadoop学习篇(二)——HDFS编程操作2

上篇链接: Hadoop学习篇(二)——HDFS编程操作1 Hadoop学习篇(二)——HDFS编程操作2 说明:如涉及到侵权,请及时联系我,并在第一时间删除文章。 2.3.2 编程操作 HDFS的编程操作,实际上就是用高级语言模拟HDFS的命令…

FMS的集群方法

转自:http://blog.sina.com.cn/s/blog_58b3d5d60100cnrs.html fms的集群方法有三种: 显式或隐式代理,和反向代理集群。 下面是显式或隐式代理: 边缘服务器是由配置文件的值定义的.有显式和隐式(也被称为匿名)代理方法,截取和收集用户连接到源服务器应用程…

转:Java学习路线图,专为新手定制的Java学习计划建议

转自:http://tieba.baidu.com/f?kz692446591 怎么学习Java,这是很多新手经常会问我的问题,现在我简单描述下一个Java初学者到就业要学到的一些东西: 首先要明白Java体系设计到得三个方面:J2SE,J2EE,J2ME&#xf…

数字图像处理MATLAB学习笔记(一)

数字图像处理MATLAB学习笔记(一) 灰度转换与空间滤波 本节主要使用Matlab语言进行灰度转换与空间滤波的使用 并对相关数学原理进行总结 1. Intensity Transformer Function(灰度转换函数) 这里Matlab语言中提供有多个灰度转换函数可使用。 灰度转换…

Ubuntu 更新后崩溃:Mount of root filesystem failed

问题: 版本是9.10,一次更新后,重启,进不了系统。黑屏提示:Mount of root filesystem failed. A maintenance shell will now started…. 解决办法: 1、在光驱插入Ubuntu安装盘,选择“试用…

数字图像处理MATLAB学习笔记(二)

数字图像处理MATLAB学习笔记(二) Filtering in the Frequency Domain频域处理 主要通过Matlab语言学习傅立叶变换下的频域处理和实践 1. The 2-D Discrete Fourier Transform(2-D DFT)二维离散傅里叶变换 1.1 DFT和IDFT 其中满足的条件:…