hdfs——简单操作

news/2024/5/20 1:30:39 标签: hdfs, hadoop, big data

来记录一些hdfs命令

#将test.txt文件上传到hdfs的根路径下

hdfs dfs -put test.txt  /

#显示目录内容

hdfs dfs -ls /

#显示占用空间

hdfs dfs -du -h  /

#递归显示目录内容

hdfs dfs -ls -R /

#显示文件内容

hdfs dfs -cat /test.txt

hdfs dfs -text /test.txt

#下载到本地

hdfs dfs -get /test.txt

#创建文件夹

hdfs dfs -mkdir /test

#移动hdfs中的文件

hdfs dfs -mv /test.txt /test

#删除文件

hdfs dfs -rm /test.txt

#删除文件夹

hdfs dfs -rm -r /test

检查受损文件

hdfs fsck

查看回收站

hadoop fs -ls /user/root/.Trash

清空回收站

hadoop fs -expunge

修改副本数

修改配置文件只能保证新写入的块副本数变为2,原有块仍然是3副本,因此还需要执行命令。

hdfs dfs -setrep 2 -R -w /dw

其中/dw是指定的路径,-R参数则表示包含子目录。

 


http://www.niftyadmin.cn/n/860512.html

相关文章

Mysql数据库安装以及集群搭建

文档参考地址:https://www.cnblogs.com/ming-blogs/p/10962554.html CentOS7安装MySql教程 1.先检查系统是否装有mysql rpm -qa | grep mysql 2.下载mysql的repo源 wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm 如果报错: -bash: wge…

spark——简单操作

启动作业 spark-submit --master yarn --deploy-mode cluster --executor-memory 512m --class 主类包.类名 xxx.jar spark-submit --master yarn --deploy-mode cluster --executor-memory 512m --executor-cores 1 --num-executors 1 --conf spark.cores.max5 --class com.ad…

Java通过坐标点进行拟合函数

今天来记录一下通过数据拟合函数的代码&#xff0c;这里用到了commons-math3工具包进行拟合。 参考内容&#xff1a;https://blog.csdn.net/wufeiwua/article/details/109004452 首先导入依赖 <dependency><groupId>org.apache.commons</groupId><artif…

Hive——简单操作

进入控制台 hive 控制台显示当前使用的数据库 set hive.cli.print.current.dbtrue; 创建数据库 CREATE DATABASE [IF NOT EXISTS] test; 显示所有数据库 show databases; 切换数据库 use test; 显示所有的表 show tables; 显示表字段 desc 表名; Hive映射Hbase表&#xff0c;用…

解决Nginx代理TCP获取不到客户端真实IP的问题

今天记录一下&#xff0c;Nginx在代理TCP时&#xff0c;服务端只能获取到Nginx代理服务器IP&#xff0c;而获取不到真实客户端ip的问题。 如果大家之前有用过Nginx的话&#xff0c;应该知道Nginx在代理http服务时&#xff0c;可以通过配置X-Forwarded-For的方式进行处理。 但是…

使用Nginx做文件共享服务器

通过以下配置可以实现通过nginx进行代理把D:\share路径下的内容映射到&#xff1a;http://localhost:55555/share/ server { listen 55555; #使用的端口 server_name localhost; #使用的域名 locati…

AxureRP打包后的页面不能查看菜单栏

今天来记录一下AxureRP打包后的html文件不能打开index页面显示菜单栏的问题 1.找到\resources\chrome\axure-chrome-extension.crx文件 2.将文件后缀修改为.zip 3.解压文件得到下面的文件 4.打开谷歌浏览器“扩展程序”&#xff0c;点击开发者模式 5.点击“加载已解压的扩展…

Oracle学习笔记07——设置Oracle账号永不锁定

修改密码 ALTER USER 用户名 IDENTIFIED BY 密码; 解锁账号 alter user scmsystem account unlock; 设置永不过期 alter profile default limit FAILED_LOGIN_ATTEMPTS UNLIMITED;