hadoop在本地创建文件,然后将文件拷贝/上传到HDFS

news/2024/5/20 4:29:30 标签: hadoop, hdfs, 大数据

1.要$cd {对应目录}进入到对应目录,一般为

cd /usr/local/hadoop/

2.创建文件,$sudo gedit {文件名},例

sudo gedit test.txt

然后在弹出的txt文件输入内容,点击右上角的保存之后,关闭即可。

3.拷贝本地文件到HDFS,$./bin/hdfs dfs -copyFromLocal {本地文件或者文件夹名} {HDFS上的文件或者文件夹名或者./}

./bin/hdfs dfs -copyFromLocal test.txt ./

成功之后显示如下:

上传本地文件到HDFS,$./bin/hdfs dfs -moveFromLocal {本地文件或者文件夹名} {HDFS上的文件或者文件夹名或者./} 

./bin/hdfs dfs -moveFromLocal 1.txt ./

回车之后没有显示什么东西,你可以通过$ls来查看前后本地文件的变化。 

4.查看HDFS,使用http://localhost:{端口号}或者$./bin/hadoop fs -ls /查看

./bin/hadoop fs -ls /

 


http://www.niftyadmin.cn/n/5205366.html

相关文章

windows搭建gitlab教程

1.安装gitlab 说明:由于公司都是windows服务器,这里安装以windows为例,先安装一个虚拟机,然后安装一个docker(前提条件) 1.1搜索镜像 docker search gitlab #搜索所有的docker search gitlab-ce-zh #搜索…

【开源】基于Vue.js的康复中心管理系统

项目编号: S 056 ,文末获取源码。 \color{red}{项目编号:S056,文末获取源码。} 项目编号:S056,文末获取源码。 目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 普通用户模块2.2 护工模块2.3 管理员…

掌握 AI 和 NLP:深入研究 Python — 情感分析、NER 等

一、说明 我们见证了 BERT 等预训练模型在情感分析方面的强大功能,使我们能够破译隐藏在文本数据中的情感。通过 SpaCy,我们探索了命名实体识别的迷人世界,揭开了隐藏在非结构化文本中的秘密。 二、问题陈述 命名实体识别(NER)是自然语言处理中的一项关键…

你的关联申请已发起,请等待企业微信的管理员确认你的申请

微信支付对接时,需要申请AppID,具体在下面的位置: 关联AppID,发起申请时,会提示这么一句话: 此时需要登录企业微信网页版,使用注册人的企业微信扫码登录进去,然后按照下面的步骤操作即可。 点击…

【算法】奇偶游戏(带权并查集)

题目 小 A 和小 B 在玩一个游戏。 首先,小 A 写了一个由 0 和 1 组成的序列 S,长度为 N。 然后,小 B 向小 A 提出了 M 个问题。 在每个问题中,小 B 指定两个数 l 和 r,小 A 回答 S[l∼r] 中有奇数个 1 还是偶数个 …

Threejs_06 多材质的实现

Threejs 同一个几何体如何实现多材质呢? 多材质的实现 1.使用索引绘制一个几何体 //创建几何体(三角形) const geometry new THREE.BufferGeometry();//使用索引绘制 (两个共用的) const vertices new Float32Array([-1.0, -1.0, 0.0, 1.0, -1.0, 0.0, 1.0, 1…

PDF转Word,1行Python代码就够了,免费用

大家好,这里是程序员晚枫。 今年十一假期没出去旅游,在家里更新一套原创课程,👉给小白的《50讲Python自动化办公》。 所有功能,都只需要1行代码,非常适合非程序员入门Python使用。 目前全网播放量直逼100…

思维模型 重叠效应

本系列文章 主要是 分享 思维模型 ,涉及各个领域,重在提升认知。相似内容易被混淆或遗忘。 1 重叠效应的应用 1.1 重叠效应在教育中的应用 1 通过避免重叠效应提升学习效率 为了避免重叠效应,通过对比、归纳等方法来帮助学生更好地理解和掌…