Hadoop(一):初始Hadoop

news/2024/5/20 1:56:30 标签: hadoop, hdfs, big data

Linux安装hadoop

参考:【Linux】安装hadoop详细步骤_Code.Knight的博客-CSDN博客_linux安装hadoop

这里要注意的是,修改主机名要慎重,可以不修改。

解决报错

启动 hdfs 会报错:temporary failure in name resolution

解决方案:增加主机映射

​​​​​​Temporary failure in name resolution错误解决方法_ssxueyi的博客-CSDN博客_temporary

重新启动hdfs会报错:start-dfs.sh permission denied

参考了以下:Ubuntu下搭建第一台hadoop输入start-dfs.sh出现Permission denied (publickey,password)的问题_zhangxiaofan2000的博客-CSDN博客

Hadoop: start-dfs.sh permission denied - Stack Overflow

但是没用。猜测可以用命令清除SSH远程登录密码再试试。

报错:job for ssh.service failed

暂时替换为root权限进行操作。。。

报错:attempting to operate on hdfs

解决:Attempting to operate on hdfs namenode as root_DAHOUZI.CN的博客-CSDN博客

最后root权限启动成功了。

上传hdfs文件:

Linux上传本地文件到hadoophdfs文件系统的3种方法_续写童话的博客-CSDN博客_上传文件到hdfs

下面先记录一下Java怎么用的资料:

9.4 使用java操作hadoop_伱来打硪啊的博客-CSDN博客_hadoop与java怎么使用

https://www.jb51.net/article/232409.htm

简单的java Hadoop MapReduce程序(计算平均成绩)从打包到提交及运行_JavaPub的技术博客_51CTO博客

用Java编写简单的MapReduce程序 - march alex's blog - BlogJava

以后有时间再整理。


http://www.niftyadmin.cn/n/867956.html

相关文章

如何构造充填图元_铝蜂窝板不得不提的6大构造特点

铝蜂窝板经过多年发展已经应用非常广泛,涉及很多领域,铝蜂窝板的构造是不同于其他板材的,这也是它的优势体现,下面我们详细来了解一下吧!——铝蜂窝板百科1、承受重量的强度、刚性大铝蜂窝板对剪断、压缩、伸张等具用理…

adb 命令扩展

设置屏幕旋转: adb shell content insert --uri content://settings/system --bind name:s:user_rotation --bind value:i:1 i后面跟的不同的值代表旋转为不同的方向,取值范围为0,1,2,3 使用root权限: ad…

1 京东_龙支付1充20元话费、1元购买20元京东卡

龙支付这个活动实际上已经举办过很多次了,新用户的活动尤其给力,当然老用户也经常有活动,也还是能撸一撸的;通过打开微信或者龙支付APP进去活动里,所有建设银行龙支付新用户可以1充20元手机话费、20元京东卡、20元美团…

Java8换Java11改环境变量无效

环境变量已改的情况下,java -version依然显示java8。 就好用了。 参考: https://www.jianshu.com/p/05703ce41605?u_atokenc73de8d5-df6c-4817-b4a6-70aaf1744958&u_asession01mU2xSoe-5zpDTE1SCdYbJYSsyeBlQMOnupOpFitOrVkKri_FHNerWOoAwX7uld8_X…

一个按键控制数码管的开和关_单片机控制数码管显示不同数字

很多电子产品上都有用到数码管来做指示作用,比如电子秤上使用数码管来显示体重,电饭锅上面使用数码管来显示煮饭时间等等。数码管显示的数字是通过单片机控制的,本篇文章为你讲述其中的原理。文章涉及到的电路图和程序源码大家可以私信作者获…

Android Studio 打包aar的assemble不见了

对钩去掉: 再点一下小象,就有了: 参考: https://www.jianshu.com/p/dab654383db6

去掉逗号_linux命令--如何将一串数字后面的符号去掉?

概述当linux系统中有信息需要进行格式化,可以怎么处理呢?今天我们就看下怎么把一串数字后面的逗号去掉。。。方法一1、sed可以使用linux下sed命令去掉一串数字后的逗号2、catsed如果文本信息是存在文件中,那么可以结合cat和sed两个命令来实现…

python怎么帮助运营 进行数据管理_2019电商数据分析师实战项目教程 电商数据分析报告 电商运营数据分析 电商数据分析流程...

第一部分:电商数据分析师的职业图谱适用人群零基础小白,对电商、数据分析有兴趣的人群期次简介本门课程作为电商数据分析师的开篇导论,将从数据分析师的岗位及透过岗位理解业务为切入点,讲解数据分析师的职业诉求,发展…