Apache Hadoop 使用教程 (2): 单节点环境搭建实战中级

news/2024/5/20 2:58:11 标签: hadoop, apache, hdfs

步骤:
1、创建用户
sudo useradd -m hadoop -s /bin/bash
sudo passwd hadoop
sudo adduser hadoop sudo

2、注销当前用户并使用hadoop用户登陆

3、更新资源库
sudo apt-get update

4、安装vim
sudo apt-get install vim

5、安装ssh
sudo apt-get install openssh-server

cd ~
mkdir .ssh
cd ~/.ssh/
ssh-keygen -t rsa
cat id_rsa.pub>>authorized_keys

6、安装Java环境
sudo apt-get install openjdk-8-jre openjdk-8-jdk

vim ~/.bashrc #设置JAVA_HOME

7、在文件第一行添加
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_OPTS=“-Djava.library.path=${HADOOP_HOME}/lib/native”
export JAVA_LIBRARY_PATH=/usr/local/hadoop/lib/native

8、使变量生效
source ~/.bashrc

9、安装hadoop 2
cd /usr/local
sudo wget https://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz

sudo tar -zxvf ./hadoop-2.10.1.tar.gz

sudo mv ./hadoop-2.10.1/ ./hadoop
sudo chown -R hadoop ./hadoop

10、修改配置文件
vim /usr/local/hadoop/etc/hadoop/core-site.xml
修改部分


hadoop.tmp.dir
file:/usr/local/hadoop/tmp


fs.defaultFS
hdfs://localhost:9000

配置
vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

启动
cd /usr/local/hadoop
bin/hdfs namenode -format # cd bin && ./hdfs namenode -format

sbin/start-dfs.sh #cd sbin && ./start-dfs.sh

jps

WORDCOUNT实例:
bin/hdfs dfs -mkdir -p /user/hadoop
bin/hdfs dfs -mkdir input
bin/hdfs dfs -put etc/hadoop/*.xml input

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.1.jar wordcount input output

bin/hdfs dfs -cat output/*


http://www.niftyadmin.cn/n/331879.html

相关文章

属于开发者的交流,openGauss SIG版本规划工作会议来啦!

想参与SIG组未来半年的规划与工作&#xff1f; 想与开发者们近距离探讨需求与解决方案&#xff1f; 想将您的需求合入到openGauss的下个版本&#xff1f; 想在社区年度Summit上展现成果&#xff1f; 那就不能错过这个属于开发者的交流盛会&#xff01; 社区年度开发者大会…

Carla自动驾驶仿真三:Traffic Manager交通管理器详解

CARLA Traffic Manager 一、什么是Traffic Manager1、Traffic Manager简介2、Traffic Manager框架3、Traffic Manager模块 二、Traffic Manager控制方法1、TM控制交通参与者的自动驾驶的规则2、TM控制交通参与者行为的API摘要3、TM控制交通参与者行为的API 三、Traffic Manager…

线性插值提高DDS相位分辨率

DDS&#xff08;Direct Digital Synthesizer&#xff09;即直接数字频率合成技术&#xff0c;主要由正弦查找表与控制器组成&#xff0c;通过控制器给出的相位&#xff0c;在正弦查找表中查找对应的正余弦值并予以输出。通过多个 DDS 信号的组合&#xff0c;可以进一步构建出 A…

Java阶段二Day22

Java阶段二Day22 文章目录 Java阶段二Day22统一响应结果的处理状态码类的定义(StatusCode)响应结果封装类的定义(ResponseVO)Tomcat处理流程Spring 中的统一响应结果的封装Spring MVC请求响应处理流程 统一异常的处理全局异常处理对象的定义 Spring Validation 如何实现请求数据…

作为打工人,如何正确的选择自动化测试工具

为什么自动化测试很重要&#xff1f; 自动化测试解决了QA和开发团队目前面临的最大问题之一: 迅速响应需求且保障质量的软件和服务。毕竟移动互联网时代&#xff0c;什么都要求快&#xff0c;不但要求快&#xff0c;质量还要稳稳的。 这与曾经测试主要靠手动测试日子相差甚远…

龙智即将亮相2023上海国际嵌入式展,为嵌入式开发提供全球领先解决方案

2023年6月14日到16日&#xff0c;领先的DevSecOps解决方案提供商龙智将在2023上海国际嵌入式展&#xff08;embedded world china 2023&#xff09;A055展位亮相。 首次参展&#xff0c;龙智为企业带来全面的嵌入式行业解决方案&#xff0c;集成Helix Core、Helix QAC、Klocwor…

Wasmtime运行.wasm文件的流程解析

Wasmtime运行.wasm文件的流程 在commands/run.rs中&#xff0c;通过execute(&self)执行wasmtime命令。在这个函数中&#xff0c;首先通过Store::new创建store&#xff0c;以Host::default()作为参数创建出Store<host>对象。然后调用populate_with_wasi函数。在popul…

虹科分享 | 如何避免光伏发电系统异常馈入电网?

近年来&#xff0c;为了应对能源危机和环境污染等问题&#xff0c;全球各国均大力发展可再生能源发电。其中&#xff0c;欧盟和美国相继制定政策和规划&#xff0c;计划到2020年可再生能源发电占到总发电量的20%以上。而根据国家能源局最新数据显示&#xff0c;2022年我国在可再…