MAC下搭建hadoop

news/2024/5/20 1:56:20 标签: hadoop, macos, hdfs

一:简介

Hadoop是一个用Java开发的开源框架,它允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计是从单个服务器扩展到数千个机器,每个都提供本地计算和存储。特别适合写一次,读多次的场景。

Hadoop一般用于对大量数据执行完整统计分析的应用程序。

二:安装步骤


1. 修改主机名

sudo scutil --set HostName localhost


2. ssh免密登录
具体配置方法:

(1)ssh-keygen -t rsa      (一路回车直到完成)
(2)cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
(3)chmod og-wx ~/.ssh/authorized_keys


然后重启终端,在命令行下输入

ssh localhost

如果不需要输密码即可进入,证明设置成功。如果仍需要输入密码,那可能是文件权限的问题,尝试执行

chmod 755 ~/.ssh

出现 

ssh: connect to host localhost port 22: Connection refused

则到系统偏好设置,共享下,打开远程登录功能

hadoop官网下载地址 :Apache Hadoop

点击下载版本,下载二进制文件非源文件例如:https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz

并解压至安装目录 /usr/local/Cellar   

tar zxvf hadoop-2.10.0.tar.gz  

修改配置文件命令及内容如下

vim etc/hadoop/core-site.xml 
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->

<configuration>
        <property>
     <name>hadoop.tmp.dir</name>
     <value>file:/usr/local/Cellar/hadoop-3.1.3/libexec/tmp</value>
  </property>
  <property>
     <name>fs.defaultFS</name>
     <value>hdfs://localhost:8020</value>
  </property>
</configuration>
vim etc/hadoop/hdfs-site.xml 

添加hadoop环境变量

localhost:libexec jia$ vim ~/.bash_profile

JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk-12.0.2.jdk/Contents/Home
PATH=$JAVA_HOME/bin:$PATH:.
CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:.
export JAVA_HOME
export PATH
export CLASSPATH
export MAVEN_HOME=/Users/jia/apache-maven-3.6.1
export PATH=$PATH:$MAVEN_HOME/bin
export PATH=$PATH:/Users/jia/apache-tomcat-8.5.51/bin
export PATH=$PATH:/usr/local/mysql/bin
export PATH=$PATH:/usr/local/mysql/support-files
export BASH_SILENCE_DEPRECATION_WARNING=1

export HADOOP_HOME=/usr/local/Cellar/hadoop-3.1.3/libexec
export HADOOP_ROOT_LOGGER=DEBUG,console
export PATH=$PATH:${HADOOP_HOME}/bin

例行刷新环境变量

source ~/.bash_profile

在mac环境中,通过brew install hadoop安装时在/usr/local/Cellar/hadoop/3.1.1/libexec目录下是没有/lib/native目录的

需要解决,可百度一下,建议通过官网下载方式安装

查询本机java环境变量

/usr/libexec/java_home
结果如下
/Library/Java/JavaVirtualMachines/jdk-12.0.2.jdk/Contents/Home

jdk版本过高会导致失败,建议使用1.8


http://www.niftyadmin.cn/n/92204.html

相关文章

只要一直向前定能到达远方,社科院与杜兰大学金融管理硕士项目为你注入动力

在人生这条道路上&#xff0c;我们很远的路要走&#xff0c;不管前方是否平坦&#xff0c;我们只要坚持前向&#xff0c;终将抵达远方。一路上我们付出很多&#xff0c;也收获很多。想要变得更强大&#xff0c;就要不断优化自身&#xff0c;积攒更多的能量&#xff0c;社科院与…

java数据结构PriorityQueue

PriorityQueue PriorityQueue 是具有优先级别的队列&#xff0c;优先级队列的元素按照它们的自然顺序排序&#xff0c;或者由队列构造时提供的 Comparator 进行排序&#xff0c;这取决于使用的是哪个构造函数 图像 手写实现PriorityQueue 通过链表结构实现 class PriorityQu…

[NOIP1999 提高组] 旅行家的预算(C++,贪心)

题目描述 一个旅行家想驾驶汽车以最少的费用从一个城市到另一个城市&#xff08;假设出发时油箱是空的&#xff09;。给定两个城市之间的距离 D1D_1D1​、汽车油箱的容量 CCC&#xff08;以升为单位&#xff09;、每升汽油能行驶的距离 D2D_2D2​、出发点每升汽油价格PPP和沿途…

【java基础】数组

文章目录基础说明数组的声明和初始化数组访问多维数组和不规则数组数组常见操作基础说明 数组就是是存储同一种类型的集合,我们可以定义任何类型的数组 数组的声明和初始化 数组声明的形式有2种 int[] a; int a[]&#xff0c;我们一般使用前一种 int[] a; int b[];数组是通…

【HID基础知识】

蓝牙HID基础知识 一&#xff1a;定义 HID是Human Interface Device的缩写&#xff0c;由其名称可以了解HID设备是直接与人交互的设备&#xff0c;例如键盘、鼠标与游戏手柄等。 蓝牙HID 是属于蓝牙协议里面的一个profile, 不管在蓝牙2.0 2.1 3.0还是4.0&#xff0c;5.0的蓝牙中…

考研复试机试 | C++ | 王道机试课程笔记

目录Zero-complexity (上交复试题)题目&#xff1a;代码&#xff1a;括号匹配问题题目&#xff1a;代码&#xff1a;表达式解析问题 &#xff08;浙大机试题&#xff09;题目&#xff1a;代码&#xff1a;标准库里提供了栈 stack<typename> myStack .size() 栈的大小 .pu…

表格内容过多时单行/多行显示

分析 单行多行显示涉及到 table-layout: fixed; 这个属性&#xff0c;默认状态下的属性值是 auto &#xff08;自动表格布局&#xff09;&#xff0c;两种不同的属性值区别如下&#xff1a; 方法 我在设置表格内容单行/多行显示时采用的方法&#xff1a; table 添加的样式&a…

事理知识图谱

事理知识图谱能够有力第建模各类事件之间的演化关联关系为事理逻辑推理提供更好的数据基础。 事理图谱定义 事理知识图谱可以将文本中对事件以及事件之间的关系抽取并抽象出来&#xff0c;构建成一个有向图形式的事理知识库。在结构上&#xff0c;事理知识图谱是一个有向有环…