【Hadoop】Hadoop概念与实践

news/2024/5/20 0:49:37 标签: hadoop, 大数据, hdfs

Hadoop是一个由Apache基金会开发的开源分布式计算框架,在处理大数据方面非常有用。它可以存储和处理大规模数据集,通过使用多台计算机构建集群,将数据分散到集群中的节点上进行处理。

Hadoop由两个核心组件组成:

  1. Hadoop Distributed File System(HDFS):这是一个可扩展的和容错性极高的文件系统,它使用多种方式保证了数据的可靠性、容错性和快速恢复性;

  2. MapReduce:这是一个基于数据处理的编程模型,涵盖了作业跟踪、资源管理等方面,充分利用集群中的计算资源并提供数据并行处理功能。

通过使用Hadoop,用户可以更有效地处理大规模数据集,并能够轻松地扩展其数据存储和处理能力。同时,由于其具有开放性和高度可定制性,因此Hadoop已成为许多企业和组织首选的解决方案。

在mac下安装Hadoop主要分为以下几个步骤:

  1. 确保已经安装了Java环境,可以在终端中输入java -version命令来检查Java版本并确认其是否正常运行;
  2. 下载Hadoop二进制发行版,您可以从https://hadoop.apache.org/releases.html下载最新版本,然后解压到您选择的目录中;
  3. 配置Hadoop环境变量,在~/.bash_profile文件中添加或修改以下内容:
export HADOOP_HOME=/path/to/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

其中/path/to/hadoop是您自己的Hadoop解压路径,保存后执行source ~/.bash_profile使配置生效;

4. 配置Hadoop单机伪分布式模式,将$HADOOP_HOME/etc/hadoop/core-site.xml$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件中的localhost改为0.0.0.0

5. 启动Hadoop集群,在终端中执行start-all.sh命令即可启动Hadoop集群。

完成上述步骤后,即可在mac上成功安装和启动Hadoop,进行大规模数据处理。当然,根据不同的应用场景,您可能需要进一步配置和优化Hadoop集群,以达到更高的性能和可靠性。

参考资料

Hadoop – Apache Hadoop 3.3.5

https://monday.blog.csdn.net/article/details/88189753

hadoop3.2.3 编译 native库(超详细,亲测成功)_hadoop native_兔帮大人的博客-CSDN博客 

Index of /apache/hadoop/common/stable

Mac M1芯片本地安装 hadoop 集群填坑之路_喵王叭的博客-CSDN博客


http://www.niftyadmin.cn/n/352909.html

相关文章

【JavaEE进阶】——第七节.Spring AOP统一功能处理(切面、切点、连接点、通知)

作者简介:大家好,我是未央; 博客首页:未央.303 系列专栏:JavaEE进阶 每日一句:人的一生,可以有所作为的时机只有一次,那就是现在!!! 文章目录 前…

[VRTK4.0]设置OpenXRCameraRig

学习目标: 演示如何设置Unity项目以支持OpenXR,以及如何安装VRTK v4TiliaUnitvXRFrameWork用于OpenXR的CameraRig。还展示了如何设置Tilia TrackedAlias预制件可轻松访问底层CameraRig功能。 流程: 步骤一: 我们现在要将我…

编译原理之词法分析实验(附完整C/C++代码与总结)

一、实验内容 通过完成词法分析程序,了解词法分析的过程。编制一个读单词程序,对PL/0语言进行词法分析,把输入的字符串形式的源程序分割成一个个单词符号,即基本保留字、标识符、常数、运算符、分界符五大类。 对PL/0语言进行词法…

探索AI助手ChatGPT实际应用场景

使用 Prompt 是使用 ChatGPT 的关键点之一。Prompt 是针对机器学习模型的输入,它提供了一个清晰、简洁的问题描述,并指示模型生成合适的答案。正确的 Prompt 可以帮助 ChatGPT 生成更准确和有用的回答,进而提升用户体验。 Prompt 的有效性取…

【Flutter】Flutter CLI (4):命令 flutter build 构建应用

文章目录 一、前言二、flutter build 实践1. flutter build apk 构建 Android 应用2. flutter build ios 构建 iOS 应用3. flutter build web 构建 web 应用三、构建模式说明四、总结一、前言 哈喽嗨!!你好,我是小雨青年,一名独立开发应用的程序员。 在上一篇文章中,我们…

pico 的两个双核相关函数的延时问题

pico高级API函数中, multicore_fifo_pop_timeout_us 和 multicore_fifo_push_timeout_us 的延时参数, 如修改为500微秒以上时,其延时似乎远远超过设定值,其反馈速度似乎被主核的交互所左右 ,而修改为200以下时&#x…

聊天机器人开发实战--(微信小程序+SpringCloud+Pytorch+Flask)【完整版】

文章目录 前言架构小程序端管理端运维端 交互聊天页面聊天发送流程历史聊天记录个人中心 总结 前言 没想到从五一之后,到现在鸽了那么久。没办法,实话实说,确实忙,五一期间就没怎么休息,开局第一周,准备IE…

Unity之OpenXR+XR Interaction Toolkit实现 VR控制第一人称角色模型动画

前言 我们在开发VR项目时,有时会有第一人称视角的需求,即我们自己带上VR头显,能够看到自己的身体,如果模拟一些人物触电死亡,使用工具动画之类的需求,那么VR控制第一人称视角就比较实用了。 我们今天就来介绍一下如何实现VR设备控制第一人称: 1.角色手部跟随手柄移动和…