十二、MapReduce概述

news/2024/5/20 3:39:58 标签: hdfs, hadoop, mapreduce

1、MapReduce

(1)采用框架

MapReduce是“分散——>汇总”模式的分布式计算框架,可供开发人员进行相应计算

(2)编程接口:

~Map

~Reduce

其中,Map功能接口提供了“分散”的功能,由服务器分布式对数据进行处理。

Reduce功能接口提供了“汇总(聚合)”的功能,将分布式的处理结果汇总统计。

(3)调用

        用户如需使用MapReduce框架完成自定义需求的程序开发,只需要使用Java、python等编程语言,实现Map Reduce功能接口即可。

2、执行原理

(1)执行实例

        将任务分解为“分散”——>“任务”——>“汇总”。

        在这里,我们一共有四台服务器,其中三台服务器执行Map,最后一台服务器执行Reduce。

        对于三台执行Map的服务器,每台服务器统计其分到的数据的单词数量,最后将所有数据汇总给第四台服务器,由第四台服务器进行汇总操作。

(2)运行机制

3、总结


http://www.niftyadmin.cn/n/5247824.html

相关文章

大数据技术1:大数据发展简史

前言:学习大数据技术,知道会用已经够了,但是要想走得更远,应该了解它发展的来龙去脉,为何会有新的技术/工具的出现,相比老的技术有什么样的进步。 1、传统数据处理系统存在的问题 随着信息时代互联网技术爆…

Hive的metastore服务的两种运行模式

Hive的metastore服务的作用是为Hive CLI或者Hiveserver2提供元数据访问接口 1.metastore运行模式 metastore有两种运行模式,分别为嵌入式模式和独立服务模式。下面分别对两种模式进行说明: (1)嵌入式模式 (2&#x…

MongoDB SASL 鉴权方式 SCRAM-SHA-1步骤

转载于 MongoDB SCRAM-SHA-1 over SASL 文章目录 OverviewStep 1Step 2Step 3Edits I recently implemented SCRAM-SHA-1 over SASL for Fantom’s MongoDB driver so it could authenticate against MongoDB v3 databases. Much to my surprise, for such a massive breaking…

03_阿里云_配置OSS环境变量

关于aliyunOSS文件上传的系统变量配置 问题引出 在黑马程序员2023新版JavaWeb开发教程教程中,P148Day11-04. 案例-文件上传-阿里云OSS-准备到P150Day11-06. 案例-文件上传-阿里云OSS-集成阿里云给的参考代码已经更新了,需要配置阿里云的用户变量&#…

大模型的推理和搜索能力

摘要: 推理和搜索问题,如定理证明和程序合成,一直是人工智能领域的长期挑战。组合搜索空间使得传统的基于搜索的方法难以处理。然而,即使在最数学化的领域中,人类也可以直观地操作,而AlphaGo等现有工作已经…

python六子棋ai对战(alpha-beta)剪枝算法

核心代码 def __init__(self): #初始化函数self.num0 #对yi次数self.rows 10 #初始化棋盘10行self.cols 10 # 初始化棋盘10列self.rank6 #阶数 代表六子棋self.empty_board() #清空棋盘self.V 10 #攻击程度self.E10 #防守程度self.depth2 #思考深度…

vuepress-----18、图片缩放

图片引入两种方式 地址 # 图片缩放插件 # 实战 md文件引入图片 <img class"zoom-custom-imgs" :src"$withBase(/favicon.ico)" alt"favicon">安装配置插件 vuepress/medium-zoom: {selector: img.zoom-custom-imgs,},效果展示

简单实用的firewalld命令

简单实用的firewalld命令 一、查看防火墙是否打开二、查询、开放、关闭端口三、查看已监听端口四、验证 一、查看防火墙是否打开 systemctl status firewalld ● firewalld.service - firewalld - dynamic firewall daemonLoaded: loaded (/usr/lib/systemd/system/firewalld.…