十五、YARN辅助架构

news/2024/5/20 2:31:50 标签: 架构, 大数据, hadoop, hdfs, yarn

1、学习内容

(1)了解什么是代理服务器

(2)了解什么是历史服务器

2、辅助架构

(1)辅助架构的由来

        对于YARN架构来讲,除了ResourceManager集群资源总管家、NodeManager单机资源管家两个核心角色外,还可以搭配两个辅助角色使得YARN架构的运行更加稳定、更加高效。

        辅助角色:

        ~代理服务器(ProxyServer)

        ~历史服务器(JobHistoryServer)

[代理服务器]:

        注意,此处将代理服务器分离出来,让其独立运行,会在一定程度上提高安全性。

[历史服务器]:

功能:记录历史运行的程序的信息以及产生的日志并提供WEB UI站点供用户使用浏览器查看。

        在这里,我们可以能会有疑惑,为什么要专门设置一个历史服务器呢?如果我想要查看某个程序的运行日志,为什么不直接找到该程序的日志呢?

        其实,这个问题和YARN的运行机制是相关的。

        YARN负责的资源分配调度,它会在每个节点中画出一定空间大小的内存,即容器,供某个程序使用,那个该程序产生的日志文件,会存储在已划分的容器中。那么,对于一个节点来说,它里面可能会有n个被划分的容器,就会至少存在n个日志文件,更别说,我们不可能之查看一个服务器的日志文件,所以我们在查看某个程序的日志文件时,就会显得特别麻烦。

        所以,打开历史服务器是很有必要的。

(2)历史服务器


http://www.niftyadmin.cn/n/5265633.html

相关文章

电子学会C/C++编程等级考试2021年03月(六级)真题解析

C/C++等级考试(1~8级)全部真题・点这里 第1题:生日相同 2.0 在一个有180人的大班级中,存在两个人生日相同的概率非常大,现给出每个学生的名字,出生月日。试找出所有生日相同的学生。 时间限制:1000 内存限制:65536输入 第一行为整数n,表示有n个学生,n ≤ 180。此后每…

收发货拥抱新技术,纵行科技推ZETag方案实现更精准的自动识别

对于制造及物流企业来说,收发货是影响其运营效率和成本控制的关键因素。然而传统的收发货管理高度依赖人工核对,比如目前国内汽车工厂零件到货验收主要采用人工方式,验收人员需根据送货看板进行数量清点,确认无误后用手持终端扫描…

NYX靶场

信息收集 # Nmap 7.94 scan initiated Fri Nov 24 21:59:30 2023 as: nmap -sn -oN live.nmap 192.168.182.0/24 Nmap scan report for 192.168.182.1 (192.168.182.1) Host is up (0.00044s latency). MAC Address: 00:50:56:C0:00:08 (VMware) Nmap scan report for 192.168…

Git 硬重置之后恢复历史提交版本

****硬重置之前一定要备份分支呀,谨慎使用硬重置,特别是很多人一起使用的分支**** 如果你在reset的时候选择了Hard选项,也就是硬重置 重置完且push过,那么被你本地和远端后面的提交记录肯定就会被抹去。 解决办法: …

安卓版pytCharm怎么启动,安卓版手游免费下载

大家好,给大家分享一下安卓版python编辑器安装tkinter,很多人还不知道这一点。下面详细解释一下。现在让我们来看看! 我的GitHub 是的,Python 代码可以在 Android 平台上运行,尽管这并不是 Python 传统上最常用的运行环…

基于JavaWeb+SSM+Vue微信小程序的移动学习平台系统的设计和实现

基于JavaWebSSMVue微信小程序的移动学习平台系统的设计和实现 源码获取入口Lun文目录前言主要技术系统设计功能截图订阅经典源码专栏Java项目精品实战案例《500套》 源码获取 源码获取入口 Lun文目录 第1章 绪论 1 1.1 课题背景 1 1.2 课题意义 1 1.3 研究内容 2 第2章 开发环…

利用有限制通配符来提升API的灵活性

在Java中,有限制通配符(bounded wildcard)允许你在泛型中指定一个范围,从而提升API的灵活性。通配符使得你能够编写更通用、适用于多种类型的代码。以下是一个利用有限制通配符提升API灵活性的例子: 假设有一个简单的…

申请Let‘s Encrypt证书

Lets Encrypt官网:https://letsencrypt.org/ Certbot官网:https://certbot.eff.org/ 1、域名控制台添加域名,如test.example.com 2、在服务器添加nginx配置,test.example.com.conf文件内容如下 # test.example.com.conf配置serve…