Hadoop入门常见面试题与集群时间同步操作

news/2024/5/20 4:09:32 标签: hadoop, 大数据, hdfs

目录

一,常用端口号

Hadoop3.x :

Hadoop2.x:

二,常用配置文件:

Hadoop3.x:

Hadoop2.x:

集群时间同步:

时间服务器配置(必须root用户):

(1)查看所有节点ntpd服务状态和开机自启动状态

hadoop102%E7%9A%84ntp.conf%E9%85%8D%E7%BD%AE%E6%96%87%E4%BB%B6-toc" style="margin-left:80px;">(2)修改hadoop102的ntp.conf配置文件

hadoop102%E7%9A%84%2Fetc%2Fsysconfig%2Fntpd%20%E6%96%87%E4%BB%B6-toc" style="margin-left:80px;"> (3)修改hadoop102的/etc/sysconfig/ntpd 文件

(4)重新启动ntpd服务

关闭所有节点上ntp服务和自启动

在其他机器配置1分钟与时间服务器同步一次

添加定时任务:


一,常用端口号

Hadoop3.x :

HDFS  NameNode内部通信端口:8020 / 9000/9820

HDFS  NameNode对用户查询端口:9870

Yarn  MapReduce查看执行任务端口:8088

历史服务器端口:19888

Hadoop2.x:

HDFS  NameNode内部通信端口:8020 / 9000

HDFS  NameNode对用户查询端口:50070

Yarn  MapReduce查看执行任务端口:8088

历史服务器端口:19888

二,常用配置文件:

Hadoop3.x:

core-site.xml

hdfs-site.xml

yarn-site.xml

mapred-site.xml

workers

Hadoop2.x:

core-site.xml

hdfs-site.xml

yarn-site.xml

mapred-site.xml

slaves

集群时间同步:

如果服务器在公网环境(能连接外网),可以不采用集群时间同步,因为服务器会定期和公网时间进行校准;

如果服务器在内网环境,必须要配置集群时间同步,否则时间久了,会产生时间偏差,导致集群执行任务时间不同步。

找一个机器,作为时间服务器,所有的机器与这台集群时间进行定时的同步,生产环境根据任务对时间的准确程度要求周期同步。测试环境为了尽快看到效果,采用1分钟同步一次。

时间服务器配置(必须root用户):

(1)查看所有节点ntpd服务状态和开机自启动状态

systemctl status ntpd     ------检查时间服务器是否打开

         systemctl start ntpd  ------开启时间服务器

 

      systemctl is-enabled ntpd  ----设置开机是否启动ntpd服务

hadoop102%E7%9A%84ntp.conf%E9%85%8D%E7%BD%AE%E6%96%87%E4%BB%B6" style="margin-left:.0001pt;text-align:justify;">(2)修改hadoop102的ntp.conf配置文件

修改配置文件,设置那些服务器与这台服务器同步:

vim /etc/ntp.conf

末尾添加:

server 127.127.1.0
fudge 127.127.1.0 stratum 10

 下图去掉了注释,改了自己的IP区间:

restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

下边几行注释了起来 

hadoop102%E7%9A%84%2Fetc%2Fsysconfig%2Fntpd%20%E6%96%87%E4%BB%B6"> (3)修改hadoop102的/etc/sysconfig/ntpd 文件

vim /etc/sysconfig/ntpd

增加内容如下(让硬件时间与系统时间一起同步---硬件时间更准确)

SYNC_HWCLOCK=yes

(4)重新启动ntpd服务

systemctl start ntpd

关闭所有节点上ntp服务和自启动

systemctl stop ntpd
systemctl disable ntpd

在其他机器配置1分钟与时间服务器同步一次

crontab -e

添加定时任务:

*/1 * * * * /usr/sbin/ntpdate hadoop102

Hadoop入门就此终结,下面跟我一起更新学习HDFS吧! 


http://www.niftyadmin.cn/n/140651.html

相关文章

基于支持向量机SVM的风电场NWP数据预测,SVM的详细原理

目录 支持向量机SVM的详细原理 SVM的定义 SVM理论 Libsvm工具箱详解 简介 参数说明 易错及常见问题 SVM应用实例,基于SVM的风电场NWP预测 结果分析 展望 支持向量机SVM的详细原理 SVM的定义 支持向量机(support vector machines, SVM)是一种二分类模型,它的基本模型是定…

【C++】图

本文包含了图的基本概念 1.相关概念 1.1 无/有向 无向图&#xff1a;每一个顶点之间的连线没有方向 有向图&#xff1a;连线有方向&#xff08;类似离散数学的二元关系 <A,B>代表从A到B的边&#xff0c;有方向&#xff09; <A,B>中A为始点&#xff0c;B为终点在…

第161篇 笔记-去中心化的含义

本文主要内容来自Vitalik Buterin的文章。“去中心化”这个词是在加密经济学领域用得最多的一个词&#xff0c;通常也作为辨别区块链的依据。然而&#xff0c;这个词也可能是被定义得最不恰当的一个词。数千小时的研究和价值数十亿美元哈希算力的投入都旨在实现去中心化&#x…

JAVA练习75-全排列

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 前言 提示&#xff1a;这里可以添加本文要记录的大概内容&#xff1a; 3月11日练习内容 提示&#xff1a;以下是本篇文章正文内容&#xff0c;下面案例可供参考 一、题目-…

【打造家庭服务器系列01】无桌面版Ubuntu 22.04 连接wifi

一、背景 最近有一台笔记本一直放在哪没用了&#xff0c;就想着拿来做个服务器用吧。 如何安装Ubuntu系统&#xff0c;大家可以百度搜索一下很多。 主要分三步&#xff1a; 制作U盘启动盘&#xff08;推荐使用rufus工具&#xff0c;轻量方便&#xff09;设置BIOS引导 &#x…

软考高项——信息文档管理

信息文档管理信息文档管理文档分类文档质量等级文档管理的规则和方法信息文档管理 信息文档管理的总线索包括&#xff1a; 1&#xff09;文档分类 2&#xff09;文档质量等级 3&#xff09; 文档分类 1、开发文档 开发过程中用到的文档 &#xff08;可行性报告、任书、需求、…

CSS 扫盲

✏️作者&#xff1a;银河罐头 &#x1f4cb;系列专栏&#xff1a;JavaEE &#x1f332;“种一棵树最好的时间是十年前&#xff0c;其次是现在” 目录引入方式内部样式内联样式外部样式CSS 选择器CSS 常用属性值字体属性设置字体大小粗细文字样式文本属性文本颜色文本对齐文本装…

《机器学习》基础概念之【P问题】与【NP问题】

《机器学习》基础概念之【P问题】与【NP问题】 这里写目录标题《机器学习》基础概念之【P问题】与【NP问题】一、多项式&时间复杂度1.1. 多项式1.2.时间复杂度二、P问题 & NP问题2.1. P问题2.2.NP问题2.3.举例理解NP问题-TSP旅行商推销问题三、NP-hard问题&NP-C问题…