【HDFS】dfs.datanode.max.transfer.threads 配置

news/2024/5/20 0:49:30 标签: hdfs, hadoop

文档介绍如下:

The dfs.datanode.max.transfer.threads parameter is used to specify the size of the thread pool for a DataNode to process read and write data streams. Default value: 4096. If the value of this parameter is small, the number of Xceiver threads on a DataNode is limited in specific scenarios.

翻译过来就是:

每个节点最大的并发处理读or写数据流的线程数

如果这个配置项的值设置过小可能发生的异常:

java.io.IOException: Xceiver count xxxx exceeds the limit of concurrent xcievers: xxxx

代码里的用处,DataXceiverServer#run:

有连接请求过来之后,先accept,获取到peer对象,然后判断当前xceiver线程数是不是超过maxXceiverCount。
如果没超过,则创建并启动DataXceiver线程。如果超了,则抛出异常。

@Override
  public void run(

http://www.niftyadmin.cn/n/5235586.html

相关文章

cmake设置C++编译器警告方法以及编译器警告详细介绍

文章目录 编译器警告介绍:msvc (微软编译器)clang和gcc编译器警告介绍 cmake设置编译器警告方法 编译器警告介绍: 编译器警告是编译器在编译代码时发出的警告,它表示代码中存在潜在的错误或问题。编译器警告不是错误,…

springboot启动项目自动动态加载数据库的groovy脚本

将groovy脚本保存在数据库中,页面支持动态增删改查,启动springboot项目时,从数据库中读取groovy配置表,然后编译脚本,项目中就可以直接调用使用脚本。 开发环境:springbootMybatisPlus 脚本实体类&#x…

Nacos源码解读01——服务注册

Nacos 2.0 架构设计及新模型 参考 https://zhuanlan.zhihu.com/p/344572647 GRPC详解 参考 https://blog.csdn.net/weixin_42937773/article/details/128925911?spm1001.2014.3001.5502 临时节点和持久化节点的区别 参考https://zhuanlan.zhihu.com/p/396489239 使用GRP…

openwrt上开启syslog打印方法

最近在openwrt上调试蓝牙时,出现问题,设备上的蓝牙适配器已经正常工作了,执行pair命令后,openwrt和待连接的设备上都出现了配对码,两边都同意,但连接失败 尝试分析log,发现在如下代码处打印了错…

electron持久化cookie的方法,从session中获取

文章目录 1. 持久化方法2. 代码说明3. 补充 1. 持久化方法 session.defaultSession.cookies.get({}).then((cookies) > {// 恢复cookie现场cookies.forEach((cookiesItem) > {let { secure false, domain "", path "" } cookiesItem;BrowserWin…

KDE环境文件夹user-dirs为英文

KDE环境文件夹user-dirs 修改KDE主页文件夹为英文 该文件路径 ~/.config/user-dirs.dirs打开后会发现里面的内容如下 # This file is written by xdg-user-dirs-update # If you want to change or add directories, just edit the line youre # interested in. All local …

分享一个国内可用的免费AI-GPT网站

背景 ChatGPT作为一种基于人工智能技术的自然语言处理工具,近期的热度直接沸腾🌋。 我们也忍不住做了一个基于ChatGPT的网站,可以免登陆!!国内可直接对话AI,也有各种提供工作效率的工具供大家使用。 可以这…

7、Qt延时的使用

一、说明 平时用到两种延时方式QThread::sleep()和QTimer::singleShot() 1、QThread::sleep() QThread类中如下三个静态函数: QThread::sleep(n); //延迟n秒 QThread::msleep(n); //延迟n毫秒 QThread::usleep(n); //延迟n微妙 这种方式使用简单,但是会阻…