hdfs删除后空间不是释放,trash回收机制

news/2024/5/20 4:09:17 标签: hdfs, hadoop, 大数据

一、现象
hdfs删除后,3天了还不删除,故排查排查问题
二、排查过程及原理
Trash机制,叫做回收站或者垃圾桶,默认情况下是不开启的。启用 Trash 功能后,从 HDFS 中删除某些内容时,文件或目录不会立即被清除,它们将被移动到回收站Current目录中(/user/{username}/.Trash/current)。
Trash Checkpoint检查点仅仅是用户回收站下的一个目录,用于
存储在创建检查点之前删除的所有文件或目录。如果你想查看回收站目录,可以在
/user/{username}/.Trash/{timestamp_of_checkpoint_creation}处看到:
最近删除的文件被移动到回收站 Current 目录,并且在fs.trash.interva时间间隔内,HDFS 会为在 Current 回收站目录下的文件创建检查点
/user/{username}/.Trash/<日期>,并在过期时删除旧的检查点。
在core-site.xml配置文件中存在相关配置

<property>
<name>fs.trash.interval</name>
<value>4320</value>
</property>
#fs.trash.interval:分钟数,当超过这个分钟数后检查点会被删除。如果为零,Trash 回收站功能将被禁用。
<property>
<name>fs.trash.checkpoint.interval</name>
<value>0</value>
</property>
#fs.trash.checkpoint.interval:检查点创建的时间间隔(单位为分钟)。其值应该小于或等于fs.trash.interval。如果为零,则将该值设置为fs.trash.interval的值。每次运行检查点时,它都会从当前版本中创建一个新的检查点,并删除在数分钟之前创建的检查点。

请添加图片描述
在2023-06-19删除完的文件后,将删除的文件移动到/user/hadoop/.Trash/current文件夹下,3天后2023-06-22检查点生成机制运行,将回收站中的数据移动到/user/hadoop/.Trash/20230622080017,此时也会删除当前时间三天前过期的检查点数据,在2023-06-25检查点生成后,没有把/user/hadoop/.Trash/20230622080017的原因,因为回收站数据量比较大,时间戳时间稍晚20230622080017无法被正常删除。


http://www.niftyadmin.cn/n/995051.html

相关文章

libsvm源码凝视+算法描写叙述:svm_train

(I will try my best to make this note clearer. We mainly focus on solve_c_svc in this note) We mainly focus on solve_c_svc in this note. Our goal: mindB 12dTB∇2f(αk)dB∇f(αk)TBdB s.t. yTBdB0 Core function of training: solve_c_svc. It will call the fun…

实用工具特别推荐 Autoruns

下载这篇文章的代码: Autoruns (490KB) 典型的运行 Windows? 的 PC 在启动时会加载一组项目&#xff0c;其中包括文件、驱动程序、任务和服务。在某些时候&#xff0c;您很可能需要查看并禁用某些启动项目&#xff0c;以排除启动冲突故障、跟踪自动启动序列中的恶意软件、减少…

MVC MVP MVVM

参考&#xff1a;MVC&#xff0c;MVP 和 MVVM 的图示 - 阮一峰http://www.ruanyifeng.com/blo...Web开发的MVVM模式http://www.cnblogs.com/dxy198...界面之下&#xff1a;还原真实的MV*模式https://segmentfault.com/a/11...Angular沉思录&#xff08;一&#xff09;数据绑定h…

AMM使用说明

oracle 11g引入AMM ,其存在肯定有合理性&#xff0c;但生产环境建议禁用AMM。自动内存管理&#xff08;AMM&#xff09;: memory_target!0&#xff0c;为自动内存管理 &#xff0c;若LOCK_SGA &#xff1d; true &#xff0c;则禁用AMM;自动共享内存管理(ASMM): memory_target…

中等生如何在高考中取得好成绩 全国中高考备考指导中心张峰主任

每个人在心里憧憬着自己也会成为黑马&#xff0c;跃过终点的光辉时刻。在高考临近之时&#xff0c;能够根据自己的实际合理选择目标更为重要。往年高考过后&#xff0c;确实有少数人能够超水平发挥&#xff0c;超越平时的成绩&#xff0c;但大多数人还都是发挥了自己原有的水平…

android sdk 文件目录含义介绍

Android SDK 目录下有很多文件夹&#xff0c;主要都是干什么的呢? 1. add-ons 这里面保存着附加库&#xff0c;比如google Maps&#xff0c;当然你如果安装了OPhone SDK&#xff0c;这里也会有一些类库在里面。 2. docs 这里面是Android SDK API参考文档&#xff0c;所有的API…

Linux学习之CentOS(十九)--Linux下文件的压缩与打包

在Linux中&#xff0c;有很多的压缩命令。利用这些压缩命令&#xff0c;可以方便的从网络上下载大型的文件。同时&#xff0c;我们知道&#xff0c;Linux文件的扩展名是没有特殊意义的&#xff0c;不过&#xff0c;因为Linux下存在着许多压缩命令&#xff0c;所以为了方便记忆&…

时间函数

1 <!DOCTYPE HTML>2 <html>3 <head>4 <meta http-equiv"Content-Type" content"text/html; charsetutf-8">5 <title>无标题文档</title>6 7 <script>8 // alert( new Date() ); // 当前系统的时间对象9 …