统计hive-hdfs文件大小日常腾出磁盘

news/2024/5/20 5:09:35 标签: hive, hdfs, hadoop

1	home目录下 klist -kt hdfs.keytab	
2	kinit -kt hdfs.keytab hdfs/p-nc1mutapp02.jemincare.com@NC1MUTAPP.JEMINCARE.COM	
3	hdfs dfs -du -h  /user/jmkx_data/hive_db/jmkx_data.db/ > ./a.txt	全量大小
4	hdfs dfs -du -s -h /user/jmkx_data/hive_db/jmkx_data.db/*/dt=2023-02-08 > ./b.txt	日增量大小
5	把文件导出放excel分列 按文件大小排序

结果为

挪出来文件-压缩文件

http://www.niftyadmin.cn/n/1673100.html

3.6.8、springboot__缓存模拟，数据库查询的缓存效果

1、在查询数据库时，数据量过大时，查询过慢，解决办法 （1）在数据库中打索引，这样查询速度较快 （2）在查出数据时加入缓存，可以用HashMap模拟缓存 （3&#xff09…

去掉ecshop中后台更新提示和修改ECSHOP前后台的验证码背景

2019独角兽企业重金招聘Python工程师标准>>> 去掉admin/templates/start.htm中 <ul id”lilist” style”padding:0; margin: 0; list-style-type:none; color: #CC0000;”> {foreach from$warning_arr itemwarning} <li style”border: 1px solid #CC0000…

解决20%的大数据问题

一个采用模块化设计的大数据平台可以解决80%的大数据问题，而解决另外20%的问题就要靠大数据平台厂商结合行业客户的特殊需求进行定制化开发。中兴通讯DAP 2.0大数据平台就具备了这方面的能力，能够为行业客户带来实实在在的价值。大数据的本质在于&#x…

软件定义闪存： SSD加速企业数据中心变革

12月4日，由PMC主办的“闪存2.0加速数据中心存储变革”论坛在北京举行，来自新浪、中国电信、浪潮、Memblaze等技术专家从不同维度探讨闪存如何驱动存储设备的变革，互联网以及垂直领域的数据中心如何通过闪存技术进一步提升数据中心的运维效率。…

linux下编译原理分析

linux下编译hello.c 程序，使用gcc hello.c，然后./a.out就能够执行；在这个简单的命令后面隐藏了很多复杂的过程，这个过程包含了以下的步骤： 预处理： 宏定义展开，全部的#define 在这个阶段都会被…

3.6.9、springboot__数据库连接池，DBCP数据库连接池，C3P0数据库连接池

使用数据库连接池需要导入对应的包，Maven中下载 C3P0，DBCP两种连接池中有很多连接，不用每次直接连接数据库，直接使用 DBCP连接池 /*** 数据库连接池DBCP*/ public class Demo02DBCP {public static void main(String[] args) …

状态机和行为树

2019独角兽企业重金招聘Python工程师标准>>> 最近在思考游戏AI，看到一些文章在鼓吹状态机(fsm)已经过时，行为树才是现在和将来。目前我的水平，对这个结论无法做评判。但是从读到的文章本身，没有看到有力的证据。诚然&…

3.6.10、springboot__连接池的util工具类，开发中数据库工具类的设计，DBCP实现

DBCP创建一个util类实现数据库的连接 /*** 数据库连接池DBCP工具类*/ public class DBCPUtil {//数据库连接池对象static BasicDataSource basicDataSource null;static {//创建对象basicDataSource new BasicDataSource();basicDataSource.setDriverClassName("com.my…

统计hive-hdfs文件大小日常腾出磁盘

相关文章