获取Flink作业在HDFS上保存的最新的savepoint文件路径

news/2024/5/20 2:57:46 标签: flink, hdfs, npm

获取Flink作业在HDFS上保存的最新的savepoint文件路径

代码:

savepoint=$(hadoop fs -ls hdfs://xxxApp/flink-checkpoints/xxxflinkjob/*/chk-*/_metadata |grep -vw Found |sort -k6,7 -r |head -n 1 |awk '{print $8}')
    

上面的代码是一个Shell命令,用于获取Flink作业在HDFS上保存的最新的savepoint文件路径。让我们逐步解释这段代码:

  1. savepoint=$(…) :这是一个Shell变量赋值语句,将命令的输出赋值给变量 savepoint 。
  2. hadoop fs -ls hdfs://xxxApp/flink-checkpoints/xxxflinkjob//chk-/_metadata :这部分命令使用 hadoop fs -ls 列出指定HDFS路径下的文件和目录,路径为 hdfs://xxxApp/flink-checkpoints/xxxflinkjob//chk-/_metadata 。这个路径通常是Flink作业的检查点目录,其中包含savepoint文件的元数据信息。
  3. grep -vw Found : grep 命令用于过滤输出, -v 选项表示显示不匹配的行, -w 选项表示精确匹配整个单词。这里过滤掉包含"Found"的行。
  4. sort -k6,7 -r : sort 命令按照第6和第7列的内容进行逆序排序,以便找到最新的savepoint文件。
  5. head -n 1 : head 命令用于显示输出的前n行,这里只显示排序后的第一行,即最新的savepoint文件。
  6. awk ‘{print $8}’ : awk 命令用于处理文本数据,这里提取排序后结果的第8列,即最新的savepoint文件的路径。

综合起来,这段代码的作用是获取Flink作业在HDFS上保存的最新savepoint文件的路径,并将路径赋值给变量 savepoint 。


http://www.niftyadmin.cn/n/5403838.html

相关文章

NOC2023软件创意编程(学而思赛道)python初中组决赛真题

目录 下载原文档打印做题: 软件创意编程 一、参赛范围 1.参赛组别:小学低年级组(1-3 年级)、小学高年级组(4-6 年级)、初中组。 2.参赛人数:1 人。 3.指导教师:1 人(可空缺)。 4.每人限参加 1 个赛项。 组别确定:以地方教育行政主管部门(教委、教育厅、教育局) 认…

mTLS: openssl创建CA证书

证书可以通过openssl或者keytool创建,在本篇文章中,只介绍openssl。 openssl 生成证书 申请操作流程 生成ca证书私钥, 文件名:ca.key生成ca证书,文件名:ca.crt生成Server/Client 证书私钥,文件名&#x…

ue4.27 发现 getRandomReachedLocation 返回 false

把这个玩意儿删掉,重启工程,即可 如果还不行 保证运动物体在 volum 内部,也就是绿色范围内确保 project setting 里面的 navigation system 中 auto create navigation data 是打开的(看到过博客说关掉,不知道为啥) 如果还不行&…

智能双星:遥测终端机与柳林“巡检机器人“,助力智能运维新升级!

随着科技的不断发展,智能化、自动化的运维管理已经成为企业追求高效、稳定运营的重要方向。柳林遥测终端机、柳林e拍云平台以及巡检机器人的组合,为企业带来了一种全新的、前置的、无感的智能运维体验。 柳林遥测终端机,以其强大的数据采集和…

Leetcoder Day27| 贪心算法part01

语言:Java/Go 理论 贪心的本质是选择每一阶段的局部最优,从而达到全局最优。 什么时候用贪心?可以用局部最优退出全局最优,并且想不到反例到情况 贪心的一般解题步骤 将问题分解为若干个子问题找出适合的贪心策略求解每一个子…

C语言中的字符魔法:大小写转换的艺术

引言 在C语言的世界里,字符处理是一项基础且重要的任务。字符作为编程中最基本的元素之一,承担着信息展示、数据交互等多重角色。特别是在处理文本信息时,字符的转换和识别显得尤为重要。大小写字母的转换就是其中一个常见的需求&#xff0c…

「Vue3系列」Vue3 模板语法

文章目录 一、Vue3 模板语法1. 插值表达式2. 指令v-bindv-onv-modelv-if, v-else-if, v-elsev-forv-html 3. 计算属性和侦听器计算属性侦听器 二、Vue3 修饰符1. .lazy 修饰符2. .number 修饰符3. .trim 修饰符4. .stop 修饰符5. .prevent 修饰符6. .capture 修饰符7. .self 修…

数据结构实现-线性表

顺序存储 #include<iostream> using namespace std; #define MaxSize 50 //静态顺序表 template<typename ElemType> struct sqList{ElemType data[MaxSize];//元素int length;//长度 }; //动态顺序表 #ifdef DEBUG //关闭启用 #define InitSize 100 template<…